-
Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, bei welchem mittels einer Kamera des Kraftfahrzeugs ein erstes Bild und ein zweites Bild des Umgebungsbereichs bereitgestellt werden, in dem ersten Bild erste Objektmerkmale und in dem zweiten Bild zweite Objektmerkmale bestimmt werden, wobei die ersten und die zweiten Objektmerkmale jeweils das zumindest eine Objekt beschreiben, und für jedes der ersten Objektmerkmale in einem jeweiligen Zuordnungsschritt überprüft wird, ob ein zweites Objektmerkmal vorhanden ist, welches zu dem ersten Objektmerkmal eine vorbestimmte Ähnlichkeit aufweist, und falls das zweite Objektmerkmal zu dem ersten Objektmerkmal die vorbestimmte Ähnlichkeit aufweist, das erste Objektmerkmal dem zweiten Objektmerkmal zugeordnet wird. Darüber hinaus betrifft die vorliegende Erfindung ein Kamerasystem für ein Kraftfahrzeug. Schließlich betrifft die vorliegende Erfindung ein Kraftfahrzeug mit einem solchen Kamerasystem.
-
Das Interesse richtet sich vorliegend auf die Erkennung von Objekten in einem Umgebungsbereich eines Kraftfahrzeugs. Dabei erfolgt die Erkennung auf Grundlage von Bildern, die mit einer Kamera des Kraftfahrzeugs bereitgestellt werden. Hierzu ist es aus dem Stand der Technik bekannt, dass mit der Kamera eine Sequenz von Bildern bereitgestellt wird und in jedem Bild Objektmerkmale bestimmt werden, welche Objekte in dem Umgebungsbereich beschreiben. Dabei ist es ferner bekannt, dass in den jeweiligen Bildern Objektmerkmale bestimmt werden und die Objektmerkmale der Bilder einander zugeordnet werden. Diese Zuordnung kann dann dazu verwendet werden, die Objekte zu erkennen. Somit können beispielsweise Hindernisse, weitere Fahrzeuge, Fußgänger und/oder Fahrbahnmarkierungen in dem Umgebungsbereich erkannt werden. Die Zuordnung der Objektmerkmale kann ferner dazu genutzt werden, dreidimensionale Objekte in dem Umgebungsbereich zu erkennen.
-
Dabei ist es üblicherweise vorgesehen, dass die Objektmerkmale, welche in den jeweiligen Bildern erkannt wurden, in einer eindimensionalen Liste bereitgestellt werden. Dabei wird für jedes der Objektmerkmale eines Bilds überprüft, ob dieses eine vorbestimmte Ähnlichkeit zu den Objektmerkmalen eines weiteren Bilds aufweist. Diese Methode der rohen Gewalt bringt aber eine hohe Komplexität mit sich. Eine weitere Methode besteht darin, entsprechende Suchbäume, wie beispielsweise den k-d-Baum, in einem mehrdimensionalen Merkmalsraum zu verwenden. Diese Methode bringt aber einen hohen Speicherbedarf mit sich kann nicht effizient realisiert werden. Bei der Erkennung von Objekten in der Umgebung des Kraftfahrzeugs führt dies üblicherweise dazu, das nur wenige Objektmerkmale der aufeinanderfolgenden Bilder einander zugeordnet werden. Um eine zuverlässige Erkennung von Objekten und insbesondere eine dreidimensionale Objekterkennung durchzuführen, ist es aber wünschenswert, möglichst viele Objektmerkmale einander zuzuordnen.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie Objekte in einem Umgebungsbereich eines Kraftfahrzeugs auf Grundlage der Zuordnung von Objektmerkmale in Bildern zuverlässiger erkannt werden können.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem somit ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche.
-
Bei einer Ausführungsform eines Verfahrens zum Erkennen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs werden mittels einer Kamera des Kraftfahrzeugs ein erstes Bild und ein zweites Bild des Umgebungsbereichs bereitgestellt. In dem ersten Bild werden bevorzugt erste Objektmerkmale und in dem zweiten Bild werden bevorzugt zweite Objektmerkmale bestimmt, wobei die ersten und zweiten Objektmerkmale insbesondere jeweils das zumindest eine Objekt beschreiben. Für jedes der ersten Objektmerkmale wird insbesondere in einem jeweiligen Zuordnungsschritt überprüft, ob ein zweites Objektmerkmal vorhanden ist, welches zu dem ersten Objektmerkmal eine vorbestimmte Ähnlichkeit aufweist. Falls das zweite Objektmerkmal zu dem ersten Objektmerkmal die vorbestimmte Ähnlichkeit aufweist, wird das erste Objektmerkmal insbesondere dem zweiten Objektmerkmal zugeordnet. Des Weiteren wird insbesondere eine Mehrzahl von ersten Listenabschnitten bestimmt und die ersten Objektmerkmale werden anhand ihrer Position in dem ersten Bild den ersten Listenabschnitten zugeordnet. Darüber hinaus wird bevorzugt eine Mehrzahl von zweiten Listenabschnitten, welche zu den ersten Listenabschnitten korrespondieren, bestimmt und die zweiten Objektmerkmale werden anhand ihrer Position in dem zweiten Bild den zweiten Listenabschnitten zugeordnet. In dem jeweiligen Zuordnungsschritt wird dann bevorzugt überprüft, ob ein zweites Objektmerkmal in dem zweiten Listenabschnitt, welcher zu dem ersten Listenabschnitt des ersten Objektmerkmals korrespondiert, die vorbestimmte Ähnlichkeit zu dem ersten Objektmerkmal aufweist.
-
Ein erfindungsgemäßes Verfahren dient zum Erkennen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs. Hierbei werden mittels einer Kamera des Kraftfahrzeugs ein erstes Bild und ein zweites Bild des Umgebungsbereichs bereitgestellt. In dem ersten Bild werden erste Objektmerkmale und in dem zweiten Bild werden zweite Objektmerkmale bestimmt, wobei die ersten und die zweiten Objektmerkmale jeweils das zumindest eine Objekt beschreiben. Für jedes der ersten Objektmerkmale wird in einem jeweiligen Zuordnungsschritt überprüft, ob ein zweites Objektmerkmal vorhanden ist, welches zu dem ersten Objektmerkmal eine vorbestimmte Ähnlichkeit aufweist, falls das zweite Objektmerkmal zu dem ersten Objektmerkmal die vorbestimmte Ähnlichkeit aufweist, wird das erste Objektmerkmal dem zweiten Objektmerkmal zugeordnet. Des Weiteren wird eine Mehrzahl von ersten Listenabschnitten bestimmt und die ersten Objektmerkmale werden anhand ihrer Position in dem ersten Bild den ersten Listenabschnitten zugeordnet. Zudem wird eine Mehrzahl von zweiten Listenabschnitten, welche zu den ersten Listenabschnitten korrespondieren, bestimmt und die zweiten Objektmerkmale werden anhand ihrer Position in dem zweiten Bild den zweiten Listenabschnitten zugeordnet. In dem jeweiligen Zuordnungsschritt wird überprüft, ob ein zweites Objektmerkmale in dem zweiten Listenabschnitt, welcher zu dem ersten Listenabschnitt des ersten Objektmerkmals korrespondiert, die vorbestimmte Ähnlichkeit zu dem ersten Objektmerkmal aufweist.
-
Mithilfe des Verfahrens sollen Objekte in dem Umgebungsbereich des Kraftfahrzeugs erkannt werden. Bei solchen Objekten kann es sich beispielsweise um Hindernisse, weitere Verkehrsteilnehmer oder Fahrbahnmarkierungen handeln. Zum Erkennen der Objekte kann mit der Kamera des Kraftfahrzeugs eine Sequenz von Bildern aufgenommen werden. Bevorzugt ist es vorgesehen, dass mit der Kamera ein erstes Bild und zumindest ein zweites Bild aufgenommen werden, wobei zunächst das erste Bild und anschließend das zweite Bild aufgenommen wird. In jedem der Bilder werden Objektmerkmale bestimmt, welche die Objekte in dem Umgebungsbereich beschreiben. Zum Bestimmen der Objektmerkmale kann ein entsprechender Objekterkennungsalgorithmus, wie beispielsweise SIFT (Scale-Invariant Feature Transform) oder SURF (Speeded Up Robust Features) verwendet werden. In dem ersten Bild werden die ersten Objektmerkmale bestimmt. In gleicher Weise werden in dem zweiten Bild die zweiten Objektmerkmale bestimmt. Für jedes erste Objektmerkmal in dem ersten Bild wird nun überprüft, ob in dem zweiten Bild ein zweites Objektmerkmal vorhanden ist, welches dem ersten Objektmerkmal zugeordnet werden kann. Hierzu wird überprüft, ob ein zweites Objektmerkmal vorhanden ist, welches zu dem ersten Objektmerkmal eine vorbestimmte Ähnlichkeit aufweist. Es kann also mithilfe eines Matching-Verfahrens überprüft werden, ob das erste Objektmerkmal einem zweiten Objektmerkmal zugeordnet werden kann.
-
Gemäß einem wesentlichen Aspekt der vorliegenden Erfindung ist es vorgesehen, dass eine Mehrzahl von ersten Listenabschnitten bestimmt wird und die ersten Objektmerkmale anhand ihrer Position in dem ersten Bild den ersten Listenabschnitten zugeordnet werden. Die ersten Objektmerkmale werden üblicherweise als eindimensionale Liste bereitgestellt. Nun ist es vorgesehen, dass diese Liste in erste Listenabschnitte eingeteilt wird. Die Einteilungen in die ersten Listenabschnitte erfolgt dabei in Abhängigkeit von der Position der ersten Objektmerkmale in dem ersten Bild. In gleicher Weise wird eine Mehrzahl von zweiten Listenabschnitten vorgegeben und die zweiten Objektmerkmale werden auf Grundlage ihrer Position in dem zweiten Bild den jeweiligen zweiten Listenabschnitten zugeordnet. In dem Zuordnungsschritt wird dann überprüft, in welchem ersten Listenabschnitt das erste Objektmerkmal angeordnet ist. Zu diesem ersten Listenabschnitt wird der korrespondierende zweite Listenabschnitt bestimmt. In diesem zweiten Listenabschnitt wird nun nach zweiten Objektmerkmal gesucht, welche dem ersten Objektmerkmal zugeordnet werden können. Damit werden sowohl die ersten Objektmerkmale als auch die zweiten Objektmerkmale nicht nur in einer Liste gespeichert, sondern durch die Einteilung der Objektmerkmale in die jeweiligen Listenabschnitte liegt eine Information über die Position der Objektmerkmale vor. Diese kann bei der Zuordnung der Objektmerkmale zueinander verwendet werden. Insbesondere ist es vorgesehen, dass somit die Anzahl an zweiten Objektmerkmal, die dahingehend überprüft werden, ob diese dem ersten Objektmerkmal zugeordnet werden können, eingegrenzt wird. Damit kann die Komplexität in dem jeweiligen Zuordnungsschritt deutlich reduziert werden. Zudem kann die Erkennung der Objekte in dem Umgebungsbereich effizienter und zuverlässiger durchgeführt werden.
-
Bevorzugt werden das erste Bild und das zweite Bild jeweils in Bereiche eingeteilt, wobei jeder der Bereiche zumindest eine Zeile von Bildpunkten oder zumindest eine Spalte von Bildpunkten umfasst, die ersten Objektmerkmale eines Bereichs werden einem jeweiligen ersten Listenabschnitt zugeordnet und die zweiten Objektmerkmale eines Bereichs werden einem jeweiligen zweiten Listenabschnitte zugeordnet. Zum Bestimmen der jeweiligen Listenabschnitte können sowohl das erste Bild als auch das zweite Bild in Bereiche eingeteilt werden. Die jeweiligen Bereiche können beispielsweise zumindest eine Spalte von Bildpunkten des jeweiligen Bilds umfassen. Bevorzugt ist es vorgesehen, dass die jeweiligen Bereiche zumindest eine Zeile von Bildpunkten des jeweiligen Bilds umfasst. Dies eignet sich insbesondere, wenn das Objektmerkmal einem Bildpunkt zugeordnet ist. Wenn das jeweilige Objektmerkmal mehreren Bildpunkten zugeordnet ist, kann es auch der Fall sein, dass der jeweilige Bereich eine Mehrzahl von Zeilen umfasst. Bei der Zuordnung können somit die ersten Objektmerkmale und die zweiten Objektmerkmale, die sich in der gleichen Zeile in den Bildern befinden, miteinander verglichen werden. Somit kann der Bereich eingeschränkt werden, indem nach übereinstimmenden zweiten Objektmerkmal für das erste Objektmerkmal gesucht wird.
-
In einer weiteren Ausführungsform werden die ersten Objektmerkmale eines Bereichs in Abhängigkeit von ihrer Position in dem Bereich der Reihe nach in den jeweiligen ersten Listenabschnitt eingetragen und die zweiten Objektmerkmale eines Bereichs werden in Abhängigkeit von ihrer Position in dem Bereich der Reihe nach in den jeweiligen zweiten Listenabschnitt eingetragen. Wie bereits erläutert, kann der jeweilige Bereich zumindest eine Zeile von Bildpunkten des jeweiligen Bilds umfassen. Die ersten Objektmerkmale einer Zeile des ersten Bilds werden beispielsweise der Reihe nach von links nach rechts in einen der ersten Listenabschnitte eingetragen. In gleicher Weise werden die zweiten Objektmerkmale einer Zeile des zweiten Bilds in den zweiten Listenabschnitt von links nach rechts eingetragen. Somit können die ersten Objektmerkmale mit den zweiten Objektmerkmalen, die in den korrespondierenden Zeilen in den Bildern angeordnet sind, auf einfache Weise miteinander verglichen werden. Hierbei wird berücksichtigt, dass sich die Objekte üblicherweise entlang der Richtung der Zeilen in den jeweiligen Bildern bewegen. Dies ermöglicht eine effiziente Zuordnung der jeweiligen ersten Objektmerkmale zu den zweiten Objektmerkmalen. Auf diese Weise kann die Anzahl von Objektmerkmalen, die einander zugeordnet werden, erhöht werden.
-
Gemäß einer Ausführungsform werden die ersten Objektmerkmale in einem zweidimensionalen Datenfeld gespeichert, wobei die Zeilen des Datenfelds die jeweiligen ersten Listenabschnitte beschreiben und die zweiten Objektmerkmale werden in einem zweidimensionalen Datenfeld gespeichert werden, wobei die Zahlen des Datenfelds die jeweiligen zweiten Listenabschnitte beschreiben. Mit anderen Worten können sowohl die ersten Objektmerkmale als auch die zweiten Objektmerkmale in einem zweidimensionalen Datenfeld bzw. Array gespeichert werden. Dies kann bereits beim Bestimmen der Objektmerkmale mithilfe eines entsprechenden Objekterkennungsalgorithmus erfolgen. Somit liegt im Vergleich zu dem bekannten Verfahren, bei denen die Objektmerkmale in einer eindimensionalen Liste gespeichert werden, zudem eine Information über die Position und insbesondere die Höhe der Objektmerkmale in dem Bild vor.
-
Gemäß einer alternativen Ausführungsform werden die ersten Objektmerkmale in einem eindimensionalen Datenfeld gespeichert und ein zusätzliches Datenfeld wird bestimmt, welches die ersten Objektmerkmale den ersten Listenabschnitten zugeordnet. Ferner werden die zweiten Objektmerkmale in einem zweidimensionalen Datenfeld gespeichert und ein zusätzliches Datenfeld wird bestimmt, welches die zweiten Objektmerkmale den zweiten Listenabschnitten zugeordnet. Es kann auch vorgesehen sein, dass sowohl die ersten als auch die zweiten Objektmerkmale in bekannter Weise in einem eindimensionalen Datenfeld gespeichert werden. In diesem Fall kann ein zusätzliches Datenfeld bzw. ein zusätzliches Array bestimmt werden, welches beschreibt, welches der Objektmerkmale welchem der Listenabschnitte zugeordnet werden soll. Auf diese Weise kann eine Information über die Position bzw. Höhe jeweiligen Objektmerkmale in dem Bild bereitgestellt werden.
-
Weiterhin ist es vorteilhaft, wenn in dem jeweiligen Zuordnungsschritt für eine vorbestimmte Anzahl von zweiten Objektmerkmalen in dem zweiten Listenabschnitt, welcher zu dem ersten Listenabschnitt des ersten Objektmerkmals korrespondiert, überprüft wird, ob diese die vorbestimmte Ähnlichkeit zu dem ersten Objektmerkmal aufweisen. Aus den ersten Objektmerkmalen des ersten Bilds wird also ein erstes Objektmerkmal ausgewählt, welchem ein zweites Objektmerkmal aus dem zweiten Bild zugeordnet werden soll. Hierzu wird bestimmt, in welchem ersten Listenabschnitt das ausgewählte erste Objektmerkmal angeordnet ist. In dem Datenfeld von zweiten Objektmerkmalen wird dann der korrespondierende zweite Listenabschnitt bestimmt. Zudem werden die zweiten Objektmerkmale in diesem zweiten Listenabschnitt dahingehend überprüft, ob diese die vorbestimmte Ähnlichkeit zu dem ersten Objektmerkmal aufweisen. Dabei ist es insbesondere vorgesehen, dass in dem zweiten Listenabschnitt eine vorbestimmte Anzahl von zweiten Objektmerkmal dahingehend überprüft wird, ob diese die vorbestimmte Ähnlichkeit zu dem ersten Objektmerkmal aufweisen. Auf diese Weise wird der Bereich begrenzt, in welchem nach ähnlichen zweiten Objektmerkmal gesucht wird. Somit kann der Rechenaufwand deutlich reduziert werden.
-
Gemäß einer weiteren Ausführungsform werden in den jeweiligen Zuordnungsschritt ausgehend von dem zweiten Listenabschnitt, welcher zu dem ersten Listenabschnitt des ersten Objektmerkmals korrespondiert, zweite Objektmerkmale in einer vorbestimmten Anzahl von benachbarten zweiten Listenabschnitten überprüft. Insbesondere ist es vorgesehen, dass falls in dem korrespondierenden zweiten Listenabschnitt kein zweites Objektmerkmal aufgefunden wurde, welches die vorbestimmte Ähnlichkeit zu dem ersten Objektmerkmal aufweist, in den benachbarten zweiten Listenabschnitten nach zweiten Objektmerkmal gesucht wird, welche die vorbestimmte Ähnlichkeit zu dem ersten Objektmerkmal aufweisen. Die Anzahl an benachbarten zweiten Listenabschnitten, in denen nach dem zweiten Objektmerkmal mit der vorbestimmten Ähnlichkeit gesucht wird, wird ebenfalls eingeschränkt. Innerhalb der benachbarten zweiten Listenabschnitte kann die Anzahl an zweiten Objektmerkmal, die auf die vorbestimmte Ähnlichkeit überprüft werden, eingegrenzt werden. Dies ermöglicht eine deutliche Reduzierung des Rechenaufwands in dem jeweiligen Zuordnungsschritt.
-
Ferner ist es insbesondere vorgesehen, dass die vorbestimmte Anzahl von zweiten Objektmerkmalen und/oder die vorbestimmte Anzahl von benachbarten zweiten Listenabschnitt anhand eines vorbestimmten Abstandswerts bestimmt wird. Wenn ein erstes Objektmerkmal ausgewählt wird, welchem ein zweites Objektmerkmal zugeordnet werden soll, wird zunächst der korrespondierende zweite Listenabschnitt bestimmt. In diesem zweiten Listenabschnitt wird die vorbestimmte Anzahl von zweiten Objektmerkmalen dahingehend überprüft, ob diese die vorbestimmte Ähnlichkeit zu dem ersten Objektmerkmal aufweisen. Zudem werden die zweiten Objektmerkmale in den benachbarten Listenabschnitten dahingehend überprüft, ob diese die Ähnlichkeit aufweisen. Durch den Abstandswert kann der Suchbereich eingegrenzt werden und somit Rechenzeit gespart werden.
-
Gemäß einer weiteren Ausgestaltung wird anhand der Zuordnung der jeweiligen ersten Objektmerkmale zu den zweiten Objektmerkmalen eine Position des Objekts und/oder eine Bewegung des Objekts in dem Umgebungsbereich bestimmt. Wenn das Kraftfahrzeug bzw. die Kamera relativ zu dem zumindest einen Objekt bewegt wird, kann auf Grundlage der Zuordnung der ersten Objektmerkmale zu den zweiten Objektmerkmalen eine relative Lage des Objekts in dem Umgebungsbereich bestimmt werden. Hierbei kann die Zuordnung der ersten Objektmerkmale zu den zweiten Objektmerkmalen dazu genutzt werden, eine dreidimensionale Objekterkennung durchzuführen. Zudem kann auf Grundlage der Zuordnung der Objektmerkmale zueinander eine Bewegung des Objekts bestimmt werden. Somit kann das Objekt im Umgebungsbereich des Kraftfahrzeugs nachverfolgt werden. Ferner kann die Zuordnung der Objektmerkmale für eine simultane Lokalisierung und Kartenerstellung (SLAM) verwendet werden.
-
Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug ist zum Durchführen eines erfindungsgemäßen Verfahrens und der vorteilhaften Ausgestaltung davon ausgelegt. Das Kamerasystem kann zumindest eine Kamera umfassen. Ferner kann das Kamerasystem eine Recheneinrichtung umfassen, mittels welcher die ersten Objektmerkmale in dem ersten Bild und die zweiten Objektmerkmale in dem zweiten Bild bestimmt werden können. Zudem kann die Recheneinrichtung dazu ausgelegt sein, die jeweiligen Objektmerkmale in Abhängigkeit ihrer Position in die jeweiligen Listenabschnitte einzuteilen.
-
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kamerasystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung, welches ein Kamerasystem mit einer Mehrzahl von Kameras aufweist;
-
2 ein erstes Bild und ein zweites Bild, welche mit einer der Kameras bereitgestellt werden;
-
3 in dem ersten Bild erkannte Objektmerkmale, welche Objekte in dem Umgebungsbereich des Kraftfahrzeugs beschreiben;
-
4 ein schematisches Ablaufdiagramm eines Verfahrens zum Erkennen von Objekten in den Bildern;
-
5 eine Liste von ersten Objektmerkmalen, welche einer Liste von zweiten Objektmerkmal zugeordnet werden;
-
6 ein zweidimensionales Datenfeld von ersten Objektmerkmal, welche zweiten Objektmerkmal in einem weiteren zweidimensionalen Datenfeld zugeordnet werden; und
-
7 ein schematisches Ablaufdiagramm eines Verfahrens zum Erkennen von Objekten.
-
In den Figuren werden gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 ein zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist vorliegend als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches dazu dient, einen Fahrer beim Führen des Kraftfahrzeugs 1 zu unterstützen. Das Kamerasystem 2 umfasst eine Mehrzahl von Kameras 4, welche verteilt an dem Kraftfahrzeug 1 angeordnet sind. In dem vorliegenden Beispiel umfasst das Kamerasystem 2 vier Kameras 4, wobei eine der Kameras 4 in einem Heckbereich 5 des Kraftfahrzeugs 1, eine der Kameras 4 in einem Frontbereich 7 des Kraftfahrzeugs 1 und zwei Kameras 4 an jeweiligen Seitenbereichen 6 des Kraftfahrzeugs 1 angeordnet sind. Mithilfe der Kameras 4 können Bilder 10, 11 eines Umgebungsbereichs 8 des Kraftfahrzeugs 1 bereitgestellt werden. Insbesondere können in die Bilder 10, 11 Objekte 9 in dem Umgebungsbereich 8 beschreiben. Darüber hinaus umfasste das Kamerasystem 2 eine Recheneinrichtung 3, mittels welcher die Bilder 10, 11 der Kameras 4 ausgewertet werden können. Kameras 4 sind mit der Recheneinrichtung 3 zur Datenübertragung verbunden. Mittels der Recheneinrichtung 3 können die Objekte 9 in den Bildern 10, 11 der Kameras 4 erkannt werden.
-
2 zeigt ein erstes Bild 10 und ein zweites Bild 11, welche mit einer der Kameras 4 bereitgestellt werden. Die Bilder 10, 11 zeigen Objekte 9 in Form von geparkten Fahrzeugen und einem Fußgänger. In den Bildern 10, 11 werden mithilfe eines entsprechenden Objekterkennungsalgorithmus Objektmerkmale 12, 13 erkannt. Dabei sind in dem ersten Bild 10 beispielhaft erste Objektmerkmale 12 gezeigt, welche die Objekte 9 beschreiben. In dem zweiten Bild 11 sind ebenfalls beispielhaft zweite Objektmerkmale 13 gezeigt, welche ebenfalls die Objekte 9 beschreiben. Dabei ist es vorgesehen, dass die ersten Objektmerkmale 12 aus dem ersten Bild 10 den zweiten Objektmerkmalen 13 in dem zweiten Bild 11 zugeordnet werden.
-
3 zeigt schematisch die einzelnen ersten Objektmerkmale 12, die in einem ersten Bild 10 erkannt wurden. Die ersten Objektmerkmale 12 können mittels eines entsprechenden Objekterkennungsalgorithmus erkannt werden. Dabei kann es vorgesehen sein, dass die jeweiligen Objektmerkmale 12 einem Bildpunkt oder mehreren Bildpunkten des ersten Bilds zugeordnet sind. Dabei ist das erste Bild 10 in einzelne Bereiche 14 eingeteilt. Einzelnen Bereiche 14 entsprechen dabei den Zeilen 15 des ersten Bilds 10. Die zweiten Objektmerkmale 13 in dem zweiten Bild 11 können analog bestimmt werden.
-
4 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Erkennen von Objekten 9 gemäß dem Stand der Technik. In einem Schritt S1 wird das erste Bild 10 bereitgestellt. In einem Schritt S2 werden in dem ersten Bild 10 die ersten Objektmerkmale 12 detektiert und extrahiert. In einem Schritt S3 wird dann eine Liste 16 mit den ersten Objektmerkmalen 12 bestimmt. In einem Schritt S1‘ wird das zweite Bild 11 bereitgestellt. In einem Schritt S2‘ werden die zweiten Objektmerkmale 13 in dem zweiten Bild 11 detektiert und extrahiert. Ferner werden in einem Schritt S3‘ eine Liste 17 mit den zweiten Objektmerkmalen 13 bestimmt. In einem Schritt S4 werden die ersten Objektmerkmale 12 den zweiten Objektmerkmalen 13 zugeordnet. Schließlich werden Paare von übereinstimmenden Objektmerkmal 12, 13 einen Schritt S5 ausgegeben.
-
5 zeigt schematisch die Liste 16 mit den ersten Objektmerkmalen 12 und die Liste 17 mit dem zweiten Objektmerkmal in 13. Vorliegend ist ein Verfahren gemäß dem Stand der Technik verdeutlicht, welches beschreibt, wie ersten Objektmerkmale 12 den zweiten Objektmerkmalen 13 zugeordnet werden. Hier ist es vorgesehen, dass jedes der ersten Objektmerkmale 12 mit jedem der zweiten Objektmerkmale 13 verglichen wird und jeweils überprüft wird, ob das zweite Objektmerkmal 13 zu dem ersten Objektmerkmal 12 eine vorbestimmte Ähnlichkeit aufweist. Hierzu kann ein entsprechendes Matching-Verfahren verwendet werden. Bei diesem Verfahren ergibt sich ein hoher Rechenaufwand, da die Komplexität quadratisch mit der Anzahl von Objektmerkmalen zunimmt.
-
Gemäß einer Ausführungsform der Erfindung ist es vorgesehen, dass sowohl die Liste 16 mit den ersten Objektmerkmalen 12 als auch die Liste 17 mit den zweiten Objektmerkmalen 13 in jeweilige Listenabschnitte 18, 19 eingeteilt werden. Dies ist schematisch in 6 gezeigt. Hierbei ist zu erkennen, dass die ersten Objektmerkmale 12 in ein zweidimensionales Array eingetragen sind. Auch die zweiten Objektmerkmale 13 in ein zweidimensionales Array eingetragen. Die ersten Objektmerkmale 12 sind dabei in die ersten Listenabschnitte 18 eingeteilt und die zweiten Objektmerkmale 13 sind in die zweiten Listenabschnitte 19 eingeteilt. Die jeweiligen Listenabschnitte 18, 19 entsprechen den Zeilen des jeweiligen zweidimensionalen Arrays. Dabei werden die Listenabschnitte 18, 19 auf Grundlage der Zeilen 15 der Bilder 10, 11 bestimmt. Es werden also alle Objektmerkmale 12, 13 einer Zeile 15 der Reihe nach in eine Zeile des zweidimensionalen Arrays eingetragen.
-
In den Zuordnungsschritten und überprüft, ob für eines der ersten Objektmerkmale 12 ein zweites Objektmerkmal 13 vorhanden ist, welches eine vorbestimmte Ähnlichkeit zu dem ersten Objektmerkmal 12 aufweist. Vorliegend wird ein erstes Objektmerkmal 12 ausgewählt. Dies ist vorliegend durch den Stern 20 gekennzeichnet. Anschließend wird bestimmt, in welchem Listenabschnitt 18 das erste Objektmerkmal 12 angeordnet ist. In dem zweidimensionalen Array der zweiten Objektmerkmale 13 wird der korrespondierende Listenabschnitt 19 bestimmt. In diesem korrespondierenden Listenabschnitt 19 werden eine vorbestimmte Anzahl von zweiten Objektmerkmalen 13 dahingehend überprüft, ob diese eine vorbestimmte Ähnlichkeit zu dem ausgewählten ersten Objektmerkmal 12 aufweisen. Dabei wird die Überprüfung ausgehend von dem zweiten Objektmerkmal 13 am Anfang des zweiten Listenabschnitts 19 gestartet. Dieses zweite Objektmerkmal 13 ist vorliegend durch den Stern 21 gekennzeichnet.
-
In diesem zweiten Listenabschnitt 19 wird nur eine vorbestimmte Anzahl von zweiten Objektmerkmalen 13 untersucht. Die vorbestimmte Anzahl von zweiten Objektmerkmale 13 ist durch einen Abstandswert d vorgegeben. Falls in diesen zweiten Listenabschnitt 19 kein zweites Objektmerkmal 13 aufgefunden wurde, welches eine vorbestimmte Ähnlichkeit zu dem ersten Objektmerkmal 12 aufweist, werden die benachbarten zweiten Listenabschnitt 19 untersucht. Dabei ist auch die Anzahl der benachbarten zweiten Listenabschnitt 19, in welchen die zweiten Objektmerkmale 13 untersucht werden, durch den Abstandswert d begrenzt. Mit kann insgesamt der Bereich, in dem nach übereinstimmenden zweiten Objektmerkmal 13 gesucht wird, eingeschränkt werden. Damit kann die Komplexität bei der Zuordnung Objektmerkmale 12, 13 deutlich reduziert werden. In diesem Fall steigt die Komplexität konstant mit der Anzahl von Objektmerkmalen 12, 13.
-
7 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Erkennen der Objekte 9 in dem Umgebungsbereich 8 gemäß einer Ausführungsform der Erfindung. In einem Schritt S6 wird ein erstes Objektmerkmal 12 aus dem zweidimensionalen Array ausgewählt. In einem Schritt S 7 ein Wert k, welcher die Spalten in dem zweidimensionalen Array von zweiten Objektmerkmale 13 beschreibt auf 0 gesetzt. Ferner wird eine Wert h, welcher die Zeilen in dem zweidimensionalen Array der zweiten Objektmerkmale 13 beschreibt, auf den Wert der Zeile gesetzt, in dem sich auch ausgewählte erste Objektmerkmal 12 befindet. Des Weiteren wird ein Schwellwert festgesetzt, welcher den Abstandswert d beschreibt. Darüber hinaus wird überprüft, ob das zweite Objektmerkmal 13 am Anfang des ersten Abschnitts 19 eine vorbestimmte Ähnlichkeit zu dem ausgewählten ersten Objektmerkmal 12 aufweist. In einem Schritt S8 wird ein Abstand zwischen dem ausgewählten ersten Objektmerkmal 12 und dem zweiten Objektmerkmal 13 bestimmt, mit dem der Vergleich durchgeführt wurde. In einem Schritt S9 wird überprüft, ob bei dieser Abstand kleiner als der Schwellwert ist. Ist dies der Fall, wird in einem Schritt S10 der Schwellwert auf den Abstand gesetzt. Dies nicht der Fall, wird das Verfahren in einem Schritt S11 fortgeführt. Hierbei wird überprüft, ob bereits alle zweiten Objektmerkmale 13 in dem Listenabschnitt 19 überprüft wurden. Ist dies nicht der Fall, wird das Verfahren wieder in den Schritt S8 fortgeführt. Ist dies der Fall, wird das Verfahren in einem Schritt S 12 weitergeführt. Hierbei wird überprüft, ob die zweiten Objektmerkmale 13 in den benachbarten zweiten Listenabschnitten 19 überprüft wurden. Ist dies nicht der Fall, wird das Verfahren mit einem Schritt S8 fortgeführt. Ist dies der Fall, wird das Verfahren in einem Schritt S 13 fortgesetzt. Hierbei wird überprüft, ob alle zweiten Objektmerkmale 13 überprüft wurden. Ist dies nicht erfolgt, wird das Verfahren wieder in dem Schritt S6 fortgeführt. Ist dies der Fall, wird das Verfahren schließlich einem Schritt S14 beendet.
