-
Die Erfindung betrifft ein Verfahren zum Erkennen eines Hintergrunds einer Verkehrsszene, eine Vorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium.
-
Stand der Technik
-
-
-
Offenbarung der Erfindung
-
Die der Erfindung zugrunde liegende Aufgabe ist darin zu sehen, ein Konzept zum effizienten Erkennen eines Hintergrunds einer Verkehrsszene bereitzustellen.
-
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
-
Nach einem ersten Aspekt wird ein Verfahren zum Erkennen eines Hintergrunds einer Verkehrsszene bereitgestellt, umfassend die folgenden Schritte:
- Empfangen von ersten Umfeldsensorsignalen eines ersten Umfeldsensors, welche die mittels des ersten Umfeldsensors erfasste Verkehrsszene repräsentieren,
- Empfangen von zweiten Umfeldsensorsignalen eines zweiten Umfeldsensors, welche die mittels des zweiten Umfeldsensors erfasste Verkehrsszene repräsentieren, und
- Bestimmen des Hintergrunds der mittels des ersten Umfeldsensors erfassten Verkehrsszene basierend auf den zweiten Umfeldsensorsignalen.
-
Nach einem zweiten Aspekt wird eine Vorrichtung bereitgestellt, die eingerichtet ist, alle Schritte des Verfahrens nach dem ersten Aspekt auszuführen.
-
Nach einem dritten Aspekt wird ein Computerprogramm bereitgestellt, welches Befehle umfasst, die bei Ausführung des Computerprogramms durch einen Computer, beispielsweise durch die Vorrichtung nach dem zweiten Aspekt, diesen veranlassen, ein Verfahren gemäß dem ersten Aspekt auszuführen.
-
Nach einem vierten Aspekt wird ein maschinenlesbares Speichermedium bereitgestellt, auf dem das Computerprogramm nach dem dritten Aspekt gespeichert ist.
-
Die Erfindung basiert auf der Erkenntnis und schließt diese mit ein, dass die obige Aufgabe dadurch gelöst werden kann, dass eine Verkehrsszene mittels eines ersten und mittels eines zweiten Umfeldsensors erfasst wird. Informationen, welche aus der mittels des zweiten Umfeldsensors erfassten Verkehrsszene ermittelt werden, werden dafür verwendet, um den Hintergrund der mittels des ersten Umfeldsensors erfassten Verkehrsszene zu bestimmen. Das heißt also, dass zum Bestimmen des Hintergrunds der mittels des ersten Umfeldsensors erfassten Verkehrsszene zusätzliche Informationen zur Verfügung stehen. Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der Hintergrund der mittels des ersten Umfeldsensors erfassten Verkehrsszene effizient bestimmt und somit erkannt werden kann.
-
Somit wird weiter zum Beispiel der technische Vorteil bewirkt, dass eine schnelle und robuste Erkennung eines Hintergrunds einer Verkehrsszene ermöglicht ist.
-
Somit wird weiter zum Beispiel der technische Vorteil bewirkt, dass eine robuste und schnelle Hintergrunderkennung verwendet werden kann, um eine robuste und vollumfängliche Objekterkennung in der Verkehrsszene zu ermöglichen. Hierbei befindet sich beispielsweise ein Objekt per Definition im Vordergrund der Verkehrsszene.
-
Somit wird insbesondere der technische Vorteil bewirkt, dass ein Konzept zum effizienten Erkennen eines Hintergrunds einer Verkehrsszene bereitgestellt ist.
-
Mit Hintergrund werden insbesondere die statischen Elemente einer beobachteten Verkehrsszene bezeichnet. Solche statischen Elemente umfassen zum Beispiel: Straßen und/oder Gehwege und/oder Häuser und/oder sich bewegliche, insbesondere sich bewegende, ortsfeste Objekte wie zum Beispiel Bäume. Der Vordergrund einer beobachteten Verkehrsszene bezeichnet insbesondere dynamische Objekte, die sich für eine vorbestimmte Zeit in der Verkehrsszene aufhalten. Solch dynamischen Objekte umfassen zum Beispiel: Kraftfahrzeuge und/oder Radfahrer und/oder Tiere und/oder Fußgänger.
-
Ein Umfeldsensor ist gemäß einer Ausführungsform einer der folgenden Umfeldsensoren: Radarsensor, Lidarsensor, Videosensor, Ultraschallsensor, Magnetfeldsensor und Infrarotsensor.
-
In einer Ausführungsform ist vorgesehen, dass basierend auf den zweiten Umfeldsensorsignalen eine Tiefenkarte aus Sicht des ersten Umfeldsensors erstellt wird, wobei der Hintergrund basierend auf der Tiefenkarte bestimmt wird.
-
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der Hintergrund effizient bestimmt werden kann.
-
Aus Sicht eines Umfeldsensors bedeutet insbesondere aus einem Blickwinkel oder aus einer Perspektive des Umfeldsensors.
-
In einer Ausführungsform ist vorgesehen, dass die Tiefenkarte mit einer Referenztiefenkarte verglichen wird, welche einen zu erwartenden Referenzhintergrund aus Sicht des ersten Umfeldsensors angibt, wobei der Hintergrund basierend auf einem Ergebnis des Vergleichs der Tiefenkarte mit der Referenztiefenkarte bestimmt wird.
-
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der Hintergrund effizient bestimmt werden kann.
-
Sofern zum Beispiel der zu erwartende Referenzhintergrund nicht mit dem oder den entsprechenden Bereichen in der Tiefenkarte übereinstimmt, insbesondere im Rahmen eines Toleranzwertes oder eines Toleranzintervalls übereinstimmt, wird zum Beispiel bestimmt, dass es sich bei dem oder diesen Bereichen nicht um den Hintergrund der Verkehrsszene handelt, sondern dass sich zum Beispiel ein oder mehrere Objekte in dem oder diesen Bereichen befinden.
-
Gemäß einer Ausführungsform ist vorgesehen, dass basierend auf den zweiten Umfeldsensorsignalen eine Objekterkennung durchgeführt wird, wobei der Hintergrund basierend auf einem Objekterkennungsergebnis bestimmt wird.
-
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der Hintergrund effizient bestimmt werden kann.
-
Gemäß einer Ausführungsform ist vorgesehen, dass basierend auf den zweiten Umfeldsensorsignalen eine Freiraumerkennung durchgeführt wird, wobei der Hintergrund basierend auf einem Freiraumerkennungsergebnis bestimmt wird.
-
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass der Hintergrund effizient bestimmt werden kann.
-
Ein Objekterkennungsergebnis gibt zum Beispiel an, ob sich ein oder mehrere Objekte im Sichtbereich des zweiten Umfeldsensors befinden.
-
Ein Freiraumerkennungsergebnis gibt zum Beispiel einen Belegungszustand einer Fläche im Blickbereich oder Erfassungsbereich des zweiten Umfeldsensors an. Ein Belegungszustand ist zum Beispiel einer der folgenden Zustände: belegt, frei oder unbekannt.
-
In einer Ausführungsform ist vorgesehen, dass der erste Umfeldsensor ein Bildsensor einer Bildkamera ist und wobei der zweite Umfeldsensor ein Radarsensor oder ein Lidarsensor ist.
-
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass besonders geeignete Umfeldsensoren zum Erfassen der Verkehrsszene verwendet werden.
-
In einer Ausführungsform erfassen der erste Umfeldsensor und der zweite Umfeldsensor die Verkehrsszenen aus unterschiedlichen oder aus gleichen Richtungen.
-
In einer Ausführungsform überlappen sich ein erster Erfassungsbereich des ersten Umfeldsensors und ein zweiter Erfassungsbereich des zweiten Umfeldsensors.
-
In einer Ausführungsform ist der erste Umfeldsensor und/oder ist der zweite Umfeldsensor stationär angeordnet. Ein stationär angeordneter Umfeldsensor kann auch als ein Infrastrukturumfeldsensor bezeichnet werden.
-
Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass die Verkehrsszene effizient erfasst werden kann.
-
Das bedeutet, dass gemäß dieser Ausführungsform zum Beispiel vorgesehen ist, dass der erste und/oder der zweite Umfeldsensor innerhalb einer Infrastruktur stationär angeordnet sind. Die Verkehrsszene befindet sich zum Beispiel innerhalb der Infrastruktur.
-
Das heißt also insbesondere, dass gemäß einer Ausführungsform der erste Umfeldsensor und/oder der zweite Umfeldsensor stationär angeordnet sind, insbesondere innerhalb einer Infrastruktur stationär angeordnet sind, in welcher sich die Verkehrsszene befindet.
-
Die Infrastruktur umfasst zum Beispiel: Parkplatz, Tunneleinfahrt, Tunnelausfahrt, Baustelle, Knotenpunkt, Kreisverkehr, Kreuzung, Einmündung, Straße, Unterführung, Landstraße, Autobahnkreuzung, Autobahn, Autobahnauffahrt und/oder Autobahnabfahrt.
-
In einer Ausführungsform ist vorgesehen, dass das Verfahren nach dem ersten Aspekt mittels der Vorrichtung nach dem zweiten Aspekt aus- oder durchgeführt wird.
-
Technische Funktionalitäten der Vorrichtung nach dem zweiten Aspekt ergeben sich analog aus entsprechenden technischen Funktionalitäten des Verfahrens nach dem ersten Aspekt und umgekehrt. Das heißt also, dass sich Verfahrensmerkmale aus Vorrichtungsmerkmalen und umgekehrt ergeben.
-
Die hier beschriebenen Ausführungsbeispiele und Ausführungsformen können in beliebiger Weise miteinander kombiniert werden, auch wenn dies nicht explizit beschrieben ist.
-
In einer Ausführungsform ist das Verfahren nach dem ersten Aspekt ein computerimplementiertes Verfahren.
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
- 1 ein Ablaufdiagramm eines Verfahrens zum Erkennen eines Hintergrunds einer Verkehrsszene,
- 2 eine Vorrichtung,
- 3 ein maschinenlesbares Speichermedium und
- 4 und 5 jeweils eine Verkehrsszene.
-
Im Folgenden können für gleiche Merkmale gleiche Bezugszeichen verwendet werden.
-
1 zeigt ein Ablaufdiagramm eines Verfahrens zum Erkennen eines Hintergrunds einer Verkehrsszene, umfassend die folgenden Schritte: Empfangen 101 von ersten Umfeldsensorsignalen eines ersten Umfeldsensors, welche die mittels des ersten Umfeldsensors erfasste Verkehrsszene repräsentieren,
Empfangen 103 von zweiten Umfeldsensorsignalen eines zweiten Umfeldsensors, welche die mittels des zweiten Umfeldsensors erfasste Verkehrsszene repräsentieren, und
Bestimmen 105 des Hintergrunds der mittels des ersten Umfeldsensors erfassten Verkehrsszene basierend auf den zweiten Umfeldsensorsignalen.
-
Nach einer Ausführungsform umfasst das Verfahren nach dem ersten Aspekt ein Erfassen der Verkehrsszene mittels des ersten Umfeldsensors. Der erste Umfeldsensor gibt zum Beispiel die ersten Umfeldsensorsignale aus.
-
Nach einer Ausführungsform umfasst das Verfahren nach dem ersten Aspekt ein Erfassen der Verkehrsszene mittels des zweiten Umfeldsensors. Der zweite Umfeldsensor gibt zum Beispiel die zweiten Umfeldsensorsignale aus.
-
2 zeigt eine Vorrichtung 201, welche eingerichtet ist, alle Schritte des Verfahrens nach dem ersten Aspekt auszuführen.
-
3 zeigt ein maschinenlesbares Speichermedium 301, auf dem ein Computerprogramm 303 gespeichert ist.
-
Das Computerprogramm 303 umfasst Befehle, die bei Ausführung des Computerprogramms 303 durch einen Computer diesen veranlassen, ein Verfahren gemäß dem ersten Aspekt auszuführen.
-
4 zeigt eine Verkehrsszene 401.
-
Die Verkehrsszene 401 umfasst eine Straße 403 als Beispiel für eine Infrastruktur. Die Straße 403 wird mittels einer Videokamera 405 umfassend einen Bildsensor 407 erfasst. Die Videokamera 405 ist zum Beispiel an einem nicht gezeigten Infrastrukturelement, zum Beispiel an einem Mast, stationär angeordnet. Weiter wird die Straße 403 mittels eines Radarsensors 409 erfasst. Der Radarsensor 409 ist stationär an der Videokamera 405 angeordnet. Somit sind beide Sensoren 407, 409 stationär innerhalb einer Infrastruktur angeordnet. Die beiden Sensoren 407, 409 können auch als Infrastrukturumfeldsensoren bezeichnet werden. Der Bildsensor 407 ist ein erster Umfeldsensor und der Radarsensor 409 ist ein zweiter Umfeldsensor. In einer nicht gezeigten Ausführungsform ist vorgesehen, dass der zweite Umfeldsensor ein Lidarsensor ist.
-
Mittels des Radarsensors 409 wird ein Abstand zwischen Videokamera 405 und Straße 403 ermittelt. Im Einzelnen ist vorgesehen, dass basierend auf den Radarsignalen eine Tiefenkarte aus Sicht des Bildsensors 407 erstellt wird. Diese Tiefenkarte wird mit einer Referenztiefenkarte verglichen, welche einen zu erwartenden Referenzhintergrund aus Sicht des Bildsensors 407 angibt. Der zu erwartende Referenzhintergrund wird zum Beispiel dann ermittelt, wenn sich kein Objekt auf der Straße 403 befindet. In einem solchen Fall beträgt zum Beispiel der Abstand zwischen Videokamera 405 und Straße 403 in Richtung der zentralen Blickrichtung des Bildsensors 407 a1, beispielsweise 20 m. Der Abstand a1 ist in 4 mit einem Doppelpfeil gekennzeichnet.
-
Wenn zur Laufzeit mittels des Radarsensors 409 dieser Abstand a1, insbesondere zumindest innerhalb eines Toleranzbereichs, ermittelt wird, wird davon ausgegangen, dass sich kein Objekt auf der Straße 403 befindet. Der entsprechende Bereich in den Videobildern, welche mittels der Videokamera 405 aufgenommen werden, werden dann als Hintergrund der Verkehrsszene 401 bestimmt. Beispielhaft ist ein solches Videobild in 4 mit dem Bezugszeichen 411 eingezeichnet. Der Hintergrund aus Sicht der Videokamera 405 ist symbolisch durch ein graphisches Element mit dem Bezugszeichen 413 gekennzeichnet.
-
5 zeigt verglichen mit der in 4 gezeigten Verkehrsszene den Fall, in welchem sich ein Objekt 501 auf der Straße 403 im Erfassungsbereich der beiden Umfeldsensoren befindet. Das Objekt 501 kann zum Beispiel ein Kraftfahrzeug, ein Fußgänger, ein Fahrradfahrer oder ein Tier sein oder ein nicht lebendiges Objekt.
-
In diesem Fall wird mittels des Radarsensors 409 ein Abstand a2 in zentraler Blickrichtung der Videokamera 405 gemessen, welcher kleiner ist als der Abstand a1. Beispielsweise beträgt dieser Abstand a2 10 m. Es wird also eine Tiefe in zentraler Blickrichtung der Videokamera 405 gemessen, welche weniger ist als die zu erwartende Tiefe. Der Abstand a2 ist in 5 mit einem Doppelpfeil gekennzeichnet.
-
Das heißt also, dass mittels der Radarsignale des Radarsensors 409 wiederum eine Tiefenkarte aus Sicht des Bildsensors 407 erstellt wird, wobei diese Tiefenkarte wiederum mit der Referenztiefenkarte verglichen wird. Bei diesem Vergleich zeigt sich der vorstehend genannte Unterschied in der Tiefe. Basierend auf dem Vergleich wird also das Objekt 501 detektiert. Der zuvor noch als Hintergrund bestimmte Bereich in dem Videobild 411 wird jetzt nicht mehr als Hintergrund bestimmt, da ein Objekt detektiert wurde (Das Objekt 501.), welches nicht zum Hintergrund der Referenztiefenkarte gehört.
-
Zusammenfassend basiert das hier beschriebene Konzept insbesondere darauf, dass eine Verkehrsszene mittels mindestens zwei Umfeldsensoren erfasst wird.
-
In einer Ausführungsform ist ein erster Umfeldsensor ein Bildsensor einer Videokamera, welcher kontinuierlich mit einer ausreichenden Wiederholungsrate 2D Bilder der Verkehrsszene ausgibt.
-
In einer Ausführungsform ist ein zweiter Umfeldsensor ein Radarsensor oder ein Lidarsensor, der mit einer ausreichenden Wiederholungsrate (und ausreichender Synchronisierungsinformation zum ersten Umfeldsensor) Radarbilder oder Lidarbilder ausgibt, basierend auf welchen eine Tiefenkarte der Verkehrsszene aus einer ausreichend gleichen (idealerweise derselben) Perspektive erstellt wird.
-
In einer Ausführungsform ist eine extrinsische und intrinsische Kalibration der Umfeldsensoren bekannt, also bereits zum Beispiel im Vorfeld erfolgt. Das heißt, dass zum Beispiel folgende Informationen über die Umfeldsensoren bekannt sind: Position, Ausrichtung, Sichtkegel und/oder Korrekturparameter für Verzerrungen.
-
In einer Ausführungsform ist eine Geometrie des Hintergrundes der Verkehrsszene relativ zu den Umfeldsensoren in der Verkehrsszene bekannt, sodass für jeden Umfeldsensor für jede Blickrichtung im jeweiligen Sichtkegel ein Abstand zum Hintergrund berechenbar und damit bekannt ist.
-
In einer Ausführungsform wird bestimmt, wenn für eine gewisse Blickrichtung der zweite Umfeldsensor eine Tiefeninformation der Verkehrsszene zur Verfügung stellt, die übereinstimmt mit der zu erwartenden Entfernung des Hintergrundes in dieser Blickrichtung, dass der erste Umfeldsensor in genau dieser Blickrichtung zu diesem Zeitpunkt den Hintergrund erfasst hat.
-
In einer Ausführungsform ist die Hintergrunderkennung instantan, damit schnell, weil für jeden Zeitpunkt für jede Blickrichtung in der Tiefenkarte die Einstufung Hintergrund ja/nein erfolgen kann, und damit für jede entsprechende Blickrichtung im Sichtkegel des ersten Umfeldsensors die Einstufung Hintergrund ja/nein übernommen werden kann. Die Robustheit der Hintergrunderkennung im Kamerabild wird zum Beispiel erhöht durch das zusätzliche Einbeziehen der Tiefeninformation des zweiten Umfeldsensors.
-
In einer Ausführungsform wird die Verkehrsszene aus unterschiedlichen Perspektiven mit mindestens zwei Umfeldsensoren erfasst.
-
In einer Ausführungsform wird mittels des zweiten Umfeldsensors erkannt, dass sich für gewisse Blickrichtungen kein dynamisches Objekt zwischen dem ersten Umfeldsensor und dem Hintergrund befindet. Damit ist eine instantane Hintergrunderkennung für den ersten Umfeldsensor möglich mit einer höheren Robustheit, weil orthogonale Informationen zu Verdeckungen des Hintergrundes durch Objekte im Vordergrund einbezogen werden können.
-
Siehe auch 4: Erwarteter Abstand für die zentrale Blickrichtung zwischen ersten Umfeldsensor und Hintergrund (Straße) ist zum Beispiel 20 m. Der zweite Umfeldsensor ermittelt eine Tiefe von zum Beispiel 20 m in dieser Richtung, damit kann im Videobild des ersten Umfeldsensors dieser Teil als Hintergrund klassifiziert werden.
-
Siehe auch 5: Ein Objekt blockiert im Vordergrund die Sicht auf den Hintergrund in der zentralen Blickrichtung (zum Beispiel gemessene Tiefe 10 m, weniger als die zum Beispiel erwarteten 20 m), damit wird im Videobild des ersten Umfeldsensors dieser Teil nicht mehr als Hintergrund klassifiziert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011111440 A1 [0002]
- DE 102014105351 A1 [0003]
