-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft das Gebiet der Fahrzeuge, insbesondere der autonom beziehungsweise teilautonom fahrenden Fahrzeuge. Konkret betrifft die vorliegende Erfindung eine Vorrichtung, ein Verfahren, ein Computer-Programm-Produkt, ein computerlesbares Speichermedium sowie ein Datenträgersignal zur Objekterkennung in einem Umfeld eines Fahrzeugs.
-
TECHNISCHER HINTERGRUND
-
Objekterkennung spielt im automatisierten Fahren eine zentrale Rolle. Objekte, die sich in einem Umfeld eines selbstfahrenden oder teilweise selbstfahrenden Fahrzeug befinden, müssen mit hoher Genauigkeit und Rechtzeitigkeit erkannt werden. Dies dient dazu, um Maßnahmen zu ergreifen, die eine Kollision mit solchen Objekten, etwa anderen Fahrzeugen, Verkehrsteilnehmern, Personen, Tieren, Bebauungen, Bepflanzungen, öffentlichen und privaten Verkehrseinrichtungen ... usw., zu vermeiden oder zumindest zu reduzieren.
-
Zwecks zuverlässigerer und schnellerer Objekterkennung sind in der Vergangenheit zahlreiche Lösungsansätze vorgeschlagen worden. Beispielsweise offenbart
DE102018115265A1 eine Vorrichtung zum Senden eines Lichtimpulses mit einer ersten Zeitdauer und zum Empfangen eines reflektierten Lichtimpulses mit einer zweiten Zeitdauer und zum Bestimmen einer Ausrichtung einer Zieloberfläche in Abhängigkeit von einer Differenz zwischen der ersten und zweiten Zeitdauer.
-
Es besteht jedoch Bedarf an Verbesserung der Schnelligkeit und Genauigkeit der Objekterkennung. Die bekannten Lösungsansätze sind dahingehend mangelhaft, dass die mittels Umfeldsensoren gewonnene Daten durch das Beseitigen der falschen Positiven nicht hinreichend verwertet werden und zahlreiche Informationen ungenutzt weggefiltert werden. Auch der Zuversichtlichkeitsgrad, dass detektierte Sensorsignale einem bestimmten Objekt bzw. einer bestimmten Objektklasse zuzuordnen ist, ist bei den bekannten Lösungsansätzen aufgrund der Art und Weise der Datenverarbeitung und der der verwendeten Sensorik zugrunde liegenden physikalischen Gegebenheiten beschränkt.
-
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, die Objekterkennung im Umfeld eines vollständig oder teilweise autonom fahrenden Fahrzeugs hinsichtlich der Schnelligkeit und Zuverlässigkeit zu verbessern.
-
Die Aufgabe wird gelöst durch eine Vorrichtung, ein Verfahren, ein Computer-Programm-Produkt, ein computerlesbares Speichermedium sowie ein Datenträgersignal gemäß den unabhängigen Ansprüchen.
-
Bei der erfindungsgemäßen Vorrichtung zur Objekterkennung kann es sich beispielsweise um eine elektronische Steuer- oder Regeleinheit (engl. ECU = Electronic Control Unit), ein elektronisches Steuer- oder Regelmodul (ECM = Electronic Control Module) oder eine Steuer-/Regeleinheit für autonomes Fahren (z.B. ein „Autopilot“) handeln. Die Vorrichtung kann sich am Fahrzeug befinden, oder außerhalb bzw. teilweise außerhalb des Fahrzeugs. Beispielsweise kann die erfindungsgemäße Vorrichtung Teil einer zentralen Überwachungseinrichtung im Straßenverkehr, insbesondere im Stadtverkehr, im Autobahnverkehr, auf einem zumindest teilweise geschlossenen industriellen, gewerblichen Gelände und/oder auf einer landwirtschaftlichen Nutzfläche sein. Die Kommunikation zwischen der erfindungsgemäßen Vorrichtung und dem Fahrzeug bzw. zwischen der zentralen Überwachungseinrichtung und dem Fahrzeug kann drahtlos, etwa über BlueTooth, Infrarot, Nahfeld-Kommunikation (Engl.: NFC), Funk, Internet, Intranet, Cloud-Systeme, Blockchain-Systeme, 4G-Kommunikationsnetzwerke, 5G-Kommunikationsnetzwerke und/oder verdrahtete Systeme erfolgen.
-
Das Fahrzeug kann ein Personenfahrzeug und/oder ein Nutzfahrzeug, etwa ein Landfahrzeug, ein Industriefahrzeug, eine Industriemaschine, ein Fahrzeug für eine Wechselbrücke, ein mobiler Roboter und/oder ein automatisiertes fahrerloses Transportsystem sein.
-
Die primäre Sensoreinrichtung ist beispielsweise ein Abstandssensor, etwa ein Radarsensor, ein Lidarsensor und/oder ein Ultraschallsensor. Die von der primären Sensoreinrichtung erzeugten ersten Umfelddaten enthalten typischerweise Positionsdaten eines oder mehrerer von der primären Sensoreinrichtung im Umfeld des Fahrzeugs erfassten Objekte.
-
Beispielsweise werden für den Fall, dass die primäre Sensoreinrichtung einen Radarsensor umfasst, von einem Sender des Radarsensors ein Radiofrequenzsignal (nachfolgend: RF-Signal) gesendet. Das RF-Signal wird an einem im Umfeld des Fahrzeugs befindlichen Objekt zurückgestreut bzw. reflektiert und propagiert zu einem Empfänger des Radarsensors zurück. Die Zeitdauer, in der das RF-Signal zwischen dem Sende- und Empfangszeitpunkt ausgebreitet ist, ist im Fachbereich allgemein als Flugzeit (Engl.: Time of Flight, ToF) bekannt. Aus der Flugzeit lässt sich die Position des das RF-Signal reflektierenden Objektes typischerweise in Form von einem Höhenwinkel, einem Seitenwinkel und einer Entfernung bestimmen.
-
Alternativ kann für den Fall, dass die primäre Sensoreinrichtung einen Lidarsensor umfasst, von einem Sender des Lidarsensors ein Lichtsignal gesendet. Das Lichtsignal wird an einem im Umfeld des Fahrzeugs befindlichen Objekt zurückgestreut bzw. reflektiert und propagiert zu einem Empfänger des Lidarsensors zurück. Die Zeitdauer, in der das Lichtsignal zwischen dem Sende- und Empfangszeitpunkt ausgebreitet ist, ist ebenfalls als Flugzeit bekannt. Aus der Flugzeit lässt sich die ebenfalls Positionsdaten von erfassten Objekten bestimmen.
-
Derartige Positionsdaten sind ein wesentlicher Bestandteil der ersten Umfelddaten. Zusätzlich lässt sich zumindest für den Fall, dass ein Radarsensor verwendet wird, basierend auf dem Doppler-Effekt die Geschwindigkeit, mit der sich das erfasste Objekt bewegt, berechnen. Für den Fall, dass ein Lidarsensor verwendet wird, können aufgrund der Intensitätsverteilung des reflektierten Lichtsignals zusätzliche Informationen (Attribute) in den ersten Umfelddaten berücksichtigt werden.
-
Die sekundäre Sensoreinrichtung ist beispielsweise eine Kamera, etwa eine RGB-Kamera, eine Stereokamera und/oder eine Rundblickkamera (Engl.: Surroundview Camera) sein. Die sekundäre Sensoreinrichtung ist vorzugsweise dazu ausgebildet, eine Oberflächentextur (z.B. Farbe, Oberflächennormale, Rauheit) von erfassten Objekten zu detektieren. Die Oberflächentextur wird von der Auswerteeinheit analysiert, woraus Materialklassendaten extrahiert werden. Die Materialklassendaten beinhalten eine oder mehrere Materialklassen der von der sekundären Sensoreinrichtung erfassten Objekte. Die Materialklassendaten werden schließlich mit den ersten Umfelddaten zu einem gemeinsamen Datensatz kombiniert.
-
Die primäre und/oder sekundäre Sensoreinrichtung sind vorzugsweise am Fahrzeug angebracht, sodass eine laufende Umfelderfassung beim Bewegen des Fahrzeugs ermöglicht ist. Alternativ kann die primäre und/oder die sekundäre Sensoreinrichtung an einem anderen Ort mobil oder stationär angeordnet sein. Die Kommunikation zwischen der primären und/oder sekundären Sensoreinrichtung und der erfindungsgemäßen Vorrichtung kann drahtlos, etwa über BlueTooth, Infrarot, Nahfeld-Kommunikation (Engl.: NFC), Funk, Internet, Intranet, Cloud-Systeme, Blockchain-Systeme, 4G-Kommunikationsnetzwerke, 5G-Kommunikationsnetzwerke und/oder verdrahtete Systeme erfolgen.
-
Gegenüber den punktuellen Informationen, die die primäre Sensoreinrichtung wie Radar- oder Lidarsensor erzeugt, die erst bei einem Gruppenzuordnungsverfahren (Engl.: Clustering) zueinander in Korrelation gebracht werden, können mehr Zusammenhänge zwischen den einzelnen Bildpunkten in den zweiten Umfelddaten ohne aufwändige Datenprozessierung detektiert werden. Insbesondere kann von den Oberflächentexturinformationen, die aus den zweiten Umfelddaten zu extrahieren sind, profitiert werden. Die zweiten Umfelddaten werden somit zur Optimierung bzw. Verifizierung der Objekterkennung mittels der ersten Umfelddaten verwendet. Die Objekterkennung beruht daher auf einem umfangreicheren Informationsgehalt der erfassten Objekte, was die Zuverlässigkeit der Objekterkennung erhöht.
-
Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den Unteransprüchen angegeben.
-
Gemäß einer Ausführungsform umfassen die zweiten Umfelddaten eine Mehrzahl von Bildpunkten, wobei jedem der Bildpunkte eine zugehörige Materialklasse zugeordnet ist.
-
Die Bildpunkte sind beispielsweise Pixel und/oder Voxel. Auf diese Weise können die zweiten Umfelddaten mit besonders hohem Auflösungsvermögen erzeugt werden. Dies erhöht die Zuverlässigkeit der Objekterkennung.
-
Gemäß einer weiteren Ausführungsform umfasst das Extrahieren der Materialklassendaten Ermitteln eines Reflexionswertes.
-
Vorzugsweise kann für jeden Bildpunkt ein zugehöriger Reflexionswert aus den zweiten Umfelddaten ermittelt werden. Die Reflexionseigenschaften von einer Vielzahl von gängigen Objekten, die sich in einem typischen Umfeld eines Fahrzeugs befinden, sind mit hoher Genauigkeit messbar. Anhand des Reflexionswertes kann auf eine bestimmte Materialklasse geschlossen werden. Somit ist die Objekterkennung besonders genau.
-
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ferner Extrahieren von dreidimensionalen Positionsdaten aus den ersten Umfelddaten.
-
Die dreidimensionalen Positionsdaten können dazu bestimmt sein, um hieraus dreidimensionale Punktwolken (Engl.: 3D Point Cloud) zu generieren. In diesem Fall enthalten die dreidimensionalen Positionsdaten selbst keine dreidimensionalen Punktwolken. Es handelt sich bei diesen dreidimensionalen Positionsdaten daher um Ursprundsdaten bzw. Rohdaten. Alternativ können die dreidimensionalen Positionsdaten in Form von 3D-Punktwolken vorliegen, die sich aus einer Weiterprozessierung der Ursprunds- bzw. Rohdaten ergeben. Vorzugsweise findet ein Selektionsprozess in der Weiterprozessierung der Ursprungs- bzw. Rohdaten statt: Hierzu wird in einer Häufigkeitsverteilung (z.B. Histogramm) bezüglich Position eines erfassten Objektes die Position mit dem höchsten Häufigkeitswert, der im Beispiel eines Lidarsensors durch die Intensität des reflektierten Lichtsignals messbar ist, ausgewählt und Intensitätsdaten betreffend andere Positionen weggefiltert.
-
Gemäß einer weiteren Ausführungsform umfasst das Verfahren ferner Kombinieren der dreidimensionalen Positionsdaten mit den extrahierten Materialklassendaten.
-
Diese Maßnahme ermöglicht eine schnellere Prozessierung und verringert bzw. vermeidet einen Zeitversatz zwischen den Vorprozessierungen der ersten und zweiten Umfelddaten vor der Datenzusammenführung. Für den Fall, die dreidimensionalen Positionsdaten Ursprungs- bzw. Rohdaten sind, werden die Materialklassendaten vor dem obigen Selektionsprozess, der zur Generierung einer Punktwolke dient, mit den Positionsdaten kombiniert bzw. zusammengeführt. Dies verringert den Informationsverlust beim Zusammenführen der Umfelddaten. Für den Fall, dass die dreidimensionalen Positionsdaten in Form von dreidimensionalen Punktwolken vorliegen, werden die Materialklassendaten nach dem obigen Selektionsprozess mit den Positionsdaten kombiniert bzw. zusammengeführt. Alternativ oder zusätzlich werden die Materialklassendaten eines Bildpunktes (Pixel) mit zugehörigen zweidimensionalen Positionsdaten mit denjenigen dreidimensionalen Positionsdaten kombiniert, die diesem Bildpunkt zuzuordnen sind. Dies bedeutet, dass die dreidimensionalen Positionsdaten beinhalten die gleichen zweidimensionalen Positionsdaten wie die des Bildpunktes.
-
Gemäß einer weiteren Ausführungsform weist die primäre Sensoreinrichtung eine fusionierte Sensoreinrichtung umfassend einen Radarsensor und einen Lidarsensor auf.
-
Diese Maßnahme erweitert die der Objekterkennung zugrundeliegenden Informationen, insbesondere der Positionsdaten und zugehörigen Attribute. Die Genauigkeit der Objekterkennung wird weiter erhöht. Alternativ oder zusätzlich umfasst das Verfahren ferner Erhalten von Wärmedaten, die eine Wärmekamera beim Erfassen des Umfelds des Fahrzeugs erzeugt. Hierdurch werden die der Objekterkennung zugrundeliegenden Informationen bzw. Attribute ferner erweitert.
-
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit denen die Verfahrensschritte des erfindungsgemäßen Verfahrens ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
-
Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Beispiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbegriff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung.
-
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt den oben beschriebenen erfinderischen technischen Effekt hervor.
-
Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden. Bevorzugt wird das Computerprogrammprodukt auf einer erfindungsgemäßen Auswertevorrichtung zum Erfassen des Umfelds des Fahrzeugs ausgeführt.
-
Die Softwarecodeabschnitte sind in einer beliebigen Programmiersprache geschrieben, zum Beispiel in Python, Java, JavaScript, C, C++, C#, Matlab, LabView, Objective C.
-
Das computerlesbare Speichermedium ist beispielsweise ein elektronisches, magnetisches, optisches oder magneto-optisches Speichermedium.
-
Das Datenträgersignal ist ein Signal, welches das Computer-Programm-Produkt von einem Speichermedium, auf dem das Computer-Programm-Produkt gespeichert ist, auf eine andere Entität, beispielsweise ein anderes Speichermedium, einen Server, ein Cloud-System oder eine Daten verarbeitende Einrichtung, überträgt.
-
Ausführungsformen werden nun beispielhaft und unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Es zeigen:
- 1 eine schematische Darstellung einer Vorrichtung zur Objekterkennung in einem Umfeld eines Fahrzeugs gemäß einer Ausführungsform; und
- 2 eine schematische Darstellung eines Passanten auf einem Fußgängerüberweg innerhalb eines Erfassungsbereichs einer ersten und zweiten Sensoreinrichtung.
-
In den Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder funktionsähnliche Bezugsteile. In den einzelnen Figuren sind die jeweils relevanten Bezugsteile gekennzeichnet.
-
1 zeigt eine schematische Darstellung einer Vorrichtung 10 zur Objekterkennung in einem Umfeld 60 eines Fahrzeugs 50 (siehe 2). Die Vorrichtung 10 umfasst einen ersten Dateneingang 12 zum Erhalten von ersten Umfelddaten, die eine primäre Sensoreinrichtung 20 beim Erfassen des Umfelds 60 des Fahrzeugs 50 erzeugt. Die primäre Sensoreinrichtung 20 ist vorzugsweise ein Radarsensor, ein Lidarsensor oder eine kombinierte Sensorik bestehend aus einem Radaranteil und einem Lidaranteil. Die primäre Sensoreinrichtung 20 kann, wie in 2 beispielhaft und rein schematisch gezeigt, am Fahrzeug 50 angeordnet sein. Die primäre Sensoreinrichtung 20 hat einen ersten Erfassungsbereich 22, der in 2 ebenfalls rein schematisch dargestellt ist.
-
Die Vorrichtung 10 umfasst außerdem einen zweiten Dateneingang 14 zum Erhalten von zweiten Umfelddaten, die eine sekundäre Sensoreinrichtung 30 beim Erfassen des Umfelds 60 des Fahrzeugs 50 erzeugt. Die sekundäre Sensoreinrichtung 30 ist vorzugsweise eine Kamera, insbesondere eine RGB-Kamera. Die sekundäre Sensoreinrichtung 30 kann, wie in 2 beispielhaft und rein schematisch gezeigt, am Fahrzeug 50 angeordnet sein, wobei hier die relative Position zwischen der primären und sekundären Sensoreinrichtung 20, 30 rein beispielshaft und den Gegenstand der vorliegenden Erfindung keinesfalls einschränkt. Die sekundäre Sensoreinrichtung 30 hat einen zweiten Erfassungsbereich 32, der in 2 ebenfalls rein schematisch dargestellt ist.
-
Zusätzlich zur primären und sekundären Sensoreinrichtung 20, 30 kann eine weitere Sensoreinrichtung, etwa eine Wärmekamera, verwendet werden, die das Umfeld 60 des Fahrzeugs 50 erfasst und dritte Umfelddaten hierbei generiert. Im Fall einer Wärmekamera umfassen die dritten Umfelddaten Wärmedaten der im Umfeld 60 befindlichen Objekte.
-
Die Vorrichtung 10 umfasst ferner eine Auswerteeinheit 16 zum Extrahieren von Materialklassendaten aus den zweiten Umfelddaten. Die Auswerteeinheit 16 ist außerdem dazu ausgebildet, die ersten Umfelddaten mit den extrahierten Materialklassendaten wie oben näher beschrieben zu kombinieren.
-
Wie in 2 schematisch gezeigt, überquert ein Passant 62 eine Straße über einen Fußgängerüberweg 64. Sowohl der Passant 62 als auch der Fußgängerüberweg 64 fallen in den ersten und zweiten Erfassungsbereich 22, 32 der primären bzw. sekundären Sensoreinrichtung 20, 30. Die Auswerteeinheit 16 kann aus den ersten und/oder zweiten Umfelddaten eine Rasterkarte 34 mit mehreren Rasterelementen 36 erzeugen. Jedes Rasterelement 36 entspricht einem Raum- bzw. Flächenelement des Umfelds 60. Auf diese Weise ist dem Passanten 62 und dem Fußgängerüberweg 64 jeweils ein oder mehrere Rasterelemente 36 zugeordnet.
-
Jedem der Rasterelemente 36 können mehrere Attribute zugeordnet werden, beispielsweise zwei- oder dreidimensionale Positionsdaten, Orientierungsdaten, Farbe, Höhe, (Seiten- oder Höhen) Winkel, Geschwindigkeit, ... usw. Die Auswerteeinheit 16 kann aus den zweiten Umfelddaten Materialklassendaten extrahieren. Vorzugsweise werden jedem der Rasterelemente 36 ein Reflexionswert berechnet, der sich auf die Reflektivität des dem jeweiligen Rasterelement 36 zugeordneten Oberflächenelementes im realen Umfeld 60 bezieht. Der Reflexionswert bzw. die Reflexionswerte können aus den zweiten Umfelddaten der sekundären Sensoreinrichtung 30 extrahiert werden. Basierend auf dem Reflexionswert des jeweiligen Rasterelementes 36 wird diesem Rasterelement 36 eine bestimmte Materialklasse zugewiesen. Dies erfolgt beispielsweise auf Basis einer Tabelle (Engl.: Look-up Table), in der jeder von mehreren vordefinierten Materialklassen ein vorbestimmter Reflexionswert oder ein vorbestimmter Reflexionswertbereich zugeordnet ist.
-
Vorzugsweise kann für den Fall, dass zwei verschiedenen Materialklassen zugeordnete Reflexionswerte gleich sind oder sich zwei verschiedenen Materialklassen zugeordnete Reflexionswertebereiche überschneiden, die Auswerteeinheit 16 eine weitere Information bzw. ein weiteres Attribut aus den ersten oder zweiten Umfelddaten, etwa die Farbinformation, bei der Zuordnung der Materialklassen berücksichtigen.
-
Bezugszeichenliste
-
- 10
- Steuervorrichtung
- 12
- erster Dateneingang
- 14
- zweiter Dateneingang
- 16
- Auswerteeinheit
- 18
- Signalausgang
- 20
- primäre Sensoreinrichtung
- 22
- erster Erfassungsbereich
- 30
- sekundäre Sensoreinrichtung
- 32
- zweiter Erfassungsbereich
- 34
- Rasterkarte
- 36
- Rasterelement
- 40
- Wärmekamera
- 50
- Fahrzeug
- 60
- Umfeld
- 62
- Passant
- 64
- Fußgängerüberweg
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102018115265 A1 [0003]
