-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft das Gebiet der autonom oder teilautonom fahrenden Fahrzeuge. Insbesondere betrifft die vorliegende Erfindung ein Signalverarbeitungsverfahren zur ereignisbasierten Objekterkennung in einem Umfeld eines Fahrzeugs.
-
TECHNISCHER HINTERGRUND
-
Bei autonom oder teilautonom fahrenden Fahrzeugen werden Sensoren, etwa Umfeldsensoren, dazu eingesetzt, um das Umfeld des Fahrzeugs zu erfassen. Die daraus gewonnenen Umfelddaten werden dazu verarbeitet, um Steuersignale zur Ansteuerung des Fahrzeugs zwecks Ausführung einer vordefinierten Fahrroute oder Vermeidung von drohenden Gefahren erzeugen. Hierzu dient ein Signalverarbeitungsverfahren zum Auswerten der gewonnenen Umfelddaten.
-
Die aus dem Stand der Technik bekannten Verfahren sind jedoch mit Nachteilen behaftet. Beispielsweise nimmt das Auswerten der Umfelddaten zu viel Rechen- und Speicherkapazität in Anspruch, sodass bei begrenzter Kapazität die Datenverarbeitungsrate und die Genauigkeit des Verarbeitungsresultats beschränkt sind.
-
WO 2015/ 009 221 A1 betrifft Verfahren und Sensoren in Fahrzeugen, um die Fähigkeit eines Fahrzeugfahrers zu verbessern ein Objekt wahrzunehmen, das auf der Fahrbahn erscheint. Genauer gesagt beschreibt die Erfindung einen Mechanismus zum Übertragen von Informationen, die einem Objekt zugeordnet sind, das von einem ersten Sensor in einem ersten Fahrzeug erfasst wird, zu einem zweiten Sensor in einem zweiten Fahrzeug.
-
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, den Rechen- und Speicheraufwand hinsichtlich Auswertung von Umfelddaten zu reduzieren.
-
Die Aufgabe wird gelöst durch ein Signalverarbeitungsverfahren, ein Computer-Programm-Produkt, ein computerlesbares Speichermedium sowie ein Datenträgersignal gemäß den unabhängigen Ansprüchen.
-
Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den Unteransprüchen angegeben.
-
Beim Ausführen des erfindungsgemäßen Signalverarbeitungsverfahrens zur Objekterkennung in einem Umfeld eines Fahrzeugs wird zunächst ein kodiertes Pixelsignal, welches von einem ersten Umfeldsensor erzeugt ist, an einen zweiten Umfeldsensor gesendet. Der erste Umfeldsensor ist an einem ersten Fahrzeug angebracht. Der zweite Umfeldsensor ist an einem in der Umgebung des ersten Fahrzeugs befindlichen zweiten Fahrzeug angebracht. Das kodierte Pixelsignal enthält mehrere Pixel bzw. Bildpunkte, welche der erste Umfeldsensor in einer aktuellen Signalzirpe erzeugt hat. Das Kodieren des Pixelsignals basiert auf einem auf dem Gebiet der Bildverarbeitung bekannten Kodierverfahren.
-
Das kodierte Pixelsignal wird in einer Bildebene des zweitens Umfeldsensors empfangen. Wenn es bei den Umfeldsensoren bspw. um Kameras (etwa CCD-Kameras) handelt, enthält die Bildebene eine Matrix von Pixeln, die jeweils einen Lichtdetektor aufweisen. Die Lichtdetektoren sind in der Lage, die Intensität und/oder eine weitere optische Eigenschaft des in den einzelnen Pixeln eintretenden Lichts zu detektieren.
-
Der zweite Umfeldsensoren empfängt im Laufe der Zeit eine Reihe von Signalzirpen. Aus der aktuellen Signalzirpe wird ein Teilpixelsignal extrahiert, dessen Pixel eine Veränderung gegenüber einer zuvor empfangenen Signalzirpe aufweist. Dies ist mit Hilfe einer sogenannten ereignis-basierte Analyse (Engl.: event-based analysis) vorzunehmen. Beispielsweise hat sich in mehreren Pixeln, die einen Teil der in der gesamten Bildebene des zweiten Umfeldsensors angeordneten Pixel ausmachen, die Intensität gegenüber der letzten Signalzirpe verändert. Dieser Teil der Pixel bilden das Teilpixelsignal. Dies deutet auf eine Veränderung des Umfelds des zweiten Fahrzeugs, insbesondere eine Relativbewegung zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug hin.
-
Hierbei wird erfindungsgemäß das Teilpixelsignal aus einem vordefinierten Bereich der Bildebene extrahiert, in dem das kodierte Pixelsignal als kollimierter Lichtstrahl empfangen wird. Das kodierte Pixelsignal ist ein Lichtstrahl, der im Raum zwischen dem ersten und dem zweiten Fahrzeug propagiert, nachdem das kodierte Pixelsignal vom ersten Umfeldsensor erzeugt und ausgesendet wurde. Der gesamte Lichtstrahl umfasst einen Anteil, der sich als kollimierter Lichtstrahl ausbreitet. Dieser Anteil bzw. der kollimierter Lichtstrahl befindet sich in einem vordefinierten Bereich, der in der Regel einen zylindrischen Raum umfasst, dessen Zylinderachse eine optische Achse des ersten Umfeldsensors ist.
-
Dieser Bereich des kollimierten Lichtstrahls kann dadurch vordefiniert werden, dass für die aktuelle Signalzirpe ein Kernbereich der Bildebene mit einer vergleichsweise höheren Lichteinfallsintensität ermittelt wird. Die Lichteinfallsintensität fällt normalerweise von der optischen Achse des ersten Umfeldsensors nach außen ab. Der nichtkollimierte Anteil des kodierten Lichtstrahls hat daher eine geringere Intensität als der kollimierte Anteil. Es kann ein Schwellenwert (etwa ein Prozentsatz) festgelegt werden, um den die Lichtintensität ausgehend von ihrem Wert im Zentrum (d.h. der optischen Achse des ersten Umfeldsensors) gesunken ist. Der Schwellenwert „markiert“ somit den Kernbereich bzw. den o. g. vordefinierten Bereich des kollimierten Lichtstrahls.
-
Alternativ kann ein Schwellenwert (etwa ein Prozentsatz) festgelegt werden, um den die in der Bildebene registrierte Lichtintensität innerhalb einer vordefinierten Anzahl von benachbarten Pixeln gesunken ist. Die benachbarten Pixel markieren somit den vordefinierten Bereich des kollimierten Lichtstrahls.
-
Dieses extrahierten Teilpixelsignals wird zur Dekodierung ausgegeben, etwa an ein Steuergerät, welches im zweiten Fahrzeug oder außerhalb des zweiten Fahrzeugs angeordnet sein kann. Basierend auf dem dekodierten Teilpixelsignal kann eine Objektliste erzeugt werden, die die Position/Orientierung eines oder mehrerer in dem Teilpixelsignal enthaltenen Objekte beschreiben.
-
Mit dieser Maßnahme ist nur das extrahierte Teilpixelsignal zur Dekodierung weiterzuprozessieren. Somit wird die zur Auswertung des Sensorsignals bzw. des Pixelsignals benötigte Rechen- und Speicherkapazität reduziert. Damit einhergehend kann die Anzahl der pro Zeiteinheit verarbeiteten Signalzirpen erhöht werden. Die Auswertung der Sensordaten ist daher effizienter und zuverlässiger.
-
Der erste Umfeldsensor kann eine Leuchtdiode zum Erzeugen des Lichtstrahls und ein Objektiv zum Kollimieren des erzeugten Lichtstrahls auf. Das Objektiv weist eine vertikale Abmessung auf, wobei das Teilpixelsignal innerhalb der vertikalen Abmessung des Objektivs extrahiert wird. Dies entspricht dem Bereich, in dem das kodierte Pixelsignal als kollimierter Lichtstrahl empfangen wird. Dies hat den Vorteil, dass der vordefinierte Bereich mit sehr geringem Rechenaufwand bestimmbar ist, etwa durch Zugriff auf Herstellungsdaten des Objektivs bzw. des ersten Umfeldsensors, die die vertikale Abmessung des Objektivs enthalten.
-
Der erste Umfeldsensor kann an einer Rückseite des ersten Fahrzeugs angebracht sein, wobei der zweite Umfeldsensor an einer Vorderseite des zweiten Fahrzeugs angebracht ist. Dies ermöglicht eine verbesserte Detektierbarkeit des kodierten Pixelsignals des ersten Umfeldsensors durch den zweiten Umfeldsensor.
-
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit denen die Verfahrensschritte des erfindungsgemäßen Verfahrens ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
-
Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Beispiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbegriff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung.
-
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt den oben beschriebenen erfinderischen technischen Effekt hervor.
-
Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden. Bevorzugt wird das Computerprogrammprodukt auf einer erfindungsgemäßen Auswertevorrichtung zum Erfassen des Umfelds des Fahrzeugs ausgeführt.
-
Die Softwarecodeabschnitte sind in einer beliebigen Programmiersprache geschrieben, zum Beispiel in Python, Java, JavaScript, C, C++, C#, Matlab, LabView, Objective C.
-
Das computerlesbare Speichermedium ist beispielsweise ein elektronisches, magnetisches, optisches oder magneto-optisches Speichermedium.
-
Das Datenträgersignal ist ein Signal, welches das Computer-Programm-Produkt von einem Speichermedium, auf dem das Computer-Programm-Produkt gespeichert ist, auf eine andere Entität, beispielsweise ein anderes Speichermedium, einen Server, ein Cloud-System, ein drahtloses Kommunikationssystem der 4G/5G oder eine Daten verarbeitende Einrichtung, überträgt.
-
Ausführungsformen werden nun beispielhaft und unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Es zeigen:
- 1 eine schematische Darstellung eines Signalverarbeitungsverfahrens gemäß einer Ausführungsform;
- 2 eine schematische Darstellung eines ersten Umfeldsensors, der an einem ersten Fahrzeug angebracht ist, und eines zweiten Umfeldsensors, der an einem im Umfeld des ersten Fahrzeugs befindlichen zweiten Fahrzeugs angebracht ist, wobei die Umfeldsensoren dazu ausgebildet sind, das in 1 gezeigte Signalverarbeitungsverfahren auszuführen; und
- 3 eine schematische Darstellung einer Bildebene des zweiten Umfeldsensors aus 2, wobei die Bildebene mehrere Pixel enthält.
-
1 zeigt eine schematische Darstellung eines Signalverarbeitungsverfahrens zur Objekterkennung in einem Fahrzeugumfeld gemäß einer Ausführungsform. In einem Verfahrensschritt S1 wird ein kodiertes Pixelsignal 202 (in 1 durch einen Pfeil angedeutet) umfassend mehrere Pixel einer aktuellen Signalzirpe von einem ersten Umfeldsensor 20 an einen zweiten Umfeldsensor 22 gesendet. Obwohl das kodierte Pixelsignal 202 in 1 als Pfeil gezeigt ist, handelt es sich hierbei um einen Lichtstrahl mit einer endlichen Querschnittsfläche senkrecht zur Ausbreitungsrichtung des Lichts. Der erste Umfeldsensor 20 ist an einem ersten Fahrzeug 30 angebracht, wobei der zweite Umfeldsensor 22 an einem zweiten Fahrzeug 32 angebracht ist (siehe 2). Das erste Fahrzeug 30 und das zweite Fahrzeug 32 fahren beispielsweise auf einer Straße 40, wobei sich das erste Fahrzeug 30 in einem Umfeld des zweiten Fahrzeugs 32 befindet. Wie in 2 näher gezeigt ist der erste Umfeldsensor 20, der vorzugsweise eine Kamera ist, an einer Rückseite 302 des ersten Fahrzeugs 30 angeordnet. Der zweite Umfeldsensor 30 ist vorzugsweise eine Kamera und an einer Vorderseite 322 des zweiten Fahrzeugs 32 angeordnet, die der Rückseite 302 des ersten Fahrzeugs 30 zugewandt ist.
-
In einem weiteren Verfahrensschritt S2 wird das kodierte Pixelsignal 202 in einer Bildebene 222 des zweitens Umfeldsensors 32 empfangen. In 3 ist die Bildebene 222 schematisch gezeigt, die eine Matrix von Bildpunkten bzw. Pixeln 224 umfasst. Jedem Pixel 224 ist vorzugsweise ein Lichtdetektor des zweiten Umfeldsensors 32 zugeordnet, wobei die Lichtdetektoren eine optische Eigenschaft, vorzugsweise die Intensität, des kodierten Pixelsignals 202 detektieren.
-
In einem weiteren Verfahrensschritt S3 wird ein Teilpixelsignal aus der aktuellen Signalzirpe extrahiert, dessen Pixel eine Veränderung gegenüber einer zuvor empfangenen Signalzirpe aufweist. Hierbei wird das Teilpixelsignal aus den Pixeln 224 innerhalb eines Bereichs 226 der Bildebene 222 extrahiert, in dem das kodierte Pixelsignal 202 als kollimierter Lichtstrahl empfangen wird. In 3 ist dieser Bereich 226 schematisch gezeigt, und zwar als mit einer ersten Schraffur versehene quadratische Elemente. Der Bereich 226 ist, wie in 3 beispielhaft gezeigt, ein mittlerer Bereich der Bildebene 222, der sich über die gesamte Breite der Bildebene 222 erstreckt. Die Begrenzung dieses Bereichs 226 kann mit einem der eingangs erläuterten Methoden bestimmt werden. Beispielsweise entspricht die Obergrenze und die Untergrenze dieses Bereichs 226 einer vertikalen Abmessung eines Objektivs (insbesondere einer Linse) des ersten Umfeldsensors 20. Hierdurch wird erreicht, dass das kodierte Pixelsignal 202 im Bereich 226 als kollimierter Lichtstrahl empfangen wird.
-
In 3 sind mehrere quadratische Elemente innerhalb des Bereichs 226 (Kernbereich) mit einer zweiten Schraffur versehen. Dieser Unterbereich 228 bezieht sich auf diejenigen Pixel 224 der aktuellen Signalzirpe, die sich gegenüber einer vorherigen Signalzirpe, etwa der zuletzt empfangenen Signalzirpe, verändert haben. Der in diesem Unterbereich 228 der Bildebene 222 empfangene Anteil des kodierten Pixelsignals 202 bildet das Teilpixelsignal, welches zur Dekodierung extrahiert und ausgegeben wird.
-
In den Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder funktionsähnliche Bezugsteile. In den einzelnen Figuren sind die jeweils relevanten Bezugsteile gekennzeichnet.
-
Bezugszeichenliste
-
- 20
- erster Umfeldsensor
- 202
- kodiertes Pixelsignal
- 22
- zweiter Umfeldsensor
- 222
- Bildebene
- 224
- Pixel
- 226
- Kernbereich
- 228
- Unterbereich
- 30
- erstes Fahrzeug
- 302
- Rückseite
- 32
- zweites Fahrzeug
- 322
- Vorderseite
- 40
- Straße
- S1-S4
- Verfahrensschritte
