-
Die Erfindung betrifft ein Verfahren zum Auswerten von mehreren Bildern einer Umgebung eines Kraftfahrzeugs. Außerdem betrifft die Erfindung eine Steuereinrichtung zum Auswerten von mehreren Bildern einer Umgebung eines Kraftfahrzeugs, ein Fahrerassistenzsystem mit einer solchen Steuereinrichtung sowie ein computerlesbares Medium.
-
Kraftfahrzeuge können Kamerasysteme aufweisen, welche eine Umgebung des Kraftfahrzeugs erfassen. Diese Bilder der Umgebung können anschließend durch das Kraftfahrzeug ausgewertet werden. Ziel dieser Auswertung ist es beispielsweise, fahrzeugexterne Objekte in der Umgebung des Kraftfahrzeugs zu erkennen. Derartige Informationen können beispielsweise durch ein Fahrerassistenzsystem des Kraftfahrzeugs zum Bereitstellen einer Fahrerassistenzfunktion genutzt werden. Bei der Fahrerassistenzfunktion kann es sich um eine Abstandstempomatfunktion, eine Notbremsfunktion, eine Spurhaltefunktion und/oder eine beliebige andere Fahrerassistenzfunktion handeln. Die genannte Information betrifft insbesondere zumindest teilweise ein fahrzeugexternes Objekt in der Umgebung des Kraftfahrzeugs, vorteilhafterweise eine Position des fahrzeugexternen Objekts in der Umgebung. Die Fahrerassistenzfunktion kann durch das Fahrerassistenzsystem zumindest teilweise basierend auf der Information betreffend das fahrzeugexterne Objekt bereitgestellt werden.
-
Mehrere Bilder der Umgebung können als Bildfolge, beispielsweise als Video, erfasst werden. Dabei kann das fahrzeugexterne Objekt über mehrere Bilder der Bildfolge hinweg bestimmt werden. Zur Reduzierung statistischer Fehler offenbart die
US 7 046 822 B1 die Anwendung eines Kalman-Filters zur Rauschunterdrückung. Die
US 2017/0 103 258 A1 offenbart das Abgleichen zweier Bilder einer Bildfolge mittels eines Kalman-Filters.
-
Es ist Aufgabe der vorliegenden Erfindung, eine verbesserte Erfassung von Objekten anhand von Bildern eines Bildgebungssystems eines Kraftfahrzeugs zu ermöglichen.
-
Diese Aufgabe wird erfindungsgemäße gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Auswerten von mehreren Bildern einer Umgebung eines Kraftfahrzeugs, mit den folgenden Schritten:
- - Empfangen zumindest eines ersten und eines zweiten Bildes der Umgebung aus einer Bilderfassungseinheit des Kraftfahrzeugs, wobei das erste und das zweite Bild zeitlich aufeinander folgend aufgenommen werden und das erste Bild die Umgebung zu einem ersten Zeitpunkt und das zweite Bild die Umgebung zu einem zweiten Zeitpunkt repräsentiert.
- - Bestimmen eines fahrzeugexternen Objekts in dem ersten und dem zweiten Bild, wobei das erste und das zweite Bild zum Bestimmen des fahrzeugexternen Objekts jeweils einzeln ausgewertet werden,
- - Bestimmen einer ersten Position des fahrzeugexternen Objekts für den ersten Zeitpunkt anhand des ersten Bildes und einer zweiten Position des fahrzeugexternen Objekts für den zweiten Zeitpunkt anhand des zweiten Bildes, und
- - Prognostizieren einer dritten Position des fahrzeugexternen Objekts für einen von dem ersten und dem zweiten Zeitpunkt unterschiedlichen dritten Zeitpunkt ausschließlich mittels eines Kalman-Filters basierend auf der ersten Position für den ersten Zeitpunkt und der zweiten Position für den zweiten Zeitpunkt.
-
Die Bilderfassungseinheit des Kraftfahrzeugs kann zumindest eine Kamera, zumindest einen Radarsensor, zumindest einen Lidar-Sensor, zumindest einen Ultraschallsensor oder einen beliebigen anderen bildgebenden Sensor aufweisen. Dementsprechend kann es sich bei dem ersten und dem zweiten Bild um ein entsprechendes Bild aus dem jeweiligen Sensor handeln. Vorteilhafterweise handelt es sich bei dem ersten und dem zweiten Bild jeweils um ein Kamerabild. Der erste Zeitpunkt und der zweite Zeitpunkt sind jeweils unterschiedliche Zeitpunkte. Insbesondere werden das erste Bild und das zweite Bild aus demselben Sensor, insbesondere derselben Kamera, der Bilderfassungseinheit des Kraftfahrzeugs empfangen. Beispielsweise werden das erste Bild und das zweite Bild aus einer bezogen auf das Kraftfahrzeug nach vorne gerichteten Kamera, einer nach hinten gerichteten Kamera oder einer seitwärts gerichteten Kamera der Bilderfassungseinheit des Kraftfahrzeugs empfangen.
-
Durch das erste Bild und das zweite Bild der Umgebung kann das fahrzeugexterne Objekt erfasst werden. Mit anderen Worten wird eine Repräsentation des fahrzeugexternen Objekts in dem ersten und dem zweiten Bild erfasst. Das Objekt beziehungsweise dessen Repräsentation kann in dem ersten und dem zweiten Bild jeweils unabhängig voneinander bestimmt werden. Beispielsweise werden das erste Bild und das zweite Bild jeweils unabhängig voneinander ausgewertet, um das fahrzeugexterne Objekt in dem jeweiligen Bild zu erfassen beziehungsweise die Repräsentation des fahrzeugexternen Objekts in dem jeweiligen Bild zu bestimmen.
-
Beim Bestimmen der jeweiligen Position des fahrzeugexternen Objekts in dem jeweiligen Bild der Umgebung kann ermittelt werden, in welcher Position das fahrzeugexterne Objekt durch das jeweilige Bild dargestellt wird. Beispielsweise wird eine Position der Repräsentation des fahrzeugexternen Objekts in dem jeweiligen Bild bestimmt und daraus die Position des fahrzeugexternen Objekts abgeleitet. Eine zusätzliche Eingangsgröße beim Bestimmen der ersten beziehungsweise der zweiten Position kann eine jeweilige Kameraposition sein. Anhand des ersten Bilds und des zweiten Bilds wird somit eine jeweilige Position des fahrzeugexternen Objekts für zwei unterschiedliche Zeitpunkte, nämlich den ersten Zeitpunkt und den zweiten Zeitpunkt, bestimmt.
-
Anhand dieser jeweiligen Positionen für die zwei unterschiedlichen Zeitpunkte erfolgt nun das Prognostizieren der dritten Position des fahrzeugexternen Objekts für den dritten Zeitpunkt ausschließlich mittels des Kalman-Filters. Durch den Kalman-Filter kann somit eine Prognose erfolgen, wo sich das fahrzeugexterne Objekt zu dem dritten Zeitpunkt befinden wird. Insbesondere ist der dritte Zeitpunkt später als der erste Zeitpunkt und der zweite Zeitpunkt. Beispielsweise ist der zweite Zeitpunkt ein späterer Zeitpunkt als der erste Zeitpunkt. Beispielsweise ist der dritte Zeitpunkt ein späterer Zeitpunkt als der zweite Zeitpunkt. Insbesondere ist vorgesehen, dass die dritte Position des fahrzeugexternen Objekts für den dritten Zeitpunkt ausschließlich mittels des Kalman-Filters bestimmt wird und insbesondere nicht anhand eines zusätzlichen Bildes der Umgebung. Durch das Kalman-Filter kann im Rahmen des Prognostizierens eine Extrapolation der dritten Position des fahrzeugexternen Objekts ausgehend von der ersten und der zweiten Position vorgesehen sein. Auf diese Weise kann das Bestimmen der dritten Position des fahrzeugexternen Objekts für den dritten Zeitpunkt ausschließlich anhand des Kalman-Filters erfolgen, was besonders ressourcenschonend möglich ist. Auf diese Weise kann eine notwendige Rechenleistung zum Bestimmen der dritten Position des fahrzeugexternen Objekts (und zur Positionsbestimmung insgesamt) gegenüber dem Stand der Technik reduziert werden. Das hier offenbarte Konzept kann auch mit dem englischen Begriff „frame skipping“ bezeichnet werden.
-
Insbesondere zielt die vorliegende Erfindung nicht darauf ab, die dritte Position des fahrzeugexternen Objekts für Zeitpunkte zu prognostizieren, für welche keine Bilder der Umgebung vorliegen. Mit anderen Worten ist hierbei keine Bestimmung der Position mittels des Kalman-Filters für Zwischenzeitpunkte zwischen zwei Bildern vorgesehen, nach Art einer Zwischenbildberechnung.
-
Gemäß einer Weiterbildung ist vorgesehen, dass zusätzlich ein drittes Bild der Umgebung, welches die Umgebung zu dem dritten Zeitpunkt repräsentiert, empfangen wird und auf ein Bestimmen der dritten Position anhand des dritten Bildes der Umgebung verzichtet wird. Mit anderen Worten liegt für den ersten Zeitpunkt, den zweiten Zeitpunkt und den dritten Zeitpunkt jeweils ein Bild der Umgebung vor. Dennoch wird darauf verzichtet, die dritte Position des fahrzeugexternen Objekts für den dritten Zeitpunkt anhand des dritten Bildes der Umgebung zu bestimmen. Stattdessen wird das dritte Bild der Umgebung für das Bestimmen der dritten Position ignoriert und die dritte Position stattdessen allein anhand des Kalman-Filters aus den vorherigen Positionen, nämlich der ersten Position und der zweiten Position, bestimmt. Auf diese Weise kann die nötige Rechenleistung weiter verringert werden, da das dritte Bild der Umgebung nicht in Bezug auf die dritte Position ausgewertet werden muss. Statt einer Bestimmung der Position mittels des Kalman-Filters für Zwischenzeitpunkte zwischen zwei Bildern vorgesehen, nach Art einer Zwischenbildberechnung, ist somit vorgesehen, dass durch das Prognostizieren der Position des fahrzeugexternen Objekts für den dritten Zeitpunkt mittels des Kalman-Filters auf ein Bestimmen der dritten Position durch Auswerten des dritten Bildes verzichtet wird.
-
Gemäß einer Weiterbildung ist vorgesehen, dass das erste Bild, das zweite Bild und optional das dritte Bild mittels derselben Kamera der Bilderfassungseinheit aufgenommen werden. Auf diese Weise kann gewährleistet sein, dass das erste Bild, das zweite Bild und optional das dritte Bild die Umgebung des Kraftfahrzeugs bezogen auf das Kraftfahrzeug jeweils aus derselben Perspektive erfassen. Im Falle einer Bewegung des Kraftfahrzeugs ist die Perspektive in einem am Kraftfahrzeug festgelegten Koordinatensystem konstant. Auf diese Weise können die unterschiedlichen Bilder besonders einfach miteinander in einen Kontext gesetzt werden.
-
Gemäß einer Weiterbildung ist vorgesehen, dass das Bestimmen des fahrzeugexternen Objekts in dem ersten und dem zweiten Bild und/oder das Bestimmen der jeweiligen Position des fahrzeugexternen Objekts anhand des ersten und des zweiten Bildes durch ein künstliches neuronales Netz erfolgt. Das künstliche neuronale Netz kann darauf angelernt sein, die Repräsentation des fahrzeugexternen Objekts in dem jeweiligen Bild zu erkennen beziehungsweise zu bestimmen. Beispielsweise wird das künstliche neuronale Netz hierzu anhand von Testbildern angelernt. Die Testbilder können Bilder der Umgebung eines Kraftfahrzeugs sein, welche analog zu dem ersten Bild und dem zweiten Bild zu verstehen sind. In den Testbildern können das fahrzeugexterne Objekt beziehungsweise analog zu verstehende weitere fahrzeugexterne Objekte markiert sein. Beim Anlernen des künstlichen neuronalen Netzes kann dieses anhand der Testbilder lernen, also beispielsweise Vorwissen erzeugen, wie das fahrzeugexterne Objekt beziehungsweise dessen Repräsentation in dem ersten und dem zweiten Bild zu erkennen sind. in diesem Fall ist das Prognostizieren der dritten Position des fahrzeugexternen Objekts besonders vorteilhaft, da die Auswertung mittels des künstlichen neuronalen Netzes einen besonders hohen Rechenbedarf aufweist.
-
Gemäß einer Weiterbildung ist vorgesehen, dass das Bestimmen des fahrzeugexternen Objekts in dem ersten und dem zweiten Bild und/oder das Bestimmen der jeweiligen Position des fahrzeugexternen Objekts anhand des ersten und des zweiten Bildes zumindest teilweise durch das Auswerten früherer Bilder der Umgebung durch den Kalman-Filter erfolgt. Mit anderen Worten kann vorgesehen sein, dass die erste Position und/oder die zweite Position des fahrzeugexternen Objekts nicht ausschließlich anhand des jeweiligen Bildes (also des ersten Bildes beziehungsweise des zweiten Bildes) erfolgt sondern zusätzlich basierend auf den früheren Bildern anhand des Kalman-Filters. Mit anderen Worten kann das Bestimmen der ersten Position und/oder der zweiten Position des fahrzeugexternen Objekts mittels des Kalman-Filters optionaler Weise geglättet werden. Auf diese Weise können Fehler beim Bestimmen des fahrzeugexternen Objekts in dem ersten Bild beziehungsweise dem zweiten Bild verringert beziehungsweise ausgeglichen werden. Zusätzlich kann derselbe Kalman-Filter einem Doppelnutzen zugeführt werden, nämlich dem Glätten bei der Positionsbestimmung anhand der jeweiligen Bilder sowie zum Prognostizieren der dritten Position des fahrzeugexternen Objekts für den dritten Zeitpunkt.
-
Gemäß einer Weiterbildung ist vorgesehen, dass das erste und das zweite Bild Teilbilder (frames) einer Bildfolge sind und für Teilbilder der Bildfolge wiederholt, insbesondere periodisch, eine jeweilige Position des fahrzeugexternen Objekts ausschließlich mittels des Kalman-Filter bestimmt wird. Beispielsweise repräsentiert jedes Teilbild der Bildfolge die Umgebung zu einem jeweiligen Zeitpunkt. Für unterschiedliche Teilbilder der Bildfolge wird dann wiederholt, insbesondere periodisch, auf das Bestimmen der jeweiligen Position des fahrzeugexternen Objekts für den jeweiligen Zeitpunkt verzichtet.
-
Stattdessen wird für derartige Zeitpunkte die jeweilige Position des fahrzeugexternen Objekts wiederholt, insbesondere periodisch, ausschließlich mittels des Kalman-Filters bestimmt. Beispielsweise wird bei jedem N-ten Teilbild der Bildfolge auf das Bestimmen der jeweiligen Position des fahrzeugexternen Objekts anhand des jeweiligen Teilbilds verzichtet und für den entsprechenden Zeitpunkt stattdessen die jeweilige Position des fahrzeugexternen Objekts ausschließlich mittels des Kalman-Filters bestimmt. Insbesondere handelt es sich bei jedem N-ten Teilbild um jedes dritte, jedes vierte, jedes fünfte, jedes sechste oder jedes siebte Teilbild der Bildfolge. Alternativ ist vorgesehen, dass jeweils im Wechsel für zumindest zwei Teilbilder der Bildfolge die jeweilige Position des fahrzeugexternen Objekts anhand des jeweiligen Teilbilds bestimmt wird und anschließend für zwei oder mehr Bilder in Folge die jeweilige Position des fahrzeugexternen Objekts ausschließlich mittels des Kalman-Filters bestimmt wird. Dabei ist vorteilhafter Weise darauf zu achten, dass im Mittel für zumindest die Hälfte der Zeitpunkte die jeweilige Position des fahrzeugexternen Objekts zumindest teilweise anhand des jeweiligen Bildes bestimmt wird.
-
Gemäß einer Weiterbildung ist vorgesehen, dass anhand jeweiliger Positionen des fahrzeugexternen Objekts, welche anhand mehrerer der Teilbilder bestimmt werden, mittels des Kalman-Filters eine Bewegung des fahrzeugexternen Objekts in nachfolgenden Teilbildern prognostiziert wird und zum Plausibilisieren weiterer Positionen des fahrzeugexternen Objekts in den nachfolgenden Teilbildern genutzt wird. Mit anderen Worten kann die Position des fahrzeugexternen Objekts in nachfolgenden Teilbildern sowohl mittels des Kalman-Filters prognostiziert als auch in dem jeweiligen Teilbild selbst bestimmt werden. Die jeweiligen Werte für die Position des fahrzeugexternen Objekts aus dem Kalman-Filter und aus dem jeweiligen nachfolgenden Teilbild können dann zum Bestimmen der jeweiligen Position des fahrzeugexternen Objekts zusammengefasst werden. In besonders vorteilhaften Ausführungsformen ist vorgesehen, dass die Position des fahrzeugexternen Objekts für jedes der nachfolgenden Teilbilder mittels des Kalman-Filters bestimmt wird und nur für einen vorgegebenen Anteil der nachfolgenden Teilbilder die Position anhand des jeweiligen Teilbilds bestimmt wird. Insbesondere kann der vorgegebene Anteil an nachfolgenden Teilbildern dadurch vorgegeben sein, dass für die nachfolgenden Teilbilder wiederholt, insbesondere periodisch, die jeweilige Position des fahrzeugexternen Objekts ausschließlich mittels des Kalman-Filters bestimmt wird.
-
Gemäß einer Weiterbildung ist vorgesehen, dass die Bewegung des fahrzeugexternen Objekts mittels des Kalman-Filters weiterhin prognostiziert wird, wenn es in einem oder in mehreren der nachfolgenden Teilbilder der Bildfolge nicht erkannt wird. Mit anderen Worten kann die Bewegung des fahrzeugexternen Objekts auch dann weiter prognostiziert werden, wenn es in einem oder mehreren der nachfolgenden Teilbilder nicht erkannt wird beziehungsweise nicht erfasst wird. Auf diese Weise kann berücksichtigt werden, dass das fahrzeugexterne Objekt beispielsweise aufgrund eines Erfassungsfehlers in einem oder mehreren der nachfolgenden Teilbilder nicht erkannt wird. Dieser Erfassungsfehler kann dadurch ausgeglichen werden, dass die Bewegung des fahrzeugexternen Objekts mittels des Kalman-Filters dennoch prognostiziert wird. Auf diese Weise kann ein Sicherheitsniveau verbessert werden.
-
Gemäß einer Weiterbildung ist vorgesehen, dass dem fahrzeugexternen Objekt eine eindeutige Kennung zugeordnet wird und/oder das fahrzeugexterne Objekt in eine in eine von mehreren Objektklassen eingeteilt wird und abhängig davon das fahrzeugexterne Objekt mittels des Kalman-Filters verfolgt wird oder nicht. Mit anderen Worten ist vorgesehen, dass das fahrzeugexterne Objekt abhängig von seiner Kennung und/oder seiner Objektklasse mittels des Kalman-Filters verfolgt wird. Beispielsweise kann durch die Kennung und/oder die Objektklasse ein Wichtigkeitsniveau für das fahrzeugexterne Objekt vorgegeben sein. Das Verfolgen des fahrzeugexternen Objekts kann dann abhängig von dem Wichtigkeitsniveau durchgeführt werden, werden der jeweiligen Objektklasse beziehungsweise der jeweiligen eindeutigen Kennung zugeordnet wurde, erfolgen. Alternativ oder zusätzlich kann mittels der eindeutigen Kennung die Gefahr einer Verwechselung verringert werden. Aufgrund der eindeutigen Kennung des fahrzeugexternen Objekts ist eine Verwechselung mit einem anderen fahrzeugexternen Objekt weniger wahrscheinlich. Die eindeutige Kennung kann dem fahrzeugexternen Objekt beispielsweise anhand von dessen Repräsentation in dem ersten und/oder dem zweiten Bild der Umgebung zugeordnet werden. Auf diese Weise kann ein Sicherheitsniveau weiter verbessert werden.
-
Ein zweiter Aspekt der Erfindung betrifft eine Steuereinrichtung zum Auswerten von mehreren Bildern einer Umgebung eines Kraftfahrzeugs, mit
- - einem Empfangsteil zum Empfangen zumindest eines ersten und eines zweiten Bildes der Umgebung aus einer Bilderfassungseinheit des Kraftfahrzeugs, wobei das erste und das zweite Bild zeitlich aufeinander folgend aufgenommen sind und das erste Bild die Umgebung zu einem ersten Zeitpunkt und das zweite Bild die Umgebung zu einem zweiten Zeitpunkt repräsentiert,
- - einer Bestimmungseinheit zum Bestimmen eines fahrzeugexternen Objekts in dem ersten und dem zweiten Bild, wobei die Bestimmungseinheit dazu eingerichtet ist, das erste und das zweite Bild zum Bestimmen des fahrzeugexternen Objekt jeweils einzeln auszuwerten, und die Bestimmungseinheit zusätzlich dazu eingerichtet ist, eine erste Position des fahrzeugexternen Objekts für den ersten Zeitpunkt anhand des ersten Bildes und eine zweite Position des fahrzeugexternen Objekts für den zweiten Zeitpunkt anhand des zweiten Bildes zu bestimmen, und
- - einer Recheneinheit mit einem Kalman-Filter zum Prognostizieren einer Position des fahrzeugexternen Objekts für einen von dem ersten und dem zweiten Zeitpunkt unterschiedlichen dritten Zeitpunkt basierend auf der ersten Position für den ersten Zeitpunkt und der zweiten Position für den zweiten Zeitpunkt, wobei
- - die Steuereinrichtung dazu ausgebildet ist, die Position des fahrzeugexternen Objekts für den dritten Zeitpunkt ausschließlich mittels des Kalman-Filters zu prognostizieren.
-
Die Steuereinrichtung ist insbesondere dazu ausgebildet, ein Verfahren zum Auswerten von mehreren Bildern einer Umgebung eines Kraftfahrzeugs, wie es in der vorliegenden Anmeldung offenbart ist, durchzuführen.
-
Außerdem gehört zur Erfindung ein Fahrerassistenzsystem mit einer Bilderfassungseinheit zum Erfassen zumindest eines ersten und eines zweiten Bildes der Umgebung aus einer Bilderfassungseinheit des Kraftfahrzeugs, wobei das erste und das zweite Bild zeitlich aufeinander folgend aufgenommen sind und das erste Bild die Umgebung zu einem ersten Zeitpunkt und das zweite Bild die Umgebung zu einem zweiten Zeitpunkt repräsentiert, und mit der oben genannten Steuereinrichtung. Bei der Bilderfassungseinheit kann es sich um ein Kamerasystem handeln. Dementsprechend kann die Bilderfassungseinheit zumindest eine Kamera aufweisen. Alternativ oder zusätzlich kann die Bilderfassungseinheit einen beliebigen bildgebenden Sensor, einen Lidar-Sensor, einen Ultraschallsensor, eine Radarsensor und/oder einen Infrarotsensor aufweisen. Die Bilderfassungseinheit kann dazu eingerichtet sein, das erste und das zweite Bild der Umgebung an die Steuereinrichtung zu Übermitteln.
-
Außerdem gehört zur Erfindung ein computerlesbares Medium, insbesondere in Form einer computerlesbaren Diskette, CD, DVD, Speicherkarte, USB-Speichereinheit, oder ähnlichen, in dem Programmcodemittel gespeichert sind, um das Verfahren zum Auswerten von mehreren Bildern einer Umgebung eines Kraftfahrzeugs, wie es im Rahmen der vorliegenden Erfindung offenbar ist, durchzuführen, wenn die Programmcodemittel in einen Speicher einer elektronischen Steuereinrichtung geladen und auf einem Prozessor der elektronischen Steuereinrichtung abgearbeitet werden. Zur Erfindung gehört außerdem ein Computerprogrammprodukt mit Programmcodemitteln, welche dazu ausgebildet sind, das Verfahren zum Auswerten von mehreren Bildern einer Umgebung eines Kraftfahrzeugs, wie es im Rahmen der vorliegenden Anmeldung offenbar ist, durchzuführen, wenn die Programmcodemittel in einen Speicher einer elektronischen Steuereinrichtung geladen und auf einem Prozessor der elektronischen Steuereinrichtung abgearbeitet werden. Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem beziehungsweise mit einer solchen Steuereinrichtung. Bei dem Kraftfahrzeug kann es sich insbesondere um einen Kraftwagen, beispielsweise einen Personenkraftwagen oder einen Lastkraftwagen, handeln. Der Kraftwagen kann beispielsweise einen Verbrennungsmotor und/oder einen Elektromotor aufweisen.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Dabei zeigen:
- 1 ein Kraftfahrzeug in einer schematischen Vogelperspektive; und
- 2 einen zeitlichen Überblick über mehrere Teilbilder.
-
1 zeigt ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 9. Das Fahrerassistenzsystem 9 kann zum Bereitstellen einer Fahrerassistenzfunktion des Kraftfahrzeugs 1 ausgebildet sein. Bei der Fahrerassistenzfunktion kann es sich um eine Abstandstempomatfunktion, eine Notbremsfunktion, eine Spurhaltefunktion und/oder eine beliebige andere Fahrerassistenzfunktion handeln. Das Fahrerassistenzsystem 9 weist eine Bilderfassungseinheit 3 eine Steuereinrichtung 2 auf. Die Bilderfassungseinheit 3 weist vorliegend eine Kamera 4 auf. Im vorliegenden Ausführungsbeispiel ist die Kamera 4 als Frontkamera des Kraftfahrzeugs 1 ausgeführt, das bedeutet ihr Erfassungsbereich liegt im Wesentlichen in Normalfahrtrichtung vor dem Kraftfahrzeug 1. In anderen Ausführungsbeispielen kann es sich bei der Kamera 4 um eine Heckkamera oder eine seitwärts gerichtete Kamera, welche insbesondere an einem Außenspiegel des Kraftfahrzeugs angeordnet ist, handeln. In nochmals anderen Ausführungsbeispielen kann die Bilderfassungseinheit 3 mehrere der beispielhaft genannten Kameras aufweisen. Die Bilderfassungseinheit 3 kann jedoch alternativ oder zusätzlich zu der Kamera 4 einen Sensor mit anderen Erfassungsprinzip, beispielsweise einen Radarsensor, einen Lidar-Sensor, einen Ultraschallsensor oder einen beliebigen anderen Sensor, aufweisen.
-
Die Steuereinrichtung 2 weist eine Empfangsteil 20, eine Bestimmungseinheit 21 sowie eine Recheneinheit 22 auf. Die Recheneinheit 22 weist einen Kalman-Filter 23 auf. Die Steuereinheit 2 beziehungsweise der Empfangsteil 20 ist dazu ausgebildet, Bilder 6 einer Umgebung U des Kraftfahrzeugs 1 aus der Bilderfassungseinheit 3 zu empfangen.
-
2 zeigt einen Überblick über einen zeitlichen Verlauf mehrerer Bilder 6 der Umgebung U entlang einer Zeitachse T. Vorliegend wird mittels der Bilder 6 ein fahrzeugexternes Objekt 5 in der Umgebung U des Kraftfahrzeug 1 erfasst (siehe 1). Die Bilder 6 sind vorliegend jeweils Teilbilder einer Bildfolge aus der Kamera 4. Die Bilder 6 werden zunächst durch die Steuereinrichtung 2 aus der Bilderfassungseinheit 3 empfangen. Insbesondere werden alle Bilder 6, die Teil der Bildfolge sind, aus demselben Sensor, vorliegend derselben Kamera 4, der Bilderfassungseinheit 3 empfangen.
-
Durch die Bestimmungseinheit 21 wird das Objekt 5 beziehungsweise eine Repräsentation des Objekts 5 in den Bildern 6 erkannt beziehungsweise bestimmt. Hierbei wird aus den Bildern 6 jeweils eine Position 7 des Objekts 5 für den jeweiligen Zeitpunkt tx (t1, t2, t3, t4 ... t9) des jeweiligen Bildes 6 bestimmt. Die Position 7 des Objekts 5 kann eine Relativposition bezogen auf das Kraftfahrzeug 1 beziehungsweise die Kamera 4 sein. Vorliegend umfasst die Bestimmungseinheit 21 ein künstliches neuronales Netz. Das künstliche neuronale Netz wird zuvor dazu angelernt, fahrzeugexterne Objekte, wie beispielsweise das Objekt 5, in dem jeweiligen Bild 6 zu erkennen und eine jeweilige Position 7 für ein solches fahrzeugexternes Objekt 5 aus dem jeweiligen Bild 6 zu extrahieren beziehungsweise zu bestimmen. Dadurch, dass das Objekt 5 in den Bildern 6 jeweils erkannt und dessen Position 7 bestimmt wird, ist es möglich, dass fahrzeugexterne Objekt 5 entlang der Zeitachse T zu verfolgen. Dies ist jedoch äußerst rechenintensiv.
-
Insbesondere ist jedem der Bilder 6 ein jeweiliger Zeitpunkt tx (t1, t2, t3, t4 ... t9) zugeordnet. Dieser Zeitpunkt tx kann dem Aufnahmezeitpunkt des jeweiligen Bildes 6 entsprechen. Das jeweilige Bild 6 kann die Umgebung U und/oder das Objekt 5 zu dem jeweiligen Zeitpunkt tx charakterisieren. Somit wird für die Zeitpunkte tx eine jeweilige Position 7 des Objekts bestimmt.
-
Um die benötigte Rechenleistung zum Verfolgen des Objekts 5 entlang der Zeitachse T zu verringern, ist vorgesehen, dass das fahrzeugexterne Objekt 5 nicht in jedem der Bilder 6 bestimmt wird. Mit anderen Worten werden einige der Bilder 6 durch die Bestimmungseinheit 21 bezüglich des Bestimmens des Objekts 5 und/oder dessen Position 7 übersprungen. Anhand dieser übersprungenen Bildern 6 wird vorteilhafter Weise somit weder das Objekt 5 noch dessen Position bestimmt. Stattdessen wird die Position 7 des Objekts 5 für Zeitpunkte tx, für welche die Position des fahrzeugexternen Objekts 5 nicht aus dem jeweiligen Bild 6 bestimmt wird, mittels des Kalman-Filters 23 prognostiziert beziehungsweise bestimmt. Insbesondere wird die Position 7 für die genannten Zeitpunkte tx ausschließlich mittels des Keilmannfilters bestimmt. Im vorliegenden Beispiel der 2 betrifft dies die Zeitpunkte t4 und t7.
-
Die 2 soll im Folgenden genauer erläutert werden: Zu den Zeitpunkten t1 und t2 wird mittels der Bestimmungseinheit 21 aus den jeweiligen Bildern 6 die jeweilige Position 7 des Objekts 5 zu dem jeweiligen Zeitpunkt t1 beziehungsweise t2 bestimmt. Dies erfolgt insbesondere mittels des künstlichen neuronalen Netzes der Bestimmungseinheit 21. Diese Information bezüglich der Position 7 kann zum Bereitstellen einer Fahrerassistenzfunktion ausgegeben werden und/oder zum Verfolgen (auch mit dem englischen Fachbegriff „tracken“ bezeichnet) des Objekts 5 entlang genutzt werden. Zudem wird die Position 7 für die Zeitpunkte t1 und t2 dem Kalman-Filter 23 bereitgestellt.
-
Für den Zeitpunkt t3 wird die Position 7 des Objekts 5 mittels der Bestimmungseinheit 21 aus dem jeweiligen Bild 6 den Zeitpunkt t3 bestimmt. Dies erfolgt insbesondere mittels des künstlichen neuronalen Netzes der Bestimmungseinheit 21. Zudem kann die Position 7 für den Zeitpunkt t3 mittels des Kalman-Filters 23 prognostiziert werden. Die jeweiligen Positionsangaben aus der Bestimmungseinheit 21 sowie dem Kalman-Filter 23 können zum genaueren Bestimmen der Position 7 miteinander verarbeitet werden. Beispielsweise wird die Positionsangabe, welche aus dem Bild 6 bestimmt wird, mittels der Positionsangabe aus dem Kalman-Filter 23 geglättet oder plausibilisiert. Auf diese Weise kann erkannt werden, falls die Positionsangabe aus dem jeweiligen Bild 6 fehlerhaft ist. Die Position 7 für den Zeitpunkt t3 wird anschließend wiederum dem Kalman-Filter 23 für weitere Prognosen für nachfolgende Zeitpunkte zugeführt.
-
Für den Zeitpunkt t4 liegt ebenfalls ein Bild 6 der Umgebung vor. Jedoch wird das Bild 6 für den Zeitpunkt t4 bezüglich des Bestimmens der Position 7 des Objekts 5 übersprungen. Mit anderen Worten wird die Position 7 des Objekts 5 für den Zeitpunkt t4 nicht anhand des Bildes 6 für den Zeitpunkt t4 bestimmt. Stattdessen wird die Position 7 für den Zeitpunkt t4 ausschließlich mittels des Kalman-Filters 23 prognostiziert. Auf diese Weise kann eine benötigte Rechenleistung verringert werden.
-
Für die Zeitpunkte t5, t6 und t7 erfolgt das Bestimmen der jeweiligen Position 7 des Objekts 5 analog zu dem Zeitpunkt t3. Für die Zeitpunkte t5, t6 und t7 wird die Position 7 des Objekts 5 aus den jeweiligen Bildern für die Zeitpunkte t5, t6 und t7. Dies erfolgt insbesondere mittels des künstlichen neuronalen Netzes der Bestimmungseinheit 21. Zusätzlich wird für die Zeitpunkte t5, t6 und t7 die jeweilige Position 7 mittels des Kalman-Filters 23 prognostiziert. Die jeweiligen Positionsangaben für den jeweiligen Zeitpunkt t5, t6 und t7 können jeweils zum genaueren Bestimmen der Position 7 miteinander verarbeitet werden. Beispielsweise wird die Position 7 für den Zeitpunkt t5 durch Verarbeiten der aus dem Bild 6 für den Zeitpunkt t5 bestimmten Positionsangabe und der mittels des Kalman-Filters 23 prognostizierten Positionsangabe bestimmt. Hierbei kann die Positionsangabe aus dem Kalman-Filter 23 zum Plausibilisiert oder Glätten der Positionsangabe, die aus dem Bild 6 für den Zeitpunkt t5 extrahiert wird, genutzt werden. Anschließend wird die Position 7 für den Zeitpunkt t5 dem Kalman-Filter 23 für weitere Prognosen für nachfolgende Zeitpunkte zugeführt. Dies wird analog für die Zeitpunkte t6 und t7 durchgeführt.
-
Analog zu dem Zeitpunkt t4 wird die Position 7 für den Zeitpunkt t8 ausschließlich mittels des Kalman-Filters 23 prognostiziert beziehungsweise bestimmt. Mit anderen Worten wird das Bild 6 für den Zeitpunkt t8 nicht zum Prognostizieren der Position 7 für den Zeitpunkt t8 herangezogen.
-
Im vorliegenden Beispiel wird jedes vierte Bild der Bildfolge an Bildern 6 bezüglich dem Bestimmen der Position 7 für den jeweiligen Zeitpunkt tx übersprungen. In diesem Fall kann die benötigte Rechenleistung in der Bestimmungseinheit 21 um etwa 25% reduziert werden. Hierbei handelt es sich um eine rein beispielhaft zu verstehende Möglichkeit. In anderen, in den Figuren nicht dargestellten Ausführungsformen wird beispielsweise jedes dritte Bild einer Bildfolge an Bildern 6 oder jedes fünfte Bild einer Bildfolge an Bildern 6 übersprungen. Als besonders vorteilhaft hat es sich erwiesen, jedes fünfte Bild einer Bildfolge bezüglich des Bestimmens der Position 7 zu überspringen. In diesem Fall kann die benötigte Rechenleistung in der Bestimmungseinheit 21 um etwa 20% reduziert werden. Dennoch verringert sich die Genauigkeit der Bestimmung der Position 7 nicht spürbar.
-
Dadurch, dass mittels des Kalman-Filters 23 die Bestimmung der Position 7 für die Zeitpunkte tx, für welche die Position 7 aus dem jeweiligen Bild 6 bestimmt wird, geglättet und/oder plausibilisiert wird, kann die Genauigkeit der Bestimmung der Position 7 insgesamt sogar verbessert werden.
-
Im Allgemeinen ist vorgesehen, dass ein erstes Bild 10 und ein zweites Bild 11 der Umgebung aus der Bilderfassungseinheit 4 erfasst werden. Das erste Bild 10 repräsentiert die Umgebung U zu einem Zeitpunkt t2 und das zweite Bild 11 repräsentiert die Umgebung U zu einem späteren Zeitpunkt t3. Aus dem ersten Bild 10 und dem zweiten Bild 11 wird jeweils eine Position 30, 31 des fahrzeugexternen Objekts 5 für den jeweiligen Zeitpunkt t2 beziehungsweise t3 bestimmt. Dies erfolgt insbesondere mittels eines künstlichen neuronalen Netzes der Bestimmungseinheit 21. Für einen von dem ersten Zeitpunkt t2 und dem zweiten Zeitpunkt t3 unterschiedlichen dritten Zeitpunkt t4 wird die Position 32 ausschließlich basierend auf den jeweiligen Positionen für den Zeitpunkt t2 und den Zeitpunkt t3 mittels eines Kalman-Filters 23 prognostiziert. Dabei wird auf das Bestimmen der Position 32 für den Zeitpunkt t4 anhand eines dritten Bildes 12 verzichtet. Das dritte Bild 12 repräsentiert die Umgebung zu dem Zeitpunkt t4.
-
Insgesamt ist durch das Ausführungsbeispiel gezeigt, wie eine benötigte Rechenleistung beim Bestimmen einer Position 7 eines fahrzeugexternen Objekts 5 verringert werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 7046822 B1 [0003]
- US 2017/0103258 A1 [0003]
