-
Die Erfindung betrifft ein Verfahren und ein System zum Plausibilisieren mindestens eines mechanischen Sensors eines Fahrzeugs.
-
Einem Fahrwerk eines Fahrzeugs kann mindestens ein Sensor zugeordnet sein, mit dem es bspw. möglich ist, eine Gierrate, eine Wankrate, eine Nickrate sowie eine Quer-, Längs- oder Vertikalbeschleunigung des Fahrzeugs zu ermitteln und bspw. für ein Fahrdynamikregelsystem des Fahrzeugs zu verwenden. Je nach Sicherheitsrelevanz (ASIL) des Fahrdynamikregelsystems ist es erforderlich, dass die verwendeten Sensoren eine ausreichende Signalgüte bzw. Signalintegrität aufweisen.
-
Um Signale der Sensoren in einer höchsten Sicherheitsausprägung zur Verfügung zu stellen, müssen entweder redundant verbaute Sensoren verwendet und/oder mithilfe von Fahrzeugmodellen Plausibilisierungen durchgeführt werden, die jedoch zu langen Fehlererkennungszeiten führen, wodurch hohe Kosten verursacht werden.
-
Ein Verfahren zum Bestimmen eines Höhenstands eines Aufbaus eines Kraftfahrzeugs ist aus der Druckschrift
DE 10 2013 110 954 A1 bekannt.
-
Ein Verfahren und eine Einrichtung zur Funktionskontrolle einer Videokamera in einem Kraftfahrzeug sind in der Druckschrift
DE 102 18 228 A1 beschrieben.
-
Vor diesem Hintergrund war es eine Aufgabe, einen Sensor eines Fahrzeugs zu plausibilisieren.
-
Diese Aufgabe wird durch ein Verfahren und ein System mit den Merkmalen der unabhängigen Patentansprüche gelöst. Ausführungsformen des Verfahrens und des Systems gehen aus den abhängigen Patentansprüchen hervor.
-
Das erfindungsgemäße Verfahren ist zum Plausibilisieren mindestens eines mechanischen Sensors eines Fahrzeugs vorgesehen. Hierbei wird ein Wert mindestens eines kinematischen Parameters des Fahrzeugs mechanisch erfasst. Außerdem werden mit mindestens einem optischen Sensor des Fahrzeugs mehrere Bilder einer Umgebung des Fahrzeugs optisch erfasst. Unter Berücksichtigung einer ersten Position, die mindestens eine Abbildung auf einem ersten Bild aufweist, und unter Berücksichtigung mindestens einer zweiten Position, die die mindestens eine Abbildung auf mindestens einem zweiten Bild, d. h. einem zweiten Bild oder mehreren zweiten Bildern, aufweist, wird mindestens ein Wert des mindestens einen kinematischen Parameters optisch ermittelt. Der mindestens eine Wert des mindestens einen kinematischen Parameters, der mit dem mindestens einen mechanischen Sensor mechanisch erfasst wird, wird mit dem mindestens einen in der Regel zeitgleich optisch ermittelten Wert des mindestens einen kinematischen Parameters verglichen und plausibilisiert.
-
Üblicherweise ist jedes Bild der Umgebung, das von dem mindestens einen optischen Sensor aufgenommen wird, aus mindestens einem Pixel, in der Regel einer Mehrzahl von Pixeln aufgebaut, die innerhalb eines jeweiligen Bilds innerhalb einer Matrix bzw. Rasterung aus Zeilen und Spalten angeordnet sind. Die mindestens eine Abbildung auf jeweils einem Bild wird hierbei durch eine Menge des mindestens einen Pixels, insbesondere durch mehrere zusammenhängende Pixel unter sämtlichen Pixeln dieses Bilds dargestellt, wobei die mindestens eine Abbildung aus der Menge von Pixeln zusammengesetzt wird. Sofern die mindestens eine Abbildung auf unterschiedlichen Bildern unterschiedliche Positionen aufweist, wird sie auf einem jeweiligen Bild jeweils durch mindestens ein von Bild zu Bild unterschiedliches Pixel bzw. eine Ansammlung von unterschiedlichen Pixeln dargestellt. In der Regel weist jedes Pixel auf jedem Bild dieselbe Position in einer z-ten Zeile und einer s-ten Spalte auf. Je nachdem, wo auf einem jeweiligen Bild die mindestens eine Abbildung abgebildet ist, weist jedes Pixel auf jedem Bild zwar immer dieselbe Position, jedoch von Bild zu Bild ggf. eine andere Helligkeit und/oder Farbe auf. Die mindestens eine Abbildung stellt mindestens einen Ausschnitt des mindestens einen Bilds dar. Die mindestens eine Abbildung unterscheidet sich bzgl. ihrer Farbe, ihrer Helligkeit und/oder ihres Kontrasts vom Rest des mindestens einen Bilds bzw. hebt sich diesbezüglich vom Rest des mindestens einen Bilds optisch ab. Das mindestens eine Bild stellt in der Regel einen Teil der Umgebung des Fahrzeugs dar. Mindestens ein Ausschnitt des Teils der Umgebung des Fahrzeugs wird auf dem mindestens einen Bild durch die mindestens eine Abbildung optisch dargestellt. Der mindestens eine Ausschnitt, der durch die mindestens eine Abbildung auf dem mindestens einen Bild dargestellt wird, entspricht dem mindestens einen Ausschnitt des Teils der Umgebung des Fahrzeugs und/oder geht aus diesem Ausschnitt des Teils der Umgebung des Fahrzeugs hervor.
-
Mit dem mindestens einen optischen Sensor wird in der Regel mindestens ein optisch erkennbares Objekt bzw. ein optisch erkennbarer Gegenstand in der Umgebung außerhalb des Fahrzeugs optisch erfasst. Hierbei wird das mindestens eine Objekt als Abbildung des Objekts durch die Pixel auf den jeweiligen Bildern dargestellt. Ein in den jeweils aufgenommenen Bildern dargestelltes Abbild des mindestens einen Objekts kann als die mindestens eine Abbildung innerhalb der aufgenommenen Bilder, d. h. des ersten Bildes und des mindestens einen zweiten Bildes dienen. Dabei wird das mindestens eine Objekt als Referenz für eine mögliche Bewegung des Fahrzeugs in der Umgebung relativ zu dem mindestens einen Objekt verwendet. Dabei ist es auch möglich, dass die mindestens eine Abbildung einen Schatten in der Umgebung bzw. ein als Schatten ausgebildetes Objekt darstellt, das in der Umgebung von dem mindestens einen optischen Sensor optisch erkennbar ist. Das mindestens eine Objekt bildet den mindestens einen Ausschnitt des Teils der Umgebung des Fahrzeugs.
-
In der Regel werden mindestens zwei zeitlich aufeinanderfolgende Bilder, die von dem mindestens einen optischen Sensor erfasst werden, ausgewertet. Hierbei wird das erste Bild zu einem ersten Zeitpunkt und das mindestens eine zweite Bild zu mindestens einem zweiten Zeitpunkt aufgenommen. Dabei ist zwischen dem ersten Bild und dem mindestens einen zweiten Bild mindestens ein Zeitintervall abgelaufen. Dieses Zeitintervall wird beim Auswerten neben unterschiedlichen Positionen, die die mindestens eine Abbildung auf zwei innerhalb des Zeitintervalls aufgenommenen Bildern aufweist, ebenfalls berücksichtigt. Falls zu mehr als zwei Zeitpunkten jeweils mindestens ein Bild aufgenommen wird, ist es möglich, zwischen jeweils zwei Zeitpunkten Zeitintervalle zu bestimmen und entsprechend viele Zeitintervalle zu berücksichtigen. Unter Berücksichtigung der ersten und der mindestens einen zweiten Position, die die mindestens eine Abbildung auf dem ersten und dem mindestens einen zweiten Bild aufweist, sowie unter Berücksichtigung des mindestens einen Zeitintervalls wird bspw. ein Wert einer Geschwindigkeit als der mindestens eine kinematische Parameter optisch ermittelt.
-
Das erste Bild wird zu dem ersten Zeitpunkt und das mindestens eine zweite Bild, in der Regel ein zweites Bild oder mehrere zweite Bilder, zu dem mindestens einen zweiten Zeitpunkt, in der Regel zu einem zweiten Zeitpunkt oder zu mehreren aufeinanderfolgenden zweiten Zeitpunkten, aufgenommen. Dabei wird zum Auswerten und somit zum optischen Ermitteln des Werts des mindestens einen kinematischen Parameters mindestens ein zwischen den Zeitpunkten abgelaufenes bzw. durch die Zeitpunkte definiertes Zeitintervall berücksichtigt.
-
Bei dem Verfahren wird als der mindestens eine kinematische Parameter ein Ort des Fahrzeugs, eine Geschwindigkeit des Fahrzeugs in mindestens einer Raumrichtung, bspw. eine Quergeschwindigkeit des Fahrzeugs, eine Längsgeschwindigkeit des Fahrzeugs und/oder eine Vertikalgeschwindigkeit des Fahrzeugs, eine Beschleunigung des Fahrzeugs in mindestens einer Raumrichtung, bspw. eine Querbeschleunigung des Fahrzeugs, eine Längsbeschleunigung des Fahrzeugs und/oder eine Vertikalbeschleunigung des Fahrzeugs, eine Drehung des Fahrzeugs um mindestens eine von drei Achsen parallel zu den Raumrichtungen, bspw. einen Drehwinkel, eine Drehgeschwindigkeit und/oder eine Drehbeschleunigung, eine Gierbewegung des Fahrzeugs, eine Nickbewegung des Fahrzeugs und/oder eine Wankbewegung des Fahrzeugs ermittelt.
-
Ergänzend wird anhand von jeweils zwei oder mindestens zwei Positionen, d. h. von zwei Positionen oder mehreren Positionen, die die mindestens eine Abbildung und somit das damit in der Regel dargestellte Objekt auf jeweils zwei oder mindestens zwei Bildern aufweist, ein räumlicher Vektor des mindestens einen kinematischen Parameters ermittelt und/oder erfasst. Ein derartiger Vektor kann eine Strecke zwischen mindestens zwei Orten bzw. Positionen, die Geschwindigkeit und/oder die Beschleunigung anzeigen bzw. darstellen. Somit ist bzw. sind eine Bewegung und/oder Drehung des Fahrzeugs sowie deren Richtung auch optisch ermittelbar. Auch bei einer Ermittlung des Vektors wird das Zeitintervall berücksichtigt, das zwischen mindestens zwei Zeitpunkten verstreicht, zu denen mindestens zwei Bilder nacheinander aufgenommen werden.
-
In der Regel reichen zum Ermitteln der Strecke und/oder der Geschwindigkeit bzw. des jeweiligen Vektors zum Darstellen der Strecke bzw. der Geschwindigkeit zwei Positionen und zwei Zeitpunkte aus. Zum Ermitteln der Beschleunigung bzw. eines Vektors hierfür werden mindestens drei Positionen auf mindestens drei Bildern zu entsprechend drei Zeitpunkten verwendet. Je nach kinematischem Parameter bzw. je nach kinematischer Bewegungsgröße wird eine Ausrichtung, Stellung und/oder Perspektive von mindestens einem optischen Sensor berücksichtigt und mehrere Bilder ausgewertet. Für die Geschwindigkeit können zwei in der Regel aufeinanderfolgende Bilder und für die Beschleunigung drei aufeinanderfolgende Bilder von dem mindestens einen optischen Sensor ausgewertet werden.
-
In Ausgestaltung wird mit dem mindestens einen optischen Sensor des Fahrzeugs über die mindestens eine Abbildung die Umgebung des Fahrzeugs optisch erfasst, wobei mindestens ein Wert einer Position des Fahrzeugs relativ zu mindestens einem üblicherweise ortsfesten Objekt in der Umgebung außerhalb des Fahrzeugs optisch erfasst wird. Unter Berücksichtigung bzw. aufgrund von optisch erfassten Werten der Position des Fahrzeugs relativ zu dem mindestens einen Objekt, was unter Berücksichtigung der Positionen der mindestens einen Abbildung auf den Bildern möglich ist, wird der mindestens eine Wert des mindestens einen kinematischen Parameters, bspw. der Geschwindigkeit, optisch ermittelt.
-
Üblicherweise wird die mindestens eine Abbildung auf mehreren zeitlich aufeinanderfolgend aufgenommenen Bildern dargestellt, wobei die mindestens eine Abbildung auf den jeweiligen Bildern üblicherweise jeweils andere Positionen aufweist und durch daher unterschiedlich positionierte Pixel auf den jeweiligen Bildern dargestellt wird. Es ist jedoch auch denkbar, dass die mindestens eine Abbildung auf zwei aufeinanderfolgend aufgenommenen Bildern dieselbe Position aufweist, so dass die Bilder identisch sind. In diesem Fall ist nachweisbar, dass sich das Fahrzeug in der Umgebung zumindest nicht optisch erkennbar bewegt. Anhand einer bildübergreifenden Änderung der Position der mindestens einen Abbildung ist es möglich, durch Auswertung unterschiedlicher Positionen der mindestens einen Abbildung eine bildübergreifende Bewegung der mindestens einen Abbildung und somit auch einen Fluss der mindestens einen Abbildung von Bild zu Bild zu ermitteln, worüber der mindestens eine Wert des mindestens einen kinematischen Parameters optisch ermittelt wird. Dabei ist es möglich, dass durch die mindestens eine Abbildung auf den Bildern das mindestens eine Objekt, wie bspw. ein Baum o. ä., in der Umgebung des Fahrzeugs dargestellt wird. Dabei ist es möglich, dass dieses mindestens eine Objekt in der Umgebung ortsfest angeordnet ist oder sich ebenso wie das Fahrzeug innerhalb der Umgebung bewegt. Allerdings wird bei dem Verfahren in der Regel eine Veränderung der Position der mindestens einen Abbildung auf mehreren Bildern berücksichtigt, unabhängig davon, ob durch die mindestens eine Abbildung mindestens ein ortsfestes oder ein sich bewegendes Objekt dargestellt und somit optisch erfasst wird. Die mindestens eine Abbildung wird auf einem jeweiligen Bild durch eine jeweilige Ansammlung von Pixeln, d. h. durch mindestens ein Pixel, dargestellt. Weist die mindestens eine Abbildung auf unterschiedlichen Bildern unterschiedliche Positionen auf, d. h. wird sie durch unterschiedliche Ansammlungen von Pixeln auf den Bildern dargestellt, ist es u. a. möglich, durch positionsabhängigen Vergleich der Pixel, die die mindestens eine Abbildung auf unterschiedlichen Bildern darstellen, auf Grundlage eines Pixelflusses bzw. eines Flusses der Pixel von Bild zu Bild, einen Fluss und/oder Vektor für die Bewegung und somit den mindestens einen kinematischen Parameter des Fahrzeugs in der Umgebung, üblicherweise relativ zu dem mindestens einen Objekt aus der Umgebung, das durch die mindestens eine Abbildung mit Pixeln der Bilder dargestellt wird, zu ermitteln.
-
In der Regel werden Positionen der mindestens einen Abbildung auf den Bildern, die von dem mindestens einen optischen Sensor aufgenommen werden, ausgewertet, wodurch u. a. zumindest eine absolute Position bzw. zumindest ein absoluter Ort des Fahrzeugs in der Umgebung als der mindestens eine kinematische Parameter optisch ermittelt wird, womit eine zeitgleich mechanisch erfasste Position verglichen und plausibilisiert wird. Durch mindestens zwei derartige Positionen bzw. Orte ist es möglich, eine Strecke als den mindestens einen kinematischen Parameter, bspw. eine von dem Fahrzeug zurückgelegte Strecke innerhalb des Zeitintervalls, das vergangen ist zwischen der jeweiligen Aufnahme von den entsprechend mindestens zwei Bildern, zu ermitteln. Entsprechend ist über eine zeitliche Änderung der Positionen bzw. des Orts und/oder der Strecke die Geschwindigkeit des Fahrzeugs sowie weiterhin dessen Beschleunigung als kinematischer Parameter zu ermitteln.
-
In Ausgestaltung werden mindestens zwei aufeinanderfolgende Bilder der mindestens einen Abbildung, die bspw. das mindestens eine ortsfeste Objekt darstellt, ausgewertet, wobei die Bilder von dem mindestens einen optischen Sensor innerhalb des Zeitintervalls zu unterschiedlichen Zeitpunkten erfasst werden, wobei der mindestens eine Wert des mindestens einen kinematischen Parameters des Fahrzeugs, mit dem eine Bewegung des Fahrzeugs sowie dessen Richtung beschrieben wird, optisch ermittelt wird, womit der mindestens eine zeitgleich mechanisch erfasste Wert des mindestens einen kinematischen Parameters, der die Bewegung berechnet, verglichen und plausibilisiert wird.
-
Als der mindestens eine kinematische Parameter wird bspw. mindestens ein Ort, d. h. der Ort, an dem sich das Fahrzeug aktuell bzw. zu einem jeweiligen ersten oder zweiten Zeitpunkt befindet und weiterhin eine Strecke, die das Fahrzeug in dem Zeitintervall zurückgelegt hat, die Geschwindigkeit, mit der das Fahrzeug die Strecke zurückgelegt hat und/oder bei Aufnahme von jeweiligen Bildern zu mehr als zwei Zeitpunkten eine Beschleunigung des Fahrzeugs in mindestens einer Raumrichtung berücksichtigt. Aus einer bspw. zwischen mindestens zwei Zeitpunkten zurückgelegten Strecke des Fahrzeugs ist dessen Geschwindigkeit sowie im Falle der Aufnahme von Bildern zu mindestens drei aufeinanderfolgenden Zeitpunkten auch dessen Beschleunigung ableitbar. Der mindestens eine Wert des mindestens einen kinematischen Parameters wird von dem mindestens einen mechanischen Sensor mechanisch erfasst und mit dem mindestens einen Wert desselben mindestens einen kinematischen Parameters, der unter Berücksichtigung der mindestens einen Abbildung die räumliche Position und/oder Bewegung des Fahrzeugs relativ zu dem mindestens einen bspw. ortsfesten Objekt außerhalb des Fahrzeugs beschreibt und von dem mindestens einen optischen Sensor im Wesentlichen zeitgleich optisch erfasst wird, verglichen.
-
In Ausgestaltung ist es möglich, dass die Bilder den Teil der Umgebung sowie den Ausschnitt der Umgebung zweidimensional oder dreidimensional darstellen, abbilden und/oder zeigen. Außerdem wird anhand des mindestens einen Bilds, bspw. anhand von mindestens zwei zeitlich aufeinanderfolgenden Bildern und aufgrund unterschiedlicher Positionen der mindestens einen Abbildung auf den Bildern ein bspw. zweidimensionaler oder dreidimensionaler bzw. räumlicher Vektor des mindestens einen kinematischen Parameters erfasst. Falls von dem mindestens einen ortsfesten Objekt nur ein Bild aufgenommen wird, ist es möglich, sofern das Fahrzeug fährt, aufgrund einer Bewegungsunschärfe und unter Berücksichtigung einer Belichtungszeit für dieses Bild allein unter Berücksichtigung dieses einen Bilds einen Vektor für eine relative Bewegung und/oder Drehung zwischen dem Fahrzeug und dem Objekt zu ermitteln. Da in der Regel mehrere aufeinanderfolgende Bilder analysiert werden, ist es möglich, einen derartigen räumlichen Vektor durch Vergleich der Bilder zu ermitteln, wobei bspw. berücksichtigt wird, wo das mindestens eine Objekt, das auf den Bildern durch die mindestens eine Abbildung dargestellt bzw. abgebildet wird, jeweils relativ zu dem Fahrzeug positioniert ist.
-
Ergänzend ist es möglich, dass mindestens ein mechanischer Sensor eines Fahrwerks, mit dem mindestens ein kinematischer Parameter des Fahrwerks des Fahrzeugs und demnach mindestens ein kinematischer Parameter des Fahrzeugs mechanisch erfasst wird, als die mindestens eine Komponente des Fahrzeugs plausibilisiert wird.
-
Der mindestens eine mechanische Sensor ist bspw. als Inertialsensor ausgebildet und/oder zu bezeichnen.
-
Anhand der optisch erfassten Bilder und der mindestens einen darauf abgebildeten Abbildung, die durch das mindestens eine Pixel dargestellt wird, bspw. aus einer Ansammlung an Pixeln zusammengesetzt ist, und einer zeitlichen Abfolge der optisch erfassten Bilder, ist es möglich, unterschiedliche Richtungen und/oder Geschwindigkeiten einer Bewegung des Fahrzeugs, über die der mindestens eine kinematische Parameter bestimmt werden kann, auszuwerten und/oder zu erfassen. Dabei ist es möglich, durch die mindestens eine Abbildung sowohl ein ortsfestes als auch ein sich in der Umgebung bewegendes Objekt außerhalb des Fahrzeugs optisch zu erfassen. Dabei wird die mindestens eine Abbildung auf jeweils einem Bild durch das mindestens eine Pixel, bspw. die Ansammlung aus mehreren Pixeln, dargestellt, wodurch auch eine Form des durch die Abbildung dargestellten Objekts ermittelt wird, die in Ausgestaltung mit bekannten Formen für bekannte Objekte abgeglichen wird.
-
Das erfindungsgemäße System ist zum Plausibilisieren mindestens eines mechanischen Sensors eines Fahrzeugs ausgebildet, wobei der mindestens eine Sensor dazu ausgebildet ist, mindestens einen kinematischen Parameter des Fahrzeugs mechanisch zu erfassen. Das System weist eine Recheneinheit und mindestens einen optischen Sensor des Fahrzeugs auf, der dazu ausgebildet ist, mehrere Bilder einer Umgebung des Fahrzeugs optisch zu erfassen. Die Recheneinheit ist dazu ausgebildet, unter Berücksichtigung einer ersten Position, die die mindestens eine Abbildung auf einem ersten Bild üblicherweise zu einem ersten Zeitpunkt aufweist, und unter Berücksichtigung mindestens einer zweiten Position, die die mindestens eine Abbildung auf mindestens einem zweiten Bild üblicherweise zu mindestens einem zweiten von dem ersten Zeitpunkt unterschiedlichen Zeitpunkt aufweist, mindestens einen Wert des mindestens einen kinematischen Parameters optisch zu ermitteln und den mindestens einen Wert des mindestens einen kinematischen Parameters, der mit dem mindestens einen mechanischen Sensor mechanisch erfasst wird, mit dem mindestens einen in der Regel zeitgleich optisch ermittelten Wert des mindestens einen kinematischen Parameters zu vergleichen und zu plausibilisieren.
-
Der mindestens eine optische Sensor ist als Kamera des Fahrzeugs ausgebildet und bspw. auch für andere Funktionen nutzbar. Dabei ist es möglich, mehrere optische Sensoren, bspw. Kameras, zu verwenden, die gleichzeitig mehrere Bilder aufnehmen und Positionen, die die mindestens eine Abbildung auf mehreren gleichzeitig erfassten Bildern aufweist, mittels der Recheneinheit zu vergleichen und daraus den mindestens einen Wert des mindestens einen kinematischen Parameters optisch zu erfassen. Dabei bilden bspw. zwei zu verwendende Kameras eine Stereokamera.
-
Demnach ist es möglich, dass das System mindestens zwei optische Sensoren aufweist, die an unterschiedlichen Stellen bzw. Positionen, bspw. an einer Außenwand, des Fahrzeugs angeordnet bzw. verbaut sind und weiterhin miteinander gekoppelt sind. Dabei ist es möglich, dass mindestens ein optischer Sensor an einem Bug des Fahrzeugs oder an einem Heck des Fahrzeugs und/oder auf einer linken Seite des Fahrzeugs oder auf einer rechten Seite des Fahrzeugs angeordnet ist. So ist es möglich dass ein erster optischer Sensor bspw. als Kamera bzw. Frontkamera an einer Front bzw. einem Bug des Fahrzeugs, entweder auf der linken Seite des Fahrzeugs, in der Mitte des Fahrzeugs oder auf der rechten Seite des Fahrzeugs, und ein zweiter optischer Sensor bspw. als Kamera bzw. Heckkamera an einem Heck des Fahrzeugs, entweder auf der linken Seite des Fahrzeugs, in der Mitte des Fahrzeugs oder auf der rechten Seite des Fahrzeugs, angeordnet ist. Die mindestens zwei optischen Sensoren sind in Ausgestaltung in unterschiedliche Richtungen orientiert. Somit kann bspw. eine Kamera auf der linken Seite mit einer Kamera auf der rechten Seite gekoppelt werden. Alternativ oder ergänzend kann eine vordere Kamera am Bug mit einer hinteren Kamera am Heck gekoppelt werden.
-
Die mindestens zwei Bilder zum Erfassen der Bewegung des Fahrzeugs innerhalb der Umgebung und/oder relativ zu der Umgebung können von dem mindestens einen optischen Sensor, d. h. von mindestens einem optischen Sensor oder von mehreren optischen Sensoren, aus mindestens einer Position bzw. Perspektive, d. h. aus einer Position oder aus mehreren, bspw. unterschiedlichen Positionen bzw. Perspektiven, zu mindestens einem Zeitpunkt, d. h. zu einem gemeinsamen Zeitpunkt oder zu mehreren aufeinanderfolgenden Zeitpunkten, aufgenommen werden. Dabei werden nacheinander aufgenommene Bilder innerhalb und/oder während des Zeitintervalls aufgenommen. Falls die Abbildung auf mindestens zwei unterschiedlichen Bildern unterschiedliche Positionen aufweist, wird durch Vergleich der Positionen auf den Bildern unter Berücksichtigung des jeweiligen Zeitpunkts der jeweiligen Bildaufnahme und/oder der Position bzw. Perspektive des mindestens einen bei der jeweiligen Bildaufnahme verwendeten optischen Sensors der mindestens eine kinematische Parameter ermittelt.
-
Falls bei einer Ausführung des Verfahrens nur ein optischer Sensor verwendet wird, werden von diesem zu unterschiedlichen Zeitpunkten entsprechend viele Bilder aufgenommen und bspw. von der Recheneinheit durch Vergleichen der Bilder ausgewertet. Falls mehrere Sensoren an unterschiedlichen Stellen des Fahrzeugs verwendet werden, ist es auch möglich, zu einem Zeitpunkt mehrere Bilder aus unterschiedlichen Perspektiven aufzunehmen und von der Recheneinheit auszuwerten. Es ist ebenfalls möglich, von mehreren Sensoren an unterschiedlichen Stellen und aus unterschiedlichen Perspektiven mehrere Bilder zu unterschiedlichen Zeitpunkten aufzunehmen und auszuwerten. Es ist somit möglich, mehrere Bilder von einem Sensor und/oder mehrere Bilder von unterschiedlichen Sensoren miteinander zu vergleichen.
-
Mit dem Verfahren ist es u. a. möglich, Sensoren des Fahrwerks sowie Funktionen bzw. weitere Systeme, die auf derartigen Sensoren basieren, kamerabasiert funktional abzusichern. Unter Berücksichtigung von Bildern, die gleichzeitig und/oder nacheinander von den mindestens zwei an unterschiedlichen Stellen des Fahrzeugs angeordneten optischen Sensoren aufgenommen werden, ist es u. a. möglich, mindestens eine Drehbewegung, bspw. eine Nickbewegung oder Gierbewegung, als mindestens eine mögliche Bewegung des Fahrzeugs zu ermitteln. Mindestens zwei optische Sensoren sind bspw. dann zu verwenden, wenn ein einziger optischer Sensor zum Ermitteln der Bewegung nicht ausreicht.
-
Somit kann durch Nutzung des mindestens einen optischen Sensors auf einen redundanten mechanischen Sensor verzichtet werden, mit dem der mindestens eine mechanische Sensor, bspw. ein Inertialsensor, ansonsten plausibilisiert wird. Dabei ist es im Rahmen des Verfahrens auch möglich, Signale des mindestens einen Sensors, die Werte des mindestens einen kinematischen Parameters umfassen und/oder beschreiben, mithilfe von Informationen und somit von Werten, die von dem mindestens einen, bspw. als Kamera ausgebildeten optischen Sensor bereitgestellt werden, auf Integrität zu prüfen und zu plausibilisieren.
-
Dabei ist vorgesehen, dass der mindestens eine optische Sensor bereits in dem Fahrzeug verbaut und somit auch als Komponente des Fahrzeugs ausgebildet ist, wobei dieser mindestens eine optische Sensor auch für andere Zwecke nutzbar ist. Die Bewegung und/oder Drehung als der mindestens eine kinematische Parameter des Fahrzeugs, bspw. des Fahrwerks des Fahrzeugs, wird hierbei in Richtung von drei Raumrichtungen und somit entlang von drei Achsen plausibilisiert, wobei insgesamt sechs Freiheitsgrade bzw. Bewegungsmöglichkeiten, d. h. Bewegungen in den drei Raumrichtungen sowie drei Drehungen um drei Achsen parallel zu den drei Raumrichtungen berücksichtigt werden. Somit ist es u. a. möglich, auf redundante mechanische Sensoren des Fahrzeugs zu verzichten.
-
Bei einer Ausgestaltung des Verfahrens wird bspw. die Position oder die Bewegung des Fahrzeugs anhand des mindestens einen kinematischen Parameters, der von dem mindestens einen mechanischen Sensor erfasst wird, gemessen. Außerdem werden in möglicher Ausgestaltung des Verfahrens aufeinanderfolgende Bilder, die von dem mindestens einen optischen Sensor aufgenommen werden, analysiert, wobei der anhand der mindestens einen Abbildung mindestens eine optisch erfasste Wert des mindestens einen kinematischen Parameters erfasst wird. Weiterhin wird der mindestens eine mechanisch erfasste Wert des mindestens einen kinematischen Parameters mit dem mindestens einen optisch erfassten Wert des mindestens einen kinematischen Parameters verglichen und plausibilisiert.
-
Hierbei ist es möglich, dass mindestens ein Bild der Umgebung des Fahrzeugs mit einem als Monokamera ausgebildeten optischen Sensor und/oder mit mindestens einem als Stereokamera ausgebildeten optischen Sensor aufgenommen wird. Hierbei ist es auch möglich, mit dem einen optischen Sensor bzw. mit mindestens zwei optischen Sensoren, der bzw. die als Stereokamera ausgebildet ist bzw. sind, gleichzeitig bzw. synchron mindestens zwei Bilder aufzunehmen und diese synchron aufgenommenen Bilder für die Auswertung mindestens eines bestimmten kinematischen Parameters, der bspw. die Position und/oder Bewegung des Fahrzeugs beschreibt, zu verwenden. Bei dem Verfahren werden die mit dem mindestens einen optischen Sensor aufgenommenen Bilder verarbeitet.
-
Außerdem werden Eigenschaften der mechanisch erfassten Werte und/oder Signale des mindestens einen kinematischen Parameters mit äquivalenten Eigenschaften des mindestens einen kinematischen Parameters, die im Rahmen einer Verarbeitung der Bilder optisch ermittelt werden, miteinander verglichen. Derartige Eigenschaften betreffen bspw. eine Richtung und/oder einen Gradienten der mindestens einen kinematischen Größe, die bzw. der aus unterschiedlichen Positionen der mindestens einen Abbildung auf den Bildern abgeleitet wird. Es ist auch möglich, absolute Werte der mindestens einen kinematischen Größe zu ermitteln. Die mindestens eine kinematische Größe ist bspw. die Beschleunigung und/oder Geschwindigkeit des Fahrzeugs, insbesondere die Beschleunigung und/oder Geschwindigkeit des Fahrwerks des Fahrzeugs.
-
Ferner wird im Rahmen des Verfahrens eine Stellung bzw. Position, bspw. Montagestellung bzw. Montageposition, des mindestens einen optischen Sensors in Relation zu einem Koordinatensystem des Fahrzeugs berücksichtigt. Dabei ist der mindestens eine, bspw. als Kamera ausgebildete Sensor des Fahrzeugs längs, quer und/oder vertikal zu einer Richtung, bspw. Vorwärtsfahrtrichtung, des Fahrzeugs in diesem verbaut und/oder daran angeordnet. Hierbei ist es möglich, dass der mindestens eine optische Sensor auch für ein Parksystem oder ein anderes Assistenzsystem des Fahrzeugs, bspw. eines Spurhaltesystems (Lane Keeping), mit dem auch vor einer Spurabweichung gewarnt wird (Lane Departure Warning), oder für einen Staupilot verwendet wird. Üblicherweise ist jeder optische Sensor zur Durchführung des Verfahrens geeignet, weshalb das Verfahren bspw. auch mit mindestens einer Infrarotkamera (Night Vision) durchführbar ist.
-
Im Rahmen des Verfahrens werden Bilder, bspw. zweidimensionale Bilder und/oder dreidimensionale Bilder, des mindestens einen optischen Sensors im Rahmen eines Bildverarbeitungsverfahrens bearbeitet, wobei innerhalb von hintereinander- bzw. aufeinanderfolgenden Bildern und der mindestens einen darauf dargestellten und aus Pixeln zusammengesetzten Abbildung nach Werten für Vektoren des mindestens einen kinematischen Parameters und somit für dessen Richtung, bspw. für Vektoren für die Geschwindigkeit und/oder Beschleunigung der mindestens einen Abbildung, auf Grundlage der jeweiligen Pixel, aus denen die mindestens eine Abbildung auf unterschiedlichen Bildern zusammengesetzt ist, gesucht wird. Ein jeweiliger Vektor wird auf Grundlage unterschiedlicher Positionen der Abbildung auf unterschiedlichen Bildern ermittelt, wobei jeweils zwei unterschiedliche Positionen eine Strecke begrenzen, aus der der Vektor bspw. auch bildübergreifend abgeleitet wird. Üblicherweise bilden mehrere Pixel bzw. eine entsprechende Ansammlung von Pixeln auf jeweils einem Bild die mindestens eine Abbildung in der Regel des mindestens einen Objekts. Falls die mindestens eine Abbildung auf unterschiedlichen Bildern unterschiedliche Positionen aufweist, wird sie durch jeweils unterschiedliche positionierte Ansammlungen an Pixeln dargestellt. Der Wert des mindestens einen kinematischen Parameters wird unter Berücksichtigung derartiger Vektoren optisch ermittelt. Da es innerhalb eines Bilds auch zu einer konträren bzw. gegenläufigen Bewegung kommen kann, wird innerhalb des mindestens einen Bilds mindestens eine Region definiert, für die anhand der mindestens einen Abbildung ein klares Bewegungsmuster aufgenommen wird. Weiterhin werden Ergebnisse für Positionen, die die Abbildung auf allen Bildern aufweist, statistisch ausgewertet. Diese Region umfasst bspw. das mindestens eine Pixel bzw. eine positionsabhängige Ansammlung von Pixeln. Dabei werden gleiche Ergebnisse für den mindestens einen Wert des mindestens einen kinematischen Parameters als Endergebnis verwendet. In Ausgestaltung werden unterschiedliche Richtungen und Geschwindigkeiten von Bewegungen statistisch ausgewertet.
-
In einer weiteren Ausführung ist es möglich, dass von der Recheneinheit bspw. eine Logik bzw. ein logischer Algorithmus angewandt wird, mit dem es möglich ist, mindestens eine bestimmte Region des mindestens einen Bilds explizit als irrelevant auszuschließen und somit ein eindeutigeres Ergebnis zu gestalten. Eine derartige Logik basiert bspw. auf einer Mustererkennung von sich bewegenden Objekten in der Umgebung, die die Auswertung verfälschen. Derartige Objekte sind bspw. andere Verkehrsteilnehmer, Menschen oder Tiere. Alternativ oder ergänzend ist es möglich, Informationen über derartige ortsfeste und/oder sich bewegenden Objekte in der Umgebung aus einer Kommunikation mit dem Fahrzeug und einer ortsfesten Infrastruktur oder mit anderen Fahrzeugen als Verkehrsteilnehmer (Car-to-X, Connected Chassis) oder aus Kartenmaterial über eine Existenz von Objekten zu ermitteln, die die Auswertung verfälschen könnten und somit im Rahmen des Verfahrens ignoriert werden. Hierbei ist es möglich, dass das Fahrzeug, bspw. dessen Recheneinheit über eine Antenne, mit dem mindestens einen Objekt GPS-basierte Daten zum Ort und/oder zu der Geschwindigkeit austauscht.
-
Im Rahmen des Verfahrens ist es möglich, Sensoren oder darauf basierende Schätzalgorithmen, mit denen bspw. eine Bewegung des Fahrzeugs in Relation zu einer Fahrbahn als ortsfestem Objekt erfasst wird, zu überprüfen und/oder zu plausibilisieren. Der mindestens eine kinematische Parameter des Fahrzeugs ist bspw. ein Gierwinkel, eine Gierrate, eine Gierbeschleunigung, ein Nickwinkel, eine Nickrate, eine Nickbeschleunigung, ein Wankwinkel, eine Wankrate, eine Wankbeschleunigung, eine Quergeschwindigkeit, eine Querbeschleunigung, eine Längsgeschwindigkeit, eine Längsbeschleunigung, eine Vertikalgeschwindigkeit, eine Vertikalbeschleunigung, ein Schwimmwinkel, eine Schwimmwinkelgeschwindigkeit, eine Schwimmwinkelbeschleunigung, ein Höhenstand von Rädern des Fahrzeugs und/oder eine Drehzahl mindestens eines Rads des Fahrzeugs. Folglich ist der mindestens eine kinematische Parameter bspw. eine Strecke bzw. eine Position oder ein Winkel sowie eine zeitliche Ableitung hiervon, d. h. eine Geschwindigkeit oder eine Beschleunigung.
-
In einer weiteren Ausführung ist es auch möglich, Werte und somit Informationen, die von dem mindestens einen optischen Sensor zu dem mindestens einen kinematischen Parameter erfasst werden, zur Überprüfung einer absoluten Lage und somit einer absoluten Position des Fahrzeugs in Relation zu einem Erdhorizont als ortsfestem Objekt zu verwenden. Dabei wird als Lage bzw. Position als der mindestens eine kinematische Parameter eine Seitenneigung der Straße in Querrichtung und/oder eine Steigung der Straße in Längsrichtung ermittelt.
-
Da bei einer Ausführung des Verfahrens mindestens zwei optisch aufgenommene Bilder des mindestens einen optischen Sensors ausgewertet werden, ist es möglich, auch gleichzeitig aufgenommene Bilder und somit einzelne Aufnahmen und/oder nicht zeitlich aufeinanderfolgende Bilder auszuwerten. Hierbei ist es auch möglich, einen Winkel zwischen einer Ebene der von dem Fahrzeug befahrenen Fahrbahn und einem Horizont einer Krümmung der Erde zu ermitteln. Hierzu ist es auch möglich, einzelne Muster von ortsfesten Objekten, wie bspw. von Pflanzen, etwa von Bäumen, von Gebäuden, von Verkehrszeichen oder von Straßenlaternen, als Referenz zu verwenden.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird unter Bezugnahme auf die Zeichnungen schematisch und ausführlich beschrieben.
- 1 zeigt in schematischer Darstellung eine Ausführungsform des erfindungsgemäßen Systems bei Durchführung einer Ausführungsform des erfindungsgemäßen Verfahrens.
- 2 zeigt in schematischer Darstellung zwei Bilder, die bei Durchführung der Ausführungsform des erfindungsgemäßen Verfahrens verwendet werden.
-
Die Figuren werden zusammenhängend und übergreifend beschrieben. Gleichen Bezugsziffern sind dieselben Komponenten zugeordnet.
-
1 zeigt in schematischer Darstellung ein Beispiel für ein Fahrzeug 2, das ein Fahrwerk 4 und Räder 6 aufweist und sich auf einer Fahrbahn 8 in einer Umgebung befindet und/oder durch diese Umgebung bewegt, wobei in 1 als mindestens ein Objekt 10 dieser Umgebung ein Baum schematisch dargestellt ist.
-
Das Fahrzeug 2 weist als Komponenten eine Recheneinheit 12 und mindestens einen bspw. als Inertialsensor ausgebildeten und/oder zu bezeichnenden mechanischen Sensor 14 auf, mit dem es möglich ist, mindestens einen kinematischen Parameter des Fahrzeugs 2 mechanisch zu erfassen. Außerdem umfasst das Fahrzeug 2 einen hier als Kamera ausgebildeten optischen Sensor 16, mit dem es möglich ist, die Umgebung des Fahrzeugs 2 optisch zu erfassen. Dabei ist hier vorgesehen, diesen mindestens einen optischen Sensor 16 auch für weitere Funktionen unabhängig der nachfolgend beschriebenen Ausführungsformen des Verfahrens zu nutzen.
-
Der mindestens eine optische Sensor 16 sowie die Recheneinheit 12 sind hier auch als Komponenten der Ausführungsform des erfindungsgemäßen Systems 18 ausgebildet, mit dem die Ausführungsform des erfindungsgemäßen Verfahrens durchgeführt wird.
-
Bei der Ausführungsform des Verfahrens zum Plausibilisieren des mindestens einen mechanischen Sensors 14 des Fahrzeugs 2 werden von dem mindestens einen optischen Sensor 16 mehrere Bilder 30, 32 von der Umgebung aufgenommen, die jeweils mindestens einen Teil der Umgebung darstellen. Dabei zeigt 2a ein erstes Bild 30, das zu einem ersten Zeitpunkt aufgenommen wird bzw. wurde, und 2b mindestens ein nachfolgendes zweites Bild 32 von der Umgebung, wobei hier das mindestens eine zweite Bild 32 zu mindestens einem zweiten Zeitpunkt nach dem ersten Bild 30 aufgenommen wird bzw. aufgenommen worden ist. Zwischen jeweils zwei Zeitpunkten, d. h. zwischen dem ersten Zeitpunkt und dem mindestens einen zweiten Zeitpunkt läuft jeweils ein Zeitintervall ab.
-
Dabei weisen sämtliche Bilder 30, 32 hier mehrere Pixel 34 auf, aus denen die Bilder 30, 32 zusammengesetzt sind, wobei hier stellvertretend lediglich ein derartiges Pixel 34 in den Bildern 30, 32 schematisch angezeigt ist. Durch mindestens ein derartiges Pixel 34, in der Regel durch eine Ansammlung aus Pixeln 34, wird auf den Bildern 30, 32 auch jeweils eine des Objekts 10 aus der Umgebung dargestellt bzw. gezeigt und/oder abgebildet. Das Objekt 10 bildet einen Ausschnitt der Umgebung, die des Objekts 10 bildet einen entsprechenden Ausschnitt eines jeweiligen Bilds 30, 32. Dabei wird diese aus einer Ansammlung von Pixeln 34 eines jeweiligen Bilds 30, 32 zusammengesetzt.
-
Aufgrund einer Bewegung, die das Fahrzeug 2 und somit auch der mindestens eine optische Sensor 16 innerhalb der Umgebung ausführt, ergibt sich, dass die mindestens eine auf den Bildern 30, 32, die innerhalb und/oder während des Zeitintervalls nacheinander aufgenommen werden, auf den Bildern 30, 32 unterschiedliche Positionen aufweist. Durch Vergleich von zwei derartigen unterschiedlichen Positionen der mindestens einen bzw. der Pixel 34 zum Darstellen der mindestens einen auf den Bildern 30, 32 ist ein Vektor einer Bewegung und somit eine Richtung mindestens eines kinematischen Parameters des Fahrzeugs 2 in der Umgebung ermittelbar. Wie die Bilder 30, 32 weiterhin zeigen, wird durch die mindestens eine des Objekts 10 auf unterschiedlichen Positionen der Bilder 30, 32 auch eine relative Bewegung des Fahrzeugs 2 zu dem mindestens einen hier ortsfesten Objekt 10 dargestellt.
-
Unter Berücksichtigung einer ersten Position, die die mindestens eine auf dem ersten Bild 30 aufweist, und unter Berücksichtigung mindestens einer zweiten Position, die die mindestens eine auf dem mindestens einen zweiten Bild 32 aufweist, sowie unter Berücksichtigung des zwischen dem ersten Zeitpunkt und dem nachfolgenden mindestens einen zweiten Zeitpunkt abgelaufenen Zeitintervalls, wird mindestens ein Wert des mindestens einen kinematischen Parameters optisch ermittelt. Der mindestens eine Wert des mindestens einen kinematischen Parameters, der mit dem mindestens einen mechanischen Sensor 14 mechanisch erfasst wird, wird mit dem mindestens einen im Wesentlichen zeitgleich optisch ermittelten Wert des mindestens einen kinematischen Parameters verglichen und plausibilisiert.
-
Dabei werden mit dem mindestens einen optischen Sensor 16 durch Auswerten der Positionen der mindestens einen auf den Bildern 30, 32 Positionen des Fahrzeugs 2 relativ zu dem mindestens einen ortsfesten Objekt 10 in der Umgebung außerhalb des Fahrzeugs 2 optisch erfasst.
-
Je nach zu ermittelnder Bewegungsgröße, d. h. je nach zu ermittelndem kinematischem Parameter, werden unterschiedliche Ausrichtungen des mindestens einen optischen Sensors 16, d. h. bspw. unterschiedliche Kameraausrichtungen, entweder durch Drehen und/oder Bewegen einer Kamera und/oder durch Anordnen mehrerer Kameras an unterschiedlichen Positionen im Fahrzeug 2 und damit einhergehend mit unterschiedlichen Ausrichtungen relativ zu der aufzunehmenden Umgebung bzw. des aufzunehmenden Objekts 10 und/oder eine unterschiedliche Anzahl an Bildern 30, 32 ausgewertet. Zur Ermittlung einer Geschwindigkeit als Beispiel eines kinematischen Parameters können bspw. zwei aufeinanderfolgende Bilder 30, 32 und zur Ermittlung einer Beschleunigung drei aufeinanderfolgende Bilder 30, 32 einer oder mehrerer Kameras ausgewertet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013110954 A1 [0004]
- DE 10218228 A1 [0005]
