DE102010003850A1

DE102010003850A1 - Verfahren und Vorrichtung zur Nachführung einer Position einer Objektmarkierung

Info

Publication number: DE102010003850A1
Application number: DE102010003850A
Authority: DE
Inventors: Yiwen Yang; Mario Müller-Frahm; Gerrit De Boer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2010-04-12
Filing date: 2010-04-12
Publication date: 2011-10-13
Also published as: KR20110114485A; KR101805377B1; CN102211523A; CN102211523B

Abstract

Es wird ein Verfahren zur Nachführung einer Position einer Objektmarkierung (114) zum Markieren eines Objekts (106) auf einer Anzeigeeinrichtung (112) vorgeschlagen, wobei die Position der Objektmarkierung basierend auf einer Umfeldinformation ermittelt wird, die eine von einer Umfelderfassungseinrichtung (102) bereitgestellte Information über ein sich im Sichtbereich der Umfelderfassungseinrichtung befindliches Objekt repräsentiert, das einen Schritt des Bestimmens einer Nachführinformation zum Nachführen der Position der Objektmarkierung (114) auf der Anzeigeeinrichtung (112) basierend auf einer Bewegung des Fahrzeugs (100) umfasst, wobei die Bewegung eine Lageveränderung des Objekts (106) in Bezug auf die Umfelderfassungseinrichtung (102) bewirkt.

Description

Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Nachführung einer Position einer Objektmarkierung, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
Die DE 10 2008 026 397 A1 beschreibt ein Verfahren zur Schätzung der Fahrzeugdynamik eines Fahrzeugs anhand eines stationären Objekts.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Nachführung einer Position einer Objektmarkierung, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Systeme zur Erfassung von Objekten in der Umgebung eines Ego-Fahrzeugs arbeiten in der Regel verzögerungsbehaftet, insbesondere wenn Videosignale ausgewertet müssen. Die entstehenden Latenzzeiten bis zur Ausgabe einer Objektinformation, wie beispielsweise eine Position oder Geschwindigkeit, können in Größenordnungen von einigen 100 ms liegen. Dies ist für die mit den Informationen arbeitenden Regelsysteme, z. B. ACC (Adaptive Cruise Control) nicht besonders kritisch. Sollen die Objektinformationen insbesondere die Position nun aber für eine ortsbezogene Visualisierung in einer Sichtfeldanzeige, einem sogenannten Head-up Display (HUD), genutzt werden, so wird hier die Latenzzeit sofort sichtbar. Das Auge registriert deutlich Latenzzeiten schon ab 50 ms. Sollen nun beispielsweise Symbole oder Markierungen an realen Objekten wie Fahrzeugen angelagert werden, und sind die Positionsinformation der Objekte schon 300 ms alt, so „ziehen” die Symbole aus Sicht des Fahrers „nach”. Insbesondere bei schnellen Relativbewegungen, das heißt die Bewegung ist innerhalb von 300 ms abgeschlossen, zwischen Ego-Fahrzeug und Objekt würde ein willkürlich Auf- und Abtanzen des Symbols sichtbar werden.
Die Erfindung basiert auf der Erkenntnis, dass eine Kompensation dieser Latenzzeit und eine Korrektur der veralteten Symbolposition für eine präzise Referenzierung durch die Sichtfeldanzeige (HUD) möglich sind. Dies kann durch eine Ausnutzung von Information über die Beschleunigungssensorik des Ego-Fahrzeugs erreicht werden. Das erfindungsgemäße Verfahren kommt ohne die Verwendung sogenannter „Prediktionsverfahren” aus, da die Beschleunigungssensordaten mit Latenzzeiten von wenigen 10 ms vorliegen und für eine direkte Kompensationsrechnung verwendet werden können.
Als Sichtfeldanzeige (Head-up Display, HUD) wird ein System bezeichnet, das Informationen direkt ins Sichtfeld des Fahrers einblendet. Hierzu wird eine spezielle Optik eingesetzt, die über Einspiegelung in die Windschutzscheibe dafür sorgt, dass für den Fahrer der Eindruck entsteht, als ob ein Bild vor dem Fahrzeug schweben würde. Im Gegensatz dazu muss der Fahrer bei einer konventionellen Anzeige (Head Down-Display) oder bei den Kombiinstrumenten im Fahrzeug seinen Blick senken, um wichtige Anzeigen wie etwa Geschwindigkeit oder Richtungsanweisungen zu sehen.
Gemäß einer Ausführungsform kann eine Sichtfeldanzeige eingesetzt werden, bei der Informationen gezielt dem realen Bild überlagert werden, um Punkte im Raum zu referenzieren. Diese Displays werden im allgemeinen Sprachgebrauch kontaktanaloge bzw. verbesserte Sichtfeldanzeigen (augmented Head-up Displays) genannt. Dem Fahrer können mit Hilfe dieser Technik z. B. Navigationshinweise in der Form gegeben werden, dass die von ihm zu verfolgende Straße farbig markiert wird. Auch Fahrspuren oder von einer adaptiven Geschwindigkeitsregelanlage (ACC-System, Adaptive Cruise Control) detektierte vorausfahrende Fahrzeuge können dem Fahrer direkt in das Blickfeld eingeblendet werden. Für die Erzeugung eines 3D-Effektes sind verschiedene Ansätze bekannt. Über autostereoskopische oder auch binokulare Systeme werden für beide Augen unterschiedliche Bilder erzeugt und über entsprechende Optiken dem Auge sichtbar gemacht. Andere Verfahren, genannt biokular, erzeugen nur ein einziges. Bild, dessen Bildentfernung aber so gewählt wird, dass die Augen diese nicht mehr erkennen kann, und das Gehirn automatisch eine Zuordnung zu den hinter den eingeblendeten Symbolen liegenden Objekten vornimmt. Die nach 2D wird durch einen Grafikprozessor (Renderer) durchgeführt, der das 2D-Bild auf die Szene aus der Perspektive des Fahrers und des 3D-Visualisierungsdaten errechnet. Hierzu ist in der Regel eine Fahrerkopfpositionsschätzung erforderlich.
Eine adaptive Geschwindigkeitsregelanlage (ACC) überwacht mit einem Funkmessgerät, beispielsweise einem Radar-Sensor, den Bereich vor dem Fahrzeug. Aus den reflektierten Signalen berechnet die adaptive Geschwindigkeitsregelanlage Richtung, Entfernung und Relativgeschwindigkeit vorausfahrender Fahrzeuge. Detektiert die adaptive Geschwindigkeitsregelanlage ein langsameres vorausfahrendes Fahrzeug in der eigenen Fahrspur, passt es die Geschwindigkeit so an, dass man im gewünschten Abstand folgt. Dazu reduziert die adaptive Geschwindigkeitsregelanlage je nach Fahrsituation das Motormoment oder bremst das Fahrzeug ab. Auch in Kurven kann die adaptive Geschwindigkeitsregelanlage erkennen, welches Fahrzeug für die Geschwindigkeitsregelung entscheidend ist. Sobald sich im Messbereich kein Fahrzeug mehr befindet, beschleunigt die adaptive Geschwindigkeitsregelanlage das Fahrzeug wieder automatisch auf die voreingestellte Geschwindigkeit.
Bilderkennungsalgorithmen können aus Videobildern Objekte detektieren und deren Positionsdaten z. B. über eine Hauptleitung (CAN-BUS, Controller Area Network Bus) anderen Systemen zur Verfügung stellen.
Die vorliegende Erfindung schafft ein Verfahren zur Nachführung einer Position einer Objektmarkierung zum Markieren eines Objekts auf einer Anzeigeeinrichtung eines Fahrzeugs, wobei die Position der Objektmarkierung basierend auf einer Umfeldinformation ermittelt wird, die eine von einer Umfelderfassungseinrichtung bereitgestellte Information über ein sich im Sichtbereich der Umfelderfassungseinrichtung befindliches Objekt repräsentiert, wobei das Verfahren den folgenden Schritt umfasst: Bestimmen einer Nachführinformation zum Nachführen der Position der Objektmarkierung auf der Anzeigeeinrichtung, basierend auf einer Bewegung des Fahrzeugs, wobei die Bewegung eine Lageveränderung des Objekts in Bezug auf die Umfelderfassungseinrichtung bewirkt.
Das erfindungsgemäße Verfahren kann in einem Informationssystem oder Navigationssystem eines Fahrzeugs umgesetzt werden. In diesem Fall kann sich das Objekt in einer Umgebung des Fahrzeugs befinden. Beispielsweise kann es sich bei dem Objekt um ein Verkehrsschild, eine Fahrbahnmarkierung oder Fahrbahnbegrenzung, ein weiteres Fahrzeug oder um einen Fußgänger handeln. Um das Objekt beispielsweise für einen Insassen des Fahrzeugs hervorzuheben, kann in ein Sichtfeld des Insassen die Objektmarkierung eingeblendet werden. Dabei kann die Objektmarkierung so eingeblendet werden, dass sich die Position der Objektmarkierung an der Position des real existierenden Objekts befindet. Die Objektmarkierung kann in Form eines Rahmens erfolgen, der das Objekt umgibt. Ebenso kann die Objektmarkierung durch eine Verdeutlichung der Umrisse des Objekts erfolgen. Die Objektmarkierung kann mittels der Anzeigeeinrichtung angezeigt werden. Die Anzeigeeinrichtung kann als eine Sichtfeldanzeige (HUD) oder als ein Bildschirm realisiert sein. Ist die Anzeigeeinrichtung als Sichtfeldanzeige realisiert, so kann die Objektmarkierung so angezeigt werden, dass sie aus einem Sichtwinkel des Insassens mit dem für den Insassen real sichtbaren Objekt überlagert ist. Ist die Anzeigeeinrichtung dagegen als Bildschirm realisiert, auf dem die reale Umgebung abgebildet wird, so kann die Objektmarkierung so angezeigt werden, dass sie dem auf dem Bildschirm angezeigten Objekt überlagert ist. Das Objekt selbst kann basierend auf einer Objekterkennung erkannt werden. Die Objekterkennung kann basierend auf der Umfeldinformation erfolgen. Die Umfeldinformation kann in Form einer Bildinformation vorliegen, auf der das Objekt abgebildet ist. Ebenfalls kann die Umfeldinformation in Form einer räumlichen Positionsinformation vorliegen, die beispielsweise eine Richtung und Entfernung sowie eine Ausdehnung des Objekts umfasst. Basierend auf der Umfeldinformation kann ferner eine Position des Objekts relativ zum Fahrzeug, dem Insassen oder der Anzeigeeinrichtung bestimmt werden. Die Umfelderfassungseinrichtung kann eine Bilderfassungseinrichtung für Stand- oder Bewegtbilder, beispielsweise in Form einer Kamera, eine Funkmesseinrichtung oder eine akustische Messeinrichtung darstellen. Die Nachführinformation kann eine bestehende Position der Objektmarkierung dergestalt verschieben, dass die Objektmarkierung auch nach der Bewegung des Fahrzeugs, und damit nach einer Bewegung der Umfelderfassungseinrichtung sowie der Anzeigeeinrichtung, auf der Anzeigeeinrichtung mit der Position des Objekts übereinstimmt. Sofern die Umfelderfassungseinrichtung und die Anzeigeeinrichtung starr mit dem Fahrzeug verbunden sind, kann sich die Bewegung des Fahrzeugs auf die Umfelderfassungseinrichtung und die Anzeigeeinrichtung übertragen. Die Lageveränderung des Objekts kann eine Winkeländerung eines Winkels zwischen einer Bezugsachse des Fahrzeugs, beispielsweise der Fahrzeuglängsachse, und einem Richtungsvektor vom Fahrzeug zum Objekt umfassen. Das bedeutet, dass sich das Objekt relativ zu einer Bezugsachse des Fahrzeugs in Bezug auf die Umfelderfassungseinrichtung bewirkt Zum Bestimmen der Nachführinformation können Informationen über die Art der Bewegung, die Anordnung der Umfelderfassungseinrichtung, der Anzeigeeinrichtung und einer Messeinrichtung zum Erfassen der Bewegung am Fahrzeug sowie eine Position und ein Blickwinkel eines Insassen des Fahrzeugs, der auf die Anzeigeeinrichtung blickt, berücksichtigt werden.
In einem Schritt des Bestimmens kann eine durch die Bewegung des Fahrzeugs bewirkte Auslenkung einer Bezugsachse der Umfelderfassungseinrichtung bestimmt werden. Die Nachführinformation kann basierend auf der Auslenkung der Bezugsachse bestimmt werden. Die Bezugsachse kann eine Hauptorientierungsrichtung der Umfelderfassungseinrichtung darstellen. Die Auslenkung der Bezugsachse kann basierend auf Informationen erfolgen, die von einer Beschleunigungserfassungseinrichtung und/oder Winkelerfassungseinrichtung und/oder Geschwindigkeitserfassungseinrichtung bereitgestellt werden. Die Auslenkung der Bezugsachse kann eine Drehung oder ein Kippen der Bezugsachse darstellen.
Bei der Bewegung des Fahrzeugs kann es sich um eine Drehbewegung handeln. In einem Schritt des Empfangens kann eine Information über die Drehbewegung des Fahrzeugs über eine Schnittstelle zu einem Drehratensensor des Fahrzeugs empfangen werden. Die Drehbewegung kann um eine Querachse des Fahrzeugs erfolgen. Bei der Schnittstelle kann es sich um eine Empfangsschnittstelle handeln, über die Sensordaten empfangen werden können. Die Drehbewegung des Fahrzeugs kann mittels einem oder mehrerer Beschleunigungssensoren oder Drehratensensoren erfasst werden. Auf diese Weise kann eine Winkelbeschleunigung oder einer Winkelgeschwindigkeit des Fahrzeugs um eine bekannte Fahrzeugachse erfasst werden. Daraus kann wiederum ermittelt werden, um welchen Winkel sich das Fahrzeug innerhalb einer bestimmten Zeitdauer gedreht hat. Auch kann die Drehbewegung des Fahrzeugs basierend auf einer erfassten Einfederung der Fahrzeugachsen bestimmt werden.
Gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens kann in einem Schritt des Ermittelns ein Verlauf einer Winkelgeschwindigkeit der Bewegung des Fahrzeugs ermittelt werden. Die Nachführinformation kann basierend auf einer Aufsummierung des Verlaufs der Winkelgeschwindigkeit bestimmt werden. Der Verlauf der Winkelgeschwindigkeit kann basierend auf einer gemessenen Winkelbeschleunigung oder einer über die Zeit gemessenen Winkeländerung ermittelt werden.
Gemäß einer weiteren Ausführungsform kann in einem Schritt des Bestimmens eine Bewegung der Umfelderfassungseinrichtung basierend auf der Bewegung des Fahrzeugs bestimmt werden. Die Nachführinformation kann basierend auf der Bewegung der Umfelderfassungseinrichtung bestimmt werden. Die Drehbewegung des Fahrzeugs wird auf die Umfelderfassungseinrichtung übertragen und bewirkt somit eine Bewegung der Umfelderfassungseinrichtung. Je nach Anordnung der Umfelderfassungseinrichtung am Fahrzeug kann die Drehbewegung des Fahrzeugs der durch die Bewegung des Fahrzeugs hervorgerufenen Drehbewegung der Umfelderfassungseinrichtung entsprechen.
Die Umfelderfassungseinrichtung kann ausgebildet sein, um die Umfeldinformation zu einem Erfassungszeitpunkt zu erfassen. Die Bewegung der Umfelderfassungseinrichtung kann innerhalb einer Zeitspanne erfolgen, die zeitlich nach dem Erfassungszeitpunkt liegt. Die Zeitspanne kann einer Latenzzeit oder Totzeit entsprechen, die zwischen einem Erfassen der Umfeldinformation und einer darauf basierenden Anzeige der Objektmarkierung liegt.
Somit kann die Zeitspanne zeitlich an den Erfassungszeitpunkt anschließen und einer Ermittlungsdauer der Position der Objektmarkierung aus der Umfeldinformation entsprechen.
Das erfindungsgemäße Verfahren kann einen Schritt des Bestimmens einer korrigierten Position der Objektmarkierung basierend auf der Nachführinformation und der Position der Objektmarkierung umfassen. Durch die korrigierte Position kann die durch die Bewegung der Umfelderfassungseinrichtung hervorgerufene Verschiebung zwischen dem Objekt und der Objektmarkierung sehr schnell ausgleichen. Demnach kann die korrigierte Position einer tatsächlichen Position des Objekts auf dem Anzeigegerät zu einem aktuellen Zeitpunkt entsprechen. Die korrigierte Position kann für eine Anzeige auf einem Anzeigegerät optimiert sein.
Die Anzeigeeinrichtung kann als eine Sichtfeldanzeige eines Fahrzeugs oder als ein Bildschirm ausgebildet sein. In einem Schritt des Bereitstellens kann die korrigierte Position der Objektmarkierung an einer Schnittstelle zu der Sichtfeldanzeige oder dem Bildschirm bereitgestellt werden. Die korrigierte Position der Objektmarkierung kann als Steuersignal für die Anzeigeeinrichtung ausgebildet sein. Ansprechend auf ein Empfangen der korrigierten Position der Objektmarkierung kann die Anzeigeeinrichtung die Objektmarkierung an der entsprechenden korrigierten Position anzeigen.
Die vorliegende Erfindung schafft ferner eine Vorrichtung zur Nachführung einer Position einer Objektmarkierung zum Markieren eines Objekts auf einer Anzeigeeinrichtung, wobei die Position der Objektmarkierung basierend auf einer Umfeldinformation ermittelt wird, die eine von einer Umfelderfassungseinrichtung bereitgestellte Information über ein sich im Sichtbereich der Umfelderfassungseinrichtung befindliches Objekt repräsentiert, wobei die Vorrichtung das folgende Merkmal aufweist: eine Einrichtung zum Bestimmen einer Nachführinformation zum Nachführen der Position der Objektmarkierung auf der Anzeigeeinrichtung, basierend auf einer Bewegung des Fahrzeugs, wobei die Bewegung eine Lageveränderung des Objekts in Bezug auf die Umfelderfassungseinrichtung bewirkt.
Die Vorrichtung zur Nachführung kann eine Einrichtung zum Ermitteln der Position der Objektmarkierung, basierend auf der Umfeldinformation, und eine Einrichtung zum Ermitteln der Bewegung der Umfelderfassungseinrichtung aufweisen. Zum Ermitteln der Position der Objektmarkierung können bekannte Objekterkennungsalgorithmen eingesetzt werden. Die Einrichtung zum Ermitteln der Bewegung der Umfelderfassungseinrichtung kann Bewegungssensoren und eine Auswerteeinrichtung umfassen, die ausgebildet ist, um aus den von den Bewegungssensoren ausgegebenen Daten die Bewegung der Umfelderfassungseinrichtung zu ermitteln.
Die Vorrichtung zur Nachführung kann Teil eines Informationssystems oder Fahrerinformationssystems und insbesondere eines Navigationssystems sein, das ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. Bei der Vorrichtung kann es sich um ein Gerät handeln, das beispielsweise einem Fahrer eines Fahrzeugs Informationen anzeigt, die bezüglich einer gewählten Fahrstrecke relevant sein können. Die Vorrichtung kann eine Ausgabeeinrichtung, beispielsweise in Form einer Sichtfeldanzeige oder eines Displays aufweisen, über die dem Benutzer Informationen angezeigt werden können.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Programm auf einem Fahrerinformationssystem ausgeführt wird. Der Programmcode kann auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert ist und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet werden, wenn das Programm ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1a eine Darstellung eines Ausführungsbeispiels der Erfindung mit einem Fahrzeug in Ruhelage;
1b eine Darstellung einer erfindungsgemäßen Anzeige mit einem Fahrzeug in Ruhelage;
1c eine Darstellung eines Ausführungsbeispiels der Erfindung mit einem Fahrzeug in ausgelenkter Lage;
1d eine Darstellung einer Anzeige mit einem Fahrzeug in ausgelenkter Lage;
1e eine Darstellung einer erfindungsgemäßen Anzeige mit einem Fahrzeug in ausgelenkter Lage;
2 zwei Diagramme eines Ausführungsbeispiels der vorliegenden Erfindung;
3 ein Blockschaltbild eines Ausführungsbeispiels der vorliegenden Erfindung; und
4 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Anhand der Figuren 1a bis 1e wird das erfindungsgemäße Verfahren zur Nachführung einer Position einer Objektmarkierung zum Markieren eines Objekts auf einer Anzeigeeinrichtung eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung erläutert. Gemäß diesem Ausführungsbeispiel wird eine Kompensation von Latenzzeiten aus einer Videosensorik mittels einer Drehrateninformation ermöglicht.
1a zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Umfelderfassungseinrichtung 102. Das Fahrzeug 100 bewegt sich auf einer Fahrbahn 104 auf ein Objekt 106 zu. In diesem Beispiel ist die Umfelderfassungseinrichtung 102 eine Videokamera 102, die im Wesentlichen entlang einer Hauptachse 108 des Fahrzeugs 100 ausgerichtet ist. Vor dem Fahrzeug 100 befindet sich ein Hindernis 110 in Form einer Fahrbahnerhebung.
Die Umfelderfassungseinrichtung 102 ist ausgebildet, um ein Umfeld des Fahrzeugs zu erfassen. Gemäß diesem Ausführungsbeispiel ist die Umfelderfassungseinrichtung 102 ausgebildet, um einen in Fahrtrichtung vor dem Fahrzeug 100 liegenden Bereich zu erfassen. Das vor dem Fahrzeug 100 angeordnete Objekt 106 wird von der Umfelderfassungseinrichtung 102 erfasst. Bei dem Objekt 106 kann es sich um ein Verkehrsschild handeln. Die Umfelderfassungseinrichtung 102 kann Umfeldinformationen bereitstellen, die Informationen über das Objekt 106 umfassen. Die Umfeldinformationen können von einer Objekterkennung genutzt werden, um Informationen über das Objekt 106 zu bestimmen. Beispielsweise können die Art und die Position des Objekts 106 bestimmt werden.
1b zeigt eine Sichtfeldanzeige 112, in Form eines Head-up Displays, die in dem in 1a gezeigten Fahrzeug realisiert sein kann. Mittels der Sichtfeldanzeige 112 können Informationen an einen Insassen des Fahrzeugs, beispielsweise an den Fahrzeuglenker übermittelt werden. Gemäß diesem Ausführungsbeispiel wird mittels der Sichtfeldanzeige 112 eine Objektmarkierung 114 angezeigt, die aus einem Blickwinkel des Insassens des in 1a gezeigten Fahrzeugs dem Objekt 106 überlagert ist. Somit wird die Objektmarkierung 114 an einer Position angezeigt, die der für den Insassen ersichtlichen Position des realen Objekts 106 entspricht. Die Markierung 114 soll dem Fahrzeuglenker das Objekt 106 besonders verdeutlichen.
Gemäß diesem Ausführungsbeispiel befindet sich das Objekt 106 im Erfassungsbereich der in 1a gezeigten Videokamera. Die Markierung 114 wird durch eine Bildauswertung des Bildes der Videokamera erzeugt und soll dem Fahrzeuglenker das Objekt 106 besonders verdeutlichen. Die Objektmarkierung 114 befindet sich auf der Sichtfeldanzeige 112 passend über dem Objekt 106. Da sich das Fahrzeug auf einer ebenen Straße bewegt, verändert sich ein Relativwinkel zwischen dem Fahrzeug und dem Objekt 106 nur sehr langsam. Durch die langsame Winkelveränderung kann die Bildauswertung die Objektmarkierung 114 ohne große Abweichungen deckungsgleich mit dem Objekt 106 halten.
1c zeigt eine schematische Darstellung, bei der das Fahrzeug 100 das Hindernis 110 auf der Fahrbahn 104 überfährt. Durch das Hindernis 110 wird das Fahrzeug 100 ausgelenkt. Das Fahrzeug 100 erfährt eine schnelle Drehung um seine Querachse. Mit der Drehung verändert sich auch die Hauptachse 108 der Umfelderfassungseinrichtung 102. Das Objekt 106 vollzieht für die Videokamera 102 eine schnelle Bewegung. Tatsächlich verbleibt das Objekt 106 jedoch in seiner Ausgangslage und die Bewegung ist nur eine Relativbewegung des Objekts gegenüber der Umfelderfassungseinrichtung 102.
1d zeigt eine Darstellung der aus 1b bekannten Sichtfeldanzeige 112, bezogen auf die in 1c gezeigte Auslenkung des Fahrzeugs. Aufgrund der schnellen Relativbewegung zwischen dem Fahrzeug und dem Objekt 106 verbleibt die Objektmarkierung 114 zunächst auf der in 1b gezeigten Position auf der Sichtfeldanzeige 112. Die Objektmarkierung 114 stimmt dadurch aus Sicht des Insassens nicht mehr mit der Position des Objekts 106 überein. Die Lageverschiebung ist durch eine Latenzzeit der Videokamera und der Bildauswertung bedingt.
1e zeigt eine Darstellung der aus 1b bekannten Sichtfeldanzeige 112, bezogen auf die in 1c gezeigte Auslenkung des Fahrzeugs, wobei die Objektmarkierung 114 im Unterschied zu der in 1d gezeigten Darstellung, gemäß dem erfindungsgemäßen Verfahren, nachgeführt wird. Der erfindungsgemäße Ansatz ermöglicht ein schnelles Nachführen der Objektmarkierung 114. Dazu werden Bewegungsinformationen über eine Winkelgeschwindigkeit oder Winkelbeschleunigung des Fahrzeugs ausgewertet und es wird eine Nachführinformation für die Objektmarkierung 114 aus den Bewegungsinformationen bestimmt. Die Bewegungsinformationen können von einer Bewegungssensorik des Fahrzeugs empfangen werden. Beispielsweise kann durch eine Integration der Winkelgeschwindigkeit über die Latenzzeit der Videokamera und der Bildauswertung die Nachführinformation bestimmt werden. Gemäß diesem Ausführungsbeispiel ist die Nachführinformation geeignet, die Relativbewegung des Objekts 106 zu kompensieren die durch die in 1c gezeigte Auslenkung des Fahrzeugs hervorgerufen wird. Auf diese Weise kann die Position der Objektmarkierung 114 korrigiert werden. Damit ist eine Art von Verwackelungsschutz für verzögerungsbehaftete Prozesse möglich. Die Objektmarkierung 114 stimmt dadurch aus Sicht des Insassens trotz der Auslenkung des Fahrzeugs mit der Position des Objekts 106 überein.
Der anhand der 1a bis 1e beschriebene erfindungsgemäße Ansatz basiert auf den Annahmen, dass die Relativbewegungen von Objekten, wie Fahrzeuge, Fußgänger oder Straßen, in der Umgebung des Ego-Fahrzeugs durch die Eigenbewegung des Ego-Fahrzeugs dominiert werden. Dies gilt insbesondere für die schnellen Relativbewegungen. Beispielsweise erscheint ein von einer adaptiven Geschwindigkeitsregelanlage (ACC) erfasstes Fahrzeug relativ zum Ego-Fahrzeug bei gerader und ebener Straße und konstanten Geschwindigkeiten beider Fahrzeuge aus Sicht des Ego-Fahrzeugs vor diesem still zu stehen. Fährt nun das Ego-Fahrzeug über eine Bodenwelle und erfährt ein Aufwärtsnicken, so scheint das fremde Fahrzeug eine schnelle Abwärts-/Aufwärtsbewegung auszuführen. Über die Drehratensensorik des Ego-Fahrzeugs wird mit vernachlässigbar kurzer Latenzzeit die Drehgeschwindigkeit des Ego-Fahrzeugs so gemessen und bereitgestellt, dass aus ihr Rückschlüsse über die Relativbewegungen der Außenwelt in Grad relativ zur Geradeaussicht-Richtungsachse des Fahrers gezogen werden können.
Erfindungsgemäß können somit die in der Totzeit des Messsystems auftretenden relativen Objektbewegungen geschätzt werden. Darauf basierend kann der in der Vergangenheit gemessene Positionswert eines Objektes entsprechend korrigiert werden.
2 zeigt zwei Diagramme eines Ausführungsbeispiels der vorliegenden Erfindung. In dem unteren Diagramm ist ein Verlauf 221 einer Bewegung des Fahrzeugs oder der Umfelderfassungseinrichtung gezeigt. In dem oberen Diagramm ist ein Verlauf 223 einer aus der Bewegung resultierenden relativen Positionsänderung des Objekts gezeigt.
In dem unteren Diagramm ist auf der Abszisse die Zeit t und auf der Ordinate die Winkelgeschwindigkeit oder Drehrate w(t) in °/s angetragen. Die Winkelgeschwindigkeit kann auf eine Bewegung des Fahrzeugs oder auf die Umfelderfassungseinrichtung bezogen sein. Ein Verlauf der Winkelgeschwindigkeit über die Zeit ist anhand der Kurve 221 gezeigt. Die Kurve 221 kann den von einer Drehratensensorik erfassten Verlauf der Drehrate oder Winkelgeschwindigkeit w über die Zeit t darstellen. Die Kurve 221 weist ausgehend von einer Nulllage zum Zeitpunkt t_A einen sprunghaften Anstieg auf und bleibt anschließend bis zum Zeitpunkt t_o auf einem konstanten Winkelgeschwindigkeitswert. Somit ist die Umfelderfassungseinrichtung bis zum Zeitpunkt t_A in Ruhe und bewegt sich anschließend mit einer konstanten Winkelgeschwindigkeit.
In dem oberen Diagramm ist auf der Abszisse die Zeit t und auf der Ordinate die Position S(t) des Objekts im Erfassungsbereich der Umfelderfassungseinrichtung in ° angetragen. Die Position des Objekts ist dabei in Grad angegeben. Ein Verlauf der Position des Objekts über die Zeit ist anhand der Kurve 223 gezeigt. Solange die Umfelderfassungseinrichtung in Ruhe ist, bleibt die Position des Objekts gleich. Ab dem Zeitpunkt t_A verändert sich die Position des Objekts. Somit weist die Kurve 223 in einem ersten Abschnitt bis zu dem Zeitpunkt t_A einen geradlinigen Verlauf parallel zur Abszissenachse und ab dem Zeitpunkt t_A einen geradlinig ansteigenden Verlauf auf.
Der Zeitpunkt t₀ stellt den aktuellen Zeitpunkt dar. Ein Zeitpunkt t₀ – T ist zwischen den Zeitpunkten t₀ und t_A angeordnet.
Auf der Kurve 223 sind eine aktuelle Position S(t₀) des Objekts zum Zeitpunkt t₀ und eine zeitlich vorrangegangene Position S(t₀ – T) des Objekts zum Zeitpunkt t₀ – T aufgetragen. Die Positionen S(t₀) und S(t₀ – T) unterscheiden sich um einen Winkel Δρ₀ Die Position S(t₀ – T) des Objekts entspricht einer von einer Bildverarbeitung berechneten Position des Objekts, die die Bildbearbeitung aufgrund einer internen Bearbeitungszeitoder Totzeit T zum Zeitpunkt t₀ ausgibt.
Die Position S(t₀ – T) ist bekannt, gesucht ist die Position S(t₀) bzw. der Drehwinkel Δφ₀ während der Totzeit T. Dabei gilt der Zusammenhang S(t₀) = S(t₀ – T) + Δφ₀ ergibt. Der Verlauf von w(t) ist bis zum aktuellen Zeitpunkt t₀ bekannt. Wenn S(t) nur durch Rotation des Ego-Fahrzeugs verursacht wird, gilt w(t) = S .(t) + n(t). Dabei ist S .(t) die Ableitung der Position nach der Zeit und n(t) kann ein Sensorrauschen oder eine Drift berücksichtigen. Daher kann der Wert Δφ ⌢₀ als ein Schätzwert für den Drehwinkel Δφ₀ während der Totzeit T durch Integration der Drehrateermittelt werden. Es gilt:
wobei
ist.
Anhand von 2 wird anhand eines Ausführungsbeispiels eine Situation illustriert, in der das vorausfahrende Fahrzeug durch ein Nicken des Ego-Fahrzeugs nach oben zu wandern scheint. Die von der Videosensorik geschätzte vertikale Objektposition sei dabei in Grad relativ zu einer Achse, die von der Drehratensensorik erfasst wird, angegeben. Das Nicken des Ego-Fahrzeugs führt zu einem Ansteigen des (ACC) vorausfahrenden Fahrzeugs. Gleichzeitig erzeugt die Bewegung eine entsprechende Drehrate. Die zum aktuellen Zeitpunkt gesuchte Objektposition, beispielsweise in Form eines Höhenwinkels, kann errechnet werden, indem die während der Totzeit zurückgelegte Winkelstrecke über Integration der Drehrate errechnet und zum veralteten bekannten Wert addiert wird.
Gemäß diesem Ausführungsbeispiel wird zur Vereinfachung die Situation für eine Rotation um eine Achse betrachtet. Prinzipiell lässt sich das Verfahren für alle Rotationsachsen, Wanken, Nicken und sogar Rollen anwenden.
Das Verfahren kann die tatsächliche Lage der Drehachsen des Fahrzeugs vernachlässigen. Beispielsweise kann die gemessene Drehung mit dem Fahrer als Mittelpunkt erfolgen.
Die Genauigkeit des Verfahrens lässt sich durch den Einsatz von Fahrzeugbewegungsmodellen noch steigern. Dazu kann die Eigenbewegung unter Berücksichtigung von Fahrzeugmasse, Federung, Einbaulage der Drehratensensorik und anderen Faktoren vollständig geschätzt und auf die Perspektive des Fahrers umgerechnet werden. Zur beschriebenen Rotation würde in der Regel eine geringe Translation hinzukommen.
Die Berechnung kann in zeit- und wertkontinuierlicher Form durchgeführt werden. Die Signalverarbeitung im Fahrzeug ist dagegen zeit- und wertdiskret, so dass bei der Umsetzung in einem Steuergerät die Integrale durch entsprechende Produktsummen aus gemessener Drehrate multipliziert mit dem Abtastintervall ersetzt werden müssen.
Es wurde unterstellt, dass die Signale der Drehratensensoren verzögerungsfrei vorliegen. In der Praxis liegt hier natürlich auch eine Latenzzeit vor, die allerdings deutlich unter der Latenzzeit der Videosignalverarbeitung liegt. In Folge weist das Gesamtsystem damit weiterhin eine Gesamtverzögerung auf, die aber in der Regel nicht oder nur schwach wahrnehmbar ist. Hier kann zur Verschleierung der restlichen Latenzzeit zusätzlich ein Prediktionsverfahren zum Einsatz kommen.
Als Beispiel wurde oft die Visualisierung von (ACC) Objekten, die von einer adaptiven Geschwindigkeitsregelanlage erfasst sind, genannt. Das Verfahren lässt sich für alle Objekte außerhalb des Fahrzeugs anwenden, wie Fahrzeuge, Personen, Spurlinien, Gebäude und ähnliches für die eine Referenzierung durch eine kontaktanaloge Sichtfeldanzeige (HUD) erzielt werden soll.
Zur Parametrisierung des Systems wird vorab die Totzeit T gemessen.
Der dargestellte Verlauf des Höhenwinkels in 2 zeigt beispielhaft ein lineares Ansteigen. Das Verfahren funktioniert natürlich für alle möglichen Verläufe, die durch die Drehratensensorik erfasst werden.
Die Latenzzeit der Videosensorik inkl. der weiteren Signalverarbeitung bis hin zur Bilderzeugung kann bekannt sein oder kann gemessen werden, indem die Latenzzeit zwischen detektierten Objekten und der Positionierung zugeordneter Symbole (z. B. ACC) in der Sichtfeldanzeige (HUD) in Ruhelage des untersuchten Fahrzeugs durch Bewegung der Objekte gemessen wird. Die Messung kann wiederholt werden, wobei die Relativbewegung der Objekte nun durch Aufprägung von z. B. Nicken des untersuchten Fahrzeugs erzeugt wird. Erfindungsgemäß ergibt sich hier eine geringere Totzeit, da für die Berechnung der Objektposition auf die Drehratensensorik zurückgegriffen wird.
3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung. In einem Schritt 300 werden Informationen über eine Objektmarkierung zum Markieren einer Position eines Objekts auf einer Anzeigeeinrichtung empfangen. Die Informationen über die Objektmarkierung können von einer Bildverarbeitungseinrichtung ausgegeben werden. Die Bildverarbeitungseinrichtung kann die Objektmarkierung basierend auf einer Umeldinformation ermitteln, die von einer Umfelderfassungseinrichtung ausgegeben werden, in deren Erfassungsbereich sich das reale Objekt befindet. Die Informationen über die Objektmarkierung sind mit einer prädeterminierten, also vorab feststehenden Latenzzeit durch eine Verarbeitungsdauer in der Bildverarbeitungseinrichtung beaufschlagt. Ändert sich während der Latenzzeit eine Lage oder Ausrichtung der Umfelderfassungseinrichtung oder der Anzeigeeinrichtung relativ zum realen Objekt geändert, so wird die Position der Objektmarkierung fehlerhaft.
In einem Schritt 302 werden daher eine aktuelle Lageinformation der Umfelderfassungseinrichtung oder der Anzeigeeinrichtung empfangen. Die Lageinformation kann von einer Beschleunigungssensorik und einer entsprechenden Auswerteinrichtung bereitgestellt werden. In einem Schritt 304 wird eine Nachführinformation zum Nachführen der Position der Objektmarkierung basierend auf der aktuellen Lageinformation bestimmt. In einem Schritt 306 wird eine korrigierte Position der Objektmarkierung basierend auf der Nachführinformation und der Informationen über die Objektmarkierung bestimmt. In einem Schritt 308 wird die korrigierte Position der Objektmarkierung an die Anzeigeeinrichtung bereitgestellt.
4 zeigt ein Blockschaltbild eines Ausführungsbeispiels der vorliegenden Erfindung. Es zeigt einen Verzögerungsblock T, einen Integrationsblock ∫ t / t-T...dt und ein Additionselement +. Der Verzögerungsblock T ist ausgebildet, um eine Information S(t) zu empfangen und eine Information S(t – T) auszugeben. Der Integrationsblock ∫ t / t-T...dt ist ausgebildet, um eine Information w(t) = S .(t) + n(t) zu empfangen und eine Information S(t) – S(t – T) + n(t) auszugeben. Das Additionselement + ist ausgebildet, um die Informationen S(t – T) und S(t) – S(t – T)+ n(t) zu addieren und eine Information S(t) + n(t) auszugeben.
Mittels des Verzögerungsblocks T wird eine aktuelle Position S(t) eines Objekts mit einer Latenzzeit T beaufschlagt und wird dadurch zu einer veralteten Position St – T). Eine aktuelle Winkelgeschwindigkeit w(t), die einer Ableitung der Position S .(t) + n(t) mit einer Ungenauigkeit n(t) entspricht wird mittels des Integrationsblock ∫ t / t-T...dt über eine Zeitdauer t – (t – T) integriert oder aufsummiert und ergibt damit eine Position S(t) – S(t – T) + n(t), die dem zurückgelegten Weg S, in diesem Beispiel dem Drehwinkel während der Zeitdauer t – (t – T) entspricht. Die mit der Latenzzeit T beaufschlagte Position S(t – T) wird mit dem zurückgelegten Weg S(t) – S(t – T) + n(t) addiert und ergibt die aktuelle Position S(t) + n(t) mit einer Ungenauigkeit n(t)
Dabei steht der Block „T” stellvertretend für die Totzeit der gesamten Signalverarbeitungskette im Videosignalzweig inklusive der Bilddarstellung. Integralblock oder Summierer und Addierer sind die Komponenten des erfindungsgemäßen Verfahrens.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102008026397 A1 [0002]

Claims

Verfahren zur Nachführung einer Position einer Objektmarkierung (114) zum Markieren eines Objekts (106) auf einer Anzeigeeinrichtung (112) eines Fahrzeugs (100), wobei die Position der Objektmarkierung basierend auf einer Umfeldinformation ermittelt wird, die eine von einer Umfelderfassungseinrichtung (102) des Fahrzeugs bereitgestellte Information über ein sich im Sichtbereich der Umfelderfassungseinrichtung befindliches Objekt repräsentiert, wobei das Verfahren den folgenden Schritt umfasst: Bestimmen (304) einer Nachführinformation zum Nachführen der Position der Objektmarkierung (114) auf der Anzeigeeinrichtung (112), basierend auf einer Bewegung des Fahrzeugs (100), wobei die Bewegung eine Lageveränderung des Objekts (106) in Bezug auf die Umfelderfassungseinrichtung (102) bewirkt.
Verfahren gemäß Anspruch 1, mit einem Schritt des Bestimmens einer durch die Bewegung des Fahrzeugs (100) bewirkten Auslenkung einer Bezugsachse (108) der Umfelderfassungseinrichtung, und bei dem die Nachführinformation basierend auf der Auslenkung der Bezugsachse bestimmt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, wobei es sich bei der Bewegung des Fahrzeugs (100) um eine Drehbewegung handelt und mit einem Schritt des Empfangens (302) einer Information über die Drehbewegung des Fahrzeugs (100) über eine Schnittstelle zu einem Drehratensensor des Fahrzeugs.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Ermittelns eines Verlaufs einer Winkelgeschwindigkeit der Bewegung des Fahrzeugs (100) und bei dem die Nachführinformation basierend auf einer Aufsummierung des Verlaufs der Winkelgeschwindigkeit bestimmt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, wobei die Umfelderfassungseinrichtung (102) ausgebildet ist, um die Umfeldinformation zu einem Erfassungszeitpunkt zu erfassen und bei dem die Bewegung der Umfelderfassungseinrichtung innerhalb einer Zeitspanne erfolgt, die zeitlich nach dem Erfassungszeitpunkt liegt.
Verfahren gemäß Anspruch 5, bei dem die Zeitspanne zeitlich an den Erfassungszeitpunkt anschließt und einer Ermittlungsdauer der Position der Objektmarkierung (114) aus der Umfeldinformation entspricht.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Bestimmens (306) einer korrigierten Position der Objektmarkierung (114) basierend auf der Nachführinformation und der Position der Objektmarkierung.
Verfahren gemäß Anspruch 7, bei dem die Anzeigeeinrichtung (112) als eine Sichtfeldanzeige eines Fahrzeugs (100) oder als ein Bildschirm ausgebildet ist, und mit einem Schritt des Ausgebens (308) der korrigierten Position der Objektmarkierung (114) an einer Schnittstelle zu der Sichtfeldanzeige oder dem Bildschirm.
Vorrichtung zur Nachführung einer Position einer Objektmarkierung (114) zum Markieren eines Objekts (106) auf einer Anzeigeeinrichtung (112), wobei die Position der Objektmarkierung basierend auf einer Umfeldinformation ermittelt wird, die eine von einer Umfelderfassungseinrichtung (102) bereitgestellte Information über ein sich im Sichtbereich der Umfelderfassungseinrichtung befindliches Objekt repräsentiert, wobei die Vorrichtung das folgende Merkmal aufweist: eine Einrichtung zum Bestimmen einer Nachführinformation zum Nachführen der Position der Objektmarkierung auf der Anzeigeeinrichtung, basierend auf einer Bewegung des Fahrzeugs (100), wobei die Bewegung eine Lageveränderung des Objekts (106) in Bezug auf die Umfelderfassungseinrichtung (102) bewirkt.
Vorrichtung gemäß Anspruch 9, mit einer Einrichtung zum Ermitteln der Position der Objektmarkierung, basierend auf der Umfeldinformation, und einer Einrichtung zum Ermitteln der Bewegung der Umfelderfassungseinrichtung (102).
Computerprogrammprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programm auf einer Vorrichtung ausgeführt wird.