-
Die Erfindung betrifft ein Verfahren zum Bereitstellen visueller Information über mindestens einen Teil einer Umgebung, auf den die Sicht zumindest teilweise durch ein bestimmtes Objekt von mehreren Objekten in der Umgebung verdeckt ist, wobei erste diese Bilder betreffende Bilddaten mindestens eines Teils der Umgebung einschließlich der mehreren, mittels einer ersten Sensoreinrichtung erfassten Objekte empfangen werden, ein Anzeigen mindestens eines ersten Bildes der Bilder auf einer Anzeigeeinrichtung bewirkt wird, das bestimmte Objekt in Abhängigkeit von einer bestimmten Benutzereingabe ausgewählt wird, empfangene zweite Bilddaten, die die visuelle Information enthalten, in mindestens ein zweites Bild der Bilder eingebettet werden und ein Anzeigen der empfangenen, in mindestens einem zweiten Bild eingebetteten zweiten Bilddaten bewirkt wird. Die Erfindung betrifft auch ein Computerprogramm, ein computerlesbares Medium, in welchem das Computerprogramm gespeichert wird, ein Fahrerassistenzsystem und ein Fahrzeug mit einem solchen Fahrerassistenzsystem.
-
Das oben beschriebene Verfahren ermöglicht es, durch bestimmte Objekte, wie ein Fahrzeug, hindurchzusehen. Dadurch kann ein Ego-Fahrzeug eine Kamera aufweisen, die Bilder ihrer Umgebung in Form eines Videos erfasst, welches oben genannte erste Bilddaten bereitstellt, welche die Bilder mindestens eines Teils der Umgebung betreffen. Dieses Video kann dann auf einer Anzeigeeinrichtung des Ego-Fahrzeugs angezeigt werden. Falls ein anderes Fahrzeug gegenwärtig vorausfährt und der Fahrer des dem vorausfahrenden Fahrzeug nachfolgenden Fahrzeugs durch dieses hindurchsehen möchte, dann kann der Fahrer eine Hindurchsicht-Funktion aktivieren, welche das vorausfahrende Fahrzeug auf der Anzeigeeinrichtung transparent erscheinen lässt. Dies kann erreicht werden durch Empfangen eines Videostreams von dem vorausfahrenden Fahrzeug, welcher dann in das von dem dem vorausfahrenden Fahrzeug folgenden Ego-Fahrzeug erfasste Video eingebettet werden kann. Dieser externe Videostream stellt oben genannte zweite Bilddaten dar, die die visuelle Information enthalten. Gewöhnlich wird davon ausgegangen, dass nur ein einziges Fahrzeug vorausfährt. Wenn jedoch mehrere verschiedene Fahrzeuge vorausfahren, für die eine solche Hindurchsicht-Funktion bereitgestellt werden kann, dann muss eine Entscheidung oder eine Auswahl getroffen werden, für welche dieser Fahrzeuge die Hindurchsicht-Funktion aktiviert werden soll.
-
In diesem Zusammenhang beschreibt die
US 2009/0234131 A1 ein Verfahren zum Bereitstellen einer angezeigten Sichtmodifikation in einem Fahrzeug-zu-Fahrzeug-Netzwerk. In einem solchen Netzwerk können mehrere Videokameras Videodaten teilen und ein Benutzer kann wählen, eine Primäransicht durch elektronisches Entfernen blockierender Objekte aus der Primäransicht zu modifizieren. Falls ein blockierendes Objekt ausgewählt wird, um entfernt zu werden, dann kann die Position dieses Objekts in der Primäransicht bestimmt werden und von anderen Kameras anderer Fahrzeuge bereitgestellte Videodaten analysiert werden, um gemeinsame Merkmale in den Primär- und Sekundäransichten zu bestimmen und aus diesen Videodaten kann ein zusammengefügter Datensatz bereitgestellt werden, welcher dann in der simulierten Ansicht präsentiert wird, um das blockierende Objekt zu entfernen. Zum Auswählen blockierender Objekte kann ein Benutzer die Umgrenzungen dieser zu entfernenden Objekte markieren, beispielsweise indem er seinen Finger auf der Touchscreen einsetzt oder indem er einen Rahmen verwendet und der Benutzer kann gegenüberliegende Ecken eines solchen rechteckigen Rahmens definieren und dann diese Ecken ziehen, um den Rahmen zu vergrößern oder zu verkleinern bis der Rahmen zumindest weitgehend mit dem Umfang des blockierenden Objekts abschließt. Alternativ kann der Benutzer auch Klassen aus der simulierten Ansicht zu entfernender Objekte bestimmen, beispielsweise alle Autos, alle Lastkraftwagen und so weiter.
-
Es ist jedoch für einen Benutzer sehr zeitaufwändig und darüber hinaus sehr ablenkend, die Umgrenzungen von zu entfernenden Objekten zu markieren, so dass ein manuelles Markieren während des Fahrens sehr gefährlich werden kann. Andererseits ist das Bestimmen von Klassen von Objekten im Voraus viel sicherer, bietet aber keine hohe Flexibilität und Adaptierbarkeit. Wenn beispielsweise der Fahrer oder Benutzer eine Klasse an Autos definiert, dann werden alle Autos aus der Ansicht entfernt, obwohl der Benutzer es bevorzugt hätte, nur ein spezielles Auto, nicht aber alle Autos, die sich gegenwärtig in der Ansicht befinden, zu entfernen.
-
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren, ein Computerprogramm, ein computerlesbares Medium, ein Fahrerassistenzsystem und ein Fahrzeug bereitzustellen, welche es ermöglichen, visuelle Information über mindestens einen Teil einer Umgebung, auf den die Sicht durch ein bestimmtes Objekt verdeckt ist, so flexibel, adaptierbar und sicher wie möglich bereitzustellen.
-
Diese Aufgabe wird gelöst durch ein Verfahren, ein Computerprogramm, ein computerlesbares Medium, ein Fahrerassistenzsystem und ein Fahrzeug, welches die Merkmale gemäß den jeweiligen unabhängigen Ansprüchen aufweist. Vorteilhafte Ausführungsformen der Erfindung sind in den abhängigen Ansprüchen, der Beschreibung und den Zeichnungen dargelegt.
-
Im Zusammenhang der Erfindung wird ein Verfahren zur Bereitstellung visueller Information über mindestens einen Teil einer Umgebung, auf den die Sicht zumindest teilweise durch ein bestimmtes Objekt von mehreren Objekten in der Umgebung verdeckt ist, bereitgestellt. Dadurch werden erste Bilddaten empfangen, die Bilder mindestens eines Teils der Umgebung betreffen, einschließlich der mehreren mittels einer ersten Sensoreinrichtung erfassten Objekte, insbesondere durch eine Steuereinheit eines Fahrzeugs. Des Weiteren wird ein Anzeigen mindestens eines ersten Bildes der Bilder auf einer Anzeigeeinrichtung bewirkt, das bestimmte Objekt wird in Abhängigkeit von einer bestimmten Benutzereingabe ausgewählt. Des Weiteren, werden zweite Bilddaten, die von mindestens einem zweiten Sensor empfangen werden und die visuelle Information enthalten, in mindestens ein zweites Bild der Bilder eingebettet und ein Anzeigen der empfangenen zweiten, in das mindestens eine zweite Bild eingebetteten Bilddaten bewirkt. Des Weiteren wird zum Auswählen des bestimmten Objekts bestimmt, falls der Benutzer auf irgendeine Position in dem mindestens ersten angezeigten Bild zeigt, ob diese Position, auf welche der Benutzer zeigt, in einem Anzeigebereich liegt, der dem bestimmten Objekt zugeordnet ist, und falls die Position innerhalb des Anzeigebereichs liegt, der dem bestimmten Objekt zugeordnet ist, das bestimmte Objekt ausgewählt wird.
-
Die Erfindung hat den großen Vorteil, dass ein Objekt aus mehreren Objekten, welches hier das bestimmte Objekt genannt wird, sehr leicht und flexibel gewählt werden kann. Falls der Benutzer dieses bestimmte Objekt auswählen möchte, von dem eine Darstellung gegenwärtig auf der Anzeigeeinrichtung angezeigt wird, braucht der Benutzer nur irgendwohin auf diesem Objekt zeigen, und nicht auf einen bestimmten Teil dieses Objekts wie seine Umgrenzung. So kann einfach bestimmt werden, dass der Benutzer gegenwärtig auf irgendeine Position zeigt, die innerhalb des Anzeigebereichs liegt, der dem bestimmten Objekt zugeordnet ist, und anschließend wird das Objekt ausgewählt. Daher braucht der Benutzer keine Umgrenzungen des auszuwählenden Objekts zu markieren oder irgendwelche andere komplizierte und zeitaufwändige Auswahlvorgänge, wie das Definieren und Modifizieren der Position und Größe eines Rahmens oder ähnliches, vorzunehmen. Eine derartige von der Erfindung bereitgestellte Auswahl ist sehr einfach und schnell durch einen Benutzer auszuführen und lenkt daher nicht ab und bietet gleichzeitig die Flexibilität, jedes Objekt den Präferenzen des Benutzers entsprechend auszuwählen.
-
Vorzugsweise werden die zweiten Bilddaten von mindestens einer zweiten Sensoreinrichtung, die dem bestimmten Objekt zugeordnet ist, vor dem Bewirken des Anzeigens der empfangenen zweiten Bilddaten empfangen. Mit anderen Worten, wird die mindestens eine zweite Sensoreinrichtung, von der die zweiten Bilddaten empfangen werden, dem bestimmten von dem Benutzer ausgewählten Objekt, zugeordnet. Insbesondere können die zweiten Bilddaten von nur einer oder mehreren Sensoreinrichtungen, insbesondere zweiten Sensoreinrichtungen, die dem bestimmten Objekt, aber nicht irgendeinem der anderen Objekte zugeordnet sind, empfangen werden. Diese vorteilhafte Ausführungsform beruht auf dem Gedanken, dass das Problem mit mehreren Videoquellen, oder allgemein mehreren Quellen zur Bereitstellung solcher zweiter, entsprechende visuelle Information enthaltender Bilddaten, nicht nur in der Bereitstellung einer geeigneten leichten Auswahlmöglichkeit, sondern auch in der zu übermittelnden und zusammenzusetzenden Datenmenge besteht. Wenn beispielsweise ein bestimmter Bereich eines angezeigten Bildes transparent gemacht werden soll, indem eine Zusammensetzung von durch verschiedene Videoquellen bereitgestellten Videodaten verwendet wird, wie dies gemäß oben beschriebenem Stand der Technik erfolgt, hat dies den Nachteil, dass, selbst wenn dieser Bereich nur ein einziges Objekt, wie ein einziges Fahrzeug, betrifft, die Videodaten mehrerer verschiedener Videoquellen an das Ego-Fahrzeug übertragen werden müssen, was entweder eine enorme Bandbreite erfordert oder alternativ sehr viel Zeit in Anspruch nimmt, und damit eine Echtzeitimplementierung mit guter Bildqualität schwer in die Praxis umzusetzen ist. Auch ist eine Analyse und Zusammensetzung verschiedener Videostreams sehr zeitaufwändig und erfordert viel Rechenleistung. Im Gegensatz dazu erlaubt diese Ausführungsform der Erfindung die Implementierung einer Hindurchsichtfunktion, indem als die zweiten Bilddaten nur diejenigen Bilddaten verwendet werden, welche von einer einzigen Datenquelle empfangen werden, nämlich der zweiten Sensoreinrichtung, die dem bestimmten Objekt zugeordnet ist, das von dem Benutzer ausgewählt worden ist. Dadurch kann die zu übermittelnde Datenmenge vorteilhaft reduziert werden und die Hindurchsichtfunktion sehr effizient und insbesondere in Echtzeit implementiert werden. Somit ermöglichen es die Erfindung und deren Ausführungsformen, mehrere Datenquellen sehr effizient, flexibel, adaptierbar und sicher zu handhaben.
-
Wie später genauer dargelegt wird, können das bestimmte Objekt sowie die mehreren Objekte in der Umgebung andere Fahrzeuge sein. Die Anzeigeeinrichtung und die erste Sensoreinrichtung, die beispielsweise eine Kamera sein kann, können auch Teil eines Fahrzeugs sein, welches im Folgenden auch Ego-Fahrzeug genannt wird und welches ein Fahrzeug ist, das den anderen Fahrzeugen nachfolgt, die die mehreren Objekte darstellen. Des Weiteren kann das Verfahren dann durch eine Steuereinheit dieses Ego-Fahrzeugs ausgeführt werden.
-
Die empfangenen ersten Bilddaten, die Bilder betreffen, welche mittels der ersten Sensoreinrichtung erfasst werden, können in Form eines kontinuierlichen Bildstreams, insbesondere in Form eines Videos, bereitgestellt werden. Ein solches Video kann dann Bild für Bild an eine Steuereinheit des Ego-Fahrzeugs bereitgestellt werden. Die Steuereinheit kann dann das Anzeigen dieser Bilder bewirken, insbesondere nach dem Einbetten der empfangenen zweiten Bilddaten in diese Bilder. Auch diese zweiten Bilddaten können in Form eines kontinuierlichen Streams von Bildern, insbesondere in Form eines gestreamten Videos, welches von der zweiten, dem bestimmten Objekt, welches von dem Benutzer ausgewählt worden ist, zugeordneten Sensoreinrichtung bereitgestellt wird, empfangen werden. Die in diesen zweiten Bilddaten enthaltene visuelle Information kann dann Bild für Bild in die von der ersten Sensoreinrichtung erfassten Bilder eingebettet werden. Vorzugsweise werden diese empfangenen zweiten Bilddaten dann in das mindestens eine zweite Bild eingebettet, so dass die von diesen zweiten Bilddaten bereitgestellte visuelle Information in einem Anzeigebereich dargestellt wird, welcher dem bestimmten Objekt zugeordnet ist. Des Weiteren ist es bevorzugt, dass die visuelle Information mindestens diesen ganzen, dem bestimmten Objekt zugeordneten Bereich ausfüllt, so dass das bestimmte Objekt nicht mehr in den angezeigten Bildern zu sehen ist, sondern stattdessen die visuelle Information.
-
Gemäß einer weiteren sehr vorteilhaften Ausführungsform der Erfindung wird die Benutzereingabe empfangen, indem detektiert wird, dass der Benutzer auf die Position blickt, wobei um zu detektieren, dass der Benutzer auf die Position blickt, bestimmt wird, ob eine bestimmte Blickrichtung des Benutzers einen Gesamtanzeigebereich der Anzeigeeinrichtung schneidet. Den Blick des Benutzers als Benutzereingabe zu verwenden hat den großen Vorteil, dass dadurch das Risiko der Ablenkung des Benutzers, insbesondere während des Fahrens, auf ein Mindestmaß reduziert werden kann, weil das Blicken auf das bestimmte Objekt die einfachste und schnellste Art ist, das bestimmte Objekt auszuwählen. Um den Blick des Benutzers zu bestimmen, kann eine Eye-Tracking-Vorrichtung des Fahrzeugs, insbesondere das Ego-Fahrzeug benutzt werden. Eine solche Eye-Tracking-Vorrichtung kann ausgebildet sein, um die Blickrichtung des Benutzers zu bestimmen und die bestimmte Blickrichtung an die Steuereinheit des Fahrzeugs bereitzustellen. Diese Blickrichtung kann dann vorteilhaft benutzt werden, um zu bestimmen, ob die Blickrichtung des Benutzers den Gesamtanzeigebereich der Anzeigeeinrichtung schneidet. Zu diesem Zweck kann die Position dieses Gesamtanzeigebereichs spezifiziert und gestrichen werden, beispielsweise in der Steuereinheit. Der Blickvektor und die Position des Gesamtanzeigebereichs, einschließlich Orientierung und Ausmaß des Gesamtanzeigebereichs, werden vorzugsweise hinsichtlich des gleichen Koordinatensystems, wie des Fahrzeugkoordinatensystems, spezifiziert, was die Bestimmung, ob eine Überschneidung vorliegt, sehr einfach macht. Wenn eine Überschneidung vorliegt, bedeutet dies, dass der Benutzer gegenwärtig auf den Anzeigebereich der Anzeigeeinrichtung blickt. Der Schnittpunkt definiert dann die Position, auf die der Benutzer gegenwärtig blickt und auf die er daher mit den Augen deutet. Danach kann leicht überprüft werden, ob diese Position innerhalb eines Anzeigebereichs liegt, welcher dem bestimmten Objekt zugeordnet ist, nämlich innerhalb eines Anzeigebereichs, in welchem das bestimmte Objekt dargestellt ist. Wenn dies der Fall ist, bedeutet dies, dass der Benutzer gegenwärtig auf das bestimmte Objekt blickt, das in dem ihm zugeordneten Anzeigebereich auf der Anzeigeeinrichtung dargestellt ist. Solch eine Benutzereingabe kann als nur dann bestimmt betrachtet werden, falls der Benutzer für eine Mindestzeitdauer auf die Position oder auch verschiedene Positionen innerhalb desselben, dem bestimmten Objekt zugeordneten Anzeigebereichs geblickt hat. Dadurch kann sichergestellt werden, dass ein gelegentlicher oder zufälliger Blick auf das angezeigte bestimmte Objekt nicht sofort als beabsichtigte Benutzereingabe zum Auswählen des bestimmten Objekts interpretiert wird. Das Risiko einer falschen Auswahl kann vorteilhaft reduziert werden.
-
Zusätzlich oder alternativ kann die Benutzereingabe auch empfangen werden, indem detektiert wird, dass der Benutzer mit einem Finger auf irgendeine Position in dem mindestens einen ersten Bild zeigt, insbesondere durch Berühren der Position mit diesem Finger. Insbesondere wenn die Anzeigeeinrichtung als ein Touchscreen ausgebildet ist, kann das Berühren der Position mit einem Finger des Benutzers leicht detektiert werden. Um die Auswahl zu treffen, ist es jedoch nicht notwendig, dass der Benutzer die Position mit dem Finger berührt, es wäre auch ausreichend, wenn der Benutzer mit dem Finger in die Richtung der Position zeigt, ohne den Anzeigebereich zu berühren. Ein solches Zeigen kann mit einem geeigneten Sensor, wie der oben erwähnten Eye-Tracking-Vorrichtung, oder aber auch analog gehandhabt werden, wie hinsichtlich der Blickrichtung beschrieben.
-
Es wird jedoch immer noch bevorzugt, den Blick des Benutzers als Benutzereingabe zu verwenden, weil das Risiko der Ablenkung des Benutzers weiter reduziert werden kann, da dann eine Auswahl zu treffen lediglich ein Anblicken des bestimmten Objekts erfordert, wobei die Auswahl durch Benutzen eines Fingers ein Blicken auf die Anzeige erfordert und zusätzlich auch ein Berühren der korrekten Position auf der Anzeige. Des Weiteren muss, wenn der Blick des Benutzers als Benutzereingabe benutzt wird, die Anzeigeeinrichtung nicht innerhalb der Reichweite des Benutzers positioniert werden. Dies bietet mehr Möglichkeiten hinsichtlich der Position der Anzeigeeinrichtung und auch hinsichtlich der Art der zu benutzenden Anzeigeeinrichtung, weil die Benutzung der Blickrichtung es auch ermöglicht, Anzeigeeinrichtungen zu benutzen, welche einen Anzeigebereich bereitstellen, der nicht physisch berührt werden kann, wie etwa ein Head-Up-Display oder eine Virtual-Reality-Anzeige oder ähnliches, jedoch wird nichtsdestotrotz die Benutzung einer Anzeigeeinrichtung bevorzugt, deren Gesamtanzeigebereich oder ähnliches physisch berührt werden kann, wie ein Monitor oder Touchscreen in der Mittelkonsole des Fahrzeugs.
-
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung, wird, falls ein Verfügbarkeitssignal von jedem der mehreren Objekte empfangen wird, wobei jedes der Verfügbarkeitssignale eine Verfügbarkeit jeweiliger visueller Information über jeweilige Teile der Umgebung anzeigt, die durch die jeweiligen Objekte verdeckt sind, eine bestimmte Position des bestimmten Objekts, welches insbesondere durch den Benutzer ausgewählt wird, mit jeweiligen von den jeweiligen Objekten erhaltenen Positionsdaten verglichen, und in Abhängigkeit eines Ergebnisses des Vergleichs, werden die zweiten Bilddaten bestimmt, die von der zweiten Sensoreinrichtung des bestimmten Objekts bereitgestellt werden und die anzuzeigen sind.
-
Wenn somit der Benutzer ein bestimmtes Objekt aus den mehreren Objekten auswählt, kann die bestimmte Position des ausgewählten Objekts mit der empfangenen Positionsinformation, die durch die verschiedenen jeweiligen Objekte bereitgestellt wird, verglichen werden und, wenn eine Übereinstimmung festgestellt wurde, werden die zweiten Bilddaten, die von diesem bestimmten Objekt bereitgestellt wurden, für welches eine Übereinstimmung festgestellt wurde, angefordert und empfangen und eingebettet in das „Ego-Fahrzeug“, nämlich das mindestens eine zweite Bild der Bilder.
-
Dadurch können alle anderen Objekte, wie andere Fahrzeuge in der Nähe des Ego-Fahrzeugs, ihre gegenwärtige Position an das Ego-Fahrzeug beispielsweise in Form von GPS-Koordinaten bereitstellen. Andererseits, kann das Ego-Fahrzeug selbst die Position dieser Objekte, wie die anderen Fahrzeuge, bestimmen, oder mindestens die Position des ausgewählten bestimmten Objekts, wie ein ausgewähltes bestimmtes Fahrzeug, und dann diese bestimmte Position mit den empfangenen GPS-Koordinaten vergleichen, um zu bestimmen, welche der zweiten Bilddaten dieser jeweiligen Fahrzeuge für deren Einbetten in die von der ersten Sensoreinrichtung erfassten Bilder benutzt werden sollen.
-
Vorzugsweise sind die mehreren Objekte unterschiedliche Fahrzeuge, wobei die zweiten Bilddaten empfangen werden, indem eine direkte Fahrzeug-zu-Fahrzeug-Kommunikation angewendet wird. Alternativ kann auch eine Fahrzeug-zu-X-Kommunikation angewendet werden, um die Bilddaten, nämlich die zweiten Bilddaten von anderen Fahrzeugen zu empfangen. Diese anderen Fahrzeuge können dann ihre zweiten Bilddaten beispielsweise einer zentralen Datenverarbeitungseinheit bereitstellen, welche dann diese zweiten Bilddaten an das Ego-Fahrzeug weiterleitet. Jedoch soll die beschriebene Hindurchsicht-Funktionalität vorzugsweise nur für Objekte in der nahen Umgebung des Ego-Fahrzeugs, insbesondere nur für Objekte bereitgestellt werden, die sich innerhalb der visuellen Reichweite des Benutzers befinden. Es ist daher in diesem Fall viel effizienter, eine direkte Fahrzeug-zu-Fahrzeug-Kommunikation anzuwenden. Eine solche Fahrzeug-zu-Fahrzeug-Kommunikation kann von jedem beliebigen bekannten drahtlosen Kommunikationsstandard implementiert werden.
-
Des Weiteren kann eines oder mehrere oder alle der mehreren Objekte auch als ein Objekt konfiguriert werden, welches von einem Fahrzeug unterschiedlich ist, insbesondere als mindestens ein Infrastruktur-Bauteil, wie ein Gebäude, eine Brücke, eine Verkehrsampel und so weiter, wobei das mindestens eine Infrastruktur-Bauteil die mindestens eine zweite Sensoreinrichtung aufweisen kann und die mindestens eine zweite Sensoreinrichtung auf einem Teil des Infrastrukturbauteils montiert werden kann, vorzugsweise so dass ein Sichtfeld der mindestens einen zweiten Sensoreinrichtung zumindest einen Teil einer Straße und/oder Kreuzung abdeckt. Diese vorteilhafte Ausführungsform beruht auf dem Gedanken, dass eine Infrastruktur auch die Sicht an einigen kritischen Punkten, wie Kreuzungen, blockieren kann. Es ist nun möglich, dass auch so eine Infrastruktur ein Video streamen kann, um das, was auf einer Seite passiert, auf die die Sicht blockiert ist, auf der anderen Seite zu zeigen, auf der das Ego-Fahrzeug sich gegenwärtig befindet. Daher können die zweiten Bilddaten nicht nur von der zweiten Sensoreinrichtung anderer Fahrzeuge empfangen werden, sondern auch von der zweiten Sensoreinrichtung, beispielsweise auch eine Kamera, einer Infrastruktur. Des Weiteren kann der Benutzer eine derartige Infrastruktur auf dieselbe Weise auswählen wie hinsichtlich der Auswahl eines anderen Fahrzeugs und hinsichtlich der Auswahl des bestimmten Objekts im Allgemeinen beschrieben.
-
Gemäß einer anderen sehr vorteilhaften Ausführungsform der Erfindung wird die bestimmte Position des bestimmten Objekts von mindestens einer dritten Sensoreinrichtung empfangen, insbesondere einem Laserscanner, beispielsweise einem LIDAR-Sensor (Light Detection And Ranging Sensor). Mittels eines solchen Laserscanners kann die Position des bestimmten Objekts, insbesondere auch anderer Objekte in der Umgebung des Ego-Fahrzeugs sehr genau bestimmt werden und damit viel präziser als durch die Benutzung beispielsweise der ersten Sensoreinrichtung, welche vorzugsweise eine Kamera ist. Dadurch kann die Zuverlässigkeit und die Präzision des vorgeschlagenen Verfahrens, insbesondere der Objektauswahl, verbessert werden.
-
Anstatt eines Laserscanners können jedoch auch andere Sensoren benutzt werden, um die Position des bestimmten Objekts zu bestimmen. Beispielsweise kann auch die Kamera, die die erste Sensoreinrichtung darstellt, benutzt werden, um eine sehr kostengünstige Implementierung bereitzustellen, oder auch andere zusätzliche Sensoren, wie ein Radarsensor, kann benutzt werden, um die Position des bestimmten Objekts in der Umgebung des Ego-Fahrzeugs zu bestimmen.
-
Des Weiteren werden gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung, um zu bestimmen, dass die Position, auf die der Benutzer zeigt, innerhalb des Anzeigebereichs liegt, der dem bestimmten Objekt zugeordnet ist, Umgebungsdaten empfangen, die mittels einer dritten Sensoreinrichtung, insbesondere der oben genannten dritten Sensoreinrichtung, bereitgestellt werden, die wiederum vorzugsweise als ein Laserscanner ausgebildet ist, wobei die Umgebungsdaten entsprechenden Bereichen des Gesamtanzeigebereichs der Anzeigeeinrichtung zugeordnet sind, wobei, wenn der Benutzer auf die Position zeigt, anhand der Umgebungsdaten, die dieser Position zugeordnet sind, bestimmt wird, ob diese Umgebungsdaten zu dem bestimmten Objekt gehören.
-
Jeweilige Bereiche des Sichtfeldes der ersten Sensoreinrichtung, nämlich der Kamera, werden den jeweiligen Anzeigebereichen der Anzeigeeinrichtung zugeordnet. In gleicher Weise können auch die von dem Laserscanner bereitgestellten Umgebungsdaten analog entsprechenden Bereichen des Anzeigenbereichs der Anzeigeeinrichtung zugeordnet werden. Wenn also der Benutzer dann auf eine bestimmte Position auf dem Anzeigebereich zeigt, kann leicht bestimmt werden, welcher realen Position in der Umgebung des Ego-Fahrzeugs diese vom Benutzer angezeigte Position entspricht. Mit anderen Worten kann die Ausgabe des Laserscanners, nämlich die Umgebungsdaten, auf das Sichtfeld der Kamera projiziert werden, um zu bestimmen, welche Pixel der Anzeigeeinrichtung welchen Bereichen der Objekte, insbesondere der anderen Fahrzeuge, in der realen Welt entsprechen.
-
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung wird, um zu bestimmen, ob die Umgebungsdaten, die der Position zugeordnet sind, auf die der Benutzer zeigt, zu dem bestimmten Objekt gehören, eine Objekterkennung zum Erkennen von Fahrzeugen auf den von der dritten Sensoreinrichtung bereitgestellten Umgebungsdaten durchgeführt, und falls bestimmt wird, dass die der Position zugeordneten Umgebungsdaten zu einem erkannten Fahrzeug gehören, werden die Umgebungsdaten als zu einem bestimmten Objekt gehörend betrachtet. Diese Objekterkennung kann daher auf den von der dritten Sensoreinrichtung, insbesondere dem Laserscanner, bereitgestellten Daten durchgeführt werden, was vorteilhafterweise eine sehr genaue Objekterkennung erlaubt.
-
Die Erfindung betrifft auch ein Computerprogramm mit Befehlen, welche, wenn das Programm von einem Computer, wie der oben genannten Steuereinheit des Ego-Fahrzeugs, ausgeführt wird, bewirken, dass der Computer die Schritte des erfindungsgemäßen Verfahrens oder einer seiner Ausführungsformen ausführt. Des Weiteren betrifft die Erfindung auch ein computerlesbares Medium, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.
-
Die hinsichtlich des erfindungsgemäßen Verfahrens oder einer seiner Ausführungsformen beschriebenen Vorteile treffen in ähnlicher Weise auf das Computerprogramm und das computerlesbare Medium zu.
-
Des Weiteren betrifft die Erfindung auch ein Fahrerassistenzsystem zum Bereitstellen visueller Information über mindestens einen Teil einer Umgebung, auf den die Sicht durch ein bestimmtes Objekt von mehreren Objekten in der Umgebung verdeckt ist, wobei das Fahrerassistenzsystem eine Steuereinheit aufweist, die ausgelegt ist, die Bilder mindestens eines Teils der Umgebung einschließlich der mehreren mittels der ersten Sensoreinrichtung erfasste Objekte betreffende erste Bilddaten zu empfangen, um ein Anzeigen mindestens eines ersten Bildes der Bilder auf einer Anzeigeeinrichtung zu bewirken, das bestimmte Objekt in Abhängigkeit von einer bestimmten Benutzereingabe auszuwählen, zweite Bilddaten, die von einer zweiten Sensoreinrichtung empfangen wurden und die die visuelle Information enthalten, in mindestens ein zweites Bild der Bilder einzubetten und ein Anzeigen der empfangenen zweiten in das mindestens eine zweite Bild eingebetteten Bilddaten zu bewirken. Des Weiteren ist für den Zweck, das bestimmte Objekt auszuwählen, die Steuereinheit dazu ausgelegt, falls der Benutzer auf irgendeine Position in dem mindestens einen ersten angezeigten Bild zeigt, zu bestimmen, ob diese Position, auf welche der Benutzer zeigt, innerhalb eines Anzeigebereiches liegt, welcher dem bestimmten Objekt zugeordnet ist, und falls die Position innerhalb des Anzeigebereichs liegt, der dem bestimmten Objekt zugeordnet ist, das bestimmte Objekt auszuwählen.
-
Hier treffen auch die hinsichtlich des erfindungsgemäßen Verfahrens sowie seiner Ausführungsformen beschriebenen Vorteile in ähnlicher Weise auf das erfindungsgemäße Fahrerassistenzsystem zu.
-
Des Weiteren umfasst das Fahrerassistenzsystem gemäß einer vorteilhaften Ausführungsform des Fahrerassistenzsystems die mindestens eine erste Sensoreinrichtung, welche als eine Kamera ausgebildet ist. Des Weiteren ist die Kamera vorzugsweise so montiert, dass ein Großteil der Umgebung vor dem Ego-Fahrzeug, welches das Fahrerassistenzsystem aufweist, mittels der Kamera erfasst werden kann.
-
Des Weiteren umfasst das Fahrerassistenzsystem vorzugsweise eine Eye-Tracking-Vorrichtung, welche ausgelegt ist, eine Blickrichtung des Benutzers zu bestimmen und die bestimmte Blickrichtung auf die Steuereinheit an die Steuereinheit bereitzustellen, wobei die Steuereinheit ausgebildet ist zu bestimmen, ob die Blickrichtung des Benutzers den Gesamtanzeigebereich der Anzeigerichtung schneidet, und falls die Blickrichtung des Benutzers den Gesamtanzeigebereich der Anzeigerichtung schneidet, den Schnittpunkt als die Position, auf die der Benutzer zeigt, zu definieren. Dadurch kann der Blick des Benutzers als Benutzereingabe verwendet werden, die ein sehr leichtes Bedienen der Hindurchsichtfunktion im Falle von mehreren verfügbaren Videoquellen ermöglicht.
-
Des Weiteren umfasst das Fahrerassistenzsystem gemäß einer weiteren vorteilhaften Ausführungsform des Fahrerassistenzsystems eine dritte Sensoreinrichtung, die von der mindestens einen ersten Sensoreinrichtung unterschiedlich ist, wobei die dritte Sensoreinrichtung ausgelegt ist, Umgebungsdaten an die Steuereinheit bereitzustellen, wobei die Steuereinheit ausgelegt ist, eine Position des bestimmten Objekts basierend auf den Umgebungsdaten zu bestimmen. Wie bereits zuvor beschrieben, umfasst die dritte Sensoreinrichtung vorzugsweise einen Laserscanner. Dadurch kann die Position des Objekts sehr genau bestimmt werden und auch die Objektdetektion und -erkennung kann basierend auf diesen höchst genauen Umgebungsdaten sehr genau und zuverlässig ausgeführt werden.
-
Des Weiteren betrifft die Erfindung auch ein Fahrzeug, welches ein Fahrerassistenzsystem gemäß der Erfindung und einer ihrer Ausführungsformen aufweist.
-
Des Weiteren stellen die vorteilhaften Ausführungen des erfindungsgemäßen Verfahrens weitere entsprechende Ausführungen des Fahrerassistenzsystems und des erfindungsgemäßen Fahrzeugs dar.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Dabei zeigt:
- 1 eine schematische Darstellung eines Fahrzeugs, welches ein Fahrerassistenzsystem aufweist, in einer Draufsicht gemäß einer Ausführungsform der Erfindung, wobei dieses Fahrzeug gerade hinter drei anderen Fahrzeugen fährt;
- 2 eine schematische Darstellung der Anzeige einer Anzeigeeinrichtung des Fahrzeugs aus 1 vor der Aktivierung einer Hindurchsichtfunktion und der Auswahl eines der anderen Fahrzeuge durch den Benutzer, durch welches der Nutzer hindurchsehen möchte, gemäß einer Ausführungsform der Erfindung;
- 3 eine schematische Darstellung der Anzeige der Anzeigeeinrichtung nach der Auswahl eines der anderen Fahrzeuge und nach der Aktivierung der Hindurchsichtfunktion gemäß einer Ausführungsform der Erfindung; und
- 4 ein Flussdiagramm zur Darstellung eines Verfahrens zur Bereitstellung von visueller Information über mindestens einen Teil einer Umgebung eines Fahrzeugs, welches zumindest teilweise durch ein anderes Fahrzeug verdeckt ist, gemäß einer Ausführungsform der Erfindung.
-
1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einem Fahrerassistenzsystem 2 in einer Draufsicht gemäß einer Ausführungsform der Erfindung. Das Fahrerassistenzsystem 2 umfasst eine Steuereinheit 3, eine erste Sensoreinrichtung in Form einer Kamera 4, insbesondere einer Frontkamera 4, eine Anzeigeeinrichtung 5, die auch an der Front des Fahrzeugs 1 montiert ist. Die Kamera 4 hat ein Sichtfeld, welches einen Großteil einer Umgebung 8 des Fahrzeugs 1 vor dem Fahrzeug 1 abdeckt, zumindest hinsichtlich einer definierten horizontalen Ebene. Dieses Sichtfeld ist in 1 mittels der gestrichelten Umgrenzungslinien 4a dargestellt. Die Kamera 4 ist ausgebildet, kontinuierlich Bilder der Umgebung 8 innerhalb des Sichtfeldes 4a zu erfassen und diese Bilder in Form von ersten Bilddaten V1 an die Steuereinheit 3 bereitzustellen. Neben dem Empfangen dieser ersten Bilddaten V1, ist die Steuereinheit 3 auch ausgebildet, ein Anzeigen dieser Bilddaten V1 auf der Anzeigeeinrichtung 5 zu bewirken. In dieser dargestellten Situation fährt das Fahrzeug 1, im Folgenden auch Ego-Fahrzeug 1 genannt, hinter drei anderen Fahrzeugen 9, 10, 11, die Beispiele von Objekten in der Umgebung 8 des Ego-Fahrzeugs 1 sind. Diese anderen Fahrzeuge 9, 10, 11 umfassen auch jeweilige Kameras 12, 13, 14, welche jeweilige Sichtfelder 12a, 13a, 14a umfassen, und des Weiteren umfassen diese anderen Fahrzeuge 9, 10, 11 auch jeweilige Steuereinheiten 15, 16, 17. Insbesondere können diese anderen Fahrzeuge 9, 10, 11 auch wie hinsichtlich des Ego-Fahrzeugs 1 dargelegt ausgebildet sein, wobei hier nur die wichtigsten Komponenten dieser anderen Fahrzeuge 9, 10, 11 dargestellt sind. Das Ego-Fahrzeug 1 kann des Weiteren mit diesen anderen Fahrzeugen 9, 10, 11 mittels einer Fahrzeug-zu-Fahrzeug-Kommunikation kommunizieren. Mittels dieser Fahrzeug-zu-Fahrzeug-Kommunikation können die Fahrzeuge 9, 10, 11 zweite Bilddaten V2, V3, V4, die von deren jeweiligen Kameras 12, 13, 14 erfasst wurden, an das Ego-Fahrzeug 1 bereitstellen. Das Ego-Fahrzeug 1, insbesondere die Steuereinheit 3, kann diese zweiten Bilddaten V2, V3, V4 vorteilhafterweise benutzen, um eine Hindurchsichtfunktion bereitzustellen. Wenn der Fahrer des Fahrzeugs 1, im Folgenden Benutzer 18 genannt (siehe 2), durch das Fahrzeug 10, welches auf derselben Fahrspur vor ihm fährt, hindurchsehen möchte, dann können die zweiten Bilddaten V3 von der Steuereinheit 3 empfangen werden und in die ersten Bilddaten V1 eingebettet werden und das Ergebnis kann dann auf der Anzeigeeinrichtung 5 angezeigt werden. Dadurch werden diese zweiten Bilddaten V3 in die ersten Bilddaten V1 derart eingebettet, dass der Videostream, der von diesem zentralen vorausfahrenden Fahrzeug 10 bereitgestellt wird, Bild für Bild an der Position in den Bildern des ersten Videos V1, an welcher dieses zentrale Fahrzeug 10 zu sehen ist, eingebettet wird. Somit erscheint dieses Fahrzeug 10 folglich transparent auf dem angezeigten Ergebnis, da Bildteile des ersten Videos V1, die sich auf dieses zentrale Fahrzeug 10 beziehen, durch die entsprechenden Bilder dieses zweiten, von dem zentralen Fahrzeug 10 bereitgestellten Videos V3 verdeckt oder überlagert sind.
-
Angenommen das zentrale Fahrzeug 10 ist das einzige vor dem Ego-Fahrzeug 1 fahrende Fahrzeug, dann kann diese Vorgehensweise automatisch durch die zentrale Steuereinheit 3 erfolgen, beispielsweise falls der Benutzer 18 zuvor die Hindurchsichtfunktion aktiviert hat. In diesem Fall kann, sobald das Fahrzeug 1 in die Nähe eines Fahrzeugs, insbesondere eines einzigen Fahrzeugs, wie des zentralen, vorausfahrenden Fahrzeugs 10, gelangt, eine Fahrzeug-zu-Fahrzeug-Kommunikation zwischen diesen Fahrzeugen 1 und 10 automatisch aufgenommen werden, insbesondere falls dieses zentrale Fahrzeug 10 dazu imstande ist, und des Weiteren falls dieses, vorausfahrende Fahrzeug 10 auch dazu imstande ist, einen Videostream zum Ausführen der Hindurchsichtfunktion bereitzustellen, kann dieser Videostream V3 automatisch an die Steuereinheit 3 des ersten Fahrzeugs 1 gestreamt werden, welche diesen Videostream benutzen kann, um die Hindurchsichtfunktion auszuführen und um die entsprechende Anzeige wie beschrieben automatisch zu bewirken.
-
Falls jedoch mehrere verschiedene Fahrzeuge 9, 10, 11 vor dem Ego-Fahrzeug fahren, wie in 1 dargestellt, wird bei Aktivierung der Durchsichtfunktion durch den Benutzer 18 aus dieser Aktion allein nicht klar, durch welches dieser vorausfahrenden Fahrzeuge 9, 10, 11 der Benutzer 18 hindurchsehen möchte. Des Weiteren erlauben es die Erfindung und deren Ausführungsformen dem Benutzer/der Benutzerin auf einfache und sichere Weise, die den Benutzer/die Benutzerin 18 vom Verkehrsgeschehen nicht ablenkt, anzuzeigen, durch welche der Fahrzeuge 9, 10, 11 er beziehungsweise sie hindurchsehen möchte. Dadurch kann der Benutzer 18 eines der Fahrzeuge 9, 10, 11 auswählen, was nun im Folgenden mit Bezug auf 2 und 3 dargelegt wird.
-
2 zeigt eine schematische Darstellung der Anzeigeeinrichtung 5 und des Benutzers 18 des Fahrzeugs 1 sowie der Anzeige der ersten Bilddaten V1 auf der Anzeigeeinrichtung 5 vor der Aktivierung der Hindurchsichtfunktion. Beispielhaft ist ein erstes Bild 19 der von der Kamera 4 des Ego-Fahrzeugs 1 erfassten Bilder hier als durch die Anzeigeeinrichtung 5 angezeigt dargestellt. Da in der in 1 dargestellten Situation alle drei Fahrzeuge 9, 10, 11 innerhalb des Sichtfeldes 4a der Kamera 4 liegen, sind diese drei Fahrzeuge 9, 10, 11 auch in diesem ersten Bild 19 auf der Anzeigeeinrichtung 5 angezeigt zu sehen, wie in 2 dargestellt. Die Darstellungen dieser jeweiligen Fahrzeuge 9, 10, 11 in dem ersten Bild 19 werden mit 9', 10' und 11' bezeichnet. Der Benutzer 18 kann nun vorteilhafterweise eines dieser Fahrzeuge 9, 10, 11 auswählen, indem er einfach nur auf eines dieser Fahrzeuge, insbesondere deren Darstellungen 9', 10', 11' blickt. In diesem Beispiel blickt der Benutzer 18 auf das zentrale Fahrzeug 10 auf der Anzeigeeinrichtung 5, insbesondere die Darstellung 10' des zentralen Fahrzeugs. Diese kann auf folgende Weise detektiert werden. Zuerst kann die Eye-Tracking-Vorrichtung 6 des Fahrerassistenzsystems 2 den Blick 20 des Benutzers verfolgen, was bedeutet, dass der Blick 20 des Benutzers wiederholt bestimmt wird. Der bestimmte Blick 20 kann an die Steuereinheit 3 bereitgestellt werden, die dann prüft, ob der Blick 20 des Benutzers den Gesamtanzeigebereich 5a der Anzeigeeinrichtung 5 schneidet. Wenn dies der Fall ist, kann die Steuereinrichtung 3 des Weiteren den Schnittpunkt zwischen dem Blick 20 und dem Gesamtanzeigebereich 5a bestimmen, welcher die Position 21 definiert, auf die der Benutzer 18 gerade auf dem Gesamtanzeigebereich 5a blickt. Danach kann bestimmt werden, ob diese Position 21 innerhalb eines Anzeigebereiches 22 liegt, der einem der Fahrzeuge 9, 10, 11 in diesem Fall dem zentralen Fahrzeug 10 zugeordnet ist. Dieser Anzeigebereich 22 ist in 2 durch die gestrichelte Linie um die Darstellung 10' des zentralen Fahrzeugs 10 dargestellt.
-
Um zu bestimmen, auf welches der Fahrzeuge 9, 10, 11 der Benutzer 18 gegenwärtig auf der Anzeigeeinrichtung 5 blickt, kann zusätzlich der Laserscanner 7 benutzt werden. Der Laserscanner 7 des Ego-Fahrzeugs 1 ist auch dazu ausgebildet, zumindest einen Teil der Umgebung 8 des Ego-Fahrzeugs 1, insbesondere den Teil der Umgebung 8 vor dem Ego-Fahrzeug 1 zu erfassen. Aufgrund dieser Umgebungsdaten können die vorausfahrenden Fahrzeuge 9, 10, 11 als Fahrzeuge erkannt und identifiziert werden, und auch ihre Positionen können aufgrund dieser von dem Laserscanner 7 bereitgestellten Umgebungsdaten bestimmt werden. Des Weiteren kann die Ausgabe dieses Laserscanners 7, nämlich die erfassten Umgebungsdaten, auf das Sichtfeld 4a der Kamera projiziert werden, um zu detektieren, welche Pixel welchem Fahrzeug 9, 10, 11 in der realen Welt entsprechen. Mittels dieser Projektion, kann die Steuereinheit 3 aufgrund des Blickpunktes 21 bestimmen, ob der Benutzer 18 gerade auf die Darstellung 9', 10', 11' eines der vorausfahrenden Fahrzeuge 9, 10, 11 blickt, insbesondere auch auf welches, und betrachtet dieses Fahrzeug, in diesem Fall das zentrale Fahrzeug 10, als das ausgewählte Fahrzeug.
-
Des Weiteren kann die Steuereinheit 3 gleichzeitig auch die Position dieses zentralen Fahrzeugs 10 aufgrund der von dem Laserscanner 7 bereitgestellten Umgebungsdaten bestimmen. Diese bestimmte Position kann nun vorteilhaft genutzt werden, um die Videoquelle zu identifizieren, aus der die zweiten Bilddaten V2, V3, V4 abgerufen und empfangen werden sollen. Zu diesem Zweck können die jeweiligen Fahrzeuge 9, 10, 11 ihre eigenen Positionen bestimmen, beispielsweise mittels eines GPS-Sensors, und insbesondere wiederholt ihre bestimmten Positionen in Form von Positionsinformation P1, P2, P3 dem Ego-Fahrzeug 1 bereitstellen, insbesondere der Steuereinheit 3, welche diese empfangenen Positionen P1, P2, P3 mit der von dem Laserscanner 7 bestimmten, das ausgewählte Fahrzeug 10 betreffenden Position vergleicht. Wenn eine Übereinstimmung gefunden wird, so weiß die Kontrolleinheit 3, welches dieser Fahrzeuge 9, 10, 11 von dem Benutzer 18 ausgewählt wurde und kann dann visuelle Information V3 von dem ausgewählten Fahrzeug 10 anfordern. Dieses ausgewählte Fahrzeug 10 stellt dann die verdeckte visuelle Information in Form der zweiten Bilddaten V3 an das Ego-Fahrzeug 1 bereit und das Ego-Fahrzeug 1, insbesondere die Steuereinheit 3, bettet dann die empfangene visuelle Information V3 in die ersten Bilddaten V1 ein, was in 3 dargestellt ist.
-
Insbesondere stellt 3 die sich ergebende, durch die Anzeigeeinrichtung 5 bereitgestellte Anzeige dar. In diesem Beispiel, wird ein zweites von der Kamera 4 erfasstes Bild 23 des ersten Videos V1 auf der Anzeigeeinrichtung 5 angezeigt, wobei dieses zweite Bild 23 von der Kamera 4 erfasst wurde nachdem das erste Bild 19, wie in 2 dargestellt, durch die Kamera 4 erfasst wurde. Des Weiteren werden an der Position in diesem zweiten Bild 23, wo die Darstellung 10' des zentralen Fahrzeugs 10 war, nun die empfangenen zweiten Bilddaten V3 eingebettet. Folglich ist die Darstellung 10' des zentralen Fahrzeugs 10 nicht mehr zu sehen und das Fahrzeug 10 erscheint auf der Anzeigeeinrichtung 5 transparent.
-
4 stellt ein Flussdiagramm dar, welches ein Verfahren zum Bereitstellen visueller Information V3 über einen Teil einer Umgebung 8 des Ego-Fahrzeugs 1 darstellt, welches zumindest teilweise durch zumindest ein bestimmtes Objekt wie das zentrale Fahrzeug 10 oder eines der anderen Fahrzeuge 9 und 11, wie zuvor beschrieben, verdeckt ist. Das Verfahren beginnt in Schritt S1, wo geprüft wird, ob die Hindurchsichtfunktion aktiviert ist oder nicht. Wenn die Hindurchsichtfunktion nicht aktiviert ist, wird Schritt 1 wiederholt bis die Hindurchsichtfunktion aktiviert ist. Wenn also die Hindurchsichtfunktion nun aktiviert ist, wird der Blick 20 des Benutzers 18 in Schritt S2 detektiert und es wird in Schritt S3 geprüft, ob der Blickvektor 20 den Anzeigebildschirm 5a der Anzeigeeinrichtung 5 schneidet. Wenn der Benutzer nicht auf die Anzeigeeinrichtung 5 blickt, insbesondere nicht auf den Bildschirm 5a der Anzeigeeinrichtung 5, dann ist kein Schneiden des Blickvektors 20 und des Gesamtanzeigebereichs 5a gegeben und das Verfahren beginnt wieder bei Schritt S1. Wenn jedoch in Schritt 3 detektiert wird, dass der Benutzer 18 auf den Bildschirm 5a der Anzeigeeinrichtung 5 blickt, wird in Schritt S4 der Schnittpunkt 21 berechnet. Des Weiteren wird in Schritt S5 aufgrund der Projektion der Laserscannerausgabedaten auf dem Kamerasichtfeld 4a und daher auf den Pixelbereichen der Anzeigevorrichtung 5 geprüft, ob es ein Fahrzeug 9, 10, 11 an der Position 21 gibt, an der der Benutzer 18 gerade auf die Anzeigeeinrichtung 5 blickt, insbesondere, ob es eine Darstellung 9', 10', 11' eines solchen Fahrzeugs 9, 10, 11 gibt. Wenn dies nicht der Fall ist, beginnt das Verfahren wieder bei Schritt S1. Falls dort jedoch ein Fahrzeug 9, 10, 11 ist, wird die Position dieses Fahrzeugs 9, 10, 11 durch den Laserscanner 7 auch bestimmt und mit den erhaltenen, von den anderen Fahrzeugen 9, 10, 11 bereitgestellten Positionen P1, P2, P3 in Schritt 6 verglichen. Danach wird in Schritt S7 geprüft, ob eine Übereinstimmung zwischen der bestimmten Position und den empfangenen Positionen P1, P2, P3 besteht. Wenn dies nicht der Fall ist, beginnt das Verfahren wieder bei Schritt 1 und andernfalls wird in Schritt S8 die Hindurchsichtfunktion auf das ausgewählte Fahrzeug, in diesem Beispiel das zentrale Fahrzeug 10, angewendet oder allgemein auf eines der Fahrzeuge 9, 10, 11, für welches die Übereinstimmung in Schritt S7 festgestellt wurde. Die Ausführung der Hindurchsichtfunktion durch Einbetten der empfangenen zweiten Bilddaten V3 in die ersten Bilddaten V1 kann dann wie beschrieben durchgeführt werden.
-
Zusammenfassend stellen diese Beispiele dar, wie mittels der Erfindung eine blickbasierte Hindurchsichtfunktion geschaffen werden kann, die es dem Benutzer erlaubt, auf sehr leichte und sichere Weise Auswahlen zu treffen, falls die Option besteht, solch eine Hindurchsichtfunktion für verschiedene gleichzeitig vorausfahrende Fahrzeuge bereitzustellen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2009/0234131 A1 [0003]
