-
Querverweis auf eine verwandte Anmeldung
-
Diese Anmeldung nimmt die Priorität unter 35 U.S.C. § 119(e) der am 7. Mai 2012 eingereichten, ebenfalls anhängigen provisorischen US-Patentanmeldung Nummer 61/643,792 in Anspruch, welche durch Bezugnahme hierin in ihrer Gesamtheit einbezogen ist.
-
Gebiet der Offenbarung
-
Die vorliegende Offenbarung bezieht sich auf eine Darstellung grafischer Elemente auf einer Anzeige-Einrichtung eines Fahrzeugs, um eine erweiterte Realität zu implementieren.
-
Hintergrund der Offenbarung
-
Ein Fahrer eines Fahrzeugs wird mit Informationen von verschiedenen Sinnesorganen überschwemmt, wenn er ein Fahrzeug fährt. Zusätzlich zu Geräuschen und Vibrationen von verschiedenen Quellen empfängt der Fahrer auch eine große Menge visueller Informationen, während er das Fahrzeug fährt. Quellen solcher visuellen Informationen können externe Stimuli, beispielsweise Menschen und Gebäude auf den Seiten der Straße, Werbung und Infotainment-Anwendungen in den Armaturenbrett-Anzeigen umfassen. Solche Quellen visueller Informationen können den Fahrer häufig ablenken und bewirken, dass der Fahrer seine Aufmerksamkeit weg von der Fahrtrichtung des Fahrzeugs richtet.
-
Erweiterte-Realität-Systeme in Fahrzeugen werden entwickelt, um Ablenkungen für den Fahrer zu reduzieren, während sie visuelle Informationen liefern, um bei verschiedenen Aktivitäten in den Fahrzeugen Unterstützung zu leisten. Erweiterte-Realität-Systeme in Fahrzeugen können Flachbildschirm-Anzeige-Einrichtungen (etwa eine Flüssigkristall-Anzeige (LCD)) umfassen, die in einem Armaturenbrett oder einer Konsole von einem Fahrzeug installiert sind, oder ein Head-up-Display (HUD), welches grafische Elemente auf einer Windschutzscheibe eines Fahrzeugs anzeigt. Die erweiterte-Realität-Systeme können ebenfalls die Sicherheit vergrößern, indem sie die Auffälligkeit von Verkehrsrisiken vergrößern oder Sicherheitsmaßnahmen für einen bestimmten Fahr-Kontext vorschlagen.
-
Erweiterte-Realität-Systeme können jedoch selbst eine Ursache von Ablenkung werden, wenn die Informationen dem Fahrer nicht auf angemessene Weise präsentiert werden. Wenn die grafischen Elemente zu lebhaft sind, unangemessen animiert oder plötzlich zu kritischen Momenten auftauchen, können auf den Anzeige-Einrichtungen in dem Fahrzeug präsentierte Bilder zu Unfällen oder unsicherem Fahren beitragen, statt die Sicherheit zu vergrößern. Daher sollten die auf dem Fahrzeug präsentierten grafischen Elemente so ausgelegt sein, dass sie die Ablenkung des Fahrers reduzieren, während sie verschiedene Arten von hilfreichen visuellen Informationen an den Fahrer liefern.
-
Überblick über die Offenbarung
-
Ausführungsbeispiele beziehen sich auf ein Konstruieren eines virtuellen Modells unter Verwendung visueller Merkmale, die aus einem Bild extrahiert werden, welches durch eine in einem Fahrzeug installierte Bilderfassungseinrichtung (etwa eine Kamera) erfasst wird. Die visuellen Merkmale können dazu verwendet werden, die Position einer Straße relativ zu dem Fahrzeug zu bestimmen. Das virtuelle Modell umfasst wenigstens eine Fläche, auf die Bezug genommen wird, um grafische Elemente auf einer Anzeige-Einrichtung zu konfigurieren und zu positionieren. Die grafischen Elemente übermitteln Informationen an den Fahrer.
-
In einem Ausführungsbeispiel ist die Anzeige-Einrichtung ein Head-up-Display, welches die grafischen Elemente auf eine Windschutzscheibe des Fahrzeugs projiziert.
-
In einem Ausführungsbeispiel repräsentiert das virtuelle Modell einen Graben, der eine linke Wand, eine rechte Wand, eine Boden-Ebene und eine Himmel-Ebene parallel zu der Boden-Ebene umfasst.
-
In einem Ausführungsbeispiel bewegen sich die konfigurierten grafischen Elemente verknüpft mit der wenigstens einen Fläche, um einen Eindruck zu erzeugen, dass die konfigurierten grafischen Elemente an der wenigstens einen Fläche fixiert sind.
-
In einem Ausführungsbeispiel werden die visuellen Merkmale detektiert, indem das erfasste Bild zugeschnitten wird, um einen Bildabschnitt zu extrahieren, der einen Umriss einer Straße umfasst, und indem Linien-Merkmale, welche Ränder der Straße repräsentieren, aus dem zugeschnittenen Bild detektiert werden.
-
In einem Ausführungsbeispiel wird eine inverse perspektivische Abbildung an dem zugeschnittenen Bild durchgeführt, um ein Bild in Vogelperspektive zu erzeugen. Ein separierbarer Filter wird auf das Bild in Vogelperspektive angewendet, um ein gefiltertes Bild zu erzeugen. Die Linien-Merkmale werden aus dem gefilterten Bild detektiert. Eine Kurvenanpassung wird an den detektierten Linien-Merkmalen durchgeführt.
-
In einem Ausführungsbeispiel werden die Position und der Kurs (die Richtung) des Fahrzeugs bestimmt. Dann werden Informationen von einer Informationsquelle auf Basis der Position oder des Kurses des Fahrzeugs erhalten.
-
In einem Ausführungsbeispiel werden ein Profil eines Benutzers und die Position oder der Kurs des Fahrzeugs verwendet, um die grafischen Elemente zu erzeugen.
-
In einem Ausführungsbeispiel wird die Position der Sonne relativ zu dem Fahrzeug bestimmt, auf Basis einer aktuellen Zeit, dem Kurs des Fahrzeugs und der Position des Fahrzeugs. Schatten von wenigstens einem der konfigurierten grafischen Elemente werden auf Basis der Position der Sonne relativ zu einer Position des Fahrzeugs auf der Erdoberfläche und der Tageszeit erzeugt. Die erzeugten Schatten werden auf der Anzeige-Einrichtung angezeigt.
-
In einem Ausführungsbeispiel wird ein Fußgänger detektiert, der wahrscheinlich die Straße vor dem Fahrzeug überqueren wird. Ein grafisches Element, welches einen Überweg an einem Abschnitt der Straße repräsentiert, über welchen der Fußgänger wahrscheinlich die Straße überqueren wird, wird dann erzeugt.
-
Die in der Beschreibung beschriebenen Merkmale und Vorteile sind nicht alle inbegriffen, und insbesondere werden einem normalen Fachmann viele zusätzlichen Merkmale und Vorteile im Hinblick auf die Figuren, Beschreibung und Ansprüche offensichtlich werden. Weiterhin sollte festgehalten werden, dass die in. der Beschreibung verwendete Sprache im Wesentlichen zu Zwecken der Verständlichkeit und Instruktion ausgewählt wurde, und nicht unbedingt ausgewählt wurde, um den Gegenstand ab- oder einzugrenzen.
-
Kurzbeschreibung der Figuren
-
Die Lehren der vorliegenden Offenbarung können durch Berücksichtigung der folgenden detaillierten Beschreibung zusammen mit den begleitenden Figuren einfach verstanden werden.
-
1 ist ein Blockdiagramm eines erweiterte-Realität-Systems gemäß einem Ausführungsbeispiel.
-
2 ist ein Blockdiagramm eines erweiterte-Realität-Prozessors gemäß einem Ausführungsbeispiel.
-
3 ist eine bearbeitete Version von einem durch eine Bilderfassungseinrichtung des erweiterte-Realität-Systems erfassten Bildes gemäß einem Ausführungsbeispiel.
-
4A ist ein bearbeitetes Bild, welches einen Abschnitt des Bilds illustriert, das durch eine Bilderfassungseinrichtung erfasst wurde, bearbeitet durch inverse perspektivische Abbildung gemäß einem Ausführungsbeispiel.
-
4B ist ein gefiltertes Bild, welches unter Verwendung eines separierbaren Filters gemäß einem Ausführungsbeispiel bearbeitet wurde.
-
4C ist ein Diagramm, welches eine Segmentierung von einem als Straße detektierten Bildabschnitt in mehrere Segmente zum Modellieren gemäß einem Ausführungsbeispiel illustriert.
-
5 ist ein konzeptuelles Diagramm eines virtuellen Modells für ein Segment einer Straße gemäß einem Ausführungsbeispiel.
-
6 ist ein Bild einer erweiterten Realität, einschließlich grafischer Elemente, die auf einer Anzeige-Einrichtung in einem Fahrzeug gemäß einem Ausführungsbeispiel angezeigt werden
-
7 ist ein Bild einer erweiterten Realität, einschließlich grafischer Elemente, die angezeigt werden, wenn das Fahrzeug an einer Kreuzung gestoppt wird, gemäß einem Ausführungsbeispiel.
-
8A ist ein Bild einer erweiterten Realität, welches einen virtuellen Überweg in einem ersten Abstand von einem Fußgänger gemäß einem Ausführungsbeispiel zeigt.
-
8B ist ein Bild einer erweiterten Realität, welches einen virtuellen Überweg in einem zweiten Abstand von dem Fußgänger gemäß einem Ausführungsbeispiel zeigt.
-
9 ist ein Flussdiagramm, welches ein Verfahren zum Erzeugen grafischer Elemente für eine erweiterte Realität gemäß einem Ausführungsbeispiel illustriert.
-
Detaillierte Beschreibung der Offenbarung
-
Nun wird ein bevorzugtes Ausführungsbeispiel unter Bezugnahme auf die Figuren beschrieben, wobei gleiche Referenz-Zahlen gleiche oder funktional ähnliche Elemente angeben.
-
Wird in der Beschreibung auf „ein Ausführungsbeispiel” Bezug genommen, so bedeutet dies, dass ein bestimmtes Merkmal, eine Struktur oder Charakteristik, das oder die in Verbindung mit den Ausführungsbeispielen beschrieben wird, in wenigstens einem Ausführungsbeispiel enthalten ist. Das Erscheinen des Ausdrucks „in einem Ausführungsbeispiel” an verschiedenen Stellen in der Beschreibung bedeutet nicht notwendigerweise, dass diese sich alle auf das gleiche Ausführungsbeispiel beziehen.
-
Einige Abschnitte der folgenden detaillierten Beschreibung werden in der Form von Algorithmen und symbolischen Darstellungen von Operationen an Daten-Bits innerhalb von einem Computerspeicher präsentiert. Diese algorithmischen Beschreibungen und Darstellungen sind die Mittel, die von Fachleuten der Datenverarbeitung verwendet werden, um den Inhalt ihrer Arbeit am effizientesten an andere Fachleute zu übermitteln. Ein Algorithmus ist hierbei und im Allgemeinen als selbst-konsistente Abfolge von Schritten (Anweisungen) zu verstehen, die zu einem gewünschten Resultat führen. Die Schritte sind diejenigen, die physische Manipulationen physischer Größen erfordern. Üblicherweise, jedoch nicht notwendigerweise, nehmen diese Größen die Form von elektrischen, magnetischen oder optischen Signalen an, die dazu in der Lage sind, gespeichert, übertragen, kombiniert, verglichen und auf andere Weise manipuliert zu werden. Es ist gelegentlich zweckmäßig, prinzipiell aus Gründen der Verkehrssitte, auf diese Signale als Bits, Werte, Elemente, Symbole, Zeichen, Ausdrücke, Zahlen oder dergleichen Bezug zu nehmen. Weiterhin ist es auch gelegentlich zweckmäßig, ohne Beschränkung der Allgemeinheit auf bestimmte Anordnungen von Schritten, die physische Manipulationen physischer Größen erfordern, als Module oder Code-Einrichtungen Bezug zu nehmen.
-
Jedoch sollen all diese und ähnliche Ausdrücke den geeigneten physischen Größen zugeordnet werden und sind nur zweckmäßige Bezeichnungen, die auf diese Größen angewendet werden. Sofern nicht ausdrücklich anderweitig festgelegt, wie aus der folgenden Beschreibung ersichtlich, wird anerkannt, dass durch die Beschreibung hindurch Diskussionen unter Verwendung von Ausdrücken wie „verarbeiten” oder „rechnen” oder „berechnen” oder „bestimmen” oder „anzeigen” oder „bestimmen” oder dergleichen sich auf das Vorgehen und die Prozesse eines Computersystems oder einer ähnlichen elektronischen Recheneinrichtung beziehen, die Daten manipuliert und transformiert, die als physische (elektronische) Größen innerhalb der Computersystem-Speicher oder Register oder anderer solcher Informationsspeicher-, Übertragungs- oder Anzeige-Einrichtungen dargestellt werden.
-
Bestimmte Aspekte der Ausführungsbeispiele umfassen Prozessschritte und Anweisungen, die hierbei in der Form eines Algorithmus beschrieben sind. Es sollte festgehalten werden, dass die Prozessschritte und Anweisungen als Software, Firmware oder Hardware verkörpert werden könnten und, bei Verkörperung als Software, herunter geladen werden könnten, um auf verschiedenen Plattformen vorzuliegen und betrieben zu werden, die von einer Vielzahl von Betriebssystemen verwendet werden.
-
Ausführungsbeispiele beziehen sich auch auf eine Einrichtung, um die Vorgänge darin durchzuführen. Diese Einrichtung kann speziell für die erforderlichen Zwecke konstruiert sein, oder sie kann einen Mehrzweck-Computer umfassen, der selektiv aktiviert oder durch ein Computerprogramm rekonfiguriert wird, das in dem Computer gespeichert ist. Solch ein Computerprogramm kann auf einem computerlesbaren Speichermedium gespeichert sein, beispielsweise aber nicht beschränkt auf jede Art von Platte bzw. Scheibe, einschließlich Disketten, optischer Platten, CD-ROMs, magneto-optischer Platten, Festwertspeicher (ROMs), Direktzugriffsspeicher (RAMs), EPROMs, EEPROMs, magnetischer oder optischer Karten, anwendungsspezifischer integrierter Schaltungen (ASICs) oder jedem beliebigen Medien-Typ, der dazu geeignet ist, elektronische Informationen zu speichern, und wobei jedes an einen Computersystem-Bus gekoppelt ist. Weiterhin können die Computer, auf die in der Beschreibung Bezug genommen wird, einen einzelnen Prozessor umfassen, oder sie können Architekturen sein, die verschiedene Prozessor-Designs für eine erhöhte Rechenleistung verwenden.
-
Die hierin präsentierten Algorithmen und Anzeigen beziehen sich nicht inhärent auf irgendeinen speziellen Computer oder andere Einrichtung. Verschiedene Mehrzweck-Systeme können auch verwendet werden, mit Programmen in Übereinstimmung mit der Lehre hierin, oder es kann sich als zweckmäßig herausstellen, eine stärker spezialisierte Vorrichtung zu konstruieren, um die erforderlichen Verfahrensschritte durchzuführen. Die erforderliche Struktur für eine Vielzahl dieser Systeme wird aus der unten stehenden Beschreibung deutlich. Zusätzlich werden die Ausführungsbeispiele nicht unter Bezugnahme auf irgend eine spezielle Programmiersprache beschrieben. Es ist klar, dass eine Vielzahl von Programmiersprachen verwendet werden können, um die hierin beschriebenen Lehren zu implementieren, und alle unten stehenden Bezugnahmen auf spezifische Sprachen werden zur ausreichenden Offenbarung und zur Offenbarung der besten Art der Ausführung geliefert.
-
Zusätzlich wurde die in der Beschreibung verwendete Sprache im Wesentlichen zu Zwecken der Lesbarkeit und der Instruktion ausgewählt und wurde nicht unbedingt dazu ausgewählt, den Gegenstand ab- oder einzugrenzen. Entsprechend soll die Offenbarung illustrativ aber nicht beschränkend für den Umfang sein, der in den folgenden Ansprüchen dargelegt wird.
-
Ausführungsbeispiele beziehen sich auf ein Erzeugen eines virtuellen Modells einer Umgebung vor einem Fahrzeug auf Basis von Bildern, die unter Verwendung einer Bilderfassungseinrichtung (etwa einer Kamera) erfasst werden. Die auf der Bilderfassungseinrichtung erfassten Bilder werden bearbeitet, um interessante Merkmale (etwa einen Umriss einer Straße) zu extrahieren. Auf Basis der extrahierten Merkmale wird ein virtuelles Modell der Umgebung konstruiert. Das virtuelle Modell umfasst eine oder mehrere Flächen. Jede der Flächen kann als eine Referenzfläche verwendet werden, um grafische Elemente zu befestigen und zu bewegen, die erzeugt werden, um eine erweiterte Realität (AR) zu implementieren. Wenn sich das Fahrzeug bewegt, bewegen sich die grafischen Elemente so, als ob die grafischen Elemente an einer der Flächen in dem virtuellen Modell befestigt wären. Durch Darstellen der grafischen Elemente, so dass sich diese zusammen mit realen Objekten vor dem Fahrzeug bewegen, nimmt ein Fahrer die grafischen Elemente als Teil der tatsächlichen Umgebung wahr, und dies reduziert eine Ablenkung oder Verwirrung im Zusammenhang mit den grafischen Elementen.
-
Die hierin beschriebenen grafischen Elemente beziehen sich auf visuelle Bildkomponenten, die auf einer Anzeige-Einrichtung angezeigt werden. Die grafischen Elemente können umfassen, aber sind nicht beschränkt auf Textnachrichten, Pfeile, Icons, animierte Objekte, dreidimensionale Modelle und statische oder dynamische Bilder. Die grafischen Elemente können auch statische oder dynamische Werbung umfassen.
-
Überblick über ein erweiterte-Realität-System
-
(FIGS.) 1 ist ein Blockdiagramm, welches ein erweiterte-Realität-System 100 gemäß einem Ausführungsbeispiel illustriert. Das erweiterte-Realität-System 100 detektiert eine Umgebung vor einem Fahrzeug und eine Positionierung des Fahrzeugs in der Umgebung, und zeigt virtuelle Objekte in einer Anzeige-Einrichtung des Fahrzeugs auf nicht ablenkende Weise an. Das erweiterte-Realität-System 100 kann unter anderen Komponenten eine Bilderfassungseinrichtung 110, ein Bildbearbeitungsmodul 122, eine Positionierungseinrichtung 114, eine Uhr 118, eine Informationsquelle 130, einen erweiterte-Realität-Prozessor 140 und ein Head-up-Display (HUD) System 150 umfassen.
-
Die Bilderfassungseinrichtung 110 ist eine Einrichtung zum Erfassen eines Bilds einer Umgebung vor dem Fahrzeug. Bevorzugt ähneln die durch die Bilderfassungseinrichtung erfassten Bilder stark den Bildern, die von einem Fahrer durch eine Windschutzscheibe gesehen werden. Die Bilderfassungseinrichtung 110 kann an einer Stelle nahe an dem Fahrer angeordnet sein, um solche Bilder zu erzeugen. Die Bilderfassungseinrichtung 110 kann eine RGB-Kamera, eine Graustufenkamera, eine stereoroskopische Kamera, eine Tiefen-Kamera oder eine Kombination davon sein. Die Bilderfassungseinrichtung 110 produziert bearbeitete Bilder 124, die zu dem Bildbearbeitungsmodul 122 für eine Vorbearbeitung gesendet werden.
-
Das Bildbearbeitungsmodul 122 führt eine Vorbearbeitung an den erfassten Bildern 112 durch, um eine Extraktion von Merkmalen bei dem erweiterte-Realität-Prozessor 140 zu erleichtern. Die Vorbearbeitung, die an dem Bildbearbeitungsmodul 122 durchgeführt wird, kann unter anderem Kanten-Detektion und Rausch-Filterung umfassen.
-
Die Positionierungseinrichtung 114 ist Hardware, Software, Firmware oder eine Kombination davon, um die Position und den Kurs des Fahrzeugs zu detektieren. Die Positionierungseinrichtung 114 kann beispielsweise einen Globales-Positionsbestimmungssystem (GPS) Empfänger, einen Kompass und einen Trägheitssensor umfassen. Die Positionierungseinrichtung 114 kann mit anderen Sensoren (beispielsweise einem Kilometerzähler und einem Fahrzeugrichtungssensor) kommunizieren, um eine Überwachung der Position und des Kurses des Fahrzeugs auch dann fortzusetzen, wenn GPS-Signale nicht verfügbar sind. Die Positionierungseinrichtung 114 erzeugt Positionierungsinformationen 116, welche die Position und den Kurs des Fahrzeugs umfassen, für den erweiterte-Realität-Prozessor 140.
-
Eine Uhr 118 liefert Zeit-Informationen 148 an den erweiterte-Realität-Prozessor 140. Die Zeit-Informationen 148 geben die aktuelle Zeit an und können verwendet werden, um Schatten grafischer Elemente zu erzeugen, wie unten im Detail unter Bezugnahme auf 6 beschrieben wird.
-
Die Informationsquelle 130 ist eine Einrichtung zum Speichern von Informationen, die auf dem HUD-System 150 angezeigt werden sollen. Die Informationsquelle 130 kann mehr als eine Fahrzeugkomponente umfassen, die verschiedene Informationen an die HUD-Systeme 150 liefern. Die Informationsquelle 130 kann beispielsweise ein On-Board-Navigationssystem, ein Telematik-System, ein drahtloses Kommunikationssystem mit Internet-Verbindung und ein Unterhaltungssystem in dem Fahrzeug umfassen. Die Informationsquelle 130 sendet Daten 132 zu dem erweiterte-Realität-Prozessor 140, zum Verarbeiten und zum Erzeugen grafischer Elemente.
-
Der erweiterte-Realität-Prozessor 140 verarbeitet verschiedene Typen von Informationen und erzeugt grafische Elemente zur Anzeige auf dem HUD-System 150. Um dem Fahrer Informationen in einer nahtlosen und nicht aufdringlichen Weise zu liefern, erzeugt der erweiterte-Realität-Prozessor 140 ein virtuelles Modell der Umgebung und platziert die grafischen Elemente auf einer virtuelle Fläche des virtuellen. Modells, wie unten im Detail unter Bezugnahme auf 5 beschrieben. Die grafischen Elemente, die durch den erweiterte-Realität-Prozessor 140 erzeugt werden, werden an das HUD-System 150 als grafische Daten 144 gesendet. Beispielhafte Komponenten und Funktionen der Komponenten in dem erweiterte-Realität-Prozessor 140 werden unten im Detail unter Bezugnahme auf 2 beschrieben.
-
Das HUD-System 150 empfängt die grafischen Daten 144 von dem erweiterte-Realität-Prozessor 140 und projiziert die grafischen Elemente, die durch die grafischen Daten 144 angegeben werden, auf die Windschutzscheibe des Fahrzeugs. In einem Ausführungsbeispiel ist das HUD-System 150 als ein volumetrisches HUD implementiert, das grafische Elemente bei verschiedenen Brennweiten anzeigt. Das HUD-System 150 kann unter anderen Komponenten einen Projektor zum Projizieren gerenderter Bilder und eine Windschutzscheibe zum Reflektieren der projizierten Bilder zu dem Fahrer hin umfassen.
-
Obwohl die Ausführungsbeispiele hierin in erster Linie unter Bezugnahme auf ein HUD-System beschrieben werden, können auch Anzeige-Einrichtungen wie eine Flüssigkristal-Anzeige-Einrichtung (LCD), eine organische-Leuchtdioden-Einrichtung (OLED), eine Plasma-Anzeige-Einrichtung oder andere Einrichtungen verwendet werden. Diese Anzeige-Einrichtungen können an einem Armaturenbrett eines Fahrzeugs oder in einem Mittelkonsolen-Bereich eines Fahrzeugs installiert sein, um visuelle Informationen an den Fahrer zu liefern. Auch kann eine Anzeige-Einrichtung verwendet werden, die ein Bild auf eine transparente reflektierende Fläche projiziert, um ein Bild auf einer transparenten Fläche wiederzugeben.
-
Beispiel eines erweiterte-Realität-Prozessors
-
2 ist ein Blockdiagramm, welches den erweiterte-Realität-Prozessor 140 gemäß einem Ausführungsbeispiel illustriert. Der erweiterte-Realität-Prozessor 140 verarbeitet Informationen und erzeugt grafische Benutzerelemente, die auf dem System 150 dargestellt werden sollen. Der erweiterte-Realität-Prozessor 140 kann unter anderen Komponenten einen Prozessor 212, ein Eingabe-Modul 218, ein Ausgabe-Modul 224, ein Netzwerk-Modul 228, einen Speicher 232 und einen Bus 230 umfassen, der diese Komponenten verbindet. Der erweiterte-Realität-Prozessor 140 kann andere, nicht in 2 illustrierte Komponenten umfassen, etwa ein Benutzerschnittstellen-Modul, um Benutzereingaben von einem Benutzer zu empfangen. Der erweiterte-Realität-Prozessor 140 kann eine separate, eigenständige Einrichtung oder Teil eines größeren Systems sein, welches auch andere Vorgänge als die Erzeugung grafischer Elemente für erweiterte Realität durchführt.
-
Der Prozessor 212 ist eine Hardware-Komponente, die in dem Speicher 232 gespeicherte Anweisungen durchführt. Das Eingabe-Modul 218 ist eine Hardwarekomponente zum Empfangen von Informationen oder Daten von anderen Komponenten (etwa dem Eingabe-Verarbeitungsmodul 122) von dem erweiterte-Realität-System 100. Das Eingabe-Modul 218 kann Kommunikationsprotokolle implementieren, um eine geeignete Übertragung von Daten von anderen Komponenten des erweiterte-Realität-Systems 100 sicherzustellen. Das Ausgabe-Modul 326 ist eine Komponente, um die grafischen Daten 144 an das HUD-System 150 zu senden. Diese Komponenten können auf einem einzelnen Chip mit integrierter Schaltung (IC) oder mehreren IC-Chips verkörpert sein.
-
Der Speicher 232 ist ein nichtflüchtiges, computerlesbares Speichermedium, welches Softwarekomponenten speichert. Die in dem Speicher 232 gespeicherten Softwarekomponenten können unter anderen Komponenten einen Informationsprozessor 231, Bildmerkmal-Detektoren 238, einen erweiterte-Realität (AR) Modell-Generator 234, einen Fußgänger-Detektor 242, eine Umgebungszustand-Analyseeinrichtung 248, einen Grafikelement-Generator 252 und eine Grafikbild-Rendereinrichtung 256 umfassen. Die Komponenten können in weitere Softwarekomponenten unterteilt sein, oder mehr als eine dieser Komponenten können zu einem einzelnen, größeren Software-Modul kombiniert sein.
-
Der Informationsprozessor 231 bestimmt Informationen oder Nachrichten, die dem Fahrer gezeigt werden sollen, in der Form von grafischen Elementen. Um Informationen zu liefern, die relevant für den Fahrer sind, kann der Informationsprozessor 231 ein Profil des Fahrers, GPS-Informationen des Fahrzeugs, Informationen von sozialen Netzwerkdiensten (etwa FACEBOOK) oder anderen online-Diensten und der Informationsquelle 130 empfangen. Das Profil des Fahrers kann beispielsweise Alter, Geschlecht, Wohnsitz, Anmelde-Informationen für soziale Netzwerkdienste und eine Büro-Adresse umfassen. Die Informationen oder Nachrichten, die gezeigt werden sollen, können zielgerichtete Werbung, Straßennamen, Namen von interessanten Punkten (POI), Wetterbedingungen, Status von Telefongesprächen, Kontaktinformationen, Werbenachrichten und SMS-Nachrichten oder E-Mails umfassen, die über eine Kommunikationseinrichtung empfangen werden. Der Informationsprozessor 231 sendet Präsentation-Informationen 262, welche Informationen oder Nachrichten angeben, an den Grafikelement-Generator 252.
-
In einem Ausführungsbeispiel bestimmt der Informationsprozessor 231 Verkehrsregeln, die mit Verkehrssignalen oder Verkehrszeichen in Verbindung stehen, welche durch das Fahrzeug erfasst werden. Der Informationsprozessor 231 kann grafische Elemente erzeugen und senden, um Warnungen an den Fahrer auszugeben, auf Basis von Verkehrssignalen oder Verkehrszeichen, welche durch Verarbeitung des erfassten Bildes 112 detektiert wurden.
-
Die Bildmerkmal-Detektoren 238 detektieren vorbestimmte Merkmale in den bearbeiteten Bildern 124. Die detektierten Merkmale können visuellen Merkmale wie Linien, Kanten, Ränder und Klumpen (blobs) von Bildpixeln umfassen. Verschiedene Bildverabeitungsalgorithmen können verwendet werden, um solche Merkmale zu detektieren und zu extrahieren. Beispielhafte Algorithmen zu einem solchen Zweck umfassen separierbare Filteralgorithmen und Hough-Transformation-Algorithmen. Umgebung-Bildinformationen 236 einschließlich extrahierter visueller Merkmale in Bezug auf eine Straße werden an einen AR-Modell-Generator 234 gesendet, ein Fußgänger-Bild 240 einschließlich visueller Merkmale, die sich auf Fußgänger beziehen, wird an den Fußgänger-Detektor 242 gesendet, und Verkehrsinformationen 239 einschließlich visueller Merkmale, die sich auf Verkehrssignale beziehen, können an den Informationsprozessor 231 gesendet werden.
-
In einem Ausführungsbeispiel detektieren die Bildmerkmal-Detektoren 238 visuelle Merkmale, die für verschiedene Ziele in der Umgebung relevant sind, einschließlich aber nicht beschränkt auf eine Straße, einen Fußgänger, Verkehrszeichen und Verkehrssignale. Visuelle Merkmale, die sich auf die Straße beziehen können, beispielsweise Linien umfassen, die Ränder der Straße repräsentieren, Klumpen von zusammenhängenden Pixeln in einem bestimmten Farbraum, Straßenmarkierungen oder irgendwelche festen sichtbaren Merkmale auf der Straße. Visuelle Merkmale, die sich auf einen Fußgänger beziehen können Klumpen von Pixeln umfassen, die bestimmte Kriterien erfüllen. Visuelle Merkmale, die sich auf die Verkehrszeichen und Verkehrssignale beziehen, können Farbinformationen von Pixeln umfassen, die an bestimmten Stellen des erfassten Bildes erscheinen.
-
Der AR-Modell-Generator 234 empfängt die Umgebung-Bildinformationen 236, um ein virtuelles Modell zu konstruieren, welches die Umgebung vor dem Fahrzeug repräsentiert. Linien-Merkmale in den bearbeiteten Bildern 124 können verwendet werden, um die Konfiguration der Straße zu bestimmen, wie im Detail unten unter Bezugnahme auf 3 bis 4C beschrieben ist. Die Konfiguration der Straße kann beispielsweise die Orientierung und Position der Straße relativ zu dem Fahrzeug angeben, die Breite der Straße und die Tiefe der Straße. In einem Ausführungsbeispiel erzeugt der AR-Modell-Generator 234 ein virtuelles Modell in der Form eines Grabens, wie unten im Detail unter Bezugnahme auf 5 beschrieben. Der AR-Modell-Generator 234 sendet Modell-Informationen 244, welche die Konfiguration des virtuellen Modells angeben, an die Grafikbild-Rendereinrichtung 256.
-
Der Fußgänger-Detektor 242 empfängt das Fußgänger-Bild 240 von den Bildmerkmal-Detektoren 238, um Fußgänger in dem bearbeiteten Bild 124 zu identifizieren. Der Fußgänger-Detektor 242 wählt auch Fußgänger aus, die bestimmte Kriterien erfüllen. Die Kriterien können irgendwelche Risiken für den Fußgänger oder das Fahrzeug angeben, etwa eine Wahrscheinlichkeit einer Kollision mit dem Fußgänger, und Hinweise darauf, ob ein Fußgänger wahrscheinlich beginnen wird, die Straße zu überqueren (etwa ein Fußgänger, der zu der Straße hin gewandt ist oder sich zu der Straße hin bewegt). Die Position und andere Informationen über solche ausgewählten Fußgänger werden an den Grafikelement-Generator 252 als Fußgänger-Informationen 246 gesendet.
-
Die Umgebungszustand-Analyseeinrichtung 248 empfängt die Zeit-Informationen 148 und die Positionierungsinformationen 116, um die Orientierung der Sonne relativ zu dem Fahrzeug zu bestimmen. Die Umgebungszustand-Analyseeinrichtung 248 analysiert die Zeit-Informationen 148 und den Kurs des Fahrzeugs, um die Position der Sonne relativ zu dem Fahrzeug zu bestimmen. Dann können die Orientierung und Länge von einem Schatten bestimmt werden, der in den grafischen Elementen enthalten sein soll, um eine realistischere Erscheinung der grafischen Elemente zu liefern. Die Umgebungszustand-Analyseeinrichtung 248 erzeugt Zustand-Informationen 250 als Ergebnis der Analyse und sendet die Zustand-Informationen 250 an den Grafikelement-Generator 252.
-
Der Grafikelement-Generator 252 erzeugt grafische Elemente 254 auf Basis der Fußgänger-Informationen 246, der Zustand-Informationen 250, der Präsentation-Informationen 262 oder/und anderer Informationen und Daten, die von anderen Komponenten des erweiterte-Realität-Systems 100 empfangen werden. Die grafischen Elemente können beispielsweise Icons umfassen, die Warnsignale angeben, statische oder dynamische Bilder und Text-Nachrichten. Die erzeugten grafischen Elemente können auch einen virtuellen Überweg umfassen, wie unten im Detail unter Bezugnahme auf 8A und 8B beschrieben ist. In einem Ausführungsbeispiel können die grafischen Elemente Schatten der grafischen Elemente auf Basis der Tageszeit und dem Kurs des Fahrzeugs umfassen. Die erzeugten grafischen Elemente 254 werden an die Grafikbild-Rendereinrichtung 256 gesendet.
-
Die Grafikbild-Rendereinrichtung 256 konfiguriert die empfangenen grafischen Elemente 254, die auf dem HUD-Einrichtung-System (oder anderen Anzeige-Einrichtungen) angezeigt werden sollen, auf Basis der Modell-Informationen 244. Wenigstens einige der grafischen Elemente sind dazu konfiguriert, auf virtuellen Fläche des virtuellen Modells platziert zu werden. Insbesondere können wenigstens einige der grafischen Elemente dynamisch positioniert und konfiguriert sein, so dass diese grafischen Elemente auf den Anzeige-Einrichtungen so angezeigt werden, als ob diese grafischen Elemente Teil der realen Umgebung wären. Die Grafikbild-Rendereinrichtung 256 schließt die grafischen Elemente und deren Konfiguration in die Grafikdaten 144 ein und sendet die Grafikdaten 144 an das HUD-System 150 über den Bus 230 und das Ausgabe-Modul 224.
-
Konstruktion eines virtuellen Modells auf Basis visueller Informationen
-
Eine Verwendung visueller Informationen, die aus Bildern verfügbar sind, welche von einer Bilderfassungseinrichtung erfasst werden (etwa einer RGB-Kamera, stereoskopischen Kamera oder Tiefen-Kamera), ermöglicht eine rasche Konstruktion eines virtuellen Modells der Umgebung. Die visuellen Informationen können von einer an einem Fahrzeug installierten Bilderfassungseinrichtung verfügbar sein. Solche visuellen Informationen können unter Verwendung von Bildbearbeitungsalgorithmen zum Extrahieren von Merkmalen bearbeitet werden, die relevant für eine Konstruktion eines virtuellen Bildes sind, ohne übermäßige Berechnung, Zeitverzögerung oder übermäßige Datenmenge von einer externen Quelle, im Vergleich zu einer Konstruktion eines virtuellen Modells, die stark auf Karten-Daten beruht.
-
3 ist eine bearbeitete Version 300 von einem Bild, das durch eine Bilderfassungseinrichtung des erweiterte-Realität-Systems gemäß einem Ausführungsbeispiel erfasst wurde. Das Bild 300 wird durch die Bilderfassungseinrichtung erfasst, welche zu der Vorderseite des Fahrzeugs zeigt. Das Bild 300 umfasst Linien 314, 316, welche Ränder der Straße 318 angeben, ein Gebäude 344 und andere Objekte, welche die Umgebung vor dem Fahrzeug bilden. Andere bearbeitete Bilder umfassen wahrscheinlich Fahrbahn-Linien, die auch für eine Bearbeitung verwendet werden können.
-
Die Bildmerkmal-Detektoren 238 wählen zunächst den Abschnitt 320 des bearbeiteten Bildes 300 zur weiteren Bearbeitung aus und schneiden diesen zu. Der Bildabschnitt 300 für die weitere Verarbeitung wird auch als interessante Region (ROI) bezeichnet. Der ausgewählte Abschnitt 320 kann sich vertikal herunter bis zu einer gewissen Distanz von einer vertikalen Position nahe dem Horizont erstrecken. Der ausgewählte Abschnitt schließt bevorzugt Abschnitte des Bilds aus, die bei einer genauen Erfassung von Merkmalen stören können, die relevant für die Straße sind, beispielsweise eine Motorhaube 310 des Fahrzeugs. Die vertikale Position und der Abstand des Abschnitts 320 können voreingestellt sein, oder sie können dynamisch mit der Änderung der Landschaft wechseln.
-
4A ist ein bearbeitetes Bild, welches einen Abschnitt 320 von dem bearbeiteten Bild 300 illustriert, der durch eine inverse perspektivische Abbildung (IPM) gemäß einem Ausführungsbeispiel bearbeitet wurde. Durch Durchführen einer IPM-Bearbeitung wird die perspektivische Ansicht des bearbeiteten Bildes 300 in eine zweidimensionale Vogelperspektiven-Ansicht umgewandelt, wie beispielsweise beschrieben in „Real-time lane and obstacle detection on the gold system” von M. Bertozzi et al. in „Intelligent Vehicle Symposium, Proceedings for the 1996 IEEE”, Seiten 213–218 (1996), was durch Bezugnahme hierin in seiner Gesamtheit einbezogen ist. Verschiedene Bild-Artefakte 418, gezeigt durch gestrichelte Linien, und die Ränder 416, 414 der Straße 318 sind in 4A enthalten. Die IPM entfernt die perspektivische Verzerrung von dem Bild, so dass Straßenränder und Fahrbahnen, die auf dem Original-Bild zu konvergieren scheinen, in dem transformierten Bild parallel werden.
-
4B ist ein gefiltertes Bild, das erhalten wird, indem ein separierbarer Filter auf das Bild von 4A angewendet wird, gemäß einem Ausführungsbeispiel. Der separierbare Filter kann dazu konfiguriert sein, Linien-Merkmale zu detektieren, die vertikal orientiert sind, mit einer tolerierbaren horizontalen Abweichung. Durch Anwenden des separierbaren Filters werden Artefakte oder Merkmale 418 in 4A, die irrelevant für die Konstruktion eines virtuellen Modells sind, entfernt, wobei die Ränder 414, 416 der Straße 138 belassen werden. Ein Verwenden des separierbaren Filters zur Entfernung von Artefakten oder irrelevanten Merkmalen ist unter anderen Gründen deswegen vorteilhaft, da die Verarbeitung im Vergleich zu anderen Algorithmen rasch durchgeführt werden kann. In anderen Ausführungsformen können andere Bildbearbeitungsalgorithmen als der separierbare Filter verwendet werden, beispielsweise eine Hough-Transformation, um Merkmale der Straße zu extrahieren.
-
Nachdem die Ränder 414, 416 der Straße erhalten wurden, kann eine Kurvenanpassung durchgeführt werden, um die Ränder der Straße zu repräsentieren. Um ein virtuelles Modell zu bilden, werden an die Ränder 414, 416 Spline-Kurven angepasst. Andere Anpassungsmechanismen können auch verwendet werden. Der Bereich zwischen den zwei angepassten Spline-Kurven repräsentiert die Straße 318, die vor dem Fahrzeug liegt.
-
4C ist ein Diagramm, welches eine Segmentierung eines als eine Straße erfassten Bildabschnitts in mehrere Segmente 420, 422, 424, 428 zur Modellierung gemäß einem Ausführungsbeispiel illustriert. Für jedes der Segmente 420, 422, 424, 428 wird ein separates virtuelles Modell der Umgebung erzeugt. Jedes virtuelle Modell kann eine unterschiedliche Konfiguration (etwa Orientierung und Breite) aufweisen. In einem Ausführungsbeispiel wird die Straße durch ein vorbestimmtes Intervall segmentiert. In anderen Ausführungsbeispielen kann die Straße auf Basis von Änderungen in der Krümmung oder Orientierung von Kurven 414, 416 oder anderer Faktoren segmentiert werden.
-
Indem die Straße in mehrere Segmente segmentiert wird und ein virtuelles Modell für jedes Segment konstruiert wird, können die virtuellen Modelle eine realistischere Version der Umgebung repräsentieren. Wenn sich das Fahrzeug vorwärts bewegt, bewegen sich Segmente 420, 422, 424, 428 nach unten, wodurch bewirkt wird, dass ein neues Segment oben an dem Bild erscheint, und das Segment, das am weitesten unten liegt (etwa Segment 426) verschwindet unten aus dem Bild. Die Segmente können mit den neuen Konfigurationen aktualisiert werden, wenn neue erfasste Bilder der Straße empfangen und bearbeitet werden. Nachdem die Konfigurationen von allen Segmenten bestimmt sind, versenden die Bildmerkmal-Detektoren 238 die Informationen über die Konfigurationen in den Umgebung-Bildinformationen 236 und senden sie an den AR-Modell-Generator 234.
-
5 ist ein konzeptuelles Diagramm eines virtuellen Modells 500 für ein Segment der Straße gemäß einem Ausführungsbeispiel. Das virtuelle Modell 500 liegt in der Form von einem Graben mit vier Flächen vor: einem Boden 504, einer linken Wand 510, einer rechten Wand 514 und einer Decke 506. Bei dem Beispiel des Segments 426 aus 4 entspricht die Breite Wd des virtuellen Modells 500 der horizontalen Entfernung zwischen Kurven 414, 416 in dem Segment 426, und die Länge Ld des virtuellen Modells 500 entspricht der vertikalen Länge des Segments 426. Wenn das Fahrzeug sich weiter nach vorne bewegt, bewegt sich das virtuelle Modell 500 zu dem Fahrzeug hin und wird durch ein anderes virtuelles Modell ersetzt, welches dem nächsten Segment (etwa Segment 424) entspricht, wenn das virtuelle Modell 500 zu einem Ende kommt.
-
In einem Ausführungsbeispiel wird ein Kalman-Filter auf die Parameter (etwa die Breite, die Orientierung und die Koordinaten) des virtuellen Modells angewendet, um einen sanften Übergang zu erreichen, oder eine sanfte Bewegung virtueller Modelle wenn nachfolgende bearbeitete Bilder 124 empfangen und durch den erweiterte Realität-Prozessor 140 bearbeitet werden.
-
In einem Ausführungsbeispiel kann auf Basis von dem erfassten Bild 112 die folgende Annahme verwendet werden, um ein virtuelles Modell robuster zu machen: (i) die Straße vor dem Fahrzeug ist flach, (ii) es gibt kein Rollen der Kamera im oder gegen den Uhrzeigersinn, und (iii) die Bilderfassungseinrichtung 110 ist an einer festen Höhe vom Boden aus platziert. Zusätzliche Annahmen können hinzugefügt werden, um die Erzeugung des virtuellen Bildes auf Basis von dem erfassten Bild 112 zu erleichtern.
-
Grafische Elemente zur Anzeige können auf verschiedene Weisen in Bezug auf die Flächen des virtuellen Modells 500 präsentiert werden. Beispiele einer Verwendung der Seitenflächen als Referenzflächen umfassen: (i) Verwendung von Seitenwänden 510, 514, auf welche die grafischen Elemente geklebt werden, wie illustriert durch Boxen 524, 528, (ii) Aufhängen eines Schilds 526, das sich nach innen (oder nach außen) von einer Seitenwand 510, 514 erstreckt und (iii) Platzieren eines Banners 518, das sich zwischen den zwei Seitenwänden 510, 514 erstreckt. Die Decke 506 kann auch als eine Referenzfläche zur Platzierung eines Etiketts 520 oder zum Aufhängen eines Schilds 527 verwendet werden. Ein Beispiel einer Verwendung des Bodens 504 als eine Referenzfläche für die grafischen Elemente umfasst eine Platzierung eines Boden-Etiketts 522 auf dem Boden 504. Andere grafische Elemente, beispielsweise eine Anschlagtafel oder ein virtueller Charakter (etwa ein dreidimensionaler animierter Charakter 724, wie illustriert in 7) können ebenfalls den Boden 504 als die Referenzfläche für die Platzierung verwenden.
-
Die grafischen Elemente bewegen sich in die gleiche Richtung und mit der gleichen Geschwindigkeit wie die Referenzflächen, die den grafischen Elementen zugeordnet sind, um einen Eindruck zu vermitteln, dass die grafischen Elemente Teil einer tatsächlichen Umgebung sind. In einem Ausführungsbeispiel werden grafische Elemente nur für ein virtuelles Modell angezeigt, das einem Segment der Straße entspricht, das dem Fahrzeug am nächsten ist. In anderen Ausführungsbeispielen werden die grafischen Elemente für virtuelle Modelle entsprechend zwei oder mehr Segmenten der Straße angezeigt.
-
In einem Ausführungsbeispiel werden mehrere virtuelle Modelle auf Basis der Konfiguration der Straße konstruiert. Für ein gerades Straßensegment kann ein gerades virtuelles Graben-Modell verwendet werden, wie es oben unter Bezugnahme auf 5 beschrieben ist. Für ein Segment einer Straße, das eine Kreuzung umfasst, kann ein virtuelles Modell verwendet werden, welches zwei sich kreuzende Gräben repräsentiert. Durch Verwendung von mehr als einem virtuellen Modell kann ein realistischeres virtuelles Modell erzeugt werden, welches der tatsächlichen realen Umgebung ähnelt.
-
Rendern grafischer Elemente
-
Nachdem ein virtuelles Modell erzeugt wird, werden Parameter des virtuellen Modells als die Modell-Informationen 244 an die Grafikbild-Rendereinrichtung 256 gesendet. Die Grafikbild-Rendereinrichtung 256 empfängt die grafischen Elemente 254 und deren Konfigurationen zur Darstellung von dem Grafikelement-Generator 252. Auf Basis des virtuellen Modells erzeugt die Grafikbild-Rendereinrichtung 256 Bilddaten mit grafischen Elementen, die so platziert und konfiguriert sind, dass sie mit dem virtuellen Modell konsistent sind.
-
In Ausführungsbeispielen, in welchen die grafischen Elemente auf dem HUD-System 150 angezeigt werden sollen, müssen die Konfigurationen der grafischen Elemente angepasst werden, um den Unterschied in der Position oder Perspektive des Fahrers und der Bilderfassungseinrichtung 110 zu berücksichtigen. Da die Position der Bilderfassungseinrichtung 110 und die Position der Augen des Fahrers bekannt sind, können Koordinaten-Anpassungen und eine Änderung in der Perspektive unter Verwendung beispielsweise einer OpenGL Anwendungsprogrammierung-Schnittstelle (API) durchgeführt werden.
-
In einem anderen Ausführungsbeispiel, in welchem die Bilder auf eine Anzeige-Einrichtung angezeigt werden, die in dem Armaturenbrett oder einer Mittelkonsole des Fahrzeugs installiert ist, oder die Differenz in der Position des Fahrers und der Bilderfassungseinrichtung 110 ignoriert werden kann, können die grafischen Elemente auch direkt dem durch die Bilderfassungseinrichtung 110 erfassten Bild zur Anzeige überlagert werden, ohne eine Anpassung wegen der Differenz in den Positionen der Bilderfassungseinrichtung 110 und des Fahrers.
-
6 ist ein Bild von einer erweiterten Realität einschließlich grafischer Elemente 610, 614, 616, 618, die auf einer Anzeige-Einrichtung in einem Fahrzeug angezeigt werden. Das Bild in 6 kann von einer Windschutzscheibe des Fahrzeugs gesehen werden, wo die grafischen Elemente 614, 610, 616, 618 von einem Projektor des HUD-Systems 150 projiziert werden. Alternativ kann das Bild in 6 auf einer Anzeige-Einrichtung auf einem Armaturenbrett oder einer Mittelkonsole des Fahrzeugs gezeigt werden.
-
Jede der Boxen 614, 618 ist an einer linken Seitenwand bzw. einer rechten Seitenwand des virtuellen Modells fixiert, um Werbung oder andere Informationen anzuzeigen. Die Werbenachrichten können statische Bilder oder dynamische, sich bewegende Bilder sein. Eine Nachricht 610 und deren Schatten 616 können auch auf der Straße 318 angezeigt werden. Die Nachricht 610 ist für eine Platzierung auf dem Boden des virtuellen Modells entsprechend der Umgebung vor dem Fahrzeug konfiguriert. Die Nachricht 610 kann beispielsweise den Namen von einem interessanten Punkt (POI) und Warnsignale zu Fahrbedingungen angeben. Schatten (beispielsweise der Schatten 161) werden ebenfalls angezeigt, um den Realismus der erweiterten Realität zu erhöhen. Die Konfiguration von Schatten kann unter Verwendung der Positionierungsinformationen 116 und der Zeit-Informationen 148 bestimmt werden, wie unten im Detail beschrieben ist.
-
Wie oben unter Bezugnahme auf 5 beschrieben, bewegen und ändern sich die grafischen Elemente 610, 614, 616, 618 mit der Bewegung des Fahrzeugs. Insbesondere bewegen die Boxen 614, 618 sich und ändern ihre Abmessungen, so als ob die Boxen 614, 618 an festen Stellen von Seitenwänden des virtuellen Modells gesichert wären. Andererseits bewegen sich die Nachricht 610 und ihr Schatten 616 und ändern ihre Abmessung so, als ob sie am Boden des virtuellen Modells gesichert wären.
-
7 ist ein Bild einer erweiterten Realität, einschließlich grafischer Elemente 712, 716, 720, 724, die angezeigt werden, während das Fahrzeug an einer Kreuzung anhält, gemäß einem Ausführungsbeispiel. An der Kreuzung kann ein virtuelles Graben-Modell, das unmittelbar vor dem Erreichen der Kreuzung erzeugt wurde, die grafischen Elemente 712, 716, 720, 724 platzieren. Alternativ kann ein neues virtuelles Modell erzeugt werden, welches eine Kreuzung repräsentiert, um die grafischen Elemente 712, 716, 720, 724 zu platzieren.
-
In dem Beispiel von 7 detektierte das Fahrzeug ein Stoppsignal unter Verwendung erfasster Bilder, einschließlich einem Verkehrssignal 752, oder durch Empfangen von Informationen über eine Fahrzeug-zu-Infrastruktur-Kommunikation (V2I). In Reaktion auf eine Detektion von einem „Stopp”-Signal durch das Fahrzeug wird ein Stoppschild 716 zur Anzeige auf dem HUD-System 150 oder anderen Anzeige-Einrichtungen in dem Fahrzeug erzeugt. Das Stoppschild 716 ist ein grafisches Element und wirkt so, als ob es an einer Decke des virtuellen Modells fixiert wäre. Das Stoppschild 716 kann in ein (nicht gezeiges) „Fahren”-Schild geändert werden, wenn das Verkehrssignal 752 sich ändert. Solch eine Änderung kann dadurch veranlasst werden, dass das erfasste Bild (durch Bildbearbeitung) eine Änderung von dem Verkehrssignal angibt, oder durch Informationen, welche über V2I-Kommunikation empfangen werden.
-
Während das Fahrzeug gestoppt ist, können grafische Elemente wie Werbung 712 erzeugt werden, um dem Fahrer gezeigt zu werden. Die Werbung 712 ist so konfiguriert, dass sie so wirkt, als ob sie auf einer Anzeigetafel angezeigt wird, die auf dem Boden des virtuellen Modells gesichert ist. Die Werbung 712 kann verschwinden, sobald das Fahrzeug beginnt, sich zu bewegen, oder sobald das Verkehrssignal 752 sich ändert. Ein Schatten 714 der Anzeigetafel kann auch erzeugt werden, um der Werbung 712 mehr Realismus zu verleihen. Indem die Werbung 712 gezeigt wird, während das Fahrzeug durch ein Verkehrssignal angehalten wird, wird eine Ablenkung des Fahrers reduziert, während der Fahrer unterhalten oder informiert wird.
-
7 illustriert auch ein virtuelles dreidimensionales grafisches Element 724, das auf der Straße angezeigt wird. Das grafische Element 724 liegt in der Form eines Roboters vor, aber ein grafisches Element 724 in verschiedenen anderen Formen kann auch verwendet werden. In diesem Beispiel unterstützt das grafische Element 724 den Fahrer dabei, zu einem Ziel zu navigieren, indem es mit einem Finger anzeigt, dass an der Kreuzung rechts abgebogen wird. Das grafische Element 724 ist an dem Boden des virtuellen Modells befestigt. Ein Adressen-Schild 720 wird auch angezeigt, um den Fahrer dabei zu unterstützen, zu dem Ziel zu navigieren. Das Schild 720 kann an einer Seitenwand oder der Decke des virtuellen Modells befestigt sein.
-
Schatten von grafischen Elementen können dadurch erzeugt werden, dass die geographische Position des Fahrzeugs unter Verwendung von Echtzeit-GPS-Informationen detektiert wird, die als Teil der Positionierung-Informationen 116 empfangen werden. Unter Verwendung der GPS-Informationen und Zeit-Informationen 148 kann die Position der Sonne relativ zu dem Fahrzeug in Echtzeit bestimmt werden. Dadurch, dass die Sonne als eine Richtung-Lichtquelle verwendet wird und Flächen des virtuellen Modells als Ebenen verwendet werden, auf welche Schatten der grafischen Elemente projiziert werden, können die Schatten auf rasche Weise erzeugt werden.
-
Grafische Elemente und deren Konfigurationen in 6 und 7 sind nur illustrativ. Verschiedene andere grafische Elemente verschiedener Konfiguration können verwendet werden, um verschiedene Typen von visuellen Informationen an den Fahrer zu liefern.
-
Virtueller Überweg
-
Verschiedene Sicherheitsmerkmale können unter Verwendung des aus den erfassten Bildern erzeugten virtuellen Modells implementiert werden. Eines von vielen solcher Merkmale ist ein virtueller Überweg, der erzeugt wird, um einen Pfad anzugeben, den ein Fußgänger nehmen kann, um eine Straße zu überqueren. Fußgänger können manchmal unachtsam eine Straße überqueren, was ein Sicherheitsrisiko für Fahrzeuge erzeugt. In einem Ausführungsbeispiel wird ein Fußgänger, der wahrscheinlich unachtsam eine Straße überqueren wird, automatisch auf Basis von erfassten Bildern detektiert, und dann wird ein grafisches Element ähnlich zu einem Überweg angezeigt, um den Fahrer zu warnen.
-
In einem Ausführungsbeispiel umfasst die Bilderfassungseinrichtung 110 eine stereoskopische Kamera. Durch Bearbeitung von Bildern, die durch die stereoskopische Kamera erfasst werden, können die Haltung eines Fußgängers und die Distanz zu dem Fußgänger bestimmt werden. Der Fußgänger-Detektor 242 bestimmt, ob ein Fußgänger wahrscheinlich die Straße überqueren wird, auf Basis von Aktionen wie dem Hinwenden zu der Straße, dem Gehen zu der Straße, dem Hochhalten seines Arms oder einer Kombination dieser Aktionen. Nachdem der Fußgänger-Detektor 242 bestimmt, dass ein Fußgänger wahrscheinlich die Straße überqueren wird, sendet der Fußgänger-Detektor 242 die Fußgänger-Informationen 246, welche die Position des Fußgängers angeben, an den Grafikelement-Generator 252.
-
Auf Basis der Fußgänger-Informationen 246 erzeugt der Grafikelement-Generator 252 ein Grafikelement, das einen Überweg 810 für einen Fußgänger 818 repräsentiert, wie illustriert in 8A. Der Überweg 810 erstreckt sich über eine Straße 820 von dem Teil der Straße aus, der am nächsten an dem Fußgänger 818 ist. Zusätzlich kann der Grafikelement-Generator 852 ein grafisches Element 814 erzeugen, das ein Warnsignal repräsentiert, um anzugeben, dass der Fußgänger 818 wahrscheinlich damit beginnen wird, die Straße 820 zu überqueren.
-
Die Distanz zu dem Fußgänger 818 kann bestimmt werden, indem das durch die Bilderfassungseinrichtung 110 erfasste stereoskopische Bild bearbeitet wird. Wenn das Fahrzeug näher an den Fußgänger 818 kommt, ändert sich das grafische Element 814 zu einem Stoppsignal 818, wie illustriert in 8A, um eine stärkere Vorsichtsmaßnahme des Fahrers zu veranlassen.
-
Der Überweg 810 ist ein grafisches Element, das an dem Boden des virtuellen Modells fixiert ist, während die grafischen Elemente 814, 818 grafische Elemente sind, die an der rechten Seitenwand des virtuellen Modells fixiert sind. Da diese grafischen Elemente sich verknüpft mit der Änderung in der Szenerie bewegen, erzeugen die grafischen Elemente weniger Ablenkung für den Fahrer, während Sie den Fahrer auf die möglichen Risiko-Faktoren aufmerksam machen.
-
Beispielhaftes Verfahren zum Anzeigen grafischer Elemente
-
9 ist ein Flussdiagramm, das ein Verfahren illustriert, um grafische Elemente für eine erweiterte Realität gemäß einem Ausführungsbeispiel zu erzeugen. Zunächst wird ein Bild der Umgebung vor dem Fahrzeug erfasst 910 unter Verwendung einer Bilderfassungseinrichtung 110. Das erfasste Bild 112 wird dann vorbearbeitet und an den erweiterte-Realität-Prozessor 140 gesendet.
-
Der erweiterte-Realität-Prozessor 140 extrahiert 920 Merkmale, die relevant für eine Straße sind, aus dem erfassten Bild (oder dem vorbearbeiteten Bild). Zu diesem Zweck, kann der erweiterte-Realität-Prozessor 140 Bilder zuschneiden und einen Abschnitt des erfassten Bildes zurückhalten, der geeignet ist, um die Merkmale zu extrahieren. Weiterhin kann ein IPM-Algorithmus auf das zugeschnittene Bild angewendet werden, um eine Extraktion relevanter Merkmale zu erleichtern. Die Merkmale können beispielsweise unter Verwendung eines separierbaren Filters, einer Hough-Transformation oder anderer anwendbarer Filter extrahiert werden. In einem Ausführungsbeispiel umfassen die extrahierten Merkmale Linien, die Rändern der Straße entsprechen.
-
Auf Basis der extrahierten Merkmale wird ein virtuelles Modell der Umgebung vor dem Fahrzeug konstruiert 936. Das virtuelle Modell umfasst eine oder mehrere Flächen, auf welchen die Position und Konfiguration der grafischen Elemente Bezug nehmen können. Beispielsweise können die grafischen Elemente auf die Fläche platziert werden, sich von der Fläche erstreckend, oder können auf der Fläche platziert werden.
-
Die grafischen Elemente werden dann erzeugt 940, zur Platzierung gemäß dem virtuellen Modell. Die grafischen Elemente können auf Basis von Informationen von externen Quellen erzeugt werden, oder von Informationen, die in dem Fahrzeug erzeugt werden (etwa Fußgänger-Informationen 246). Nachdem die grafischen Elemente erzeugt wurden, werden die Konfigurationen der grafischen Elemente zur Platzierung mit Bezugnahme auf Flächen in dem virtuellen Modell angepasst. Die Konfigurationen der grafischen Elemente können Neigungswinkel, Größen und Orientierungen der grafischen Elemente umfassen.
-
Die erzeugten grafischen Elemente werden dann auf der Anzeige-Einrichtung (etwa dem HUD-System 150) angezeigt 950. Dann kehrt das Verfahren dazu zurück, ein nachfolgendes Bild zu erfassen 910 und wiederholt die nachfolgenden Prozesse.
-
Die Schritte und ihre Abfolgen in 9 sind nur illustrativ. Beispielsweise kann ein Schritt einer Erfassung der Position des Fahrzeugs hinzugefügt werden, um Schatten von grafischen Elementen zu erzeugen.
-
Alternative oder zusätzliche Ausführungsbeispiele
-
In einem Ausführungsbeispiel, können die Positionierungsinformationen 160 einschließlich GPS-Informationen und dem Kurs des Fahrzeugs verwendet werden, um bei einer Erzeugung des virtuellen Modells zu helfen. Die GPS-Informationen und der Kurs des Fahrzeugs können dazu verwendet werden, den Abschnitt einer Straße zu bestimmen, auf welchem das Fahrzeug fährt, auf einer Karte oder einem Satellitenbild. Auf Basis der Karte oder des Satellitenbilds, können die Orientierung und Breite der Straße gegen die Vogelperspektiven-Ansicht verifiziert werden (vgl. 4A oder 4B). Anpassungen können an der Vogelperspektiven-Ansicht vorgenommen werden, bevor ein virtuelles Modell der Umgebung konstruiert wird.
-
In einem Ausführungsbeispiel kann anstelle davon, virtuelle Modelle für die gesamte Länge der Straße zu erzeugen, die in dem erfassten Bild sichtbar ist, nur ein Abschnitt der Straße nahe an dem Fahrzeug verwendet werden, um ein virtuelles Modell zu erzeugen. Bei dem Beispiel von 4C wird ein virtuelles Modell nur für Segment 426 erzeugt. Das Segment 426 kann kontinuierlich mit dem Fortschreiten der Zeit und des Fahrzeugs aktualisiert werden.
-
In einem Ausführungsbeispiel, werden Farbinformationen von Straßen alternativ oder zusätzlich dazu verwendet, Linien-Merkmale in dem erfassten Bild zu extrahieren. Straßen haben im Allgemeinen eine gräuliche bis schwarze Farbe. Unter Verwendung solcher Charakteristika der Straße, können Pixel einem Bild, die Farbwerte innerhalb von einem vorbestimmten Farbraum aufweisen, und eine zusammenhängende Region des Bildes ausgewählt werden, um die Straße zu repräsentieren. Ein Detektion von Straßen unter Verwendung von Farbinformationen kann besonders bei Kreuzungen nützlich sein. Die Anordnung von Pixeln kann dann analysiert werden, um die Konfiguration der Straße vor dem Fahrzeug zu bestimmen.
-
Obwohl oben verschiedene Ausführungsbeispiele beschrieben wurden, können verschiedene Modifikationen innerhalb des Umfangs der vorliegenden Offenbarung durchgeführt werden.
