-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Augmented-Reality-Darstellung eines in ersten Bilddaten erfassten Verkehrsschildes S. Unter „Augmented Reality” (= „erweiterte Realität”) wird vorliegend die visuelle Darstellung von erfassten Bilddaten und darin enthaltenen zusätzlich erzeugten Informationen verstanden, insbesondere die Ergänzung von Bildern mit computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung oder (opake) Überlagerung.
-
Die vorliegende Erfindung findet insbesondere Anwendung bei Fahrerassistenzsystemen von Fahrzeugen oder als APP („Applikation”) für mobile Einheiten (Smartphones, iPAD, etc.).
-
Die Bedeutung fremdländischer bzw. fremdsprachlicher Verkehrs- und anderer Hinweisschilder verschließt sich einem Fahrer eines Fahrzeugs oftmals bei Fahrten im Ausland. Während dies für den Fahrer bei häufig vorkommenden Verkehrsschildern, wie bspw. Geschwindigkeitsbeschränkungen, vergleichsweise unproblematisch ist, treten spätestens bei Ortsschildern oder Straßennamen, die in fremden Sprachen/Schriften verfasst sind, Verständnisprobleme auf. Vielfach unterscheiden sich an sich bedeutungsgleiche Verkehrsschilder von Land zu Land in ihrer Erscheinungsform. Dies kann zu Fehlinterpretationen und Verwirrung bei Fahrzeuglenkern führen, die sich mit ihrem Fahrzeug auf einer Auslandsreise befinden. Dies erhöht das Unfallrisiko beträchtlich, da der Fahrer in solchen Situationen einen erheblichen Anteil seiner Aufmerksamkeit der Identifikation und Interpretation solcher Verkehrsschilder widmet.
-
Bekannt ist das Programm „WORD LENS” (http://questvisual.com/de/). Dieses als APP verfügbare Programm übersetzt Text, der mit Hilfe einer Kamera/Videokamera in Bilddaten erfasst wurde, in eine vorgegebene Sprache in Echtzeit und zeigt den übersetzten Text an. Dabei wird der übersetzte Text anstelle des ursprünglichen Textes in das dargestellte Bild eingefügt und dargestellt.
-
Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung anzugeben, die einen Fahrer eines Fahrzeugs bei der Interpretation von Verkehrsschildern bei Fahrten im Ausland unterstützt.
-
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
-
Der verfahrensgemäße Aspekt der Aufgabe ist gelöst durch ein Verfahren zur Augmented-Reality-Darstellung eines in ersten Bilddaten erfassten Verkehrsschildes S. Das vorgeschlagene Verfahren umfasst folgende Schritte: Vorgeben eines länderspezifischen Default-Bilddatensatzes von Verkehrsschildern; Ermitteln eines zu dem in den ersten Bilddaten erfassten Verkehrsschild S analogen Verkehrsschildes DS in dem Default-Bilddatensatz; Erzeugen zweiter Bilddaten aus den ersten Bilddaten, wobei das Verkehrsschild S in den ersten Bilddaten durch das ermittelte analoge Verkehrsschild DS ersetzt wird; und Darstellen der zweiten Bilddaten.
-
Das Verfahren erlaubt insbesondere, ein einem Fahrer im Ausland nicht vertrautes, länderspezifisches Verkehrsschild in eine dem Fahrer bekannte Darstellungsform zu transferieren und augmentiert anzuzeigen.
-
Die ersten Bilddaten werden bevorzugt mittels einer Kamera oder Videokamera in Echtzeit erfasst. Die ersten Bilddaten sind zweckmäßig eine Zeitreihe von Einzelaufnahmen, die eine Umgebung abbilden und die insbesondere Verkehrsschilder als Bildelemente enthalten können. Die Kamera/Videokamera ist vorzugsweise in einem Fahrzeug montiert und derart ausgerichtet, dass der Blickwinkel der Kamera/Videokamera mit dem Blickwinkel des Fahrers (fahrzeugvoraus) weitegehend identisch ist. In den ersten Bilddaten ist somit bevorzugt eine vor einem Fahrzeug liegende Umgebung abgebildet.
-
Dem Vorgeben des länderspezifischen Default-Bilddatensatzes von Verkehrsschildern geht vorzugsweise eine manuelle oder automatische Auswahl des länderspezifischen Default-Bilddatensatzes voraus. So kann beispielsweise ein Nutzer über eine Eingabeschnittstelle manuell den Default-Bilddatensatz aus mehreren möglichen länderspezifischen Default-Bilddatensätzen auswählen. Die Vorauswahl des Default-Bilddatensatzes kann alternativ bei der Zulassung des Fahrzeugs erfolgen, wobei der Default-Bilddatensatz für das Land spezifisch ist, in dem das Fahrzeug zugelassen ist. Ist das Fahrzeug beispielsweise in Deutschland zugelassen, so wird zweckmäßig der für Deutschland spezifische Default-Bilddatensatz gewählt bzw. vorgegeben.
-
Das Ermitteln eines zu dem Verkehrsschild S analogen Verkehrsschildes DS in dem Default-Bilddatensatz erfolgt zweckmäßig zunächst durch eine Bilddatenvergleich des erfassten Verkehrsschildes S mit einer internationalen Verkehrsschild-Datei, um die Bedeutung des Verkehrsschildes S und ggf. das oder die Länder zu identifizieren, in denen dieses Verkehrschild verwendet wird. Ist das Verkehrsschild S in der internationalen Verkehrsschild-Datei identifiziert, ist auch seine Bedeutung geklärt, so dass anschließend in dem vorgegebenen Default-Bilddatensatz das analoge Verkehrsschild DS ermittelt werden kann. Kann das Verkehrsschild S in der internationalen Verkehrsschild-Datei nicht identifiziert werden, so kann bspw. eine Warnung ausgegeben werden.
-
Der hier verwendete Begriff „analog” wird vorliegend in der Bedeutung „entsprechend”, „gleichartig” verstanden. Gibt das erfasste Verkehrsschild S bspw. eine voraus liegende Kreuzung an, dann gibt auch das analoge Verkehrsschild DS des Default-Bilddatensatzes ebenfalls eine vorausliegende Kreuzung an. Die hierzu erforderlichen Bilddatenverarbeitungsschritte sind dem Fachmann bekannt, so dass hierzu auf den einschlägigen Stand der Technik verwiesen wird.
-
Ist das in den ersten Bilddaten erfasste Verkehrsschild S identisch mit einem Verkehrsschild (DS) aus dem Default-Bilddatensatz, werden zweckmäßig keine zweiten Bilddaten erzeugt. Stattdessen können die unveränderten ersten Bilddaten dargestellt werden.
-
Ist das in den ersten Bilddaten erfasste Verkehrsschild S nicht identisch mit einem Verkehrsschild aus dem Default-Bilddatensatz, so erfolgt das Erzeugen zweiter Bilddaten aus den ersten Bilddaten, wobei das Verkehrsschild S durch das ermittelte analoge Verkehrsschild DS ersetzt wird. Durch entsprechende Bilddatenverarbeitungsschritte erfolgt diese Ersetzung vorzugsweise derart, dass der Bildausschnitt, der das Verkehrsschild S zeigt, durch einen Bildausschnitt ersetzt wird, der maßstabs- und perspektivtreu dazu das Verkehrsschild DS zeigt. Die zweiten Bilddaten zeigen somit die erfasste Umgebung mit dem Verkehrsschild DS, dessen Bedeutung bspw. ein Fahrer eines Kraftfahrzeuges kennt.
-
Eine vorteilhafte Weiterbildung des vorgeschlagenen Verfahrens umfasst weiterhin folgende Schritte: Erfassen von in den ersten Bilddaten auf dem Verkehrsschild vorhandenen Textinhalten; autonomes Übersetzen der Textinhalte in eine vorgegebene Default-Sprache; und in den zweiten Bilddaten Einfügen der übersetzten Textinhalte als opake Überlagerung auf das darin abgebildete Verkehrsschild DS oder als ergänzende Information zum Verkehrsschild DS.
-
Bekanntermaßen enthalten Verkehrsschilder auch Textinhalte. Diese Textinhalte werden erfasst, in eine bspw. von einem Nutzer/Fahrer gewählte Sprache übersetzt und insbesondere anstelle des Original Textes auf dem Verkehrsschild S als Übersetzung auf dem Verkehrsschild DS abgebildet. Diese Verfahrensvariante ermöglicht nicht nur eine geänderte länderspezifische Darstellung eines erfassten Verkehrsschildes S, sondern darüber hinaus auch eine geänderte länderspezifische Übersetzung eines auf dem Verkehrsschild vorhandenen Textes in eine von einem Nutzer gewählte Sprache.
-
Eine vorteilhafte Weiterbildung des vorgeschlagenen Verfahrens umfasst weiterhin folgende Schritte: Erfassen von in den ersten Bilddaten auf dem Verkehrsschild vorhandenen Textinhalten; kontextabhängiges Auswählen einer Schrift(art)/Alphabet aus mehreren vorgegebenen möglichen Schrift(arten)/Alphabet-Typen; und in den zweiten Bilddaten Einfügen der Textinhalte in der ausgewählten Schrift(art) als opake Überlagerung auf das darin abgebildete Verkehrsschild DS oder als ergänzende Information zum Verkehrsschild DS. Der Begriff „Schrift” wird vorliegend insbesondere synonym für Schriftart, Font, Alphabet verwendet.
-
Der vorliegende Kontext kann sich bspw. auf Basis einer ermittelten aktuellen Position der die ersten Bilddaten erfassenden Kamera/Videokamera und/oder durch Auswertung der ersten Bilddaten und/oder durch Berücksichtigung des länderspezifisch gewählten Default-Bilddatensatzes ergeben. So kann bspw. in Japan ein in den ersten Bilddaten erfasster Textinhalt der Schriftart „Hiragana” zu einem kontextabhängigen Auswählen einer Schriftart Katakana führen. Weiterhin kann der erfasste Textinhalt, der in einer Schriftart (bspw. Kyrillisch, Griechisch, Arabisch, etc.) geschrieben ist, in eine vorgegebene Default Schriftart/Font bspw. lateinische Schrift transferiert werden. So wird sichergestellt, dass einem Nutzer ein für ihn in einer unbekannten Schrift geschriebener Text in einer ihm bekannten Schrift dargestellt wird.
-
Eine vorteilhafte Weiterbildung des vorgeschlagenen Verfahrens umfasst weiterhin folgende Schritte: Erfassen einer in den ersten Bilddaten auf dem Verkehrsschild angegebenen Zahl mit einer Einheit, wie beispielsweise „50 ft” oder „30 inch”, autonomes Umwandeln der Zahl in eine vorgegebene Default-Einheit, in den zweiten Bilddaten Einfügen der umgewandelten Zahl und der Default-Einheit als opake Überlagerung auf das darin abgebildete Verkehrsschild DS oder als ergänzende Information zum Verkehrsschild DS.
-
Diese Verfahrensvariante ermöglicht die Umrechnung von Zahlenangaben in Einheiten, die für einen Nutzer in ungewohnten Einheiten angegeben sind, in bekannte Einheiten. Beispielsweise werden in Deutschland Geschwindigkeiten in der Einheit km/h angegeben, während in anderen Ländern andere Einheiten verwendet werden, bspw. Statute Miles/h. Entsprechend sind die Tachometer von in dem jeweiligen Land zugelassenen Fahrzeugen geeicht. Diese Verfahrensvariante ermöglicht bspw. einem Fahrer eine Echtzeitermittlung von Zahlenangaben auf Verkehrsschildern in ihm bekannten Einheiten.
-
Bevorzugt werden die zweiten Bilddaten durch eine Anzeigeeinheit eines Fahrzeugs dargestellt, insbesondere durch ein Head-Up-Display oder einen Monitor. Alternativ kann das Bild auch in eine vom Fahrer getragene, bevorzugt transparente Monitorbrille eingespiegelt werden. Das Head-Up-Display spiegelt die zweiten Daten zweckmäßig auf die Windschutzscheibe des Fahrzeugs.
-
In einer weiteren Variante wird das Verfahren in einer mobilen Einheit, bspw. einem Smartphone, einem iPAD, etc. ausgeführt, wobei die ersten Bilddaten von einer Kamera des mobilen Einheit erfasst und bereitgestellt werden und die zweiten Bilddaten auf der mobilen Einheit in einem Display dargestellt werden.
-
Das vorgeschlagene Verfahren und/oder seine vorstehend beschriebenen Weiterbildungen werden beispielsweise vorzugsweise, nur dann automatisch ausgeführt, wenn das Fahrzeug mittels einer aktiven Routenführung geführt wird.
-
Die Aufgabe der Erfindung ist weiterhin gelöst durch ein Computersystem, mit einer Datenverarbeitungsvorrichtung, wobei die Datenverarbeitungsvorrichtung derart ausgestaltet ist, dass ein Verfahren, wie vorstehend beschrieben, auf der Datenverarbeitungsvorrichtung ausgeführt wird.
-
Zudem wird die Aufgabe der Erfindung gelöst durch ein digitales Speichermedium mit elektronisch aus lesbaren Steuersignalen, wobei die Steuersignale so mit einem programmierbaren Computersystem zusammenwirken können, dass ein Verfahren, wie vorstehend beschrieben, ausgeführt wird.
-
Ferner wird die Aufgabe der Erfindung gelöst durch ein Computer-Programm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wie vorstehend beschrieben, wenn der Programmcode auf einer Datenverarbeitungsvorrichtung ausgeführt wird.
-
Weiterhin betrifft die Erfindung ein Computer-Programm („APP”) mit Programmcodes zur Durchführung des Verfahrens, wie vorstehend beschrieben, wenn das Programm auf einer Datenverarbeitungsvorrichtung abläuft. Dazu kann die Datenverarbeitungsvorrichtung als ein beliebiges aus dem Stand der Technik bekanntes Computersystem ausgestaltet sein.
-
Der vorrichtungsgemäße Aspekt der Aufgabe wird durch eine Vorrichtung zur Augmented-Reality-Darstellung eines in ersten Bilddaten erfassten Verkehrsschildes S gelöst. Die Vorrichtung umfasst ein erstes Mittel zum Vorgeben eines länderspezifischen Default-Bilddatensatzes von Verkehrsschildern, eine Kamera zum Erfassen erster Bilddaten, in denen eine aktuelle Umgebung abgebildet ist, ein zweites Mittel zum Ermitteln eines zu dem in den ersten Bilddaten erfassten Verkehrsschild S analogen Straßenverkehrsschildes DS in dem Default-Bilddatensatz, ein drittes Mittel zum Erzeugen zweiter Bilddaten aus den ersten Bilddaten, wobei das Verkehrsschild S in den ersten Bilddaten durch das ermittelte analoge Verkehrsschild DS ersetzt wird, und ein viertes Mittel zum Darstellen der zweiten Bilddaten.
-
Das erste Mittel ist zweckmäßig eine Speichermedium, bspw. ein Festplattenspeicher, ein ROM, RAM etc. Das zweite Mittel ist insbesondere zum entsprechenden Vergleich von Bilddaten eingerichtet. Das dritte Mittel ist zweckmäßig eine entsprechend ausgeführte und eingerichtete Bildverarbeitungseinheit. Das vierte Mittel ist vorzugsweise ein Display, insbesondere ein Head-Up-Display eines Fahrzeugs.
-
In einer Weiterbildung umfasst die Vorrichtung ein fünftes Mittel zum Erfassen von in den ersten Bilddaten auf dem Verkehrsschild S vorhandenen Textinhalten, ein sechstes Mittel zum autonomen Übersetzen der Textinhalte in eine vorgegebene Default-Sprache, und ein siebtes Mittel zum Einfügen der übersetzten Textinhalte als opake Überlagerung auf das darin abgebildete Verkehrsschild DS oder als ergänzende Information zum Verkehrsschild DS in die zweiten Bilddaten.
-
Zusätzliche Weiterbildungen, Vorteile und Erläuterungen der vorgeschlagenen Vorrichtung ergeben sich durch analoge und sinngemäße Übertragung der in Zusammenhang mit dem vorgeschlagenen Verfahren gemachten Ausführungen.
-
Die Erfindung betrifft schließlich ein Fahrzeug mit einer Vorrichtung wie vorstehend beschrieben.
-
Durch die vorliegende Erfindung wird insbesondere das Kontextverständnis eines Fahrers im Verkehrsgeschehen bei Fahrten im fremdsprachlichen Ausland erhöht. Durch die Einblendung relevanter Informationen unter Zuhilfenahme der Augmented Reality wird gleichzeitig das Ablenkungspotential für den Fahrer reduziert. Das Ablenkungspotential kann weiter reduziert werden, z. B. durch die Aktivierung der Übersetzung ausschließlich bei relevanten Hinweisen während aktiver Routenführung. Diesen Anwendungsfall kann man weiter schärfen, so dass bspw. ausschließlich relevante Teile von Hinweisen übersetzt werden oder Hinweise durch entsprechende Objekte aus einer Navigationsdatenbank komplett opak überlagert werden.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der – gegebenenfalls unter Bezug auf die Zeichnung – zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
-
Es zeigt:
-
1 einen schematisierten Verfahrensablauf des vorgeschlagenen Verfahrens in einer Ausführungsform, und
-
2 einen schematisierten Aufbau der vorgeschlagenen Vorrichtung in einer Ausführungsform.
-
1 zeigt einen schematisierten Verfahrensablauf des vorgeschlagenen Verfahrens zur Augmented-Reality-Darstellung eines in ersten Bilddaten erfassten Verkehrsschildes S, in einer Ausführungsform. Das Fahrzeug verfügt hierzu über eine Videokamera, mit der in einem ersten Schritt 101 die dem Fahrzeug voraus liegende Umgebung in Form einer Zeitreihe von ersten Bilddaten BD1 erfasst wird. Das Fahrzeug verfügt weiterhin über ein Speichermedium zur Bereitstellung eines länderspezifischen Default-Bilddatensatzes von Verkehrsschildern (vorliegend bspw. für Deutschland) und zur Bereitstellung einer Bilddatenbank internationaler Verkehrsschilder, bspw. insbesondere solcher Verkehrsschilder, die von den Verkehrsschildern des gewählten länderspezifischen Default-Bilddatensatzes abweichen.
-
In einem zweiten Schritt 102 erfolgt auf Basis der Bilddatenbank internationaler Verkehrsschilder und auf Basis des Default-Bilddatensatzes in einem Auswertemittel ein Ermitteln eines zu dem in den ersten Bilddaten erfassten Verkehrsschild S analogen Verkehrsschildes DS in dem Default-Bilddatensatz durch einen entsprechenden Bilddatenvergleich. Hierzu wird zunächst in den ersten Bilddaten ein dort abgebildetes Verkehrsschild S ermittelt und segmentiert. Das segmentierte Verkehrsschild S wird anschließend mit den Verkehrsschildern in dem Default Bilddatensatz verglichen. Ist das Verkehrsschild S identisch mit einem Verkehrsschild des Default Bilddatensatzes, werden die ersten Bilddaten auf einem Head-Up-Display des Fahrzeugs angezeigt. Ist das Verkehrsschild S nicht identisch mit einem Verkehrsschild des Default Bilddatensatzes, wird das Verkehrsschild S mit den Verkehrsschildern der Bilddatenbank der internationalen Verkehrsschilder verglichen. Wird hier eine Identität mit einem der internationalen Verkehrsschilder festgestellt, so wird für dieses Verkehrsschild das analoge Verkehrsschild DS des Default-Bilddatensatzes ermittelt. Wird keine Identität mit einem der internationalen Verkehrsschilder festgestellt, so wird eine Warnung generiert und ausgegeben.
-
Sofern in dem Default-Bilddatensatz das Verkehrsschild DS ermittelt werden konnte, erfolgt in einem dritten Schritt 103 ein Erzeugen zweiter Bilddaten aus den ersten Bilddaten, wobei das Verkehrsschild S in den ersten Bilddaten durch eine entsprechende Bilddatenverarbeitung perspektiv- und maßstabsgetreu durch das ermittelte analoge Verkehrsschild DS ersetzt wird.
-
In dem vierten Schritt 104 erfolgt schließlich ein Darstellen der zweiten Bilddaten mittels des Head-Up-Display des Fahrzeugs.
-
2 zeigt eine Vorrichtung zur Augmented-Reality-Darstellung eines in ersten Bilddaten erfassten Verkehrsschildes S. Die Vorrichtung umfasst ein erstes Mittel 201 zum Vorgeben eines für Deutschland länderspezifischen Default-Bilddatensatzes von Verkehrsschildern. Die Vorrichtung umfasst weiterhin eine an einem Fahrzeug abgeordnete Videokamera 202 zum Erfassen erster Bilddaten, in denen vor dem Fahrzeug liegende aktuelle Umgebung abbildbar ist. Weiterhin umfasst die Vorrichtung ein zweites Mittel 203 zum Ermitteln eines zu dem in den ersten Bilddaten erfassten Verkehrsschild S analogen Straßenverkehrsschildes DS in dem Default-Bilddatensatz, ein drittes Mittel 204 zum Erzeugen zweiter Bilddaten aus den ersten Bilddaten, wobei das Verkehrsschild S in den ersten Bilddaten durch das ermittelte analoge Verkehrsschild DS ersetzt wird, und ein viertes Mittel 205 zum Darstellen der zweiten Bilddaten. Das erste Mittel ist 201 ist vorliegend ein Festplattenspeicher. Das zweite Mittel 203 und dritte Mittel 204 ist vorliegend ein Bilddatenverarbeitungseinheit, die zur Ausführung der angegebenen Aufgaben eingerichtet und ausgeführt ist. Das vierte Mittel 205 ist ein Head-Up-Display des Fahrzeugs.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird.
