DE102011013760A1

DE102011013760A1 - Verfahren, Vorrichtung und Computerprogrammprodukt zur Informationsvermittlung mittels erweiterter Realität im Zusammenhang mit einem Straßenfahrzeug

Info

Publication number: DE102011013760A1
Application number: DE102011013760A
Authority: DE
Inventors: Dirk Koriath; Ralf Rabätje; Dr. Schreiber Werner; Sebastian Schillinger; Otmar Spängler
Original assignee: Audi AG; Volkswagen AG
Current assignee: Audi AG; Volkswagen AG
Priority date: 2011-03-12
Filing date: 2011-03-12
Publication date: 2012-09-13
Anticipated expiration: 2031-03-13
Also published as: DE102011013760B4

Abstract

Die Erfindung betrifft ein Verfahren zur Informationsvermittlung mittels erweiterter Realität (ER) im Zusammenhang mit Straßenfahrzeugen (1), ein Computerprogrammprodukt sowie eine tragbare Einrichtung (7), mit denen eine solche Informationsvermittlung erfolgt. Vorgeschlagen wird ein Verfahren, bei dem eine grafische Zielführung zu einem ausgewählten Objekt erfolgt. Nach einem anderen erfinderischen Aspekt wird eine notwendige Objekterkennung von der tragbaren Einrichtung (7) auf einen Mikroprozessor des Straßenfahrzeugs (1) ausgelagert.

Description

Die Erfindung betrifft ein Verfahren zur Informationsvermittlung mittels einer erweiterten Realität im Zusammenhang mit einem Straßenfahrzeug, eine entsprechende Vorrichtung sowie ein Computerprogrammprodukt, wobei die Informationsvermittlung insbesondere über eine tragbare Vorrichtung, beispielsweise ein Mobiltelefon, einen persönlichen digitalen Assistenten, eine Digitalkamera, einen Tablet-PC oder ein Notebook erfolgt.
Bei der Verwendung und Nutzung von Straßenfahrzeugen gibt es unterschiedliche Situationen, in denen Nutzer Informationen über das Straßenfahrzeug selbst, Teile hiervon und/oder Funktionen oder Funktionalitäten erhalten möchten, die das Fahrzeug bereitstellt. Klassisch wurden diese Informationen in Form gedruckter Bordbücher bereitgestellt, in denen sowohl Informationen für die Bedienung als auch Hinweise und Instruktionen zur Reparatur, Wartung und zum Beheben von Fehlern enthalten sind. Solche Bordbücher werden jedoch von Fahrzeugnutzern meist nur ungern zur Hand genommen, da ein Auffinden der gewünschten Information häufig schwierig ist. Zwar enthalten Wortbücher beispielsweise häufig fotografische Abbildungen einzelner Teilbereiche des Fahrzeugs, jedoch ist es aufgrund der Vielzahl von möglichen Varianten in der Regel nicht möglich, im Bordbuch nur Abbildungen zu verwenden, welche genau die Variante zeigen, welche das Fahrzeug selbst darstellt. Somit erscheinen in den Abbildungen Objekte oder fehlen Objekte, so dass eine Orientierung des Nutzers erschwert ist.
Ein weiterer Nachteil besteht darin, dass ein Nutzer häufig Schwierigkeiten hat, die in der Abbildung dargestellten Objekte mit realen Objekten seines Straßenfahrzeugs zu identifizieren.
Aus dem Stand der Technik sind jedoch Weiterentwicklungen bekannt, bei denen die Bedienungsanleitung des Straßenfahrzeugs auf einem Datenträger gespeichert wird und über eine Funktionseinheit des Fahrzeugs selbst, beispielsweise eine Multifunktionsanzeige- und Bedienvorrichtung im Kraftfahrzeug ausgegeben werden kann. Hierbei werden in der Regel grafische Informationen auf einer Anzeigefläche einer Anzeigevorrichtung ausgegeben. Ein solches System ist beispielsweise in der DE 10 2006 046 965 A1 beschrieben.
Aus der WO 2009/120177 A1 ist eine mobile Vorrichtung bekannt, welche Objekterkennungsfähigkeiten aufweist. Beschrieben ist ein Verfahren, bei dem mit einer tragbaren elektronischen Einrichtung eine Abbildung von einem Objekt aufgenommen wird. Die Abbildung wird auf einem Anzeigeschirm der tragbaren elektronischen Einrichtung dargestellt. Ferner wird eine Abbildungserkennung in der aufgenommenen Abbildung durchgeführt, um das aufgenommene Objekt zu identifizieren und eine mit dem identifizierten Objekt verknüpfte Aufgabe zu ermitteln und Informationen über die Aufgabe auf dem Anzeigeschirm der tragbaren elektronischen Einrichtung gemeinsam mit der Abbildung darzustellen. Hierbei ist es beschrieben, errechnete Objekte und Gegenstände gemeinsam mit den realen Gegenständen abzubilden. Eine solche Art von Informationsvermittlung wird als erweiterte Realität (ER) oder im englischen als augmented reality (AR) bezeichnet. Bei der elektronischen Vorrichtung kann es sich beispielsweise um ein Mobiltelefon handeln. Beschrieben ist eine Ausführungsform, bei der eine Abbildung eines Straßenfahrzeugs erfasst wird und anschließend technische Daten, Wartungsdaten, Benutzungsanweisungen oder Reparaturanweisungen für das Fahrzeug oder ein identifiziertes Teil des Fahrzeugs ausgegeben werden.
Aus der EP 1 229 475 B1 ist darüber hinaus ein Server zur Fehlersuche in Fahrzeugen und dergleichen bekannt, welcher ausgebildet ist, mit einem Straßenfahrzeug ein Fehlersuchprogramm auszutauschen, Inspektionsergebnisse zu empfangen, eine Fehleranalyse auszuführen und ermittelte Ergebnisse zu dem Fahrzeug zu übertragen.
Aus der DE 103 07 981 A1 sind ein Verfahren und eine Vorrichtung zur Visualisierung eines Reparaturablaufs an einem Fahrzeug bekannt. Das beschriebene Verfahren betrifft die Bereitstellung von Bilddaten zur Visualisierung eines fehlerhaften Bauteils und/oder eines Reparaturablaufs eines straßengebundenen Kraftfahrzeugs. Zur Reduzierung von Übersetzungskosten, die bei herkömmlichen Reparaturanleitungen anfallen, ist vorgeschlagen: die Bereitstellung der digitalisierten Daten, insbesondere CAD- bzw. Vektordaten, von mindestens zwei Bauteilen des Fahrzeugs, die Bereitstellung der digitalisierten Daten der Anordnung der zwei Bauteile des Fahrzeugs relativ zueinander, die Bereitstellung der digitalisierten Daten mindestens eines Befestigungsmittels, das die zwei Bauteile des Fahrzeugs miteinander verbindet, ein erstes Auswahlelement zur Auswahl eines ersten Reparaturablaufs aus einer Mehrzahl von Reparaturabläufen, die Bereitstellung der Bilddaten des ersten Schritts des ersten Reparaturablaufs und nachfolgende Bereitstellung der Bilddaten des zweiten Reparaturablaufs und die Bereitstellung der Bilddaten mindestens eines ersten Werkzeugs zur tatsächlichen Ausführung des ersten Schritts am Fahrzeug und die Bereitstellung der Bilddaten mindestens eines zweiten Werkzeugs zur tatsächlichen Ausführung des zweiten Schritts am Fahrzeug vorzusehen.
Gegenüber den herkömmlichen in gedruckter Form vorliegenden Bordbüchern sind bereits große Fortschritte hinsichtlich eines Benutzerkomforts erreicht worden. Nicht befriedigend gelöst sind jedoch folgende Aspekte:

– Ein Auffinden von für eine Bedienung und/oder Ausführung einer bestimmten Funktion vorgesehenen Objekten oder anderen Objekten eines Straßenfahrzeugs, zu denen Zusatzinformationen erwünscht sind;
– Soll eine tragbare Einrichtung ähnlich wie in der WO 2009/120177 A1 genutzt werden, um eine Informationsvermittlung mittels erweiterter Realität an den Nutzer zu ermöglichen, so stoßen tragbare mobile Einrichtungen häufig an ihre Leistungsgrenzen, da insbesondere die optische Bildverarbeitung zur Objekterkennung sehr rechenintensiv ist.

Der Erfindung liegt somit die Aufgabe zugrunde, eine Informationsvermittlung mittels einer erweiterten Realität im Zusammenhang mit Straßenfahrzeugen zu verbessern, insbesondere die Informationsvermittlung zu beschleunigen, und eine möglichst präzise an das Fahrzeug angepasste Informationsvermittlung zu ermöglichen, um einem Nutzer eine Bedienung, Reparatur und/oder Wartung genau seines Fahrzeugs unter Verwendung einer tragbaren mobilen Einrichtung zu erleichtern.
Nach einem ersten Aspekt der Erfindung ist vorgesehen, einem Nutzer als Zusatzinformation einen Zielführungshinweis zu liefern, um ein ausgewähltes Objekt an seinem Straßenfahrzeug oder eine für eine Betätigung oder Ausführung einer ausgewählten Funktion vorgesehene Einrichtung in dem Fahrzeug auffinden zu können. Der Zielführungshinweis wird hierbei in einer Abbildung überlagert dargestellt, die der Nutzer mit der tragbaren Einrichtung von dem Straßenfahrzeug oder zumindest einem Teilbereich des Straßenfahrzeugs erfasst hat.
Insbesondere wird nach einem ersten Aspekt ein Verfahren zur Informationsvermittlung mittels einer erweiterten Realität (ER) im Zusammenhang mit einem Straßenfahrzeug vorgeschlagen, umfassend die Schritte:

a) Erfassen einer Eingabe, um hierüber eine ausgewählte Funktion oder ein ausgewähltes Objekt eines Straßenfahrzeugs festzulegen (über welche oder welches eine Ausgabe einer Zusatzinformation erwünscht ist);
b) Erfassen einer Abbildung mittels einer tragbaren Einrichtung, die zumindest einen Teilbereich des Straßenfahrzeugs abbildet;
c) Identifizieren mindestens eines Objekts in der Abbildung, welches zumindest teilweise in der Abbildung dargestellt ist, anhand einer Auswertung der erfassten Abbildung;
d) Ermitteln einer Zielposition in der Abbildung relativ zu dem mindestens einen identifizierten Objekt, wobei die Zielposition eine Darstellungsposition der für eine Betätigung oder Ausführung der ausgewählten Funktion vorgesehenen Einrichtung des Fahrzeugs oder eine Darstellungsposition des ausgewählten Objekts jeweils in der Abbildung ist oder eine Position auf oder an dem Rand der Abbildung ist, welche einen Hinweis auf die Position der für die Betätigung oder Ausführung der ausgewählten Funktion vorgesehenen Einrichtung des Fahrzeugs oder die Position des ausgewählten Objekts relativ zu dem an der Abbildung erfassten Teilbereich angibt, sofern die für die Betätigung oder Ausführung der ausgewählten Funktion vorgesehene Einrichtung des Fahrzeugs oder das ausgewählte Objekt nicht in der Abbildung dargestellt sind;
e) Darstellen der Abbildung auf einer Anzeigeeinrichtung, wobei der realen Abbildung Zusatzinformationen in Form eines Zielführungshinweises überlagert werden, der auf die Zielposition der Abbildung weist.

Um ein ausgewähltes Objekt bzw. die für die Ausführung oder Betätigung einer Funktion notwendige Einrichtung, welche ebenfalls ein Objekt darstellt, auffinden zu können, ist es somit ausreichend, eine Abbildung eines Teilbereichs des Fahrzeugs zu erfassen, in dem mindestens ein Objekt des Fahrzeugs ganz oder teilweise abgebildet ist, so dass über eine Objekterkennung, welche mittels einer grafischen Bildverarbeitung ausgeführt wird, dieses zumindest teilweise abgebildete Objekt erkannt und dessen Orientierung in der Abbildung ermittelt werden kann, so dass relativ zu diesem erkannten Objekt und dessen Orientierung in der Abbildung ein Zielführungshinweis angezeigt werden kann, der dem Nutzer einen Hinweis gibt, wo relativ zu dem erkannten und in der Abbildung zumindest teilweise dargestellten Objekt sich das ausgewählte Objekt bzw. die für die Betätigung oder Ausführung der ausgewählten Funktion benötigte Einrichtung an oder in dem Fahrzeug befindet.
Der erste erfinderische Aspekt kann mit einem Computerprogrammprodukt zur Informationsvermittlung mittels einer erweiterten Realität (ER) im Zusammenhang mit einem Straßenfahrzeug realisiert werden, welches auf einer Prozessoreinheit einer tragbaren Einrichtung, welche eine Bilderfassungseinrichtung und eine Anzeigeeinrichtung sowie mindestens eine Erfassungseinrichtung für eine Nutzereingabe sowie einen ausführbaren Programmcode umfasst, wobei das Computerprogrammprodukt ausgebildet ist, bei der Ausführung des Programmcodes ein Verfahren wie oben beschrieben auszuführen. Dies bedeutet, dass tragbare Einrichtung bzw. ihre Bestandteile so angesteuert werden, dass hierüber die einzelnen oben genannten Verfahrensschritte ausgeführt werden.
Ferner lässt sich der erste Erfindungsaspekt mit einer tragbaren Einrichtung zur Informationsvermittlung mittels einer erweiterten Realität (ER) im Zusammenhang mit einem Straßenfahrzeug ausführen, wobei die tragbare Einrichtung einen Speicher, eine Prozessoreinheit, eine Bilderfassungseinrichtung, eine Anzeigeeinrichtung sowie mindestens eine Erfassungseinrichtung für eine Nutzereingabe umfasst, wobei der Speicher einen ausführbaren Programmcode umfasst, dessen Ausführung auf der Prozessoreinheit die Ausführung eines Verfahrens gemäß des oben beschriebenen Verfahrens bewirkt. Dies bedeutet, dass die einzelnen Bestandteile der tragbaren Einrichtung so angesteuert werden, dass die einzelnen genannten Verfahrensschritte ausgeführt werden.
Um ein Erfassen einer Eingabe für den Nutzer zu erleichtern, kann es vorgesehen sein, dass dem Nutzer unterschiedliche zur Verfügung stehende Funktionen und/oder Objekte, beispielsweise in Form einer Liste, grafisch dargestellt werden, für die Zusatzinformationen ausgegeben werden können.
Eine intuitiv einen Blick eines Nutzers auf die Zielposition führende Darstellung des Zielführungshinweises wird bei einer Ausführungsform erreicht, bei der der Zielführungshinweis in Form mehrerer geometrischer Objekte, welche eine äußere, vorzugsweise geschlossene, Kontur aufweisen und ansonsten flächig transparent sind, dargestellt wird, wobei ein Mittelpunkt oder Schwerpunkt eines der geometrischen Objekte mit einem Startpunkt in der dargestellten Abbildung, der sich vorzugsweise in einem Gebiet um den Mittelpunkt der dargestellten Abbildung befindet, am bevorzugtesten der Mittelpunkt der dargestellten Abbildung ist, zusammenfällt und die übrigen Mittelpunkte oder Schwerpunkte entlang einer Zielführungslinie angeordnet sind, welche von dem Startpunkt in der Abbildung zu der Zielposition verläuft. Hierdurch ergibt sich ein so genannter Zielführungstunnel.
Eine noch verbesserte Blickführung erreicht man, wenn die Durchmesser oder Abmessungen der geometrischen Objekte gemäß der Anordnung ihrer Mittelpunkte oder Schwerpunkte entlang der Zielführungslinie vom Startpunkt in der Abbildung in Richtung auf die Zielposition monoton, vorzugsweise streng monoton, abnehmen. Der Zielführungstunnel weist dann eine der menschlichen Wahrnehmung entsprechende perspektivische Darstellung auf, wobei die Zielposition am Ende eines Tunnels angeordnet zu sein scheint. Der Blick, welcher in der Regel zunächst in die Mitte einer Abbildung wandert, wird somit von dem dort befindlichen Startpunkt und einem diesen Startpunkt umgebenden ersten geometrischen Objekt mit einer großen Abmessung bzw. einem großen Durchmesser durch die übrigen entlang der Zielführungslinie angeordneten geometrischen Objekte, welche gemäß ihrer Anordnung entlang der Zielführungslinie hinsichtlich ihren Abmessung bzw. ihres Durchmessers kleiner werden, je größer ihr Abstand vom Startpunkt entlang der Zielführungslinie ist, zu der Zielposition geführt.
Bei einer bevorzugten Ausführungsform schneiden sich die Konturen der geometrischen Objekte, deren Mittelpunkt oder Schwerpunkt benachbart zueinander entlang der Zielführungslinie angeordnet sind, in der überlagerten Darstellung. Dieses findet nicht statt, sofern die Zielposition von der Kontur des geometrischen Objekts umschlossen ist, die mit dem Startpunkt der Zielführungslinie assoziiert ist. Lediglich wenn die Zielposition sich nahe dem Rand dieser Kontur befindet, können sich einzelne der Konturen, nicht notwendigerweise ”benachbarte Konturen” in der überlagerten Darstellung schneiden.
Um eine zuverlässige Zielführung zu Objekten oder Einrichtungen zu ermöglichen, beispielsweise zu Objekten im Inneren des Cockpits, auch wenn der Nutzer eine Abbildung einer äußeren Karosserie des Straßenfahrzeugs mit der ersten Abbildung erfasst, ist bei einer bevorzugten Ausführungsform der Erfindung vorgesehen, dass die Verfahrensschritte b) bis e) iterativ ausgeführt werden, bis die für eine Betätigung oder Ausführung der ausgewählten Funktion vorgesehene Einrichtung oder das ausgewählte Objekt in einem vorgegebenen Bereich der Abbildung und/oder in einer vorgegebenen Größe in der Abbildung auf der Anzeigefläche der tragbaren Einrichtung dargestellt werden. Vorzugsweise werden anschließend zusätzlich als Zusatzinformationen Hilfsinformationen, vorzugsweise in Form einer erweiterten Realität, ausgegeben. Die Hilfsinformationen, welche beispielsweise eine Bedienungsanleitung, Reparaturhinweise, Wartungshinweise oder technische Daten, umfassen können, werden vorzugsweise alternativ zu dem Zielführungshinweis als Zusatzinformation dargestellt. Ohne eine erneute Eingabe wird bei einer solchen Ausführungsform der Nutzer zuerst zu dem entsprechenden Objekt bzw. der entsprechenden Einrichtung geführt und ihm anschließend Hilfsinformationen ausgegeben, die mit dem jeweiligen Objekt bzw. der Einrichtung oder einer Funktion für deren Betätigung oder Ausführung die Einrichtung vorgesehen ist, verknüpft sind.
Gemäß einem zweiten Aspekt der Erfindung wird ein Verfahren zur Informationsvermittlung mittels einer erweiterten Realität (ER) im Zusammenhang mit einem Straßenfahrzeug vorgeschlagen, welches die Schritte umfasst:

α) Erfassen einer Abbildung oder einer Sequenz von Abbildungen mittels einer tragbaren Einrichtung, die zumindest einen Teilbereich des Straßenfahrzeugs abbildet;
β) Übertragen der die Abbildung oder die Abbildungssequenz repräsentierenden Bilddaten an eine Steuereinrichtung in dem Straßenfahrzeug;
χ) Ausführen einer Objektidentifizierung anhand der Bilddaten, um in der Abbildung oder der Sequenz von Abbildungen zumindest teilweise dargestellte Objekte des Straßenfahrzeugs zu erkennen; und
δ) Darstellen der Abbildung oder der Sequenz von Abbildungen auf einer Anzeigeeinrichtung, wobei relativ zu dem erkannten Objekt oder den erkannten Objekten zusätzlich Zusatzinformationen überlagert dargestellt werden.

Der große Vorteil dieser Ausführungsform besteht darin, dass zwar die Abbildung oder eine Sequenz von Abbildungen mittels der tragbaren Einrichtung, beispielsweise einem Mobilfunktelefon mit eingebauter Kamera, erfasst wird, die rechenintensive Objekterkennung und Identifizierung jedoch auf der Steuereinrichtung des Straßenfahrzeugs ausgeführt wird, welche in der Regel wesentlich leistungsstärker ist, und somit die Objekterkennung zuverlässiger und schneller ausführen kann. Darüber hinaus bietet sich hierdurch der Vorteil, dass die für die Objekterkennung notwendigen Informationen nicht auf der tragbaren Einrichtung vorgehalten oder zu dieser übertragen werden müssen. Darüber hinaus ist es vorteilhaft, die Objekterkennung auf dem Straßenfahrzeug bzw. einer Steuereinrichtung des Straßenfahrzeugs auszuführen, da die zur Objekterkennung notwendigen Informationen typen- und variantenangepasst an das Straßenfahrzeug selbst in einem Speicher des Straßenfahrzeugs abgelegt sein können. Vorzugsweise umfasst das Straßenfahrzeug nämlich für die Objekterkennung benötigte Musterinformationen, welche genau an den Fahrzeugtyp und die Fahrzeugvariante angepasst sind. So kann beispielsweise eine besondere Farbgebung des konkreten Straßenfahrzeugs, welche im Hinblick auf einen Kontrast und eine Helligkeit einzelner Flächen einen großen Einfluss hat, optimal für die Objekterkennung berücksichtigt werden.
Um die Zusatzinformationen nicht nur an der richtigen Position zugeordnet zu dem erkannten Objekt, sondern auch angepasst an die Orientierung bzw. einer Aufnahmeperspektive der Abbildung ausgeben zu können, ist bei einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass anhand der Bilddaten zusätzlich die Aufnahmeposition der tragbaren Einrichtung relativ zu dem Straßenfahrzeug ermittelt wird und/oder eine Orientierung mindestens eines erkannten Objekts in der Abbildung ermittelt wird. Bei einer bevorzugten Ausführungsform der Erfindung ist es vorgesehen, dass die Zusatzinformationen mindestens ein virtuelles errechnetes Objekt umfassen, das lage- und orientierungsgerecht Objekten in der Abbildung oder der Sequenz von Abbildungen überlagert dargestellt wird.
Insbesondere wenn eine Bedienung oder eine Reparatur beschrieben werden sollen, bei denen ein Objekt oder eine Einrichtung des Fahrzeugs bewegt werden muss, ist es vorteilhaft, solch ein errechnetes virtuelles Objekt der realen Abbildung zu überlagern, welches die auszuführende Bewegung beispielsweise animiert andeutet, die der Nutzer ausführen soll. Dies bedeutet, dass auch in einer statischen Abbildung nacheinander unterschiedliche Zusatzinformationen dargestellt werden können, die beispielsweise ein errechnetes virtuelles Objekt in unterschiedlichen Stellungen darstellen, so dass in einer Abfolge die einzelnen Darstellungen einen Bewegungsablauf des errechneten virtuellen Objekts ergeben.
Da die Anzeigevorrichtungen einer tragbaren Einrichtung hinsichtlich ihrer Größe und Auflösung und aufgrund ihrer Zweckbestimmung als tragbare Vorrichtungen begrenzt sind, ist bei einer Ausführungsform vorgesehen, dass die Darstellung gemäß Schritt δ) auf eine Anzeigeeinrichtung des Straßenfahrzeugs vorgenommen wird. Moderne Straßenfahrzeuge umfassen in der Regel mindestens eine freiprogrammierbare Anzeigefläche, beispielsweise in einer Multifunktionsanzeige- und Bedieneinrichtung in einer Mittelkonsole, oder auch ein Head-Up-Display oder ein freiprogrammierbares Kombiinstrument oder ein anderes Anzeigegerät im Fahrzeug, beispielsweise eine Unterhaltungseinrichtung für einen Rücksitz (Rear Seat Entertainment) o. ä., so dass diese genutzt werden können, um die mit der tragbaren Einrichtung erfasste Abbildung zusammen mit den Zusatzinformationen auf dieser Anzeigeeinrichtung des Fahrzeugs darzustellen. Hierdurch können insbesondere kleinere Details besser für eine Betrachtung dargestellt werden bzw. mehr Zusatzinformationen in der Weise auf Abbildungen überlagert werden, dass diese durch einen Nutzer auch erfassbar sind.
Nicht in jedem Fall ist es jedoch günstig, die Darstellung ausschließlich auf der Anzeigeeinrichtung des Straßenfahrzeugs vorzunehmen. Bei einer Ausführungsform der Erfindung ist daher vorgesehen, dass die Darstellung gemäß Schritt δ) alternativ oder zusätzlich auf eine Anzeigeeinrichtung der tragbaren Einrichtung vorgenommen wird, wobei zumindest die Zusatzinformationen zu dem mobilen Gerät übertragen werden. Werden Informationen zu Objekten gewünscht, die sich nicht im Cockpit befinden, so dass eine Betrachtung der Anzeigeeinrichtung, welche sich im Cockpit des Straßenfahrzeugs befindet, nicht zeitgleich mit der realen Betrachtung des Objekts bzw. mit der Abbildungserfassung möglich ist, ist es wünschenswert, dass die Abbildung auf der Anzeigeeinrichtung der tragbaren Einrichtung dargestellt wird. Werden nur die Zusatzinformationen zu dem mobilen Gerät übertragen, so wird eine Bandbreite, die für die Kommunikation von dem Straßenfahrzeug zu der tragbaren Einrichtung benötigt wird, auf ein Minimum begrenzt. Da jedoch ein Rechenaufwand für eine lage- und orientierungsgerechte Überlagerung der Zusatzinformationen in die erfasste Abbildung oder die Sequenz von Abbildungen rechenintensiv ist, ist bei einer Ausführungsform vorgesehen, dass Wiedergabedaten, welche die überlagerten Zusatzinformationen und die erfasste Abbildung oder die Sequenz von Abbildungen umfassen, von der Steuereinrichtung des Straßenfahrzeugs erzeugt werden und, falls eine Wiedergabe gemäß Verfahrensschritt δ) auf der Anzeigeeinrichtung der tragbaren Einrichtung erfolgt, zu dieser übertragen werden.
Allgemein liegt der Vorteil einer Ausführungsform, bei der die Objektidentifizierung auf dem Straßenfahrzeug ausgeführt wird, darin, dass die Zusatzinformationsvermittlung und die hiermit im Zusammenhang stehenden Verfahrensschritte dort ausgeführt werden können, wo das Straßenfahrzeug befindlich ist, über welches Informationen ausgegeben werden sollen. Eine Kommunikationsverbindung beispielsweise zu einer entfernten Rechenkapazität, welche gegebenenfalls aufgrund nicht vorhandener Kommunikationswege nicht möglich ist, entfällt.
Der zweite Aspekt der Erfindung ist mit einer tragbaren Einrichtung umsetzbar, welche abweichend von der oben angegebenen Ausführungsform einer tragbaren Einrichtung, mit der der erste Aspekt umsetzbar ist, zusätzlich mindestens eine Schnittstelle umfasst, um Daten mit dem Straßenfahrzeug austauschen zu können.
Ebenfalls ist die Erfindung mit einem Computerprogrammprodukt umsetzbar, welches einen ausführbaren Programmcode umfasst, welcher die Einrichtungen der tragbaren Einrichtung so steuert, dass die einzelnen oben angegebenen Verfahrensschritte von den Einrichtungen der tragbaren Einrichtung ausgeführt werden.
Vorzugsweise werden die Verfahren gemäß der oben angegebenen beiden Aspekte ausgeführt, indem eine Applikation zur Informationsvermittlung mittels erweiterter Realität (ER) im Zusammenhang mit einem Straßenfahrzeug auf der tragbaren Einrichtung gestartet wird. Diese Applikation wird in der Regel mittels eines Computerprogrammprodukts umgesetzt. Es versteht sich, dass die Erfindung gemäß dem zweiten Aspekt zusätzlich den Grundgedanken des ersten erfinderischen Aspekts nutzen kann, so dass Zielführungshinweise angezeigt werden. Auch in diesem Fall ist es vorteilhaft, wenn die Zielführungshinweise auf der Steuereinrichtung des Straßenfahrzeugs errechnet und beispielsweise vorzugsweise in die Wiedergabedaten eingefügt werden.
Soll die Objektidentifizierung auf der tragbaren Einrichtung ausgeführt werden oder sollen zumindest die Zusatzinformationen unmittelbar von der tragbaren Einrichtung ausgegeben und der Abbildung überlagert werden, so ist es notwendig, dass die tragbare Einrichtung entweder die Musterinformationen, die zu der Ausstattungsvariante des Straßenfahrzeugs korrespondieren und/oder die Zusatzinformationen, welche zu dem Straßenfahrzeug korrespondieren, enthält oder erhält. Um beispielsweise mit einem beliebigen Mobilfunktelefon eine Informationsermittlung zu einem beliebigen Fahrzeug zu ermöglichen, ist bei einer Ausführungsform vorgesehen, dass aa) mit der tragbaren Einrichtung eine Identifikationsabbildung erfasst wird, mittels derer eine Kennung des Straßenfahrzeugs, welche zumindest den Fahrzeugtyp, vorzugsweise auch dessen Ausstattungsvariante, angibt, erfasst wird, bb) die Erkennungsinformationen an einen Server übertragen werden; cc) von dem Server zu dem Straßenfahrzeug passende Informationen übermittelt werden, die zumindest Mustererkennungsinformationen, anhand derer im Schritt c) die Position der tragbaren Einrichtung ermittelt wird, und/oder Zusatzinformationen, insbesondere Informationen über die Verfügbaren und für die Informationsvermittlung auswählbaren Funktionen und/oder Objekte sowie über die Anordnung der für eine Betätigung oder Ausführung der auswählbaren Funktion vorgesehenen Einrichtung und der auswählbaren Objekte, umfassen. Ebenso können die Zusatzinformationen Hilfsinformationen umfassen, welche Reparaturhinweise, Bedienhinweise oder Ähnliches umfassen.
Bei einer bevorzugten Ausführungsform wird die Kennung in der tragbaren Einrichtung aus der erfassten Identifikationsabbildung extrahiert und als Kennungsinformation zu dem Server übertragen.
Bei einer anderen Ausführungsform, bei der ein Rechenaufwand auf der tragbaren Einrichtung verringert wird, wird die Identifikationsabbildung als Kennungsinformation zu dem Server übertragen. Wird hingegen nur die Kennung übertragen, so ist die benötigte Bandbreite der Übertragung von der tragbaren Einrichtung zu dem Server auf ein Minimum begrenzt.
Die Identifikationsabbildung kann beispielsweise ein Typenschild oder eine Seite eines Bordbuchs erfassen, auf dem die fahrzeugspezifischen Daten angegeben sind. Ein extrahieren der Kennung kann beispielsweise mittels einer OCR-Bearbeitung (Optical Character Recognition) erfolgen.
Bei wieder einer anderen Ausführungsform ist es möglich, dass auf der tragbaren Einrichtung ein Wartungs- und Reparaturmodus aktiviert wird, in welchem eine Verbindung mit dem Straßenfahrzeug ausgebildet wird und dessen Status und/oder Diagnosedaten ausgelesen werden. Bei einer Ausführungsform wird der Wartung- und Reparaturmodus dadurch aktiviert, dass als Objekt eine Warnmeldung oder ein aktiviertes Warnsymbol oder eine Warnleuchte in der erfassten Abbildung erkannt wird. Wird beispielsweise im Kombiinstrument eines Fahrzeugs eine Warnleuchte aktiviert, so ist es ausreichend, dass der Nutzer mit der tragbaren Einrichtung, beispielsweise seinem Mobiltelefon mit Digitalkamera eine Applikation aktiviert, mit der Zusatzinformationen für das Fahrzeug anzeigbar sind. Diese Applikation erfasst dann eine Abbildung des Kombiinstruments. Wird darin die Warnleuchte als Objekt erkannt, so wird in einen Diagnose- und/oder Reparaturmodus gewechselt und automatisch die Warn- und Statusmeldungen des Fahrzeugs abgerufen. Die Warn- und Statusmeldungen werden somit auf die tragbare Einrichtung übertragen.
Bei einer Weiterbildung ist vorgesehen, dass die für die Auswahl zur Verfügung stehenden Funktionen auf Funktionen zur Behandlung von in den Status- und/oder Diagnosedaten enthaltenen Warn- und/oder Fehlermeldungen eingeschränkt wird. Ein Nutzer wird nun gezielt zu den Funktionen geführt, welche für ihn hilfreich sind, um mit dem Warnhinweis umzugehen.
Bei wieder einer Weiterbildung ist vorgesehen, dass als eine der auswählbaren Funktionen eine Service-Center-Kontaktaufnahme zur Auswahl gestellt wird, bei deren Auswahl (über die erfasste Nutzereingabe) eine Verbindung mit dem Service-Center hergestellt wird. Vorteilhaft an einer solchen Ausgestaltung ist es, dass die Informationen, welche für die Kontaktaufnahme mit dem Service-Center notwendig sind, nicht durch den Nutzer ermittelt werden müssen, sondern ihm automatisch diese Option angeboten wird.
Bei einer Weiterbildung der Erfindung werden dem Service-Center die erfassten Status- und/oder Diagnosedaten übermittelt. Hierdurch wird es möglich, Expertenwissen, welches in dem Service-Center vorhanden ist, zur Lokalisierung eines Fehlers und/oder dessen Behebung optimal zu nutzen. Durch die Übermittlung der automatisch ausgelesenen Status- und/oder Diagnosedaten ist es gewährleistet, dass die Übertragungsfehler minimiert werden. Fehler, die durch Nutzereingaben oder ein Ablesen von Werten durch einen Nutzer ansonsten in eine Übermittlung einfließen, werden hierbei ausgeschlossen.
Bei einer Weiterbildung der Erfindung ist somit vorgesehen, dass von dem Service-Center zusätzliche Hilfsinformationen empfangen und zur Anzeige auf der Anzeigeeinrichtung gebracht werden.
Ein großes Problem besteht darin, die für eine Objekterkennung benötigten Musterinformationen typen- und variantengerecht für jedes Fahrzeug zu erzeugen. Dies ist in der Vergangenheit kaum möglich gewesen. Nach einem eigenständigen erfinderischen Aspekt ist daher vorgesehen, solche Musterinformationen anhand von CAD-Modellen für die einzelnen Ausstattungsvarianten eines Fahrzeugtyps zu errechnen.
Bei einer bevorzugten Ausführungsform dieses Aspekts umfassen die Musterinformationen errechnete fotorealistische Darstellungen der Objekte, Teilbereiche des Straßenfahrzeugs und/oder des gesamten Straßenfahrzeugs und/oder hieraus abgeleitete Informationen.
Diese Musterinformationen sind für die Mustererkennung und nicht für die Darstellung von Zusatzinformationen vorgesehen.
Ein weiteres Problem bei der Mustererkennung besteht darin, dass häufig die Beleuchtungssituation während der Erfassung der Abbildung unbekannt ist und in unterschiedlichen Situationen deutlich unterschiedlich sein kann. Die Beleuchtungssituation hängt beispielsweise von der Tageszeit oder auch dem Ort ab, an dem sich das Straßenfahrzeug befindet. Die Beleuchtungssituation eines am Straßenrand im Freien abgestellten Fahrzeugs unterscheidet sich deutlich von der, bei der das Fahrzeug in einer Tiefgarage abgestellt ist. Um Beleuchtungseinflüsse bei der Objekterkennung möglichst gut berücksichtigen zu können, ist bei einer Ausführungsform vorgesehen, mit der tragbaren Einrichtung zusätzlich eine Referenzabbildung eines vorgegebenen Referenzobjekts zu erfassen, die zum Ableiten einer Beleuchtungssituation bei der Objekterkennung und/oder Aufnahmepositions- und/oder Orientierungsbestimmung berücksichtigt wird.
Um sicherzustellen, dass das korrekte Referenzobjekt aufgenommen wird und die Aufnahme dem Nutzer zu erleichtern, ist bei einer Ausführungsform vorgesehen, dass vor und/oder während des Erfassens der Referenzabbildung das Referenzobjekt auf der Anzeigeeinrichtung der tragbaren Einrichtung zumindest schematisch grafisch, vorzugsweise als Konturmodell, dargestellt wird. Hierdurch kann erreicht werden, dass der Nutzer zum einen das Referenzobjekt kennt und erkennt, welches er erfassen soll, und zum anderen sichergestellt werden kann, dass dieses möglichst aus einer gewünschten Aufnahmeposition und in einer gewünschten Größe aufgenommen wird. Ein Aufnehmen in einer gewünschten Größe bedeutet hierbei, dass der Gegenstand in der Abbildung eine vorgegebene Größe erreicht. Dieses wird insbesondere durch die Überlagerung während der Erfassung der Aufnahme erreicht. Der Nutzer kann die Erfassungseinrichtung so relativ zu dem Referenzobjekt ausrichten, dass das Konturmodell im Wesentlichen deckungsgleich mit der Darstellung des Referenzobjekts ist, welches real von der tragbaren Einrichtung erfasst und auf der Anzeigeeinrichtung der tragbaren Einrichtung dargestellt wird.
Bei einer Ausführungsform werden als Hilfsinformationen vorzugsweise Erklärungsinformationen ausgegeben, die schrittweise eine Reparatur erklären.
Bei einer Weiterbildung des Verfahrens werden in dem Reparaturprozess weitere Abbildungen des Fahrzeugs oder von Teilbereichen des Fahrzeugs gemäß einer Vorgabe erfasst und ausgewertet, wobei die Vorgabe vor oder während des Erfassens der weiteren Abbildung auf der Anzeigeeinrichtung der tragbaren Einrichtung in Form einer zumindest schematischen grafischen, vorzugsweise einer als Konturmodell abgebildeten, Darstellung eines zu erfassenden Objekts oder eines zu erfassenden Teils des Fahrzeugs dargestellt wird.
Die einzelnen beschriebenen Merkmale der unterschiedlichen Erfindungsaspekte können beliebig miteinander kombiniert werden, um weitere erfinderische Ausführungsformen gemäß den unterschiedlichen Grundgedanken, die hier dargelegt sind, zu verwirklichen.
Nachfolgend werden die unterschiedlichen Aspekte unter Bezugnahme auf eine Zeichnung anhand von Ausführungsbeispielen exemplarisch erläutert. Hierbei zeigen:
1 eine schematische Darstellung eines Straßenfahrzeugs und einer tragbaren Einrichtung zur Erläuterung einer Informationsvermittlung mittels erweiterter Realität (ER);
2 ein Ablaufdiagramm eines Verfahrens zum Abrufen einer geeigneten Informationsvermittlungsapplikation
3 ein Ablaufdiagramm eines Verfahrens zum Vermitteln von Informationen unter Verwendung eines Zielhinweises;
4 eine Ansicht einer tragbaren Einrichtung mit einer Funktionssuchansicht;
5 eine Ansicht einer tragbaren Einrichtung, auf der ein Zielführungshinweis in Form einer erweiterten Realität dargestellt ist;
6 ein schematisches Ablaufdiagramm des Verfahrens zur Informationsvermittlung unter Nutzung von ER;
7 eine Abbildung einer Fahrzeugfront;
8 eine Darstellung der Abbildung nach 7 mit einem überlagerten errechneten Objekt;
9 eine Ansicht einer tragbaren Einrichtung, auf deren Anzeigeeinrichtung eine Informationsvermittlung mittels ER dargestellt ist;
10 ein schematisches Ablaufdiagramm des Verfahrens zur Handhabung von Warnmeldungen;
11 eine Ansicht eines Straßenfahrzeugcockpits;
12 eine schematische Darstellung einer tragbaren Einrichtung während der Behandlung einer Warnmeldung;
13 ein Ablaufdiagramm eines Verfahrens, bei dem die Objekterkennung auf das Fahrzeug ausgelagert wird;
14 ein Ablaufdiagramm eines Verfahrens zur verbesserten Berücksichtigung einer Beleuchtungssituation bei der Objekterkennung;
15 eine Darstellung einer tragbaren Einrichtung mit einer Vorgabe für eine Abbildungserfassung in einem Kraftfahrzeugcockpit;
16 eine schematische Darstellung der Abbildungserfassung gemäß der Vorgabe in dem Kraftfahrzeugcockpit;
17 eine Referenzabbildung; und
18 eine Vorlage der aktuellen Lichtsituation.
In 1 ist schematisch ein Straßenfahrzeug 1 dargestellt. Dieses umfasst eine Fahrzeuganzeigeeinrichtung 2, welche mit einer Fahrzeugsteuereinrichtung 3 verbunden ist, welche einen Fahrzeugmikroprozessor 4 umfasst. Mit der Fahrzeugsteuereinrichtung 3 ist eine Fahrzeugspeichereinrichtung 5 gekoppelt oder in diese integriert. Ferner ist in der dargestellten Ausführungsform die Fahrzeugsteuereinrichtung 3 mit einer Fahrzeugkommunikationsschnittstelle 6 gekoppelt.
In 1 ist ferner eine tragbare Einrichtung 7, welche beispielsweise als Mobiltelefon ausgebildet ist, dargestellt. Die tragbare Einrichtung 7 umfasst eine Prozessoreinheit 8 sowie einen mit der Prozessoreinheit 8 gekoppelten Speicher 9. Ferner umfasst die tragbare Einrichtung 7 eine Bilderfassungseinrichtung 10, welche beispielsweise eine Digitalkamera ist, wie sie üblicherweise in Mobilfunktelefonen verbaut sind. Ferner umfasst die tragbare Einrichtung 7 eine Anzeigeeinrichtung 11, auf der mit der Bilderfassungseinrichtung 10 erfasste Abbildungen und/oder Sequenzen von Abbildungen darstellbar sind. Vorzugsweise umfasst die tragbare Einrichtung 7 eine Mobilfunkschnittstelle 12 sowie im dargestellten Ausführungsbeispiel eine weitere Schnittstelle 13, welche beispielsweise als WLAN- oder Bluetooth-Schnittstelle ausgebildet sein kann. Es können auch mehrere weitere Schnittstellen in der tragbaren Einrichtung 7 realisiert sein, so dass sowohl eine Bluetooth-Schnittstelle, eine WLAN-Schnittstelle und weitere Schnittstellen, beispielsweise auch eine kabelgebundene Schnittstelle, vorhanden sein können. Wesentlich für die tragbare Einrichtung ist, dass diese unabhängig von dem Straßenfahrzeug 1 funktionsfähig und relativ zu diesem bewegbar ist. Die tragbare Einrichtung 7 umfasst ferner eine Erfassungseinrichtung für Nutzereingaben 14, welche beispielsweise als Tastatur oder (in anderen Ausführungsformen) als berührungsempfindlicher Positionserfassungssensor, beispielsweise gemeinsam mit der Anzeigeeinrichtung 11 als Touchscreen, ausgebildet sein kann.
In 1 ist ferner ein Service-Center 21 dargestellt, welches über ein Kommunikationsnetz 22, beispielsweise ein Telefonnetz, mit der tragbaren Einrichtung 7 verbunden ist oder verbindbar ist. Das Kommunikationsnetz 22 kann jedoch auch als Internet oder beliebiges anderes Kommunikationsnetz ausgebildet sein. Das Service-Center 21 umfasst eine Service-Center-Schnittstelle 23, über welche das Service-Center 21 mit dem Kommunikationsnetz 22 verbunden ist oder verbindbar ist. Das Service-Center 21 umfasst ein oder mehrere Service-Center-Prozessoreinheiten 24. Ferner umfasst das Service-Center 21 eine Service-Center-Speichereinrichtung 25, in der in der Regel ein oder mehrere Datenbanken abgelegt sind, in welchem Expertenwissen über das Straßenfahrzeug 1 und gegebenenfalls Mustererkennungsinformationen für eine optische Bilderkennung abgelegt sind. Ebenso kann eine Datenbank vorgesehen sein, welche beispielsweise eine Webschnittstelle umfasst, welche Applikationen für tragbare Einrichtungen 7 zur Verfügung stellt, welche einen auf der Prozessoreinheit 8 der tragbaren Einrichtung 7 ausführbaren Programmcode enthält. Dieser ist so ausgestaltet, dass er die tragbare Einrichtung 7 in die Lage versetzt, gezielt Informationen mittels einer erweiterten Realität über das zugehörige Straßenfahrzeug 1 abrufbar zu machen oder bereitzustellen.
Auf die Webschnittstelle des Service-Centers 21 kann über das Kommunikationsnetz zugegriffen werden. Es ist ebenso möglich, dass mehrere Kommunikationsnetze mit dem Service-Center 21 verbunden sind und auch die tragbare Einrichtung 7 nicht dargestellte Schnittstellen aufweist, um mit den weiteren Kommunikationsnetzwerken verbunden zu werden. Die unterschiedlichen Kommunikationsnetzwerke können auch untereinander verbunden sein.
Anhand eines Ablaufdiagramms, welches in 2 dargestellt ist, wird erläutert, wie mit einer Bedieneinrichtung, beispielsweise der tragbaren Einrichtung 7 nach 1, welche beispielsweise als Mobiltelefon ausgebildet ist, eine Informationsvermittlung über ein Straßenfahrzeug, beispielsweise das Straßenfahrzeug 1 gemäß 1, für einen Nutzer unter Verwendung einer erweiterten Realität bereitgestellt werden kann.
Unter dem Begriff erweiterte Realität wird eine Informationsvermittlung verstanden, bei der fotografische oder filmische Abbildungen realer Objekte durch überlagerte, errechnete virtuelle Informationen und/oder Einblendungen ergänzt dargestellt werden.
Da unterschiedliche Fahrzeugtypen und Varianten unterschiedliche Hilfs- und/oder Erläuterungsinformationen, welche hier als Zusatzinformationen zusammengefasst sind, benötigen, ist es wünschenswert, dass auf der tragbaren Einrichtung eine Applikation gestartet wird, die speziell an das Straßenfahrzeug angepasst ist, über welches Informationen gewünscht sind. Zunächst wird in einem Verfahrensschritt mit der tragbaren Einrichtung eine Abbildung eines das Straßenfahrzeug kennzeichnenden Objekts erfasst 41. Beispielsweise wird eine Fahrzeugidentifikationsnummer (VIN), welche beispielsweise in einem Türholm des Straßenfahrzeugs 1 angebracht ist, oder eine Seite des Bordbuchs grafisch erfasst, in der ebenfalls die das Fahrzeug identifizierende Informationen enthalten sind. Handelsübliche Mobiltelefone umfassen häufig eine Digitalkamera, mit der eine solche Erfassung ausgeführt werden kann. Anschließend wird bei der dargestellten Ausführungsform die Abbildung zu einem Service-Center, beispielsweise dem Service-Center 21 nach 1, beispielsweise in Form einer MMS übertragen 42. Im Service-Center wird eine grafische Auswertung der empfangenen Abbildung ausgeführt 43, um das Straßenfahrzeug zu identifizieren, indem beispielsweise eine Fahrzeugidentifikationsnummer (VIN) aus der Abbildung extrahiert wird. Dem Fachmann sind vielfältige unterschiedliche Bildverarbeitungsverfahren bekannt, um gezielt Informationen aus grafischen Abbildungen zu extrahieren. Mit alphanumerischen Zeichen codierte Informationen können beispielsweise mittels einer so genannten optischen Buchstabenerkennung (Optical Character Recognition – OCR) ermittelt werden. Ganz allgemein kann der ausgeführte Verfahrensschritt als Objekterkennung bezeichnet werden, da anhand der grafischen Bildinformationen ein Objekt, in diesem Fall eine Kennzeichnung für das Straßenfahrzeug, extrahiert wird. Anschließend wird eine zugehörige Applikation, beispielsweise ein Programmcode, identifiziert oder erzeugt 44, welcher auf der Prozessoreinheit 8 der tragbaren Einrichtung 7 (vergleiche 1) ausführbar ist, um eine Informationsvermittlung mit Hilfe einer erweiterten Realität für das Straßenfahrzeug 1 zu realisieren. Hierbei kann beispielsweise eine Ermittlung des Betriebssystems und/oder von Hardwareparametern der tragbaren Einrichtung 7 automatisiert ausgeführt werden. Ist der richtige Programmcode, welcher hier auch als Applikation bezeichnet wird, ermittelt, wird der tragbaren Einrichtung eine Zugangsinformation übermittelt und von dieser erfasst 45, über die ein Zugang auf den entsprechenden Programmcode bzw. die entsprechende Applikation gewährleistet wird. Beispielsweise kann die Übermittlung der Zugangsinformationen mittels eines Versendens einer SMS erfolgen, die als Zugangsinformation ein Web-Link umfasst, welches eine Adresse ist, unter der ein Internetdownload der Applikation von der tragbaren Einrichtung aus eingeleitet werden kann. Anschließend wird somit ein solcher Download des Programmcodes ausgeführt 46. Das Link kann eine Verknüpfung mit mehreren Applikationen sein, die zwar an das Straßenfahrzeug angepasst sind, jedoch für unterschiedliche Betriebssysteme der tragbaren Einrichtung geeignet sind. Eine Ermittlung des Betriebssystems und weiterer technischer Daten kann auch während der Kommunikation zum Herunterladen der Applikation ausgeführt werden. Bei einigen Ausführungsformen wird auch erst jetzt der fertige Programmcode im Service-Center erzeugt. Nach einer gegebenenfalls erforderlichen Installation des Programmcodes kann die dadurch bereitgestellte Applikation automatisch oder manuell gestartet werden, welche dann die weitere Informationsvermittlung über das Straßenfahrzeug steuert oder ausführt. Hierbei sind unterschiedliche Informationsvermittlungsmöglichkeiten gegeben. Dies bedeutet, dass die Applikation unterschiedlich ausgestaltet sein kann.
Im Folgenden werden unterschiedliche, teilweise miteinander kombinierbare Verfahren zur Informationsvermittlung mit Hilfe erweiterter Realität exemplarisch beschrieben.
Hierbei wird jeweils davon ausgegangen, dass auf der tragbaren Einrichtung 7 nach 1 bereits der Programmcode für eine Applikation installiert ist, welche das entsprechende beschriebene Verfahren steuert. Abweichend zu dem oben beschriebenen Verfahren kann eine Applikation auch auf einem Speichermedium bereitgestellt werden, welches in das Mobiltelefon beispielsweise in Form einer Speicherkarte einführbar ist oder seitens der tragbaren Einrichtung von dieser ausgelesen werden kann.
Ein erstes Szenario, welches im Zusammenhang mit 3 erläutert wird, geht davon aus, dass ein Nutzer Informationen über eine bestimmte Funktion oder ein bestimmtes Objekt des Fahrzeugs erhalten möchte. Als Objekt wird hier jeder Gegenstand, Bestandteil oder Ähnliches des Fahrzeugs angesehen. Zunächst wird auf der tragbaren Einrichtung eine ER-Informationsvermittlungsapplikation gestartet 51. Anschließend werden mögliche Funktionen oder Objekte, beispielsweise in Form eines Menüs oder einer Menüstruktur und/oder alternativ ein Suchfeld auf der Anzeigeeinrichtung der tragbaren Einrichtung 7 angezeigt 52, um dem Nutzer eine Auswahl der entsprechenden Funktion oder des Objekts zu ermöglichen. Über die Erfassungseinrichtung für Nutzereingaben 14 wird die Nutzereingabe erfasst 53. Anhand der Nutzereingabe wird das ausgewählte Objekt oder jene Einrichtung festgelegt 54, welche zur Betätigung der Funktion oder zur Ausführung der Funktion notwendig ist. Anschließend wird mittels der Bilderfassungseinrichtung 10 der tragbaren Einrichtung 7 eine Abbildung des Fahrzeugs 1 erfasst 55. Anschließend wird eine Bildverarbeitung ausgeführt, um eine Objekterkennung auszuführen 56. Hierbei wird versucht, mindestens ein Objekt, welches zumindest teilweise in der Abbildung abgebildet ist, zu identifizieren und vorzugsweise zusätzlich dessen Position und Orientierung in der Abbildung zu ermitteln. Dieses Ermitteln umfasst vorzugsweise ferner eine Ermittlung einer Abbildungsgeometrie, so dass sich ergebende perspektivische Effekte, Verzerrungen usw., die in der Abbildung auftreten, bekannt sind und zu einem späteren Zeitpunkt beim Errechnen virtueller Objekte berücksichtigt werden können, die der realen Abbildung überlagert werden sollen. Anschließend wird für das ausgewählte Objekt bzw. für die für die Betätigung oder Ausführung der ausgewählten Funktion benötigte Einrichtung die relative Position zu dem mindestens einen erkannten Objekt ermittelt. Hierbei wird eine Zielposition ermittelt 57, welche der Darstellungsposition des entsprechenden ausgewählten Objekts bzw. der für die Betätigung oder Ausführung notwendigen Einrichtung in der Abbildung ist, sofern das Objekt oder die Einrichtung zumindest teilweise in der Abbildung dargestellt sind. Ist dies nicht der Fall, so wird auf dem Rand oder an dem Rand der Abbildung eine Position als Zielposition festgelegt, welche die Position des entsprechenden Objekts oder der Einrichtung in dem Straßenfahrzeug relativ zu den in der Abbildung dargestellten Objekten, insbesondere dem mindestens einen erkannten Objekt, angibt. Unter Berücksichtigung der Zielposition wird anschließend ein Zielführungshinweis erzeugt 58, der einem Nutzer das Auffinden der für die Funktionsbetätigung oder Ausführung benötigten Einrichtung oder des ausgewählten Objekts auf einfache Weise ermöglicht. Dies erfolgt vorzugsweise so, dass von einem Startpunkt, welcher vorzugsweise in einem im Bereich um eine Mitte der Abbildung, vorzugsweise im Mittelpunkt der Abbildung, festgelegt ist, eine Zielführungslinie von dem Startpunkt zur Zielposition virtuell festgelegt wird. Bei einer einfachen Ausführungsform wird als Zielführungshinweis ein Pfeil erzeugt, der diese Zielführungslinie visualisiert. Bevorzugter werden jedoch geometrische Objekte, beispielsweise Kreise, Quadrate, Rechtecke, Dreiecke oder Ähnliches, die eine äußere, vorzugsweise geschlossene Kontur aufweisen und flächig transparent, vorzugsweise mit einem Transparenzniveau von 100%, ausgebildet sind, so entlang der virtuellen Zielführungslinie angeordnet, dass deren Mittelpunkte oder Schwerpunkte vorzugsweise äquidistant verteilt zwischen dem Startpunkt und der Zielposition angeordnet sind. Ein erstes geometrisches Objekt, beispielsweise ein Kreis, wird beispielsweise so angeordnet, dass dessen Mittelpunkt mit dem Startpunkt der Zielführungslinie zusammenfällt. Die Mittelpunkte der übrigen geometrischen Objekte, welche vorzugsweise eine identische Form, jedoch eine unterschiedliche Größe, insbesondere einen unterschiedlichen Durchmesser aufweisen, werden entlang der gedachten Zielführungslinie so angeordnet, dass deren Mittelpunkte oder Schwerpunkte entlang der gedachten Linie verteilt angeordnet sind und der Mittelpunkt oder Schwerpunkt eines der geometrischen Objekte mit der Zielposition zusammenfällt.
Vorzugsweise nehmen die Durchmesser der geometrischen Objekte monoton, besonders bevorzugt streng monoton, von dem Startpunkt zur Zielposition gemäß einer Anordnung der entsprechenden Schwerpunkte entlang der Zielführungslinie ab. Dies bedeutet, je weiter der Mittelpunkt oder Schwerpunkt eines geometrischen Objekts von dem Startpunkt entfernt ist, desto geringer ist der Durchmesser bzw. die Abmessung des zugehörigen geometrischen Objekts in dem Zielführungshinweis. Anschließend wird der Zielführungshinweis überlagert über der Abbildung auf der Anzeigeeinrichtung 11 der tragbaren Einrichtung 7 dargestellt 59.
Bei einigen Ausführungsformen ist vorgesehen, dass der Nutzer, sofern er der Auffassung ist, dass er das Objekt oder die Einrichtung in der realen Welt identifiziert hat, über eine Nutzereingabe eine Informationsvermittlung über das entsprechende Objekt, die entsprechende Einrichtung bzw. die damit verknüpfte Funktion auslöst, die dann über die tragbare Einrichtung 7 in grafischer und/oder akustischer Weise erfolgt.
Bei der in 3 dargestellten Ausführungsform wird jedoch davon ausgegangen, dass der Nutzer sich bemüht, das ausgewählte Objekt oder die zu der ausgewählten Funktion zugehörige Einrichtung möglichst mittig in einer weiteren Abbildung und vorzugsweise in einer Mindestgröße zu erfassen. Im Verfahrensschritt 60 wird somit geprüft, ob das ausgewählte Objekt oder die entsprechende Einrichtung des Fahrzeugs in der Abbildung an einer Vorgabeposition und/oder in einer Vorgabegröße dargestellt ist. Ist dies nicht der Fall, so werden die Verfahrensschritte ab dem Verfahrensschritt ”Erfassen der Abbildung” 55 iterativ ausgeführt, bis die Abfrage erfüllt ist. Die Zielführung über die Einblendung/Überlagerung des Zielführungshinweises über real erfasste Abbildungen kann somit in einer erfassten Abbildungssequenz in Echtzeit erfolgen. Anschließend werden dann weitere Zusatzinformationen, Erklärungsinformationen, technische Daten, Reparatur- oder Wartungshinweise oder Ähnliches in Form einer erweiterten Realität, d. h. anhand von zumindest einigen grafischen Einblendungen über der realen Darstellung des ausgewählten Objekts oder der ausgewählten Einrichtung, an den Nutzer ausgegeben 61.
In 4 ist exemplarisch die Ansicht einer tragbaren Einrichtung 7 dargestellt, auf deren Anzeigeeinrichtung 11 ein Suchfeld dargestellt ist, um eine bestimmte Funktion, hier die Funktion ”Airbagdeaktivierung für den Beifahrersitz”, auswählen zu können.
In 5 ist dann eine Abbildung eines Kraftfahrzeugcockpits gemeinsam mit dem Zielführungshinweis 71 in Form von geometrischen Objekten 72-1 bis 72-8 jeweils ausgebildet ist. Von einem Startpunkt 73 in der Mitte der Abbildung 70 verläuft eine gedachte, hier nur zur Veranschaulichung gestrichelt dargestellte, auf der realen Abbildung nicht sichtbare Zielführungslinie 74 zu einer Zielposition 75, welche sich an der Darstellungsposition eines schlüsselbetätigbaren Schalters befindet 76, an dem der Beifahrerairbag abgeschaltet werden kann. Die geometrischen Objekte 72-1 bis 72-8, welche als Kreise ausgebildet sind, sind hinsichtlich ihrer Mittelpunkte entlang der Zielführungslinie 74 angeordnet, wobei die Durchmesser monoton abnehmen. Hierdurch entsteht ein so genannter Zielführungstunnel 77.
Anhand von 6 soll ein möglicher Verfahrensablauf einer komplexeren Informationsvermittlung, beispielsweise einer Reparatureinleitung, mittels erweiterter Realität exemplarisch erläutert werden. Dieser Verfahrensablauf kann beispielsweise in dem oben im Zusammenhang mit 3 beschriebenen Verfahren an die Stelle des Verfahrensschritts 61 treten. Aus einem Speicher werden Hinweisinformationen aufgelesen 81 und virtuelle errechnete Objekte erzeugt 82, die dann in einer Darstellung der realen Abbildung überlagert dargestellt werden 83.
Anschließend wird geprüft, ob die Informationsvermittlung abgeschlossen ist 84. Ist dies der Fall, so endet das Verfahren 85. Ist dies nicht der Fall, so kann der Nutzer beispielsweise aufgefordert werden, eine weitere Abbildung des Fahrzeugs oder eines Teils hiervon zu erfassen 86. Beispielsweise kann hierbei als Konturmodell ein Objekt oder Teil des Fahrzeugs dargestellt werden, welches der Nutzer zur Deckung mit einem realen Objekt des Fahrzeugs bringen soll, um so möglichst den gewünschten Ausschnitt des Straßenfahrzeugs in der Weise abzubilden, wie es für die weitere Informationsvermittlung geeignet ist. Auch hierbei kann eine oben beschriebene Zielführung über eine Einblendung eines Zielführungshinweises oder von Zielführungshinweisen während der fortlaufenden Erfassung von Abbildungen einer Abbildungssequenz verwendet werden, um einem Nutzer in Echtzeit das Auffinden des Objekts oder Teils des Fahrzeugs zu erleichtern oder ein Abkommen von diesem Objekt oder Teil zu verhindern. Anschließend wird somit eine weitere Abbildung erfasst 87 und erneut eine Objekterkennung durchgeführt 88, um in der Abbildung ein Objekt zu identifizieren und dessen Lage, Orientierung, Größe, Verzerrung etc. zu ermitteln.
Anschließend wird das Verfahren beim Verfahrensschritt 81 ”Auslesen weiterer Hilfsinformationen” fortgesetzt. Auf diese Weise können komplexe Reparaturabläufe auf einfache und intuitive Weise einem Nutzer vermittelt werden. Exemplarisch ist dies in 7 und 8 dargestellt. In 7 ist eine von dem Nutzer erfasste Abbildung dargestellt.
In 8 ist die Ansicht dargestellt, bei der einem Kühlergrill 91 eine schematische Darstellung des Kühlergrills 92 überlagert ist, der dann animiert von dem Straßenfahrzeug wegbewegt wird, um die Bewegung zu zeigen, die der Nutzer mit dem Kühlergrill ausführen soll, um diesen von dem Straßenfahrzeug zu entfernen.
In 9 ist eine weitere Darstellung exemplarisch gezeigt, in der zur Erläuterung einer Temperaturwahl einem Temperaturwahlschalter 95 lage- und orientierungsgerecht ein Pfeil 96 sowie ein Textfeld 97 mit Erläuterungstext überlagert sind.
Bei der Ausführungsform nach 3 wurde davon ausgegangen, dass der Nutzer zunächst eine Funktion oder ein Objekt, über welches er Informationen wünscht, aus einem Menü auswählt oder anhand einer Suchfunktion ermittelt. Ebenso sind jedoch Ausführungsformen möglich, bei denen der Nutzerunmittelbar eine Abbildung des Objekts erfasst, über welches er eine Informationsvermittlung wünscht. In einem solchen Fall wird zunächst eine Abbildung erfasst und anschließend eine Objekterkennung ausgeführt, um das entsprechende Objekt zu identifizieren, die zugehörigen Zusatzinformationen aufzufinden, entsprechende auszugebende virtuelle Informationen zu errechnen und zu erzeugen und diese überlagert über die Abbildung auszugeben.
Anhand von 10 soll eine weitere Ausführungsform eines Verfahrens beschrieben werden, welches in jenen Situationen von Vorteil ist, in denen eine Warn oder Fehlermeldung in dem Fahrzeug 1 auftritt. Nach einem Starten einer Informationsvermittlungsapplikation 101 auf der tragbaren Einrichtung 7 wird eine Abbildung der Warnmeldung, beispielsweise eine Abbildung der Multifunktionsanzeige im Cockpit des Fahrzeugs erfasst.
Dies ist exemplarisch in 11 dargestellt, in der der Nutzer eine Abbildung der in dem Multifunktionsdisplay 201 auftretenden Warnleuchten 202, 203 abbildet. Die Abbildung 204 ist zentral schematisch dargestellt. Nach dem Erfassen der Abbildung 102 wird eine Objekterkennung 103 ausgeführt. Nachdem die Warnsymbole identifiziert sind, wechselt die Informationsvermittlungsapplikation automatisch in einen Diagnose und/oder Reparaturmodus 104. Hierdurch wird ein Auslesen von Status- und/oder Diagnosedaten aus dem Fahrzeug durch die tragbare Einrichtung initiiert 105. Vorteilhafterweise werden anhand der empfangenen Status- und/oder Diagnosedaten die Funktionen eingeschränkt, welche einem Nutzer zur Handlungsanweisung angeboten werden 106.
Die möglichen Handlungsoptionen werden dem Nutzer anschließend grafisch dargestellt 107. Dieses ist in 12 schematisch dargestellt. Zum einen wird der Nutzer mittels einer Anweisung 211 angewiesen, den Motor auszustellen, und ihm als eine Alternative 212 angeboten, einen Kundendienst in einem Service-Center zu kontaktieren. Alternativ können weitere Diagnoseanweisungen ausgewählt werden. Anschließend wird eine Nutzereingabe erfasst 108 und ausgewertet. Entweder wird eine Reparatur- oder Diagnoseanweisung ausgegeben, welche analog dem Verfahren nach 6 fortgesetzt wird 109. Alternativ, sofern der Nutzer dies ausgewählt hat, wird eine Kommunikationsverbindung mit dem Service-Center hergestellt 110. Diesem werden die Status- und/oder Diagnosedaten übermittelt 111 und im Service-Center ausgewertet 112. Von dort empfängt die tragbare Einrichtung 7 Empfehlungs- und Hilfsinformationen 113, die anschließend an den Nutzer mittels erweiteter Realität vermittelt werden 114. Es kann erneut analog dem Verfahren nach 6 erfolgen. Vorteilhaft an diesem Verfahren ist, dass die Diagnosedaten und Warnmeldungen unmittelbar aus dem Fahrzeug ausgelesen und an das Service-Center übermittelt werden, so dass Fehlerquellen, welche in einer Eingabe und/oder Beschreibung von Fehlern durch einen Nutzer entstehen, vermieden werden.
Bei den beschriebenen unterschiedlichen Verfahren wird an unterschiedlichen Stellen eine Objekterkennung auszuführen. Dieses erfordert eine hohe Rechenleistung der Prozessoreinheit der tragbaren Einrichtung. Aus dem Stand der Technik ist es ebenfalls bekannt, die Bilddaten der Abbildung an einen zentralen Server eines Service-Centers zu übertragen und die Objekterkennung auf dem Server auszuführen. Dies ist jedoch häufig unbefriedigend, da auch ein solches Service-Center, welches dann von mehreren Nutzern verwendet wird, häufig in Leistungsgrenzen geführt werden kann. Darüber hinaus ist eine Kommunikationssicherheit und -verfügbarkeit über funkvermittelte Kommunikationsnetze 22 nicht überall gewährleistet. Daher ist nach einem weiteren Aspekt der Erfindung vorgesehen, die Objekterkennung auf den Fahrzeugmikroprozessor auszulagern.
In 13 ist schematisch ein Verfahrensablauf dargestellt, der ein solches Verfahren veranschaulicht. Zunächst findet eine Abbildungserfassung 141 statt. Anschließend werden Bilddaten an das Fahrzeug übertragen 142. Auf dem Fahrzeugmikroprozessor 4 wird anschließend eine Objekterkennung ausgeführt 143. Diese identifiziert Objekte, ermittelt deren Position, Orientierung, Größe sowie Verzerrung, welche durch die Abbildungsgeometrie der tragbaren Einrichtung sowie deren Aufnahmeposition relativ zu dem Fahrzeug bedingt ist. Anschließend werden die zu den identifizierten Objekten oder dem identifizierten Objekt zugehörigen Zusatzinformationen aus einem Speicher 9 ausgelesen und für eine Darstellung aufbereitet 144. Anschließend werden Wiedergabebilddaten erzeugt 145, in denen die Zusatzinformationen der Abbildung überlagert sind. Anschließend werden die Wiedergabebilddaten auf eine Anzeigeeinrichtung, beispielsweise des Fahrzeugs, ausgegeben 146. Alternativ oder zusätzlich (wie bei der in 13 dargestellten Ausführungsform) können die Wiedergabebilddaten zu der tragbaren Einrichtung übertragen werden 147 und auf der Anzeigeeinrichtung der tragbaren Einheit dargestellt werden 148. Auch dieses Verfahren bzw. der Verfahrensabschnitt kann selbstverständlich iterativ durchgeführt werden. Der Vorteil besteht darin, dass unabhängig von einem langreichweitigen Kommunikationsnetz eine Auslagerung der Objekterkennung auf einen leistungsfähigeren Prozessor erfolgen kann. Es ist lediglich eine Kommunikationsverbindung zwischen der tragbaren Einrichtung 7 und dem Fahrzeug 1 erforderlich. Diese kann in einzelnen Fällen sogar über eine drahtgebundene Kommunikationsschnittstelle hergestellt werden. Der Vorteil, die Wiedergabebilddaten auf der Fahrzeuganzeigeeinrichtung 2 des Fahrzeugs 1 wiederzugeben, besteht darin, dass diese in der Regel einen hinsichtlich ihrer Fläche und Auflösung verbesserte Anzeigeeinrichtung gegenüber der Anzeigeeinrichtung 11 der tragbaren Einrichtung 7 darstellt. Ferner wird ein Nutzer viele Informationen über Gegenstände und Objekte sowie Funktionen abrufen, die sich im Fahrzeugcockpit befinden, so dass eine Betrachtung der Fahrzeuganzeigeeinrichtung 2 des Fahrzeugs 1 ohne Schwierigkeiten möglich ist. Die Übertragung der Wiedergabebilddaten an die tragbare Einrichtung und alternative oder zusätzliche Darstellung auf deren Anzeigeeinrichtung ist jedoch in den Fällen vorteilhaft, in denen Informationen über Gegenstände oder Objekte gewünscht werden, die im Motorraum oder an anderen Orten außen am Straßenfahrzeug angeordnet sind.
Um eine Objekterkennung zu verbessern, ist es vorteilhaft, unterschiedliche Beleuchtungssituationen zu berücksichtigen. Bei einer Ausführungsform ist daher vorgesehen, dass Korrekturinformationen ermittelt werden. Anhand von 14 soll erläutert werden, wie . dieses nach einer Ausführungsform geschieht. Zunächst wird dem Nutzer eine Vorgabe angezeigt, dass eine Referenzabbildung erfasst werden soll 161. Hierbei kann beispielsweise auf der Anzeigeeinrichtung 11 der tragbaren Einrichtung 7 ein Objekt des Fahrzeugs, hier ein Radio-Navigationsystem, als Linienmodell 231 dargestellt sein, von welchem der Nutzer eine Abbildung erfassen soll. Dieses ist exemplarisch in 15 dargestellt. Wird dieses Linienmodell 231 während des Erfassens auf der Anzeigeeinrichtung 11 der realen Abbildung überlagert dargestellt (s. 16), so kann der Nutzer die Abbildung 232 des realen Objekts zur Deckung mit dem Linienmodell 231 bringen und so die Referenzabbildung erfassen 162. Anschließend wird die Referenzabbildung 241 (s. 17) mit einer Vorlage 251 (s. 18) verglichen 163. Hierbei werden Beleuchtungskorrekturen abgeleitet 164. Diese Beleuchtungskorrekturen werden bei der nachfolgenden Objekterkennung von anderen Gegenständen und Objekten, für die der Nutzer eine Informationsvermittlung wünscht und daher eine Abbildung von diesen erfasst, verwendet 165.
Um eine Objekterkennung auszuführen, ist es in der Regel notwendig, Musterinformationen bereitzuhalten, die aus fotorealistischen Darstellungen der einzelnen Objekte abgeleitet sind. Um diese zu erhalten, ist es in der Vergangenheit notwendig gewesen, aus unterschiedlichen Betrachtungsrichtungen reale Abbildungen zu erfassen und auszuwerten. Da jedoch Fahrzeuge in einer großen Typen- und Variantenvielfalt, beispielsweise mit einer Vielzahl unterschiedlicher Lackierungen und/oder Farbgestaltungen, hergestellt werden, welche eine Mustererkennung deutlich beeinflussen, da hierdurch Hell-Dunkel-Kontraste beeinflusst werden, ist es nahezu unmöglich, optimal geeignete Musterinformationen für jedes Fahrzeug bereitzuhalten. Nach einem weiteren Aspekt ist daher vorgesehen, dass anhand von CAD-Daten, welche im Konstruktionsprozess der Fahrzeuge anfallen, für jede Fahrzeugvariante entsprechende Bilddaten erzeugt werden, die eine fotorealistische Darstellung des Fahrzeugs gegebenenfalls unter verschiedenen Betrachtungsrichtungen und unterschiedlichen Beleuchtungssituationen erzeugen, welche dann ausgewertet werden, um entsprechende Musterinformationen abzuleiten, die bei der Objekterkennung verwendet werden.
Es versteht sich für den Fachmann, dass es hier lediglich beispielhafte Ausführungsformen für unterschiedliche Verfahren und Verfahrensabschnitte gezeigt sind. Die tragbare Einrichtung, welche hier als Mobiltelefon beschrieben ist, kann auch eine Digitalkamera, ein Tablet-PC, ein persönlicher digitaler Assistenz oder Ähnliches sein. Auch die beschriebene Kommunikationsschnittstelle oder Kommunikationsschnittstellen sind nicht für alle Ausführungsformen erforderlich, sofern der notwendige Programmcode in der tragbaren Einrichtung enthalten ist oder auf diese übertragen werden kann.
Die unterschiedlichen Verfahren oder Teilverfahren, die hier beschrieben sind, können in beliebiger Weise kombiniert werden, um eine optimale Informationsvermittlung mit Hilfe von erweiterter Realität für einen Nutzer eines Fahrzeugs zu realisieren.
Bezugszeichenliste

1: Straßenfahrzeug
2: Fahrzeuganzeigeeinrichtung
3: Fahrzeugsteuereinrichtung
4: Fahrzeugmikroprozessor
5: Fahrzeugspeichereinrichtung
6: Fahrzeugkommunikationsschnittstelle
7: tragbare Einrichtung
8: Prozessoreinheit
9: Speicher
10: Bilderfassungseinrichtung
11: Anzeigeeinrichtung
12: Mobilfunkschnittstelle
13: weitere Schnittstelle
14: Erfassungseinrichtung für Nutzereingaben
21: Service-Center
22: Kommunikationsnetz
23: Service-Center-Schnittstelle
24: Service-Center-Prozessoreinheit
25: Service-Center-Speichereinrichtung
41 bis 46: Verfahrensschritte
51 bis 61: Verfahrensschritte
70: Abbildung
71: Zielführungshinweis
72-1 bis 72-8: geometrische Objekte
73: Startpunkt
74: Zielführungslinie
75: Zielposition
76: schlüsselbetätigbarer Schalter
77: Zielführungstunnel
81 bis 88: Verfahrensschritte
91: Kühlergrill
92: schematische Darstellung des Kühlergrills
95: Temperaturwahlschalter
96: Pfeil
97: Textfeld
101 bis 114: Verfahrensschritte
141 bis 148: Verfahrensschritte
161 bis 165: Verfahrensschritte
201: Multifunktionsdisplay
202, 203: Warnleuchten
204: Abbildung
211: Anweisung
212: alternativer Kundendienst
213: weitere Diagnoseanweisungen
231: Linienmodell
232: Darstellung eines Objekts
241: Referenzabbildung
251: Vorlage

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102006046965 A1 [0004]
WO 2009/120177 A1 [0005, 0008]
EP 1229475 B1 [0006]
DE 10307981 A1 [0007]

Claims

Verfahren zur Informationsvermittlung mittels einer erweiterten Realität im Zusammenhang mit einem Straßenfahrzeug (1) umfassend die Schritte: a) Erfassen einer Eingabe, um hierüber eine ausgewählte Funktion/ein ausgewählten Objekt des Straßenfahrzeugs (1) festzulegen; b) Erfassen einer Abbildung mittels einer tragbaren Einrichtung (7), die zumindest einen Teilbereich des Straßenfahrzeugs (1) abbildet; c) Identifizieren zumindest eines Objekts in der Abbildung, welches zumindest teilweise in der Abbildung dargestellt ist, anhand einer Auswertung der erfassten Abbildung; d) Ermitteln einer Zielposition in der Abbildung relativ zu dem mindestens einen identifizierten Objekt, wobei die Zielposition (75) eine Darstellungsposition der für eine Betätigung oder Ausführung der ausgewählten Funktion vorgesehenen Einrichtung des Straßenfahrzeugs oder eine Darstellungsposition des ausgewählten Objekts jeweils in der Abbildung ist oder eine Position auf oder an dem Rand der Abbildung ist, welche einen Hinweis auf die Position der für eine Betätigung oder Ausführung der ausgewählten Funktion vorgesehenen Einrichtung des Straßenfahrzeugs (1) oder die Position des ausgewählten Objekts jeweils relativ zu dem in der Abbildung erfassten Teilbereich angibt, sofern die für eine Betätigung oder Ausführung der ausgewählten Funktion vorgesehenen Einrichtung des Fahrzeugs oder das ausgewählte Objekt nicht in der Abbildung dargestellt sind, e) Darstellen der Abbildung auf einer Anzeigeeinrichtung, wobei der realen Abbildung Zusatzinformationen in Form eines Zielführungshinweises (71) überlagert werden, der auf die Zielposition (75) in der Abbildung weist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Zielführungshinweis (71) in Form mehrerer geometrischer Objekte (72-1) bis (72-8), welche eine äußere, vorzugsweise geschlossene, Kontur aufweisen und ansonsten flächig transparent sind, dargestellt wird, wobei ein Mittelpunkt oder Schwerpunkt eines der geometrischen Objekte (72) mit einem Startpunkt (73) in der dargestellten Abbildung, der vorzugsweise der Mittelpunkt der dargestellten Abbildung ist, zusammenfällt und die übrigen Mittelpunkte oder Schwerpunkte entlang einer gedachten Zielführungslinie (74) angeordnet sind, welche von dem Startpunkt in der Abbildung zu der Zielposition verläuft.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Durchmesser oder Abmessungen der geometrischen Objekte (72-1) bis (72-8) gemäß der Anordnung ihrer Mittelpunkte oder Schwerpunkte entlang der Zielführungslinie (74) vom Startpunkt (73) in der Abbildung in Richtung auf die Zielposition (74) monoton, vorzugsweise streng monoton, abnehmen.
Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass sich die Konturen der geometrischen Objekte, deren Mittelpunkte oder Schwerpunkte benachbart zueinander entlang der Zielführungslinie (74) angeordnet sind, in der überlagerten Darstellung schneiden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Verfahrensschritte b) bis e) iterativ ausgeführt werden, bis die für eine Betätigung oder Ausführung der ausgewählten Funktion vorgesehenen Einrichtung oder das ausgewählte Objekt in einem vorgegebenen Bereich der Abbildung und/oder in einer vorgegebenen Größe auf der Anzeigefläche einer Anzeigeeinrichtung der tragbaren Einrichtung dargestellt werden, und anschließend zusätzlich als Zusatzinformationen Hilfsinformationen, vorzugsweise in Form einer erweiterten Realität, ausgegeben werden.
Verfahren zur Informationsvermittlung mittels einer erweiterten Realität im Zusammenhang mit einem Straßenfahrzeug (1) umfassend die Schritte: α) Erfassen einer Abbildung oder einer Sequenz von Abbildungen mittels einer tragbaren Einrichtung (7), die zumindest einen Teilbereich des Straßenfahrzeugs (1) abbildet; β) Übertragen der die Abbildung oder die Abbildungssequenz repräsentierenden Bilddaten an eine Fahrzeugsteuereinrichtung (3) in dem Straßenfahrzeug (1); γ) Ausführen einer Objektidentifizierung anhand der Bilddaten, um in der Abbildung oder der Sequenz von Abbildungen zumindest teilweise dargestellte Objekte des Straßenfahrzeugs (1) zu erkennen; und δ) Darstellen der Abbildung oder der Sequenz von Abbildungen auf einer Anzeigeeinrichtung (2, 11), wobei relativ zu dem erkannten Objekt zusätzlich Zusatzinformationen überlagert dargestellt werden.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass anhand der Bilddaten zusätzlich die Aufnahmeposition der tragbaren Einrichtung relativ zu dem Straßenfahrzeug (1) ermittelt wird.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Zusatzinformationen mindestens ein virtuelles errechnetes Objekt umfassen, das lage- und orientierungsgerecht Objekten in der Abbildung oder den Abbildungen der Sequenz von Abbildungen überlagert dargestellt werden.
Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Darstellung gemäß Schritt δ) auf einer Anzeigeeinrichtung (2) des Straßenfahrzeugs (1) vorgenommen wird.
Verfahren nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass die Darstellung gemäß Schritt δ) alternativ oder zusätzlich auf einer Anzeigeeinrichtung (11) der tragbaren Einrichtung (7) vorgenommen wird, wobei zumindest die Zusatzinformationen zu dem mobilen Gerät übertragen werden.
Verfahren nach einem der Ansprüche 6 bis 10, dadurch gekennzeichnet, dass Wiedergabebilddaten, welche die überlagerten Zusatzinformationen und die erfasste Abbildung oder die Sequenz von Abbildungen umfassen, von der Fahrzeugsteuereinrichtung (3) des Straßenfahrzeugs (1) erzeugt werden und, falls eine Wiedergabe gemäß Verfahrensschritt δ) auf der Anzeigevorrichtung (11) der tragbaren Einrichtung (7) erfolgt, zu dieser übertragen werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass eine Applikation zur Informationsvermittlung mittels einer erweiterten Realität (AR) im Zusammenhang mit einem Straßenfahrzeug (1) auf einer tragbaren Einrichtung gestartet wird.
Verfahren nach einem der Ansprüche 1 bis 5 oder 12, dadurch gekennzeichnet, dass vor dem Ausführen des Schritts a) aa) mit der tragbaren Einrichtung (7) eine Identifikationsabbildung erfasst wird, mittels der eine Kennung des Straßenfahrzeugs (1), welche zumindest den Fahrzeugtyp, vorzugsweise auch dessen Ausstattungsvariante angibt, erfasst wird, bb) Kennungsinformationen an einen Server übertragen werden; cc) Empfangen von zu dem Straßenfahrzeug (1) passende Informationen von dem Server, die zumindest Mustererkennungsinformationen, anhand derer im Schritt c) die Position der tragbaren Einrichtung ermittelt wird, und/oder Zusatzinformationen, insbesondere Informationen über die verfügbaren und für die Informationsvermittlung auswählbaren Funktionen und/oder Objekt sowie über die Anordnung der für eine Betätigung oder Ausführung der auswählbaren Funktion vorgesehenen Einrichtungen und der auswählbaren Objekte, umfassen.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die Kennung in der tragbaren Einrichtung aus der Identifikationsabbildung extrahiert wird und als Kennungsinformation zu dem Server übertragen wird.
Verfahren nach einem der Ansprüche 13 oder 14, dadurch gekennzeichnet, dass die Identifikationsabbildung als Kennungsinformation zu dem Server übertragen wird.
Verfahren nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass auch die Hilfsinformationen von dem Server zu der tragbaren Einrichtung (7) übermittelt werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Zusatzinformationen virtuelle errechnete Objekte umfassen, die lage- und orientierungsgerecht in der Abbildung oder den Abbildungen der Sequenz von Abbildungen überlagert dargestellt werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass auf der tragbaren Einrichtung (7) ein Wartungs- und/oder Reparaturmodus aktiviert wird, in dem eine Verbindung mit dem Straßenfahrzeug (1) ausgebildet wird, und dessen Status und/oder Diagnosedaten ausgelesen werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die für die Auswahl zur Verfügung stehenden Funktionen auf Funktionen zur Behandlung von in den Status- und/oder Diagnosedaten enthaltenen Warn- und/oder Fehlermeldungen eingeschränkt wird,
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als eine der auswählbaren Funktionen eine Service-Center-Kontaktaufnahme zur Auswahl gestellt wird, bei deren Auswahl eine Verbindung mit einem Service-Center (21) hergestellt wird.
Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass dem Service-Center (21) die erfassten Status- und/oder Diagnosedaten übermittelt werden.
Verfahren nach einem der Ansprüche 20 oder 21, dadurch gekennzeichnet, dass von dem Service-Center (21) zusätzliche Hilfsinformationen empfangen und zur Anzeige auf der Anzeigeeinrichtung gebracht werden.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Musterinformationen anhand von CAD-Modellen für die einzelnen Ausstattungsvarianten eines Fahrzeugtyps errechnet werden.
Verfahren nach Anspruch 23, dadurch gekennzeichnet, dass die Musterinformationen aus errechneten fotorealistischen Darstellungen der Objekte, Teilbereiche des Straßenfahrzeugs (1) und/oder des gesamten Straßenfahrzeugs (1) abgeleitet sind.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich mit der tragbaren Einrichtung eine Referenzabbildung eines vorgegebenen Referenzobjekts erfasst wird, welche zum Ableiten einer Beleuchtungssituation bei der Objekt und/oder Aufnahmepositionsbestimmung berücksichtigt wird.
Verfahren nach Anspruch 25, dadurch gekennzeichnet, dass vor und/oder während des Erfassens der Referenzabbildung das Referenzobjekt auf der Anzeigeeinrichtung der tragbaren Einrichtung zumindest schematisch grafisch, vorzugsweise als Konturmodell, dargestellt wird.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Erklärungsinformationen schrittweise eine Reparaturprozess erklären.
Verfahren nach Anspruch 27, dadurch gekennzeichnet, dass in dem Reparaturprozess weitere Abbildungen des Fahrzeugs oder von Teilbereichen des Fahrzeugs gemäß einer Vorgabe erfasst und ausgewertet werden, wobei die Vorgabe vor oder während des Erfassens der weiteren Abbildung auf der Anzeigeeinrichtung der tragbaren Einrichtung in Form einer zumindest schematisch grafischen, vorzugsweise eines als Konturmodell ausgebildeten, Darstellung eines zu erfassenden Objekts oder eines zu erfassenden Teils des Fahrzeugs dargestellt wird.
Computerprogrammprodukt zur Informationsvermittlung mittels einer erweiterten Realität im Zusammenhang mit einem Straßenfahrzeug (1), welches auf einer Prozessoreinheit (8) einer tragbaren Einrichtung (7), welche eine Bilderfassungseinrichtung (10) und eine Anzeigeeinrichtung (11) sowie mindestens eine Erfassungseinrichtung für Nutzereingaben (14) umfasst, ausführbar ist, um ein Verfahren nach einem der Ansprüche 1 bis 28 auszuführen.
Tragbare Einrichtung zur Informationsvermittlung mittels einer erweiterten Realität im Zusammenhang mit einem Straßenfahrzeug, wobei die tragbare Einrichtung einen Speicher (9), eine Prozessoreinheit (8), eine Bilderfassungseinrichtung (10), eine Anzeigeeinrichtung (11) sowie mindestens eine Erfassungseinrichtung für Nutzereingaben (14) umfasst, wobei der Speicher (9) einen ausführbaren Programmcode umfasst, dessen Ausführung auf der Prozessoreinheit (8) die Ausführung eines Verfahrens gemäß eines der Ansprüche 1 bis 28 bewirkt.