DE102015108498A1

DE102015108498A1 - Bereitstellen einer fahrzeugbenutzerhandbuchinformation unter verwendung einer objekterkennung an einer mobilen einrichtung

Info

Publication number: DE102015108498A1
Application number: DE102015108498.8A
Authority: DE
Inventors: Danilo E. Gurovich; Keith A. Fry; Shane M. McCutchen; Daniel E. Rudman; Joseph M. Goree II
Original assignee: GM Global Technology Operations LLC; General Motors LLC
Current assignee: GM Global Technology Operations LLC; General Motors LLC
Priority date: 2014-06-02
Filing date: 2015-05-29
Publication date: 2015-12-03
Also published as: CN105183444B; US20150347848A1; US9552519B2; CN105183444A

Abstract

Es werden ein Kommunikationssystem, das ein Fahrzeug und eine mobile Einrichtung umfasst, und ein Verfahren, das dieses System verwendet, um eine Fahrzeugbenutzerhandbuchinformation bereitzustellen, bereitgestellt. Das Verfahren umfasst die Schritte, dass: ein digitales Bild eines Abschnitts eines Fahrzeugs empfangen wird; ein Objekt des Fahrzeugs in dem digitalen Bild identifiziert wird; das Objekt mit zumindest einem Referenzobjektbild, das in einer Objektbibliothek gespeichert ist, die mehrere Referenzobjektbilder umfasst, in Verbindung gebracht wird; eine Benutzerhandbuchinformation basierend auf der Verbindung angezeigt wird; und zumindest ein Abschnitt des digitalen Bilds in der Objektbibliothek als neues Referenzobjektbild für zukünftige Identifikationen gespeichert wird.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Objektdetektion in einem Fahrzeug unter Verwendung einer mobilen Einrichtung.
HINTERGRUND
Fahrzeuge bieten heutzutage eine wachsende Anzahl an für einen Benutzer auswählbaren Funktionen, insbesondere für den Fahrer, an. In der Vergangenheit wurde eine Information bezüglich dieser auswählbaren Funktionen in einem Benutzerhandbuch bereitgestellt, das typischerweise im Handschuhfach des Fahrzeugs mitgeführt wurde. In letzter Zeit wurde die Verwendung eines kamerafähigen Smartphones oder Tablets zur Verwendung beim Bereitstellen solch einer Information vorgeschlagen. eKurzinfo^TM ist ein derartiges System, wofür ein öffentlich zugänglicher Videoclip vorhanden ist, der dessen Funktionalität darstellt.
Bei einem derartigen System kann, wenn einem Fahrzeugbenutzer ein Knopf oder Bedienelement nicht bekannt ist, der Benutzer eine Kameraeinrichtung in dem Smartphone oder Tablet verwenden und den bestimmten Knopf oder das bestimmte Bedienelement filmen. Unter Verwendung der Anzeige des Smartphones oder Tablets kann dann eine Information bezüglich des Knopfs bereitgestellt werden. Ferner kann das Smartphone oder Tablet verwendet werden, um das Durchführen einer Wartungsroutine (wie beispielsweise Einfüllen des Kühlmittels) zu unterstützen.
ZUSAMMENFASSUNG
Gemäß einer Ausführungsform der Erfindung wird ein Computerprogrammprodukt bereitgestellt, das ein nichtflüchtiges von einem Computer lesbares Medium mit darauf gespeicherten Programmanweisungen zur Verwendung durch eine kamerafähige mobile Einrichtung umfasst. Bei einer Ausführung durch die mobile Einrichtung bewirken die an dem von einem Computer lesbaren Medium gespeicherten Programmanweisungen, dass die mobile Einrichtung die Schritte ausführt, dass: ein digitales Bild eines Abschnitts eines Fahrzeugs empfangen wird; ein primäres Objekt des Fahrzeugs in dem digitalen Bild identifiziert wird; das primäre Objekt mit zumindest einem Referenzobjektbild, das in einer Objektbibliothek gespeichert ist, die mehrere Referenzobjektbilder umfasst, in Verbindung gebracht wird; eine Benutzerhandbuchinformation basierend auf der Verbindung angezeigt wird; und das digitale Bild als neues Referenzobjektbild für zukünftige Identifikationen in der Objektbibliothek gespeichert wird.
Gemäß einer Ausführungsform der Erfindung wird ein Computerprogrammprodukt bereitgestellt, das ein nichtflüchtiges von einem Computer lesbares Medium mit darauf gespeicherten Programmanweisungen zur Verwendung durch eine kamerafähige mobile Einrichtung umfasst. Bei einer Ausführung durch die mobile Einrichtung bewirken die an dem von einem Computer lesbaren Medium gespeicherten Programmanweisungen, dass die mobile Einrichtung die Schritte ausführt, dass: eine digitale Abtastung empfangen wird, die zumindest ein Fahrzeugobjekt enthält; Sprachaudioinhalt empfangen wird, der ein oder mehrere Worte enthält, die mit einem Fahrzeugobjekt/Fahrzeugobjekten in Verbindung stehen; das zumindest eine Fahrzeugobjekt basierend auf der digitalen Abtastung und dem einen oder den mehreren Worten des Sprachaudioinhalts identifiziert wird; und eine Benutzerhandbuchinformation angezeigt wird, die mit dem zumindest einen Fahrzeugobjekt in Verbindung steht.
Gemäß einer Ausführungsform der Erfindung wird ein Verfahren zum Bereitstellen einer Fahrzeugbenutzerhandbuchinformation bereitgestellt. Das Verfahren umfasst die Schritte, dass: ein digitales Bild eines Abschnitts eines Fahrzeugs empfangen wird; ein Objekt des Fahrzeugs in dem digitalen Bild identifiziert wird; das Objekt mit zumindest einem Referenzobjektbild in Verbindung gebracht wird, das in einer Objektbibliothek gespeichert ist, die mehrere Referenzobjektbilder umfasst; eine Benutzerhand buchinformation basierend auf der Verbindung angezeigt wird; und zumindest ein Abschnitt des digitalen Bilds in der Objektbibliothek als neues Referenzobjektbild für zukünftige Identifikationen gespeichert wird.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Hierin nachfolgend werden eine oder mehrere Ausführungsformen der Erfindung in Verbindung mit den beigefügten Zeichnungen beschrieben, in denen gleiche Bezugszeichen gleiche Elemente bezeichnen, und wobei:
1 ein Blockdiagramm ist, das eine Ausführungsform eines Kommunikationssystems zeigt, das das hierin offenbarte Verfahren verwenden kann;
2 ein schematisches Diagramm einer mobilen Einrichtung ist, das eine Architektur einer internen Kommunikation darstellt;
3 ein Flussdiagramm ist, das ein Verfahren zum Bereitstellen einer Benutzerhandbuchinformation darstellt;
4 eine Vorderansicht einer Fahrzeugspiegelanordnung ist;
5 eine Draufsicht der mobilen Einrichtung ist, die einen Abschnitt der Fahrzeugspiegelanordnung von 4 abbildet;
6 eine Draufsicht der mobilen Einrichtung ist, die einen anderen Abschnitt der Fahrzeugspiegelanordnung von 4 abbildet;
7 eine Draufsicht der mobilen Einrichtung ist, die ein Verfahren zum Anzeigen einer Fahrzeugbenutzerhandbuchinformation darstellt;
8 eine Draufsicht der mobilen Einrichtung ist, die ein anderes Verfahren zum Anzeigen einer Fahrzeugbenutzerhandbuchinformation darstellt; und
9 eine Draufsicht der mobilen Einrichtung ist, die ein anderes Verfahren zum Anzeigen einer Fahrzeugbenutzerhandbuchinformation darstellt.
DETAILLIERTE BESCHREIBUNG DER DARGESTELLTEN AUSFÜHRUNGSFORM(EN)
Das nachstehend beschriebene Verfahren betrifft das Verwenden einer Kamera in einer mobilen Einrichtung zusammen mit einer Softwareanwendung, die eine Objekterkennungsmaschine umfasst, um einem Fahrzeugbenutzer ein virtuelles, benutzerfreundliches Fahrzeugbenutzerhandbuch bereitzustellen. Um das Benutzerhandbuch abzurufen, ordnet der Benutzer eine Fahrzeugkomponente oder ein Fahrzeugobjekt in dem Sichtfeld (FOV von field-of-view) der Kamera an und identifiziert die Erkennungsmaschine dann das erfasste Fahrzeugobjekt. Die mobile Einrichtung kann dann eine Information, die mit dem erkannten Objekt in Verbindung steht, an der mobilen Einrichtung anzeigen. In einigen Fällen kann die mobile Einrichtung Techniken einer erweiterten Realität (AR von augmented reality) einsetzen. Ferner kann die mobile Einrichtung Benutzersprache in Verbindung mit dem erfassten Bild empfangen, um die Erkennung weiter zu verbessern oder die bestimmte Abfrage des Benutzers spezifischer zu identifizieren. Die Softwareanwendungsgenauigkeit kann sich auch verbessern, je häufiger der Benutzer das virtuelle Benutzerhandbuch verwendet, da das erfasste Bild gespeichert und während zukünftiger Identifikationen verwendet werden kann.
Dieses System und Verfahren werden nachstehend in Bezug auf 2–9 beschrieben, als würden sie in Verbindung mit dem in 1 gezeigten Mobilfahrzeugkommunikationssystem verwendet werden.
Kommunikationssystem –
Bezug nehmend auf 1 ist eine Betriebsumgebung gezeigt, die ein Mobilfahrzeugkommunikationssystem 10 umfasst und die verwendet werden kann, um das hierin offenbarte Verfahren zu realisieren. Das Kommunikationssystem 10 umfasst allgemein ein Fahrzeug 12, ein oder mehrere drahtlose Trägersysteme 14, ein Bodenkommunikationsnetz 16, einen Computer 18 und ein Call Center 20. Es ist zu verstehen, dass das offenbarte Verfahren mit jeder Anzahl von verschiedenen Systemen verwendet werden kann und nicht speziell auf die hier gezeigte Betriebsumgebung beschränkt ist. Auch sind die Architektur, die Konstruktion, der Aufbau und der Betrieb des Systems 10 sowie seine einzelnen Komponenten in der Technik allgemein bekannt. Somit liefern die folgenden Absätze lediglich einen kurzen Überblick über solch ein Kommunikationssystem 10; andere Systeme, die hier nicht gezeigt sind, könnten jedoch auch das offenbarte Verfahren einsetzen.
Das Fahrzeug 12 ist bei der dargestellten Ausführungsform als ein Personenkraftwagen gezeigt, es sei jedoch angemerkt, dass auch jedes andere Fahrzeug verwendet werden kann, das Motorräder, Lastwagen, Geländewagen (SUVs von sports utility vehicles), Wohnmobile (RVs von recreational vehicles), Schiffe, Luftfahrzeuge etc. umfasst. Ein Teil der Fahrzeugelektronik 28 ist in 1 allgemein gezeigt und umfasst eine Telematikeinheit 30, ein Mikrofon 32, einen oder mehrere Druckknöpfe oder andere Steuereingabeeinrichtungen 34, ein Audiosystem 36, eine visuelle Anzeige 38 und ein GPS-Modul 40 sowie eine Anzahl von Fahrzeugsystemmodulen (VSMs von vehicle system modules) 42. Einige dieser Einrichtungen können direkt mit der Telematikeinheit verbunden sein, wie beispielsweise das Mikrofon 32 und der Druckknopf/die Druckknöpfe 34, wohingegen andere indirekt unter Verwendung einer oder mehrerer Netzverbindungen, wie beispielsweise eines Kommunikationsbusses 44 oder eines Unterhaltungsbusses 46, verbunden sind. Beispiele geeigneter Netzverbindungen umfassen ein Controller Area Network (CAN), einen Media Oriented System Transfer (MOST), ein Local Interconnection Network (LIN), ein Local Area Network (LAN) und andere geeignete Verbindungen, wie beispielsweise Ethernet oder andere, die den bekannten ISO-, SAE- und IEEE-Standards und -Spezifikationen entsprechen, nur um einige zu nennen.
Die Telematikeinheit 30 kann eine OEM-Einrichtung (eingebettet) oder eine Nachrüsteinrichtung sein, die in dem Fahrzeug eingebaut ist und die eine drahtlose Sprach- und/oder Datenübermittlung über das drahtlose Trägersystem 14 und über einen drahtlosen Netzbetrieb ermöglicht. Dies ermöglicht dem Fahrzeug, mit dem Call Center 20, anderen telematikfähigen Fahrzeugen oder einer anderen Entität oder Einrichtung zu kommunizieren. Die Telematikeinheit verwendet vorzugsweise Funkübertragungen, um einen Kommunikationskanal (einen Sprachkanal und/oder einen Datenkanal) mit dem drahtlosen Trägersystem 14 herzustellen, sodass Sprach- und/oder Datenübertragungen über den Kanal gesendet und empfangen werden können. Durch Bereitstellen von sowohl einer Sprach- als auch einer Datenübermittlung ermöglicht die Telematikeinheit 30 dem Fahrzeug, eine Anzahl von verschiedenen Diensten anzubieten, die jene umfassen, die mit Navigation, Telefonie, Notfallunterstützung, Diagnose, Infotainment etc. in Beziehung stehen. Die Daten können entweder über eine Datenverbindung, wie beispielsweise über eine Paketdatenübertragung über einen Datenkanal, oder über einen Sprachkanal unter Verwendung von in der Technik bekannten Techniken gesendet werden. Für kombinierte Dienste, die sowohl eine Sprachkommunikation (z. B. mit einem menschlichen Berater oder einer Sprachausgabeeinheit an dem Call Center 20) als auch eine Datenkommunikation (z. B. um GPS-Ortsdaten oder Fahrzeugdiagnosedaten für das Call Center 20 bereitzustellen) umfassen, kann das System einen einzelnen Anruf über einen Sprachkanal verwenden und nach Bedarf zwischen einer Sprach- und einer Datenübertragung über den Sprachkanal umschalten, und dies kann unter Verwendung von Fachleuten bekannten Techniken erfolgen.
Gemäß einer Ausführungsform verwendet die Telematikeinheit 30 eine zellulare Kommunikation gemäß entweder GSM- oder CDMA-Standards und umfasst sie somit einen standardisierten zellularen Chipsatz 50 für Sprachübermittlungen wie Freisprechanrufe, ein Drahtlosmodem für eine Datenübertragung, eine elektronische Verarbeitungseinrichtung 52, eine oder mehrere digitale Speichereinrichtungen 54 und eine Dualantenne 56. Es sei angemerkt, dass das Modem entweder durch eine Software realisiert sein kann, die in der Telematikeinheit gespeichert ist und durch den Prozessor 52 ausgeführt wird, oder dass es eine separate Hardwarekomponente sein kann, die sich in der Telematikeinheit 30 oder außerhalb dieser befindet. Das Modem kann unter Verwendung jeder Anzahl von verschiedenen Standards oder Protokollen arbeiten, wie beispielsweise EVDO, CDMA, GPRS und EDGE. Ein drahtloser Netzbetrieb zwischen dem Fahrzeug und anderen vernetzten Einrichtungen kann auch unter Verwendung der Telematikeinheit 30 ausgeführt werden. Zu diesem Zweck kann die Telematikeinheit 30 ausgestaltet sein, um gemäß einem oder mehreren drahtlosen Protokollen, wie beispielsweise einem beliebigen der IEEE 802.11-Protokolle, WiMAX oder Bluetooth, drahtlos zu kommunizieren. Bei einer Verwendung für eine paketvermittelte Datenübermittlung, wie beispielsweise TCP/IP, kann die Telematikeinheit mit einer statischen IP-Adresse konfiguriert sein oder kann sie aufgebaut sein, um automatisch eine zugeordnete IP-Adresse von einer anderen Einrichtung an dem Netzwerk, wie beispielsweise einem Router, oder von einem Netzadressenserver zu empfangen.
Der Prozessor 52 kann jeder Typ von Einrichtung sein, der elektronische Anweisungen verarbeiten kann, und kann Mikroprozessoren, Mikrocontroller, Host-Prozessoren, Controller, Fahrzeugkommunikationsprozessoren und anwendungsspezifische integrierte Schaltkreise (ASICs von application specific integrated circuits) umfassen. Er kann ein dedizierter Prozessor sein, der nur für die Telematikeinheit 30 verwendet wird, oder er kann von anderen Fahrzeugsystemen gemeinsam genutzt werden. Der Prozessor 52 führt verschiedene Typen von digital gespeicherten Anweisungen aus, wie beispielsweise Software- oder Firmwareprogramme, die in dem Speicher 54 gespeichert sind und der Telematikeinheit ermöglichen, eine große Vielzahl von Diensten bereitzustellen. Beispielsweise kann der Prozessor 52 Programme ausführen oder Daten verarbeiten, um mindestens einen Teil des hierin erläuterten Verfahrens auszuführen.
Die Telematikeinheit 30 kann verwendet werden, um einen vielseitigen Bereich von Fahrzeugdiensten bereitzustellen, die eine drahtlose Übermittlung zu und/oder von dem Fahrzeug umfassen. Solche Dienste umfassen: Turn-by-Turn-Anweisungen und andere navigationsbezogene Dienste, die in Verbindung mit dem GPS-basierten Fahrzeugnavigationsmodul 40 bereitgestellt werden; eine Airbag-Einsatzbenachrichtigung und andere Notfall- oder Pannenhilfedienste, die in Verbindung mit einem oder mehreren Kollisionssensorschnittstellenmodulen bereitgestellt werden, wie beispielsweise einem Karosseriesteuermodul (nicht gezeigt); eine Diagnoseberichterstattung unter Verwendung eines oder mehrerer Diagnosemodule; und Infotainment-bezogene Dienste, bei denen Musik, Webseiten, Filme, Fernsehprogramme, Videospiele und/oder andere Informationen durch ein Infotainment-Modul (nicht gezeigt) heruntergeladen werden und für eine sofortige oder spätere Wiedergabe gespeichert werden. Die oben aufgelisteten Dienste sind keineswegs eine vollständige Liste aller Fähigkeiten der Telematikeinheit 30, sondern sind lediglich eine Aufzählung einiger der Dienste, die die Telematikeinheit anbieten kann. Ferner sei angemerkt, dass mindestens einige der zuvor genannten Module in Form von Softwareanweisungen realisiert sein könnten, die innerhalb oder außerhalb der Telematikeinheit 30 gespeichert sind, dass sie Hardwarekomponenten sein könnten, die sich innerhalb oder außerhalb der Telematikeinheit 30 befinden, oder dass sie miteinander oder mit anderen Systemen, die sich in dem Fahrzeug befinden, integriert sein könnten und/oder von diesen gemeinsam genutzt werden könnten, nur um einige Möglichkeiten zu nennen. In dem Fall, dass die Module als VSMs 42 realisiert sind, die außerhalb der Telematikeinheit 30 angeordnet sind, könnten sie den Fahrzeugbus 44 verwenden, um Daten und Befehle mit der Telematikeinheit auszutauschen.
Das GPS-Modul 40 empfängt Funksignale von einer Konstellation 60 von GPS-Satelliten. Aus diesen Signalen kann das Modul 40 die Fahrzeugposition ermitteln, die verwendet wird, um dem Fahrer des Fahrzeugs Navigations- und andere positionsbezogene Dienste bereitzustellen. Eine Navigationsinformation kann an der Anzeige 38 (oder an einer anderen Anzeige innerhalb des Fahrzeugs) dargestellt werden oder kann verbal dargestellt werden, wie es bei einem Bereitstellen einer Turn-by-Turn-Navigation der Fall ist. Die Navigationsdienste können unter Verwendung eines dedizierten fahrzeuginternen Navigationsmoduls (das Teil des GPS-Moduls 40 sein kann) bereitgestellt werden, oder es können einige oder alle Navigationsdienste über die Telematikeinheit 30 ausgeführt werden, wobei die Positionsinformation zu Zwecken des Bereitstellens von Navigationskarten, Kartenanmerkungen (Punkte von Interesse, Restaurants etc.), Routenberechnungen und dergleichen für das Fahrzeug an einen entfernten Ort gesendet wird. Die Positionsinformation kann dem Call Center 20 oder einem anderen entfernten Computersystem, wie beispielsweise einem Computer 18, zu anderen Zwecken, wie beispielsweise einer Flottenverwaltung, bereitgestellt werden. Es können auch neue oder aktualisierte Kartendaten von dem Call Center 20 über die Telematikeinheit 30 auf das GPS-Modul 40 heruntergeladen werden.
Abgesehen von dem Audiosystem 36 und dem GPS-Modul 40 kann das Fahrzeug 12 andere Fahrzeugsystemmodule (VSMs) 42 in Form von elektronischen Hardwarekomponenten umfassen, die an dem Fahrzeug angeordnet sind und typischerweise einen Eingang von einem oder mehreren Sensoren empfangen und den erfassten Eingang verwenden, um Diagnose-, Überwachungs-, Steuerungs-, Berichterstattungs- und/oder andere Funktionen durchzuführen. Jedes der VSMs 42 ist vorzugsweise durch den Kommunikationsbus 44 mit den anderen VSMs sowie mit der Telematikeinheit 30 verbunden und kann programmiert sein, um Fahrzeugsystem- und -teilsystemdiagnosetests auszuführen. Beispielsweise kann ein VSM 42 ein Motorsteuermodul (ECM von engine control module) sein, das verschiedene Aspekte des Motorbetriebs steuert, wie beispielsweise Kraftstoffzündung und Zündzeitpunkt, kann ein anderes VSM 42 ein Antriebsstrangsteuermodul sein, das den Betrieb einer oder mehrerer Komponenten des Fahrzeugantriebsstrangs reguliert, und kann ein anderes VSM 42 ein Karosseriesteuermodul sein, das verschiedene elektrische Komponenten überwacht, die sich an dem Fahrzeug befinden, wie beispielsweise die Zentralverriegelung und die Scheinwerfer des Fahrzeugs. Gemäß einer Ausführungsform ist das Motorsteuermodul mit fahrzeugeigenen Diagnosemerkmalen (OBD-Merkmalen von on-board diagnostic features) ausgestattet, die eine Vielzahl von Echtzeitdaten bereitstellen, wie beispielsweise die, die von verschiedenen Sensoren einschließlich Fahrzeugemissionssensoren empfangen werden und eine standardisierte Reihe von Diagnosefehlercodes (DTCs von diagnostic trouble codes) bereitstellen, die einem Ingenieur ermöglichen, Fehlfunktionen in dem Fahrzeug schnell zu identifizieren und zu beheben. Fachleute werden erkennen, dass die oben erwähnten VSMs nur Beispiele einiger der Module sind, die in dem Fahrzeug 12 verwendet werden können, da auch zahlreiche andere möglich sind.
Die Fahrzeugelektronik 28 umfasst auch eine Anzahl von Fahrzeugbenutzerschnittstellen, die Fahrzeuginsassen ein Mittel zum Bereitstellen und/oder Empfangen einer Information bereitstellen und das Mikrofon 32, einen Druckknopf/Druckknöpfe 34, das Audiosystem 36 und die visuelle Anzeige 38 umfassen. Wie hierin verwendet umfasst der Begriff ”Fahrzeugbenutzerschnittstelle” breit jede geeignete Form von elektronischer Einrichtung, die sowohl Hardware- als auch Softwarekomponenten umfasst und sich an dem Fahrzeug befindet und einem Fahrzeugbenutzer ermöglicht, mit einer oder über eine Komponente des Fahrzeugs zu kommunizieren. Das Mikrofon 32 stellt einen Audioeingang für die Telematikeinheit bereit, um dem Fahrer oder einem anderen Insassen zu ermöglichen, Sprachbefehle bereitzustellen und über das drahtlose Trägersystem 14 Freisprechanrufe auszuführen. Zu diesem Zweck kann es mit einer fahrzeugeigenen automatisierten Sprachverarbeitungseinheit verbunden sein, die eine in der Technik bekannte Mensch-Maschine-Schnittstellentechnologie (HMI-Technologie von human-machine interface technology) verwendet. Der Druckknopf/die Druckknöpfe 34 ermöglicht/ermöglichen eine manuelle Benutzereingabe in die Telematikeinheit 30, um drahtlose Telefonanrufe zu initiieren und andere Daten, eine Antwort oder einen Steuereingang bereitzustellen. Es können separate Druckknöpfe verwendet werden, um im Gegensatz zu regulären Dienstunterstützungsanrufen an das Call Center 20 Notrufe zu initiieren. Das Audiosystem 36 stellt einen Audioausgang für einen Fahrzeuginsassen bereit und kann ein dediziertes, unabhängiges System oder ein Teil des primären Fahrzeugaudiosystems sein. Gemäß der bestimmten hier gezeigten Ausführungsform ist das Audiosystem 36 funktional mit sowohl dem Fahrzeugbus 44 als auch dem Unterhaltungsbus 46 gekoppelt und kann es eine AM-, FM- und Satellitenradio-, CD-, DVD- und eine andere Multimediafunktionalität bereitstellen. Diese Funktionalität kann in Verbindung mit oder unabhängig von dem oben beschriebenen Infotainment-Modul bereitgestellt werden. Die visuelle Anzeige 38 ist vorzugsweise eine Graphikanzeige, wie beispielsweise ein Touchscreen an dem Armaturenbrett, oder eine Head-Up-Anzeige, die an der Windschutzscheibe reflektiert wird, und kann verwendet werden, um eine Vielzahl von Eingabe- und Ausgabefunktionen bereitzustellen. Es können auch verschiedene andere Fahrzeugbenutzerschnittstellen verwendet werden, da die Schnittstellen von 1 nur ein Beispiel einer bestimmten Realisierung sind.
Das drahtlose Trägersystem 14 ist vorzugsweise ein Mobiltelefonsystem, das mehrere Mobilfunkmasten 70 (nur einer gezeigt), eine oder mehrere Mobilfunkvermittlungsstellen (MSCs von mobile switching centers) 72 sowie beliebige andere Netzkomponenten umfasst, die erforderlich sind, um das drahtlose Trägersystem 14 mit dem Bodennetz 16 zu verbinden. Jeder Mobilfunkmast 70 umfasst sendende und empfangende Antennen und eine Basisstation, wobei die Basisstationen von unterschiedlichen Mobilfunkmasten entweder direkt oder über ein Zwischengerät, wie beispielsweise einen Basisstationscontroller, mit der MSC 72 verbunden sind. Das zellulare System 14 kann jede geeignete Kommunikationstechnologie realisieren, die beispielsweise analoge Technologien, wie beispielsweise AMPS, oder die neueren digitalen Technologien, wie beispielsweise CDMA (z. B. CDMA2000) oder GSM/GPRS, umfasst. Fachleute werden erkennen, dass verschiedene Mobilfunkmast/Basisstation/MSC-Anordnungen möglich sind und mit dem drahtlosen System 14 verwendet werden könnten. Beispielsweise könnten die Basisstation und der Mobilfunkmast zusammen an dem gleichen Ort angeordnet sein, oder sie könnten entfernt voneinander angeordnet sein, könnte jede Basisstation für einen einzelnen Mobilfunkmast verantwortlich sein oder könnte eine einzelne Basisstation verschiedene Mobilfunkmasten bedienen und könnten verschiedene Basisstationen mit einer einzelnen MSC gekoppelt sein, nur um einige der möglichen Anordnungen zu nennen.
Abgesehen von einem Verwenden des drahtlosen Trägersystems 14 kann ein anderes drahtloses Trägersystem in Form einer Satellitenkommunikation verwendet werden, um eine unidirektionale oder bidirektionale Kommunikation mit dem Fahrzeug bereitzustellen. Dies kann unter Verwendung eines oder mehrerer Kommunikationssatelliten 62 und einer Uplink-Übertragungsstation 64 erfolgen. Eine unidirektionale Kommunikation kann beispielsweise Satellitenfunkdienste umfassen, bei denen Programminhalt (Nachrichten, Musik, etc.) durch die Übertragungsstation 64 empfangen wird, für ein Hochladen verpackt wird und dann an den Satelliten 62 gesendet wird, der die Programme an Teilnehmer ausstrahlt. Eine bidirektionale Kommunikation kann beispielsweise Satellitentelefoniedienste umfassen, die den Satelliten 62 verwenden, um Telefonverkehr zwischen dem Fahrzeug 12 und der Station 64 weiterzuleiten. Bei einer Verwendung kann diese Satellitentelefonie entweder zusätzlich zu dem drahtlosen Trägersystem 14 oder anstatt dieses eingesetzt werden.
Das Bodennetz 16 kann ein herkömmliches bodenbasiertes Telekommunikationsnetz sein, das mit einem oder mehreren Festnetztelefonen verbunden ist und das drahtlose Trägersystem 14 mit dem Call Center 20 verbindet. Beispielsweise kann das Bodennetz 16 ein Fernsprechnetz (PSTN von public switched telephone network) umfassen, wie beispielsweise jenes, das verwendet wird, um eine Festnetztelefonie, paketvermittelte Datenübermittlungen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Bodennetzes 16 könnten durch die Verwendung eines standardisierten drahtgebundenen Netzes, eines Faser- oder anderen optischen Netzes, eines Kabelnetzes, von Hochspannungsleitungen, anderen drahtlosen Netzen, wie beispielsweise Wireless Local Area Networks (WLANs), oder Netzen, die einen drahtlosen Breitbandzugriff (BWA von broadband wireless access) bereitstellen, oder jeder Kombination hiervon realisiert sein. Ferner muss das Call Center 20 nicht über das Bodennetz 16 verbunden sein, sondern könnte es ein Drahtlostelefoniegerät umfassen, sodass es direkt mit einem drahtlosen Netz, wie beispielsweise dem drahtlosen Trägersystem 14, kommunizieren kann.
Der Computer 18 kann einer einer Anzahl von Computern sein, auf die über ein privates oder öffentliches Netz, wie beispielsweise das Internet, zugegriffen werden kann. Jeder solche Computer 18 kann für einen oder mehrere Zwecke, wie beispielsweise einen Web-Server, verwendet werden, auf den durch das Fahrzeug über die Telematikeinheit 30 und den drahtlosen Träger 14 zugegriffen werden kann. Andere derartige Computer 18, auf die zugegriffen werden kann, können beispielsweise umfassen: einen Computer einer Dienstzentrale, an dem Diagnoseinformationen und andere Fahrzeugdaten von dem Fahrzeug über die Telematikeinheit 30 hochgeladen werden können; einen Client-Computer, der durch den Fahrzeughalter oder einen anderen Teilnehmer zu Zwecken wie beispielsweise Zugreifen auf oder Empfangen von Fahrzeugdaten oder Einstellen oder Konfigurieren von Teilnehmervorlieben oder Steuern von Fahrzeugfunktionen verwendet wird; oder einen dritten Speicher, für den oder von dem Fahrzeugdaten oder andere Informationen geliefert werden, entweder durch Kommunizieren mit dem Fahrzeug 12 oder dem Call Center 20 oder beiden. Ein Computer 18 kann auch zum Bereitstellen einer Internetkonnektivität, wie beispielsweise von DNS-Diensten, oder als ein Netzadressenserver, der DHCP oder ein anderes geeignetes Protokoll verwendet, um dem Fahrzeug 12 eine IP-Adresse zuzuordnen, verwendet werden.
Das Call Center 20 ist entworfen, um der Fahrzeugelektronik 28 eine Anzahl von verschiedenen System-Backend-Funktionen bereitzustellen und umfasst gemäß der hier gezeigten beispielhaften Ausführungsform allgemein eine(n) oder mehrere Schalter 80, Server 82, Datenbanken 84, menschliche Berater 86 sowie ein automatisiertes Sprachausgabesystem (VRS von voice response system) 88, die alle in der Technik bekannt sind. Diese verschiedenen Call Center-Komponenten sind vorzugsweise über ein drahtgebundenes oder drahtloses lokales Netz 90 miteinander gekoppelt. Der Schalter 80, der ein Telekommunikationsanlagenschalter (PBX-Schalter von private branch exchange switch) sein kann, leitet eingehende Signale derart weiter, dass Sprachübertragungen für gewöhnlich entweder durch ein normales Telefon an den menschlichen Berater 86 oder unter Verwendung von VoIP an das automatisierte Sprachausgabesystem 88 gesendet werden. Das Telefon des menschlichen Beraters kann auch VoIP verwenden, wie es durch die gestrichelte Linie in 1 gezeigt ist. VoIP und andere Datenübermittlungen über den Schalter 80 werden über ein Modem (nicht gezeigt) realisiert, das zwischen dem Schalter 80 und dem Netz 90 verbunden ist. Die Datenübertragungen werden über das Modem an den Server 82 und/oder die Datenbank 84 weitergeleitet. Die Datenbank 84 kann eine Kontoinformation, wie beispielsweise eine Teilnehmerauthentifizierungsinformation, Fahrzeugidentifikatoren, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende Teilnehmerinformationen, speichern. Datenübertragungen können auch durch drahtlose Systeme, wie beispielsweise 802.11x, GPRS und dergleichen, ausgeführt werden. Obwohl die gezeigte Ausführungsform als in Verbindung mit einem mit Personal besetzten Call Center 20 unter Verwendung des menschlichen Beraters 86 verwendet beschrieben wurde, sei angemerkt, dass das Call Center stattdessen das VRS 88 als einen automatisierten Berater verwenden kann oder eine Kombination aus dem VRS 88 und dem menschlichen Berater 86 verwendet werden kann.
Die Betriebsumgebung kann ferner eine oder mehrere kamerafähige mobile Einrichtungen 110 umfassen. In einigen Fällen kann die mobile Einrichtung eine elektronische Einrichtung sein, die verwendet werden kann, um Mobiltelefonanrufe über einen weiten geographischen Bereich zu tätigen, wobei Übertragungen durch das drahtlose Trägersystem 14 (d. h. wenn die mobile Einrichtung mit dem drahtlosen Trägersystem verbunden ist) ermöglicht werden. Und bei weiteren Ausführungsformen kann die mobile Einrichtung eine kamerafähige Brille (wie z. B. die im Handel erhältliche Google Glass^TM) oder dergleichen umfassen.
Wie es auch in 2 schematisch gezeigt ist, kann die mobile Einrichtung 110 ein Gehäuse 112 umfassen, das eine Anzeige 114 und verschiedene Eingabe/Ausgabe-Komponenten (I/O-Komponenten von input/output components), die einen oder mehrere taktile Schalter oder Knöpfe 116 umfassen (und z. B. eine Tastatur (nicht gezeigt) umfassen können, einen Touchscreen 118, eine Bildgebungseinrichtung oder Kamera 120, ein oder mehrere Mikrofone 122, einen oder mehrere Lautsprecher (nicht gezeigt) und eine oder mehrere Peripherieanschlussstellen 124 umfasst. Die mobile Einrichtung 110 kann unter Verwendung eines Prozessors 130 und eines Speichers 132 arbeiten. Wie es nachstehend ausführlicher beschrieben wird, kann die mobile Einrichtung 110 auch eine beliebige andere Hardware, Software und/oder Firmware umfassen, die das Computerprogrammprodukt und die Verfahren, die hierin beschrieben werden, ermöglichen – z. B. einschließlich einer Bibliothek oder eines Cache 140 und/oder eines oder mehrerer Softwaremodule, wie beispielsweise eine Erkennungsmaschine 136 und eine Maschine 138 zur automatischen Spracherkennung (ASR von automatic speech recognition).
Der Prozessor 130, der in 2 gezeigt ist, kann direkt oder indirekt mit einer Anzahl von Komponenten gekoppelt sein, die die Kamera 120, die Erkennungsmaschine 136, den Speicher 132, die Bibliothek 140 und die ASR-Maschine 138 umfassen. Ferner kann die Kamera 120 mit der Bibliothek 140 gekoppelt sein und kann die ASR-Maschine 138 mit dem Mikrofon 122 gekoppelt sein. Es können auch andere Komponenten, die nicht gezeigt sind, vorhanden sein – welche drahtlose Chipsätze, Filter, Verstärker, zusätzliche Prozessoren, einen zusätzlichen Speicher, andere I/O-Schnittstellen etc. umfassen, nur um einige Beispiele zu nennen. Somit zeigt 2 lediglich ein Beispiel der Architektur einiger der verschiedenen Komponenten und soll sie weder die Komponenten der mobilen Einrichtung 110 einschränken noch deren Rechenleistung oder andere Fähigkeiten einschränken.
Der Touchscreen 118 kann geeignet als Tastatur oder Steuer-/Bedieneinrichtung verwendet werden, wie es Fachleute erkennen werden. Und die Kamera 120 kann jede Einrichtung umfassen, die ein digitales Bild oder eine digitale Abtastung erfassen oder empfangen kann. Das Erfassen oder Empfangen eines beliebigen digitalen Bilds sollte breit interpretiert werden, um das Aufzeichnen eines fotografischen Bilds, das Erzeugen einer fotografischen Datei, das permanente oder temporäre Speichern der fotografischen Datei und/oder lediglich das Empfangen (und/oder Ändern) des Eingangs eines oder mehrerer Pixel-Detektoren an einem Detektor-Array (nicht gezeigt), das zu der Kamera 120 gehört (z. B. durch Empfangen von Licht oder Wärme an den einzelnen Pixel-Detektoren) zu umfassen, nur um einige Beispiele zu nennen. Somit kann das Empfangen oder Erfassen eines digitalen Bilds das Aktivieren des Detektor-Arrays, ohne ein davon abgeleitetes Bild zu speichern, umfassen. Bei zumindest einigen Ausführungsformen kann die Anzeige 114 ein sichtbares Bild (z. B. eine Vorschau) des Zielbilds vor einem Speichern des digitalen Bilds bereitstellen.
Der Prozessor 130 kann dem Prozessor 52 ähnlich sein; und kann ähnlich jeden Typ von Einrichtung umfassen, der elektronische Anweisungen verarbeiten kann und Mikroprozessoren, Mikrocontroller, Host-Prozessoren, Controller, Fahrzeugkommunikationsprozessoren und anwendungsspezifische Schaltkreise (ASICs) umfasst. Der Prozessor 130 führt verschiedene Typen von digital gespeicherten Anweisungen, wie beispielsweise in dem Speicher gespeicherte Software- oder Firmwareprogramme, aus, was der mobilen Einrichtung 110 eine große Vielzahl von Anwendungen ermöglicht. Beispielsweise kann der Prozessor 130 Programme ausführen oder Daten verarbeiten, um zumindest einen Teil des hierin erläuterten Verfahrens auszuführen. Bei zumindest einer Ausführungsform kann der Prozessor 130 für eine Objekterkennung oder -identifikation verwendet werden, wobei der Speicher 132 verwendet wird, um Programmierroutinen auszuführen, und die Bibliothek 140 verwendet wird, um verschiedene digitale Bilder zu speichern, wie es nachstehend ausführlicher beschrieben wird.
Nicht einschränkende Beispiele der mobilen Einrichtung 110 umfassen ein Mobiltelefon, einen persönlichen digitalen Assistenten (PDA), ein Smartphone, einen persönlichen Laptop-Computer oder Tablet-Computer mit Zweiwegekommunikationsfähigkeiten, ein Netbook, ein Notebook, eine beliebige tragbare mobile Recheneinrichtung (die Google Glass^TM umfasst, jedoch nicht darauf beschränkt ist) oder beliebige geeignete Kombinationen hiervon. Die mobile Einrichtung 110 kann innerhalb oder außerhalb eines mobilen Fahrzeugs (wie beispielsweise des in 1 gezeigten Fahrzeugs 12) verwendet werden und kann mit dem Fahrzeug drahtgebunden oder drahtlos (z. B. unter Verwendung einer drahtlosen Nahbereichskommunikation) gekoppelt sein. Die mobile Einrichtung 110 kann auch ausgestaltet sein, um Dienste gemäß einer Teilnahmevereinbarung mit einer dritten Seite oder einem Drahtlos-/Telefondienstanbieter bereitzustellen. Es sei angemerkt, dass verschiedene Dienstanbieter das drahtlose Trägersystem verwenden können und dass der Dienstanbieter der Telematikeinheit 30 nicht notwendigerweise der gleiche sein muss wie der Dienstanbieter der mobilen Einrichtungen 110.
Die mobile Einrichtung 110 und das Fahrzeug 12 können zusammen durch eine Person benutzt werden, die als der Fahrzeugbenutzer bekannt ist, wie beispielsweise ein Fahrzeugfahrer oder Fahrzeuginsasse. Der Fahrzeugbenutzer muss jedoch nicht der Halter der mobilen Einrichtung 110 oder des Fahrzeugs 12 sein (z. B. kann der Fahrzeugbenutzer ein Halter oder ein Genehmigungsinhaber von einem oder beiden sein).
Verfahren –
Das hierin beschriebene Verfahren verwendet/Die hierin beschriebenen Verfahren verwenden das oben beschriebene Kommunikationssystem einschließlich der Kamerafunktionalität der mobilen Einrichtung 110 zusammen mit einer Softwareanwendung an der mobilen Einrichtung, um ein virtuelles, benutzerfreundliches Fahrzeugbenutzerhandbuch bereitzustellen. Im Allgemeinen kann der Benutzer eine Fahrzeugkomponente in dem Sichtfeld (FOV) der Kamera der mobilen Einrichtung anordnen und wird dann die Softwareanwendung verwendet, um die erfasste Fahrzeugkomponente zu erkennen. Die mobile Einrichtung kann dann eine Information, die der erkannten Komponente zugehörig ist, an der mobilen Einrichtung anzeigen. In einigen Fällen kann die mobile Einrichtung 110 Techniken einer erweiterten Realität (AR-Techniken) verwenden. Ferner kann die mobile Einrichtung Benutzersprache in Verbindung mit dem erfassten Bild empfangen, um die Erkennung weiter zu verbessern oder die bestimmte Abfrage des Benutzers spezifischer zu identifizieren. Die Genauigkeit der Softwareanwendung kann auch verbessert werden, je häufiger der Benutzer das virtuelle Benutzerhandbuch verwendet, da das erfasste Bild gespeichert und während zukünftiger Identifikationen verwendet werden kann.
Nun auf 3 Bezug nehmend ist ein Flussdiagramm gezeigt, das ein Verfahren 300 der vorliegenden Offenbarung darstellt. Das vorliegende Verfahren wird in Bezug auf die mobile Einrichtung 110 und das Fahrzeug 12 beschrieben; es sei jedoch angemerkt, dass dies lediglich erläuternde Elemente sind. Das Verfahren 300 beginnt mit Schritt 310, wenn die mobile Einrichtung 110 ein digitales Bild eines Fahrzeugobjekts empfängt oder erfasst. Das digitale Bild von Schritt 310 kann, muss jedoch nicht, an der mobilen Einrichtung 110 gespeichert werden (z. B. kann es eine Bildvorschau oder ein Schnappschuss sein, beispielsweise zur permanenteren Speicherung an der Einrichtung 110). Der Begriff Fahrzeugobjekt soll als breit betrachtet werden. Fahrzeugobjekte können Komponenten in einem Fahrgastraum des Fahrzeugs, an der Außenseite des Fahrzeugs, in einem Motorraum des Fahrzeugs, in einem Stauraum des Fahrzeugs etc. umfassen. Objekte können Schalter, Knöpfe, Instrumente, Betätigungseinrichtungen, Module, Subsysteme, Text oder Symbole oder Bildzeichen an irgendeinem der Vorstehenden etc. oder jede Kombination dieser sein. Beispielsweise kann ein Beispiel eines Fahrzeugobjekts eine Klimasteuerregion eines Fahrzeugarmaturenbretts umfassen. Das Fahrzeugobjekt kann die Klimasteuerregion selbst sein, oder es kann ein einzelner Schalter (z. B. ein Lüfterniveauschalter zum Steuern der Menge an Luftbewegung) oder eine Gruppierung von in Beziehung stehender oder in Verbindung stehender Schalter (z. B. der Lüfterniveauschalter und die Luftzufuhrmodusschalter (z. B. die die Austrittsöffnungen steuern – z. B. entfrosten, Armaturenbrett, Boden, Heck, etc.)) sein. Bei einem anderen Beispiel können ein Sitzheizungsschalter (oder ein Symbol darauf) und ein Lenkradheizungsschalter (oder ein Symbol darauf) jeweils Fahrzeugobjekte sein oder können die Schalter zusammen ein Fahrzeugobjekt sein.
Bei einem anderen Beispiel, das in 4 gezeigt ist, kann das empfangene digitale Bild von Schritt 310 eine Rückspiegelanordnung 400 mit einem Spiegel 410 und einem daran gekoppelten Fahrzeugtelefonieelement 420 erfassen. Somit kann das Fahrzeugobjekt der Spiegel 410 oder das Telefonieelement 420 oder ein einzelner Schalter sein, nur um einige Beispiele zu nennen. Wie gezeigt kann das Telefonieelement 420 mehrere Schalter umfassen, die einen Anrufschalter 430, einen Beraterschalter 440 und einen Notrufschalter 450 umfassen (welche ein jeweiliges Symbol 435, 445, 455 aufweisen). 5 zeigt die mobile Einrichtung 110, die das digitale Bild des gesamten Telefonieelements 420 erfasst. Spezieller umfasst eine zentrale Region 460 des FOV der Kamera 120 den Beraterschalter 440 und nur einen Abschnitt der anderen Schalter 430, 450.
Nach Schritt 310 kann das Verfahren 300 mit Schritt 320 (3) fortfahren. In Schritt 320 kann das digitale Bild des Fahrzeugobjekts durch die Erkennungsmaschine 136 empfangen werden. Zusätzlich kann die Erkennungsmaschine 136 die Bibliothek 140 analysieren, wobei das erfasste digitale Bild (von Schritt 310) mit gespeicherten Referenzobjektbildern in der Bibliothek 140 verglichen wird und eine geeignete Übereinstimmung oder Ähnlichkeit gesucht wird. Jedes geeignete Fahrzeugobjekt kann zumindest ein Referenzobjektbild aufweisen; und ferner kann jedes Fahrzeugobjekt mehrere Referenzobjektbilder aufweisen. Ein Referenzobjektbild kann ein zwei-dimensionales (2-D-) oder drei-dimensionales (3-D-)Bild eines Objekts oder ein 2-D- oder 3-D-Merkmal eines Objekts (z. B. ein(e) oder mehrere Kanten, Formen, Muster, Strukturen, Farben etc.) sein. Für ein einzelnes Fahrzeugobjekt kann die Bibliothek zumindest ein erfasstes oderfotografisches Bild, zumindest ein nicht fotografisches oder grafisch entworfenes Bild oder beides enthalten. Das fotografische Bild kann unter verschiedenen Kamerawinkeln, unter verschiedenen Außen- oder Umgebungseinstellungen (z. B. Szenarien mit Sonnenlicht, Wolkendecke, Regen, Schnee, Dunkelheit) und/oder mit einer beliebigen anderen geeigneten Differenzierung oder Eigenschaft, um das Identifizieren des Fahrzeugobjekts zu unterstützen, erfasst werden. Beispiele für geeignete Eigenschaften können Beleuchtungseigenschaften (z. B. Bilder mit Unterschieden hinsichtlich Helligkeit oder Kontrast) oder Farbeigenschaften (z. B. Bilder mit Unterschieden hinsichtlich Farbton und/oder Tönung etc.) umfassen. Das Bild eines grafischen Entwurfs kann unter Verwendung einer computergestützten Entwurfssoftware konfiguriert werden und kann sowohl ein zwei- als auch ein dreidimensionales Modell umfassen.
Beim Finden von zumindest einer geeigneten Übereinstimmung kann die Erkennungsmaschine 136 in Schritt 320 das übereinstimmende Referenzobjektbild/die übereinstimmenden Referenzobjektbilder mit relevanten Menüeinträgen, relevanten allgemeinen Daten oder relevanten spezifischen Daten von dem Benutzerhandbuch in Verbindung bringen, wie es nachstehend erläutert wird.
Schritt 320 kann einen oder mehrere Subschritte 330 und/oder 340 umfassen. In Schritt 330 kann die Erkennungsmaschine 136 ein primäres Objekt in dem digitalen Bild ermitteln oder identifizieren. Beispielsweise kann sich das primäre Objekt in der zentralen Region 460 des FOV befinden (siehe 5–6); dies ist jedoch nicht notwendig. Und in Schritt 340 kann die Erkennungsmaschine 136 ein sekundäres oder mehrere sekundäre Objekte in dem digitalen Bild ermitteln oder identifizieren – welches/welche sich zumindest teilweise außerhalb der zentralen Region 460 befinden kann/können. 5 wird als Beispiel betrachtet – hier kann der Schalter 440 der einzige Schalter sein, der sich in der zentralen Region 460 befindet, und er kann das primäre Objekt (wie durch die Erkennungsmaschine 136 identifiziert) sein, und können sich die Schalter 430, 460 zumindest teilweise außerhalb der zentralen Region 460 befinden und können sie die sekundären Objekte sein (wie durch die Erkennungsmaschine 136 identifiziert). Es sei angemerkt, dass sich nicht das vollständige primäre Objekt in der Region 460 befinden muss; die dargestellte relative Größe der zentralen Region 460 ist auch lediglich ein Beispiel – es sind andere Größen möglich.
Es sei angemerkt, dass, wenn das Verfahren 300 Schritt 320 (und/oder dessen jeweilige Subschritte) durchführt, das Verfahren die Erkennung, Identifikation etc. unter Verwendung von verschiedenen Bildverarbeitungstechniken, Bildverbesserung, Filterung und Entschärfen, von verschiedenen Bildanalysetechniken, die Segmentierung, Morphologie, Merkmalsextraktion (z. B. Kantendetektion) umfassen, und von Messungen durchführen kann. Beispielsweise kann eine Erkennung der primären und/oder sekundären Objekte umfassen, dass Kanten der Objekte in dem Bild ermittelt werden und diese mit ähnlichen Kantenmerkmalen, die aus dem Referenzbild/den Referenzbildern extrahiert werden, oder Farben oder Kombinationen ähnlicher verglichen werden. Ungeachtet dessen sind Bildverarbeitungstechniken bekannt und werden Fachleute diese erkennen.
6 zeigt ein anderes Beispiel primärer und sekundärer Objekte in dem FOV. Hier kann sich beispielsweise nur Symbol 445 in der zentralen Region befinden und können einer oder mehrere der Schalter 430, 440, 450 ein sekundäres Objekt/sekundäre Objekte sein. Dies kann ein geeignet erfasstes Bilddetail sein, um der Erkennungsmaschine 136 zu ermöglichen, das Fahrzeugobjekt zu ermitteln. Tatsächlich kann die Erkennungsmaschine 136 sogar nur einen Abschnitt des Symbols (z. B. 445) empfangen, um seine Identität zu ermitteln. Ferner muss die Erkennungsmaschine 136 bei einigen Ausführungsformen kein sekundäres Objekt ermitteln und kann sie somit mit oder ohne Schritt 430 fortfahren.
Nach Schritt 320 (und den Schritten 330 und/oder 340) kann das Verfahren 300 mit Schritt 350 fortfahren und das erfasste digitale Bild (z. B. jenes, das in der Anzeige 114 von 5 oder 6 gezeigt ist) speichern. Das digitale Bild kann für zukünftige Identifikationen in der Bibliothek 140 gespeichert werden, wie es nachstehend erläutert wird. Schritt 350 kann das gesamte digitale Bild oder einen Abschnitt dieses speichern. Beispielsweise kann der gespeicherte Abschnitt nur das identifizierte primäre Objekt sein oder kann er eines der identifizierten sekundären Objekte umfassen oder kann er nur das in der zentralen Region 460 Erfasste umfassen.
Verfahren 300 kann dann mit Schritt 360 fortfahren und eine Fahrzeugbenutzerhandbuchinformation wie in 7, 8 und 9 dargestellt anzeigen. Wenn beispielsweise das primäre Objekt als Beraterschalter 440 (oder Beratersymbol 445) identifiziert wurde, kann die Anzeige 114 der mobilen Einrichtung 110 einen oder mehrere Menüeinträge 710 bezüglich des Beraterschalters 440 oder in Verbindung stehend mit diesem bereitstellen. Beispielsweise zeigt 7 einen ”OnStar-Überblick”-Menüeintrag und einen ”Onstar-Dienste”-Menüeintrag sowie mehrere Submenüeinträge 720 (z. B. ”Notfall”, ”Navigation” und ”Zusatzinformation”, nur um einige Beispiele zu nennen).
Schritt 360 von Verfahren 300 kann auch eine Fahrzeugbenutzerhandbuchinformation in Bezug auf sowohl das identifizierte primäre Objekt als auch das identifizierte sekundäre Objekt/die identifizierten sekundären Objekte anzeigen, wie es in 8 gezeigt ist. Wenn beispielsweise das primäre Objekt der Beraterschalter 440 war und die sekundären Objekte der Anrufschalter 430 und der Notrufschalter 450 waren, kann die Anzeige 114 eine allgemeine Information oder allgemeine Daten 810, wie ”OnStar-Überblick”, bereitstellen, welche alle drei Symbole 435, 445, 455 und ihre Erklärung zeigt.
Oder alternativ kann Schritt 360 von Verfahren 300 wie in 9 gezeigt auch einen oder mehrere Menüeinträge 710 an dem digitalen Bild überlagern (z. B. unter Verwendung von AR-Techniken). Beispielsweise kann die Anzeige 114 eine Fahrzeugbenutzerhandbuchinformation in Bezug auf das primäre Objekt, das sekundäre Objekt/die sekundären Objekte oder beide bereitstellen. Ferner kann die Information in Bezug auf das primäre Objekt einen hervorgehobenen Text oder hervorgehobene Daten 910 aufweisen. Beispielsweise umfassen, wie hierin verwendet, hervorgehobene angezeigte Daten 910 eine Fahrzeugbenutzerhandbuchinformation, die umfasst: einen Text mit größerer Schrift; eine fette, kursive oder charakterisierte Schrift; eine Schrift mit einer Farbe, die von der anderen Schrift an der Anzeige 114 verschieden ist; oder jegliche Merkmale, die den Text bezüglich des primären Objekts von dem anderen bereitgestellten Text abheben, wie beispielsweise eine blinkende Schrift oder eine Schrift mit sich ändernder Helligkeit etc. Somit können die als sekundär identifizierten Fahrzeugobjekte weniger hervorgehobene angezeigte Merkmale aufweisen. Natürlich können andere Objekte in der Anzeige 114 gezeigt sein, die nicht visuell identifiziert werden. Beispielsweise könnte sich der Benutzer in der Nähe der HLK-Lüftersteuerung aufhalten, um sie zu identifizieren, können jedoch auch damit verbundene Temperatur- und Zonensteuerdrehknöpfe an dem Armaturenbrett in der Anzeige 114 gezeigt werden – was z. B. dem Benutzer ermöglicht, das Verfahren zu wiederholen, indem ein Objekt ausgewählt wird, das anfänglich nicht visuell identifiziert wurde – wodurch dem Benutzer eine hilfreiche und in Verbindung stehende Information bereitgestellt wird, wenn das System Komponenten mit primären und sekundären Beziehungen identifiziert.
Andere AR-Verbesserungen können das Markieren von Objekten in dem FOV oder der Anzeige der mobilen Einrichtung umfassen (was das Skizzieren von Objekten, die erkannt werden, umfassen kann). Dann könnte eine Benutzerauswahl dieses markierten Objekts (z. B. durch eine Berührung des Benutzers an der Anzeige der Einrichtung) verwendet werden, um die in Verbindung stehende ”Benutzerhandbuch”-Information für dieses bestimmte Objekt aufzurufen oder hervorzubringen. Beispielsweise könnten die Objekte in dem FOV der mobilen Einrichtung identifiziert und markiert werden, auch wenn die Kamera bewegt wird, um den Umgebungsbereich abzusuchen. Ferner kann die Einrichtung, wenn zu viele markierte Objekte erkannt werden (z. B. so dass die Anzeige überfüllt ist), Kategorieeinträge markieren, bis der Benutzer der mobilen Einrichtung die Objekte vergrößert (z. B. durch Verkleinern des FOV). Unabhängig davon kann bei zumindest einer Ausführungsform ein Markieren, Skizzieren etc. automatisch bereitgestellt werden (z. B. um dem Benutzer eine Benutzerhandbuchinformation vorzuschlagen).
Nach Schritt 360 kann das Verfahren 300 enden oder kann darauf gewartet werden, ein anderes digitales Bild in Schritt 310 zu empfangen und einen oder mehrere der oben erläuterten Schritte zu wiederholen. Ferner kann, wenn das vom Benutzer erfasste digitale Bild in der Bibliothek 140 als neues Referenzobjektbild gespeichert wurde, die Erkennungsmaschine 136 eine größere Anzahl von Referenzobjektbildern zur Verwendung während zukünftiger Identifikationen aufweisen.
Bei einer anderen Ausführungsform kann das Verfahren 300 umfassen, dass Benutzersprache in Schritt 370 (3) empfangen wird, z. B. in der Nähe des Zeitpunkts oder zu dem Zeitpunkt, zu dem die Kamera 120 das digitale Bild erfasst. Die Sprache kann unter Verwendung von bekannten Techniken unter Verwendung der ASR-Maschine 138 verarbeitet werden und den Prozessor 130 und/oder der Erkennungsmaschine 136 bereitgestellt werden. Somit kann eine Kombination aus Sprache und Bild verwendet werden, um die primären und/oder sekundären Fahrzeugobjekte zu ermitteln. Danach kann das Verfahren 300 wie zuvor beschrieben fortfahren.
Oder das Verfahren 300 kann bei einer alternativen Ausführungsform, die Schritt 370 umfasst, in Schritt 310 das digitale Bild empfangen, unter Verwendung der Erkennungsmaschine 136 (in Schritt 320) ein Referenzobjektbild/Referenzobjektbilder in Verbindung bringen und danach in Schritt 370 Sprache empfangen. Hier kann die empfangene Sprache beispielsweise verwendet werden, um die in Schritt 360 angezeigten Ergebnisse zu verfeinern. Beispielsweise könnte das System das Klimasteuersystem und verschiedene damit in Verbindung stehende Objekte erkennen und dann eine Benutzersprache, wie beispielsweise ”Wie kann ich dies ausschalten?” empfangen. Danach kann der Schritt 360 des Anzeigens der Benutzerhandbuchinformation verfeinerte Ergebnisse bezüglich des Abschaltens der zugeführten Luft oder anderer Aspekte des Klimasteuersystems umfassen. In 3 ist diese alternative Ausführungsform des Empfangens von Sprache beispielhaft nach Schritt 350 (Speichern eines digitalen Bilds) gezeigt; dies ist jedoch nicht erforderlich – sie könnte auch vor Schritt 350 empfangen werden.
Natürlich gibt es auch andere Ausführungsformen. Beispielsweise kann Sprache (in Schritt 370) vor und nach Schritt 320 der Erkennungsmaschine empfangen werden. Ferner sollte das Verfahren 300 als ausgedehnt genug betrachtet werden, um das Durchführen von Schritt 320, danach das Empfangen von Sprache (Schritt 370) und dann das Zurückspringen zu und Wiederholen von Schritt 320 basierend auf der empfangenen Sprache zu umfassen.
Jedes Mal, wenn in Schritt 370 Sprache empfangen wird, kann sie auch vor und/oder nach dem Anzeigen der Benutzerhandbuchinfo in Schritt 360 empfangen werden. Beispielsweise kann Sprache zu einem beliebigen geeigneten Zeitpunkt vor dem Anzeigeschritt 360 empfangen werden (Schritt 370) – und die Sprache kann verwendet werden, um das interessierende Objekt zu ermitteln, wie es zuvor beschrieben wurde. Oder es kann, muss jedoch nicht, Sprache vor dem Anzeigeschritt 360 empfangen werden (Schritt 370) – und dann kann Sprache nach dem Anzeigen einer Benutzerhandbuchinformation empfangen werden (Schritt 370) und verwendet werden, um die Ergebnisse zu verfeinern – danach wird eine verfeinerte Information von dem Benutzerhandbuch angezeigt (d. h. Wiederholen von Schritt 360). Beispielsweise kann ein Objekt oder eine Region des Armaturenbretts markiert oder beleuchtet werden, das oder die Traktion, Bremsung etc. betrifft. Die Schritte 310, 320 (z. B. 330 und/oder 340), 350, 360 (Anzeigen einer Information, die den Text ”Traktionssteuerung” umfasst) und/oder 370 können durchgeführt werden, und danach kann Benutzersprache, wie beispielsweise ”Was bedeutet Traktionssteuerung?” empfangen werden (Schritt 370), und das System kann eine zusätzliche Information über eine Traktionssteuerung bereitstellen (z. B. über Schritt 360).
Das Verfahren kann in der Bibliothek 140 auch einen oder mehrere identifizierende Sprachbegriffe (oder Phrasen) speichern, die mit einem oder mehreren Fahrzeugobjekten in Verbindung stehen. Diese Sprachbegriffe können (z. B. durch den Benutzer oder andere) vorab aufgezeichnet werden oder können gemäß bekannten Techniken programmiert werden. Ferner kann Sprache, die geäußert wird und mit einem Referenzobjektbild in Verbindung steht, zur Verwendung für zukünftige Identifikationen durch die Erkennungsmaschine 136 und/oder den Prozessor 130 in Verbindung stehend in der Bibliothek 140 gespeichert werden.
Bei einer anderen Ausführungsform kann das Verfahren 300 die geeigneten Menüeinträge für eine Anzeige vorhersagen. Beispielsweise können Referenzobjektbilder in der Bibliothek 140 gemäß Typ, Funktion, Ort etc. klassifiziert werden. Somit kann ein erfasstes digitales Bild direkt mit einem oder mehreren Referenzobjektbildern in Verbindung gebracht werden; oder kann das erfasste digitale Bild indirekt (z. B. auf eine vorhersagende Weise) mit anderen Fahrzeugobjekten (und ihrem Typ, ihrer Funktion, ihrem Ort etc.) als dem direkt in Verbindung stehenden Referenzobjektbild/den direkt in Verbindung stehenden Referenzobjektbildern in Verbindung gebracht werden. Die vorhersagende Weise kann gemäß einer in Verbindung stehenden Klasse oder Klassifizierung erfolgen. Es wird das digitale Bild betrachtet, das in dem FOV von 6 gezeigt ist – der Prozessor 130 kann ermitteln, dass der Benutzer an mehr als einfach nur dem Beraterschalter 440 interessiert sein kann und vorhersagende Menüeinträge bereitstellen – wie beispielsweise eine Information bezüglich des Anrufschalters 430 und auch des Notrufschalters 450, wie es in 8 gezeigt ist.
Bei einer anderen Ausführungsform kann das Verfahren 300 auch Schritt 350 (Speichern des digitalen Bilds in der Bibliothek 140) nach Schritt 360 (Anzeigen der Fahrzeugbenutzerhandbuchinformation) durchführen. Beispielsweise kann die mobile Einrichtung 110 auf eine Rückmeldung warten, die angibt, dass die an der Anzeige 114 bereitgestellte Fahrzeugbenutzerhandbuchinformation für den Benutzer wünschenswert oder akzeptabel ist, bevor das neu erfasste digitale Bild gespeichert wird. Diese Rückmeldung kann einen ”Ok”-Knopf oder eine andere geeignete Eingabe umfassen. Somit kann das Verfahren bei zumindest einer Ausführungsform ein größeres Vertrauen umfassen, dass das digitale Bild mit der bereitgestellten Benutzerhandbuchinformation und anderen Referenzobjektbildern in Verbindung gebracht werden sollte.
Die hierin beschriebenen Verfahren können als ein oder mehrere Computerprogramme durchgeführt werden, die durch eine oder mehrere Recheneinrichtungen der mobilen Einrichtung 110 oder in Verbindung mit dieser ausgeführt werden können, um zu bewirken, dass die Recheneinrichtung(en) das Verfahren durchführt/durchführen, und die verschiedenen mit dem Verfahren in Beziehung stehenden Daten können in einem beliebigen geeigneten Speicher (der z. B. den Speicher 132 und/oder die Bibliothek 140 umfasst) gespeichert sein. Das Computerprogramm kann in einer Vielzahl von Formen sowohl aktiv als auch inaktiv vorliegen. Beispielsweise kann das Computerprogramm als Softwareprogramm(e), das/die aus Programmanweisungen in Quellcode, Objektcode, ausführbarem Code oder anderen Formaten besteht/bestehen; Firmwareprogramm(e); oder Hardwarebeschreibungssprache-Dateien (HDL-Dateien von hardware description language files) vorliegen. Ein beliebiges der obigen kann an einem von einem Computer verwendbaren oder lesbaren Medium umfasst sein, das eine/einen oder mehrere Speichereinrichtungen oder -artikel umfasst. Beispielhafte von einem Computer verwendbare Speichereinrichtungen umfassen einen RAM (Direktzugriffsspeicher), ROM (Nur-Lese-Speicher), EPROM (löschbaren, programmierbaren ROM), EEPROM (elektrisch löschbaren, programmierbaren ROM) und magnetische oder optische Platten oder Bänder eines herkömmlichen Computersystems. Es ist daher zu verstehen, dass die Verfahren zumindest teilweise durch (eine) beliebige elektronische Einrichtung(en) durchgeführt werden können, welche die oben beschriebenen Funktionen ausführen kann/können.
Beispielsweise kann das Verfahren ein Computerprogrammprodukt umfassen, das einen nichtflüchtigen von einem Computer lesbaren Speicher (z. B. einen RAM etc., möglicherweise gespeichert an Speicher 132) umfasst, der, wenn die Programmanweisungen (z. B. über den Prozessor 130) ausgeführt werden, die Schritte ausführt, dass: ein digitales Bild (z. B. ein Bild oder eine Live-Kameraaufnahme) eines Abschnitts eines Fahrzeugs (z. B. über die Kamera 120) empfangen wird; ein primäres Objekt des Fahrzeugs in dem digitalen Bild identifiziert wird (z. B. unter Verwendung der Erkennungsmaschine 136); das primäre Objekt mit zumindest einem Referenzobjektbild in Verbindung gebracht wird, das in einer Objektbibliothek gespeichert ist, die mehrere Referenzobjektbilder umfasst (z. B. wieder unter Verwendung der Erkennungsmaschine 136); eine Benutzerhandbuchinformation basierend auf der Verbindung (z. B. an der Anzeige 114) angezeigt wird; und das digitale Bild in der Objektbibliothek 140 als neues Referenzobjektbild für zukünftige Identifikationen gespeichert wird.
Bei einem anderen erläuternden Beispiel kann das Verfahren ein Computerprogrammprodukt umfassen, das einen nichtflüchtigen von einem Computer lesbaren Speicher (z. B. einen RAM etc., möglicherweise gespeichert an dem Speicher 132) umfasst, der, wenn die Programmanweisungen (z. B. über den Prozessor 130) ausgeführt werden, die Schritte ausführt, dass: eine digitale Abtastung (z. B. ein Bild oder eine Live-Kameraaufnahme) empfangen wird, die zumindest ein Fahrzeugobjekt enthält (z. B. über die Kamera 120); Sprachaudioinhalt (z. B. von dem Benutzer über das Mikrofon 122) empfangen wird, der ein oder mehrere Worte enthält, die mit einem Fahrzeugobjekt/Fahrzeugobjekten in Verbindung stehen; das zumindest eine Fahrzeugobjekt basierend auf der digitalen Abtastung (z. B. unter Verwendung der Erkennungsmaschine 136) und dem einen oder den mehreren Worten des Sprachaudioinhalts (z. B. unter Verwendung der ASR-Maschine 138) identifiziert wird; und eine Benutzerhandbuchinformation, die mit dem zumindest einen Fahrzeugobjekt in Verbindung steht, (z. B. an der Anzeige 114) angezeigt wird.
Während die vorherigen beiden Beispiele den Speicher an der mobilen Einrichtung 110 zeigen, sei angemerkt, dass dies lediglich ein Beispiel ist. Der Speicher könnte sich auch an einem anderen Ort befinden – z. B. an einem entfernten Server, der verwendet wird, um Inhalt an einen oder mehrere Benutzer zu verteilen.
Bei zumindest einer Ausführungsform umfasst das durchgeführte Verfahren/umfassen die durchgeführten Verfahren Computerprogramme, die unter Verwendung des Prozessors 130 und des Speichers 132 (und der Bibliothek 140) der mobilen Einrichtung ausgeführt werden können – einschließlich der daran gespeicherten Anwendungssoftware.
Somit wurde eine Softwareanwendung einer mobilen Einrichtung beschrieben, die als Eingang Kameradaten in Bezug auf eine Fahrzeugkomponente oder ein Fahrzeugobjekt, Audio-/Sprachdaten oder beides empfangen kann und basierend auf diesen Daten ermittelt, welche Fahrzeugbenutzerhandbuchinformation an der mobilen Einrichtung angezeigt werden soll. Ferner können die Daten auch für weitere Ermittlungen gespeichert werden.
Es ist zu verstehen, dass das Vorstehende eine Beschreibung einer oder mehrerer Ausführungsformen der Erfindung ist. Die Erfindung ist nicht auf die hierin offenbarte(n) bestimmte(n) Ausführungsform(en) beschränkt, sondern ist lediglich durch die nachstehenden Ansprüche definiert. Ferner betreffen die in der vorstehenden Beschreibung enthaltenen Aussagen bestimmte Ausführungsformen und sollen sie nicht als Einschränkungen des Schutzumfangs der Erfindung oder der Definition der in den Ansprüchen verwendeten Begriffe betrachtet werden, außer, wenn ein Begriff oder eine Phrase oben ausdrücklich definiert ist. Verschiedene andere Ausführungsformen und verschiedene Änderungen und Abwandlungen der offenbarten Ausführungsform(en) werden für Fachleute ersichtlich. Alle solchen anderen Ausführungsformen, Änderungen und Abwandlungen sollen als innerhalb des Schutzumfangs der beigefügten Ansprüche liegend betrachtet werden.
Wie in dieser Beschreibung und den Ansprüchen verwendet, sollen die Begriffe ”z. B.”, ”zum Beispiel”, ”beispielsweise”, ”wie beispielsweise” und ”wie” und die Verben ”umfassen”, ”aufweisen”, ”einschließen” und ihre anderen Verbformen, wenn sie in Verbindung mit einer Auflistung einer oder mehrerer Komponenten oder anderer Elemente verwendet werden, jeweils als ein offenes Ende aufweisend betrachtet werden, was bedeutet, dass die Auflistung nicht als andere, zusätzliche Komponenten oder Elemente ausschließend betrachtet werden soll. Andere Begriffe sollen unter Verwendung ihrer breitesten vernünftigen Bedeutung betrachtet werden, wenn sie nicht in einem Kontext verwendet werden, der eine andere Interpretation erfordert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

IEEE 802.11-Protokolle [0022]

Claims

Computerprogrammprodukt, umfassend: ein nichtflüchtiges von einem Computer lesbares Medium mit darauf gespeicherten Programmanweisungen zur Verwendung durch eine kamerafähige mobile Einrichtung, wobei die an dem von einem Computer lesbaren Medium gespeicherten Programmanweisungen bei einer Ausführung durch die mobile Einrichtung bewirken, dass die mobile Einrichtung die Schritte ausführt, dass: ein digitales Bild eines Abschnitts eines Fahrzeugs empfangen wird; ein primäres Objekt des Fahrzeugs in dem digitalen Bild identifiziert wird; das primäre Objekt mit zumindest einem Referenzobjektbild in Verbindung gebracht wird, das in einer Objektbibliothek gespeichert ist, die mehrere Referenzobjektbilder umfasst; basierend auf der Verbindung eine Benutzerhandbuchinformation angezeigt wird; und das digitale Bild in der Objektbibliothek als neues Referenzobjektbild für zukünftige Identifikationen gespeichert wird.
Computerprogrammprodukt nach Anspruch 1, wobei der Identifizierungsschritt umfasst, dass die Identität des primären Objekts basierend auf dem Ort des primären Objekts in einer zentralen Region des digitalen Bilds ermittelt wird.
Computerprogrammprodukt nach Anspruch 1, wobei die Objektbibliothek mehr als ein Referenzobjektbild für zumindest einige primäre Objekte des Fahrzeugs umfasst.
Computerprogrammprodukt nach Anspruch 3, wobei für zumindest einige primären Objekte des Fahrzeugs das mehr als eine Referenzobjektbild eines oder mehrere der Referenzobjektbilder erfasst unter einem ersten fotografischen Winkel, das Referenzobjektbild erfasst unter einem zweiten fotografischen Winkel, der von dem ersten fotografischen Winkel verschieden ist, und eine nicht fotografische Version des Referenzobjektbilds umfasst.
Computerprogrammprodukt nach Anspruch 1, ferner umfassend, dass zumindest ein Objekt in der digitalen Abtastung automatisch markiert wird, um eine Benutzerhandbuchinformation vorzuschlagen, die dem Benutzer zur Verfügung steht.
Computerprogrammprodukt nach Anspruch 1, wobei die Programmanweisungen ferner umfassen, dass ein sekundäres Objekt des Fahrzeugs in dem digitalen Bild identifiziert wird, während gleichzeitig das primäre Objekt identifiziert wird.
Computerprogrammprodukt nach Anspruch 6, wobei die Programmanweisungen ferner umfassen, dass: das sekundäre Objekt mit zumindest einem Referenzobjektbild, das in einer Objektbibliothek gespeichert ist, in Verbindung gebracht wird, wobei der Anzeigeschritt umfasst, dass: eine Information direkt in Verbindung stehend mit sowohl dem ersten als auch dem zweiten Objekt angezeigt wird oder eine Information bezüglich einer Klassifizierung von Objekten, mit der sowohl das erste als auch das zweite Objekt in Verbindung stehen, angezeigt wird.
Computerprogrammprodukt nach Anspruch 7, wobei der Schritt des Identifizierens des sekundären Objekts umfasst, dass die Identität des sekundären Objekts basierend auf dem Ort des sekundären Objekts außerhalb der zentralen Region des digitalen Bilds ermittelt wird.
Computerprogrammprodukt nach Anspruch 1, wobei die Programmanweisungen ferner umfassen, dass: Sprachaudioinhalt empfangen wird, der einen oder mehrere identifizierende Begriffe enthält, der oder die mit zumindest einem in dem digitalen Bild identifizierten Objekt in Verbindung steht oder stehen; der eine oder die mehreren identifizierenden Begriffe unter Verwendung einer Maschine einer automatischen Spracherkennung (ASR) ermittelt wird oder werden; und die Benutzerhand buchinformation, die angezeigt werden soll, basierend zumindest teilweise auf dem einen oder den mehreren identifizierenden Begriffen ermittelt wird.
Verfahren zum Bereitstellen einer Fahrzeugbenutzerhandbuchinformation, das die Schritte umfasst, dass: ein digitales Bild eines Abschnitts eines Fahrzeugs empfangen wird; ein Objekt des Fahrzeugs in dem digitalen Bild identifiziert wird; das Objekt mit zumindest einem Referenzobjektbild, das in einer Objektbibliothek gespeichert ist, die mehrere Referenzobjektbilder umfasst, in Verbindung gebracht wird; eine Benutzerhandbuchinformation basierend auf der Verbindung angezeigt wird; und zumindest ein Abschnitt des digitalen Bilds in der Objektbibliothek als neues Referenzobjektbild für zukünftige Identifikationen gespeichert wird.