DE102022129841A1

DE102022129841A1 - Verfahren und system zum steuern einer funktion eines fahrzeugs mittels eines endgeräts eines benutzers

Info

Publication number: DE102022129841A1
Application number: DE102022129841.8A
Authority: DE
Inventors: Simone CAMBERG; Artur Hubert; Thomas Ewender; Johannes Feldmaier
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-11-11
Filing date: 2022-11-11
Publication date: 2024-05-16
Also published as: WO2024099608A1

Abstract

Ein Verfahren zum Steuern einer Funktion eines Fahrzeugs mittels eines Endgeräts eines Benutzers umfasst ein Erfassen von Bilddaten mittels zumindest einer Bilderfassungseinrichtung, wie einer RGB-Kamera, im Innenraum eines Fahrzeugs, wobei die Bilddaten zumindest eine Ansicht eines Endgeräts des Benutzers enthalten, ein Erkennen eines Inhalts auf dem Endgerät des Benutzers durch Auswerten der Bilddaten, ein Zuordnen des erkannten Inhalts zu einer Funktion des Fahrzeugs und ein Steuern der Funktion des Fahrzeugs in Abhängigkeit von dem erkannten Inhalt. Vor dem Erfassen der Bilddaten mittels der Bilderfassungseinrichtung können Überwachungsdaten für zumindest einen Teil des Innenraums des Fahrzeugs mittels zumindest einer Überwachungseinrichtung, wie einer IR-Kamera, erfasst werden.

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie ein System zum Steuern einer Funktion eines Fahrzeugs. Insbesondere wird eine Funktion mittels eines Endgerätes eines Benutzers gesteuert, das mittels einer Bilderfassungseinrichtung, wie einer Kamera, im Innenraum des Fahrzeugs erfasst wird, wobei die Funktion basierend auf einer Erkennung eines Inhalts auf dem Endgerät des Benutzers gesteuert wird.
Moderne Fahrzeuge weisen eine Vielzahl von Funktionen auf, welche durch einen Benutzer gesteuert, d.h. z.B. aufgerufen, gestartet, gestoppt, konfiguriert, usw. werden können. Dies kann insbesondere Funktionen des Infotainmentsystems beinhalten, wie die Eingabe eines Navigationsziels, Abspielen eines Musikstücks, das Anrufen eines Kontakts oder dergleichen. Diese Funktionen des Infotainmentsystems werden üblicherweise durch Interaktion des Benutzers direkt mit dem Fahrzeug gesteuert, beispielsweise durch Betätigen von Tasten oder Berühren eines Touchscreens oder auch durch Sprachsteuerung oder Gestensteuerung.
Die Bedienung im Fahrzeug selbst kann jedoch mitunter mühsam sein, beispielsweise wenn Daten, wie ein Navigationsziel oder ein Titel eines Musikstücks über eine Tastatur auf einem Touchscreen eingetippt oder mit einem Controller ausgewählt werden müssen. Oft ist eine derartige Eingabe auf einem Endgerät eines Benutzers, wie einem Smartphone einfacher. In einigen Fällen liegen die Daten sogar schon auf dem Smartphone vor, wenn ein Benutzer beispielsweise bereits ein bestimmtes Lied auf seinem Smartphone gehört hat, welches er nun auch im Fahrzeug hören möchte.
Es sind Verfahren zur Steuerung von Fahrzeugfunktionen mittels eines Endgeräts eines Benutzers bekannt. Diese erfordern jedoch zur Datenübertragung von dem Endgerät des Benutzers an das Fahrzeug eine Kopplung des Endgeräts mit dem Fahrzeug. Beispielsweise kann ein Smartphone drahtlos mit dem Fahrzeug über Bluetooth oder einen WLAN-Hotspot im Fahrzeug gekoppelt werden. Es ist auch bekannt, Daten von einem Endgerät über einen Cloud-Dienst an ein Fahrzeug zu übertragen. Dies erspart zwar jeweils die Eingabe im Fahrzeug, erfordert jedoch zuvor (zumindest einmalig) eine entsprechende Kopplung oder Einrichtung eines bestimmten Dienstes. Während dies für einen Fahrzeuginhaber noch eine gangbare Vorgehensweise darstellen kann, ist dies jedoch beispielsweise in einem Mietwagen oder für gelegentliche Passagiere lästig.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, die Steuerung einer Funktion eines Fahrzeugs zu vereinfachen. Insbesondere soll eine vereinfachte Steuerung einer Fahrzeugfunktion mittels eines Endgeräts eines Benutzers bereitgestellt werden.
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erster Aspekt der Erfindung betrifft ein, insbesondere computerimplementiertes, Verfahren zum Steuern einer Funktion eines Fahrzeugs mittels eines Endgeräts eines Benutzers. Das Verfahren umfasst ein Erfassen von Bilddaten mittels zumindest einer Bilderfassungseinrichtung im Innenraum eines Fahrzeugs, wobei die Bilddaten zumindest eine Ansicht eines Endgeräts des Benutzers enthalten, ein Erkennen eines Inhalts auf dem Endgerät des Benutzers durch Auswerten der Bilddaten, ein Zuordnen des erkannten Inhalts zu einer Funktion des Fahrzeugs und ein Steuern der Funktion des Fahrzeugs in Abhängigkeit von dem erkannten Inhalt.
Das vorgenannte Verfahren nach dem ersten Aspekt beruht folglich insbesondere darauf, dass Bilddaten ausgewertet werden, die mittels einer Bilderfassungseinrichtung, wie einer Kamera erfasst werden. Die Bilderfassungseinrichtung nimmt eine Ansicht des Endgeräts des Benutzers auf, so dass daraus Inhalte auf dem Endgerät, insbesondere Inhalte, die auf einem Display des Endgeräts angezeigt werden, erkannt werden können. Der erkannte Inhalt wird einer Funktion des Fahrzeugs zugeordnet, mit anderen Worten wird die Art des Inhalts erkannt, so dass der Inhalt einer Fahrzeugfunktion zugeordnet werden kann, sodass diese Funktion dann in Abhängigkeit von dem erkannten Inhalt, beispielsweise mit dem erkannten Inhalt gesteuert, insbesondere aufgerufen oder konfiguriert werden kann.
Durch diese Vorgehensweise wird das Steuern einer Fahrzeugfunktion maßgeblich vereinfacht, da keine Kopplung, Verbindung oder andere elektronische Verbindung des Endgeräts mit dem Fahrzeug notwendig ist. Daher kann eine Fahrzeugfunktion auch beispielsweise von Benutzern gesteuert werden, die ihr Endgerät nicht zuvor mit dem Fahrzeug verbinden müssen. Die Steuerung kann z.B. einfach durch Halten eines Smartphones in eine Kamera im Innenraum des Fahrzeugs erfolgen. Aus dem aufgenommenen Bild des Smartphones, bzw. genauer gesagt dem Display mit einem darauf dargestellten Inhalt, kann schnell und einfach eine zugehörige Fahrzeugfunktion mit dem passenden Inhalt aufgerufen werden.
Der hier verwendete Begriff „Fahrzeug“ bezieht sich insbesondere auf einen Pkw, einschließlich aller Arten von Kraftfahrzeugen, Hybrid- und batteriebetriebenen Elektrofahrzeugen sowie Fahrzeuge wie Vans, Busse, Lkw, Lieferwagen und dergleichen.
Unter dem Begriff „Funktion eines Fahrzeugs“ (gleichbedeutend mit dem Begriff „Fahrzeugfunktion“), wie hierin verwendet, ist insbesondere eine Funktion eines Infotainmentsystems eines Fahrzeugs zu verstehen. Dies kann proprietäre Anwendungen des Fahrzeugherstellers und/oder durch Fremdanbieter implementierte Anwendungen umfassen. Das Steuern einer Fahrzeugfunktion kann insbesondere ein Aufrufen oder Starten einer einem erkannten Inhalt zugeordneten Fahrzeugfunktion in Abhängigkeit von dem erkannten Inhalt umfassen. Das Steuern einer Fahrzeugfunktion kann jedoch auch lediglich ein Anzeigen von Daten zu einem erkannten Inhalt bzw. der zugeordneten Fahrzeugfunktion (gegebenenfalls zusammen mit dem erkannten Inhalt) umfassen, beispielsweise auf einem Bildschirm des Fahrzeugs, insbesondere einem Display des Infotainmentsystems.
Unter dem Begriff „Endgerät“ eines Benutzers, wie hierin verwendet, ist insbesondere ein Gerät, wie ein mobiles Gerät zu verstehen, welches nicht Teil des Fahrzeugs ist, sondern im Besitz eines Benutzers ist. Im Sinne der vorliegenden Erfindung ist es nicht notwendig, dass das Endgerät auf irgendeine Weise direkt oder indirekt elektronisch mit dem Fahrzeug gekoppelt ist oder wird. Es ist jedoch nicht ausgeschlossen, dass das Endgerät zu anderen Zwecken mit dem Fahrzeug gekoppelt sein kann. Das Endgerät ist insbesondere eingerichtet, Inhalte darzustellen, insbesondere auf einem Display anzuzeigen. Bei dem Endgerät kann es sich beispielsweise um ein Smartphone handeln oder auch eine Smartwatch, ein Tablet, ein Laptop und dergleichen. Der Benutzer eines Endgeräts kann insbesondere der Fahrer des Fahrzeugs sein. Es versteht sich jedoch, dass auch ein Beifahrer und prinzipiell jeder Fahrzeuginsasse, der mit einem Endgerät eine geeignete Position auf geeignete Weise erreicht, ein Benutzer des Endgeräts im Sinne der Erfindung sein kann.
Unter dem Begriff „Inhalt“ eines Endgeräts, wie hierin verwendet, ist insbesondere eine auf einer Anzeigevorrichtung, wie einem Display, eines Endgeräts dargestellte Information. Der Inhalt muss auf dem Endgerät nicht notwendigerweise in einer App angezeigt werden, die von Ihrer Art der Fahrzeugfunktion entspricht. Der Inhalt kann lediglich z.B. aus einem unformatierten Text oder einem maschinenlesbaren Code bestehen. Gleichwohl kann der Inhalt auch hinsichtlich seiner Darstellung, wie Schriftformat, Farben, Formen, Logos oder dergleichen untersucht werden, was zur Identifizierung der Fahrzeugfunktion genutzt werden kann. Auch kann ein Code mehr als nur einen Text enthalten, wie z.B. zusätzlich die Angabe der Art des Inhalts oder sogar einen entsprechenden Steuercode für die Fahrzeugfunktion.
Der hier verwendete Begriff „Bilderfassungseinrichtung“ bezieht sich insbesondere auf eine Kamera, insbesondere eine digitale Kamera. Die Kamera kann Standbilder (Fotos) oder bewegte Bilder (Videos) aufnehmen. Die Bilderfassungseinrichtung kann ein derartiges Bild erfassen oder aufnehmen und entsprechende Bilddaten ausgeben.
Die hierein gegebenenfalls verwendeten Begriffe „umfasst“, „beinhaltet“, „schließt ein“, „weist auf“, „hat“, „mit“, oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.
Ferner bezieht sich „oder“, sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).
Die Begriffe „ein“ oder „eine“, wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe „ein anderer“ und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.
Der Begriff „Mehrzahl“, wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.
Unter dem Begriff „konfiguriert“ oder „eingerichtet“, eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.
Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.
Bei einigen Ausführungsformen umfasst das Verfahren vor dem Erfassen der Bilddaten mittels der Bilderfassungseinrichtung des Weiteren folgendes: ein Erfassen von Überwachungsdaten für zumindest einen Teil des Innenraum des Fahrzeugs mittels zumindest einer Überwachungseinrichtung und ein Feststellen (d.h. Prüfen), ob sich das Endgerät des Benutzers zumindest teilweise in einem vorgegebenen Bereich der Überwachungsdaten befindet, wobei das Erfassen der Bilddaten mittels der Bilderfassungseinrichtung nur durchgeführt wird, wenn festgestellt wird, dass sich das Endgerät des Benutzers zumindest teilweise in dem vorgegebenen Ausschnitt befindet.
Durch diese Maßnahme, welche der eigentlichen Erkennung eines Inhalts auf dem Endgerät vorausgeht, kann das Verfahren mit erhöhter Zuverlässigkeit gestaltet werden. Eine Bildanalyse wird nicht permanent durchgeführt wird, was zum einen zusätzliche Rechenleistung erfordert würde und zum anderen auch z.B. zu unerwünschten Ergebnissen führen könnte, wenn ein Benutzer möglicherweise gar nicht beabsichtigt, eine Fahrzeugfunktion zu steuern. Die Bilddaten werden zur möglichen Erkennung eines Inhalts auf dem Endgerät nur dann erfasst, wenn ein Benutzer ein Endgerät auch tatsächlich in einen Erfassungsbereich (den vorgegebenen Bereich) hält. Dazu kann eine Überwachungseinrichtung genutzt werden, welche möglicherweise ohnehin im Fahrzeug vorhanden ist, z.B. zur Überwachung des Fahrers zu anderen Zwecken. Die Überwachungsdaten als solche sind jedoch möglicherweise nicht für eine Erkennung eines auf einem Endgerät dargestellten Inhalts geeignet, weshalb dann bei positiver Feststellung, dass sich ein Endgerät in dem vorgegebenen Bereich befindet, Bilddaten erfasst werden wie oben erläutert. Bei der Überwachungseinrichtung kann es sich dennoch auch um eine Bilderfassungseinrichtung handeln, wie unten näher erläutert.
Bei einigen Ausführungsformen umfasst das Verfahren des Weiteren folgendes: ein Erkennen eines Zustands des Endgeräts durch Auswerten der Überwachungsdaten und ein Feststellen (d.h. Prüfen), ob der erkannte Zustand geeignet ist, einen Inhalt auf dem Endgerät des Benutzers zu erkennen, wobei das Erkennen eines Inhalts auf dem Endgerät des Benutzers durch Auswerten der Bilddaten nur durchgeführt wird, wenn festgestellt wird, dass der Zustand des Endgeräts zum Erkennen eines Inhalts auf dem Endgerät geeignet ist. Diese Maßnahme erhöht die Zuverlässigkeit des Verfahrens, da vor der eigentlichen Bilderkennung geprüft wird, ob sich das Endgerät es sich in einem „geeigneten Zustand“ befindet, also z.B. in einer richtigen Orientierung gehalten wird, nicht verdeckt wird und dergleichen, wie unten näher erläutert. Dadurch können unnötige Bildauswertungen vermieden werden, welche ohnehin mit hoher Wahrscheinlichkeit kein gültiges Resultat liefern würden. Zudem kann es vorkommen, dass ein Benutzer sein Endgerät zwar (möglicherweise unbeabsichtigt) in dem vorgegebenen Ausschnitt hält, aber gar keine Steuerung einer Fahrzeugfunktion beabsichtigt, insbesondere mit der zuvor erläuterten Prüfung der Überwachungsdaten. Insbesondere in Kombination mit der zuvor beschrieben Prüfung der Überwachungsdaten, ob sich das Endgerät in dem vorgegebenen Bereich befindet, kann die Zuverlässigkeit des Verfahrens weiter gesteigert werden. Mit anderen Worten, ist vorteilhaft, wenn zunächst festgestellt wird, ob sich ein Endgerät in dem vorgegebenen Bereich befindet, und erst bei positiver Feststellung weiter festgestellt, ob es sich in einem „geeigneten Zustand“ befindet,
Die nachfolgenden Ausführungsformen beschreiben mögliche Zustände des Endgeräts, welche zunächst überprüft werden, bevor die eigentliche Bilderkennung aktiviert wird. Ein Zustand des Endgeräts bezieht sich dabei nicht unbedingt auf einen Betriebszustand des Endgeräts selbst, sondern insbesondere auf eine Beziehung zwischen Endgerät und Fahrzeug. Der Zustand gilt als geeignet, wenn bei keiner der im folgenden Ausführungsformen eine negative Feststellung (also „nicht geeignet“) getroffen wird. Schon bei einer negativen Feststellung kann dies dazu führen, dass ein Inhalt auf einem Endgerät nicht erkannt werden kann, beispielsweise weil der Benutzer sein Endgerät ungeeignet hält. Daher sollen vorzugsweise alle Feststellungen positiv ausfallen, bevor die Bilderkennung getriggert wird. Es versteht sich jedoch, dass es Fälle geben kann, in denen trotz negativer Feststellung in einem Fall (oder auch mehreren Fällen) eine Erkennung eines Inhalts auf einem Endgerät dennoch erfolgreich durchgeführt werden könnte.
Bei einigen Ausführungsformen umfasst der Zustand eine Orientierung (die Lage) des Endgeräts im Innenraum des Fahrzeugs, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt auf dem Endgerät zu erkennen, wenn ein Blickwinkel der Bilderfassungseinrichtung auf das Endgerät außerhalb eines vorgegebenen Bereichs liegt. Insbesondere kann eine Erkennung eines Inhalts auf dem Endgerät nicht möglich oder zumindest erschwert sein, wenn das Endgerät zu schräg, verdreht oder dergleichen der Bilderfassungseinrichtung gehalten wird.
Die Orientierung des Endgeräts im Raum kann dabei auch einfach festgestellt werden, wenn es sich bei den Überwachungsdaten um Bilddaten handelt. Ist beispielsweise ein Winkel zwischen zwei Kanten eines (als rechteckig angenommenen) Endgeräts, welche parallel zueinander sein sollten, im Bild zu groß, ist dies ein Hinweise darauf, dass das Endgerät zu schräg (verdreht) gehalten wird. Auch wenn der Abstand zwischen zwei parallelen Kanten, welche auch im Bild parallel sind, zu klein ist, kann daraus ebenfalls auf eine ungeeignete Orientierung (Verdrehung) des Endgeräts relativ zur Kamera geschlossen werden. Über die Entfernung der Kanten kann auch ein Abstand zwischen dem Endgerät und der Bilderfassungseinrichtung festgestellt werden. Wenn dieser außerhalb eines vorgegebenen Bereichs liegt, kann eine Erkennung eines Inhalts auf dem Endgerät nicht möglich oder zumindest erschwert sein, d.h. wenn sich das Endgerät zu nah an bzw. zu weit weg von der Bilderfassungseinrichtung befindet.
Bei einigen Ausführungsformen umfasst der Zustand einen durch die Bilderfassungseinrichtung sichtbaren Anteil des Endgeräts, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt auf dem Endgerät zu erkennen, wenn der sichtbare Anteil kleiner als ein vorgegebener Grenzwert ist. Hier kann insbesondere festgestellt werden, ob sich Finger vor dem Endgerät befinden oder gar ein Großteil der Hand, was darauf hindeuten kann, dass das Endgerät der Bilderfassungseinrichtung mit dem angezeigten Inhalt nicht oder nicht ausreichend zugewandt ist. Auch ist die Aktivierung der Bilderkennung mit hoher Wahrscheinlichkeit nicht sinnvoll, wenn nur ein zu kleiner Teil der Vorderseite des Endgeräts sichtbar ist, z.B. weil der Benutzer einen Teil des Displays mit seiner Hand verdeckt.
Bei einigen Ausführungsformen umfasst der Zustand eine Bewegung des Endgeräts, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt auf dem Endgerät zu erkennen, wenn die Bewegung größer als ein vorgegebener Grenzwert ist. Für eine zuverlässige Erkennung eines Inhalts auf einem Endgerät ist es vorteilhaft, wenn sich das Endgerät nicht zu sehr bewegt. Es sei bemerkt, dass dies nicht unbedingt bedeutet, dass ein Benutzer sein Endgerät absolut stillhalten muss. Eine zu schnelle Bewegung kann jedoch ein Hinweis darauf sein, dass das Endgerät nur flüchtig oder unbeabsichtigt durch den Erfassungsbereich bewegt wird, und keine Steuerung einer Fahrzeugfunktion gewünscht oder beabsichtigt ist. Eine Bewegung kann über die Ableitung der Koordinaten des Endgeräts ermittelt werden, beispielsweise aus den erfassten Überwachungsdaten. Da ein Benutzer sein Endgerät üblicherweise in der Hand hält, können dazu auch die Koordinaten einer Hand des Benutzers genutzt werden. Diese Daten können möglicherwiese bereits aus einem Skelettmodell des Benutzers vorliegen, welches für andere Zwecken ohnehin erstellt wird.
Bei einigen Ausführungsformen umfasst das Verfahren vor dem Erkennen eines Inhalts auf dem Endgerät des Benutzers durch Auswerten der Bilddaten des Weiteren folgendes: ein Bestimmen eines Ausschnitts der Bilddaten, welcher das Endgerät repräsentiert, aus den Überwachungsdaten (insbesondere dem oben beschriebenen vorgegebenen Bereich), und ein Feststellen, ob der Ausschnitt Bilddaten enthält, die geeignet sind, einen Inhalt auf dem Endgerät des Benutzers zu erkennen, wobei das Erkennen eines Inhalts auf dem Endgerät nur durchgeführt wird, wenn festgestellt wird, dass der Ausschnitt Bilddaten enthält, die geeignet sind, einen Inhalt auf dem Endgerät zu erkennen. Mit anderen Worten, die Überwachungsdaten können genutzt werden, um den Ausschnitt der Bilddaten zu bestimmen, der für die Erkennung relevant ist. Dabei kann anhand von Koordinaten bestimmt werden, wo sich z.B. ein Display des Endgeräts befindet. Die Bilddaten können beispielsweise nicht zur Erkennung eines Inhalts geeignet sein, wenn das Display des Endgeräts gar nicht eingeschaltet ist, was z.B. über Helligkeitsunterschiede in den Bilddaten ermittelt werden kann. Auch können die Lichtverhältnisse zur Erkennung von Inhalten auf dem Endgerät ungeeignet sein, beispielsweise weil das Display zu dunkel erscheint. Dies kann z.B. über die Ermittlung von Pixeln und deren Sättigung erfolgen, beispielsweise wenn die Anzahl von Pixeln mit einer bestimmten (Mindest-Sättigung) kleiner als ein vorgegebener Wert ist.
Bei einigen Ausführungsformen werden die Bilddaten mittels der Bilderfassungseinrichtung im sichtbaren Bereich des Lichts erfasst. Dies kann mittels einer RGB-Kamera erfolgen. Diese Methode ist am geeignetsten, um einen auf einem Display eines Endgeräts angeeigneten Inhalt zu erkennen.
Bei einigen Ausführungsformen werden die Überwachungsdaten mittels der Überwachungseinrichtung, welche eingerichtet ist, Überwachungsdaten für zumindest einen Teil des Innenraums des Fahrzeugs zu erfassen, wobei die Überwachungsdaten vorzugsweise als Bilddaten im Infrarotlichtbereich (IR) und/oder als dreidimensionale Modelldaten umfassen. Fahrerüberwachungssysteme arbeiten üblicherweise mit solchen IR-Kameras. Diese Methode eignet sich zur Überwachung eines Fahrzeuginnenraums, da Bilddaten, die im IR-Bereich erfasst werden, robust gegenüber unterschiedlichen Lichtverhältnissen sind. Mit anderen Worten, diese Methode liefert sowohl bei starker Sonneneinstrahlung als auch bei Dunkelheit zuverlässige Ergebnisse (insb. im Vergleich zu Bilddaten im sichtbaren Bereich des Lichts). Daten zu einem dreidimensionalen Modell, die beispielsweise mit einer Time-of-Flight-Kamera aufgenommen werden, erlauben eine detaillierte dreidimensionale Ansicht des Fahrzeuginnenraums.
Bei einigen Ausführungsformen das Erkennen eines Inhalts das Erkennen eines Textes und/oder das Erkennen eines maschinenlesbaren Codes umfasst. Eine solche Erkennung kann hierbei auf bekannte Verfahren zurückgreife, beispielsweise Texterkennung aus den Bilddaten mittels OCR. Zur Zuordnung des erkannten Textes (oder Codes) zu einer Fahrzeugfunktion kann dann eine Klassifizierung bzw. ein Parsing erfolgen. Beispielsweise kann aus einem erkannten Text ermittelt werden, ob es sich um einen Titel eines Musikstücks oder eine Adresse handelt. Abhängig davon kann dann entsprechend z.B. eine App eines Streaming-Anbieters aufgerufen werden, um das erkannte Musikstück abzuspielen, oder das Navigationssystem mit einer entsprechenden Zielführung zur erkannten Adresse gestartet werden.
Ein zweiter Aspekt der Erfindung betrifft ein System zur Datenverarbeitung, aufweisend zumindest einen Prozessor, der so konfiguriert ist, dass er das Verfahren nach dem ersten Aspekt der Erfindung ausführt.
Bei einigen Ausführungsformen umfasst das System des Weiteren zumindest eine Bilderfassungseinrichtung, welche eingerichtet ist, Bilddaten im sichtbaren Bereich (RGB) des Lichts zu erfassen. Wie oben erläutert, kann auf diese Weise ein Inhalt eines Endgeräts, insbesondere ein auf einem Display eines Endgeräts angezeigter Inhalt, erkannt werden.
Bei einigen Ausführungsformen umfasst das System des Weiteren zumindest eine Überwachungseinrichtung, welche eingerichtet ist, Bilddaten im Infrarotlichtbereich (IR) und/oder dreidimensionale Modelldaten zu erfassen. Wie oben erläutert, ist es vorteilhaft, den Innenraum eines Fahrzeugs mittels einer Infrarot-Kamera oder einer Time-of-Flight-Kamera zu überwachen.
Ein dritter Aspekt der Erfindung betrifft ein Computerprogramm mit Instruktionen, die bei ihrer Ausführung auf einem System nach dem zweiten Aspekt dieses veranlassen, das Verfahren nach dem ersten Aspekt auszuführen.
Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein. Zudem kann das Computerprogramm eine Mehrzahl von zusammenwirkenden einzelnen Programmodulen aufweisen.
Das System nach dem zweiten Aspekt kann entsprechend einen Programmspeicher aufweisen, in dem das Computerprogramm abgelegt ist. Alternativ kann das System auch eingerichtet sein, über eine Kommunikationsverbindung auf ein extern, beispielsweise auf einem oder mehreren Servern oder anderen Datenverarbeitungseinheiten verfügbares Computerprogramm zuzugreifen, insbesondere um mit diesem Daten auszutauschen, die während des Ablaufs des Verfahrens bzw. Computerprogramms Verwendung finden oder Ausgaben des Computerprogramms darstellen.
Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung. Dies gilt ebenso für die in Bezug auf den zweiten Aspekt der Erfindung erläuterten Merkmale und Vorteile.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Zeichnungen.
Dabei zeigt:

1 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform;
2 eine Ansicht eines Fahrzeuginnenraums mit einem durch einen Benutzer in einen Erkennungsbereich gehaltenen Endgerät; und
3 eine Ansicht eines Endgeräts mit einem angezeigten Inhalt.

In den Figuren werden durchgängig dieselben Bezugszeichen für dieselben oder einander entsprechenden Elemente der Erfindung verwendet.
In 1 ist ein Verfahren 100 zur Steuerung einer Fahrzeugfunktion dargestellt. Das Verfahren 100 kann insbesondere in einem Datenverarbeitungssystem des Fahrzeugs ausgeführt werden (nicht dargestellt). Nachfolgend wird das Verfahren 100 auch unter Bezugnahme auf 2 und 3 erläutert. 2 zeigt einen Ausschnitt eines Fahrzeuginnenraums 1 mit einem Fahrer als Benutzer 10 eines Smartphones als beispielhaftes Endgerät 2. In 3 ist ein Smartphone 2 in der Hand eines Benutzers mit einem auf dem Display 21 angezeigten Inhalt 22 (schematisch als Box angedeutet) dargestellt.
In einem Schritt S1 werden Überwachungsdaten für zumindest einen Teil des Fahrzeuginnenraums 1 erfasst. Das Fahrzeug kann mit einem Fahrerüberwachungssystem (Driver Monitoring System; DMS) ausgestattet sein, welches den Fahrer und möglicherweise auch andere Teile des Fahrzeuginnenraums 1 überwacht. Diese Überwachung kann permanent während der Fahrt (d.h. insbesondere beginnend und endend mit dem Einschalten bzw. Ausschalten der Zündung) aktiv sein. Zu diesem Zweck kann eine Überwachungseinrichtung 3 im Fahrzeuginnenraum 2 beispielsweise im Fuß 5 des Innenspiegels 6 angeordnet sein. Von dieser Position ist der Fahrer 10 bzw. sind auch weite Teile des Fahrzeuginnenraums 1 gut einsehbar.
Es kann eine Infrarot (IR)-Kamera (z.B. eine Nahinfrarot (NIR)-Kamera) zum Einsatz kommen. Ein IR-Bild eignet sich gut für die Überwachung, da es robust gegen veränderliche Lichtverhältnisse ist, beispielsweise auch bei starker Sonneneinstrahlung. Gleichermaßen sind Aufnahmen bei Dunkelheit möglich. Es versteht sich, dass eine entsprechende IR-Lichtquelle vorhanden sein kann. Es ist ebenso denkbar, ein dreidimensionales Modell des Fahrers 10 bzw. des Fahrzeuginnenraums 1 zu erstellen, beispielsweise mittels einer Time-of-Flight (TOF)-Kamera. Mittels des dreidimensionalen Modells können Abstände zur Kamera, und somit Entfernungen zwischen Objekten und deren Bewegungen berechnet werden.
Mit Hilfe der erfassten Überwachungsdaten kann in einem Schritt S2 festgestellt werden, ob sich das Endgerät 2 in einem vorgegebenen Bereich 7 (angedeutet durch gestrichelte Linien in 2) befindet. Dieser Bereich 7 ist ein Ausschnitt aus den Überwachungsdaten, bei (IR-)Bilddaten kann dies einfach ein zweidimensionaler Bereich sein, der als geeignet für die Erkennung eines auf einem Endgerät dargestellten Inhalts bestimmt wurde. Im Fahrzeuginnenraum kann dies einem Bereich in der Nähe der Kamera 3 entsprechen (bzw. der Kamera 4, siehe unten). Die Anordnung im Fuß 5 des Innenspiegels 6 der Mitte des Fahrzeugs ist zudem für einen Benutzer gut erreichbar, um ein Endgerät 2 zur Durchführung des Verfahrens in geeigneter Weise im Bereich 7 in Position zu bringen. Es versteht sich, dass der in 2 angedeutete Bereich 7 lediglich beispielhaft ist. Position, Größe und Form des Bereichs 7 können entsprechend gewünschten Anforderungen einstellbar sein.
Die folgenden Schritte des Verfahrens 100 werden vorteilhaft nur dann ausgeführt, wenn das Endgerät 2 in den Bereich 7 gelangt. Einerseits kann das Verfahren so zuverlässiger ausgeführt werden, da keine Auswertung sämtlicher Überwachungsdaten erfolgt, auch wenn das Endgerät 2 beispielsweise gar nicht im Blickfeld der Kamera 3 ist (bzw. der Kamera 4, siehe unten). Auch kann so eine unbeabsichtigte Ausführung des Verfahrens 100 weitgehend verhindert werden, da der Benutzer 10 mit seinem Endgerät 2 üblicherweise nicht in den Bereich 7 gelangt, da er beispielsweise dazu, wie in 2 dargestellt, seinen Arm mit dem Endgerät 2 in seiner Hand heben muss.
Wird festgestellt, dass sich das Endgerät 2 in dem Bereich 7 befindet, erfolgt in einem Schritt S3 die Prüfung der Überwachungsdaten, vorteilhaft nur derjenigen Überwachungsdaten aus dem Bereich 7. Falls nicht, beginnt das Verfahren 100 von vorne bei Schritt S1. Die Prüfung erfolgt insbesondere auf die nachfolgend erläuterten Kriterien.
Das Endgerät 2 muss für eine zuverlässige Erkennung eines dargestellten Inhalts in einer Orientierung gehalten werden, welche weder zu sehr geneigt noch zu sehr verdreht ist. Dies kann über den Vergleich von gegenüberliegenden Kanten des Endgeräts 2 in den Überwachungsdaten erfolgen, welche im Idealfall parallel zueinander mit einem bestimmten Abstand vorliegen (was einer geraden Orientierung des Endgeräts 2 relativ zur Kamera 3 (bzw. Kamera 4) entsprechend würde). Ist ein Winkel zwischen gegenüberliegenden Kanten jedoch zu groß oder ein Abstand zu klein, kann daraus auf eine zu große Neigung bzw. Verdrehung des Endgeräts 2 geschlossen werden. Die Überwachungsdaten werden in beiden Fällen dann dementsprechend als ungeeignet eingestuft.
Auch darf das Endgerät 2 nicht z.B. durch die Hand des Benutzers 10 verdeckt sein, was ein Indiz dafür sein kann, dass das Display 21 des Endgeräts 2 nicht im Sichtbereich ist oder zumindest, dass weite Teile des Displays 21 durch Finger oder Teile der Hand des Benutzers 10 verdeckt sind. Die Überwachungsdaten werden in beiden Fällen dann dementsprechend als ungeeignet eingestuft.
Ferner kann auch eine zu schnelle Bewegung des Endgeräts 2 dazu führen, dass die Überwachungsdaten als ungeeignet eingestuft werden. Zum einen funktioniert eine Erkennung eines Inhalts 22 zuverlässiger, wenn das Endgerät 2 nicht zu sehr bewegt wird. Zum anderen kann eine schnelle Bewegung des Endgeräts 2 im Bereich 7 ein Hinweis darauf sein, es unbeabsichtigt in den Bereich 7 gelangt ist. Eine Bewegung kann beispielsweise über die Koordinaten des Endgeräts 2 aus den Überwachungsdaten oder auch aus den Koordinaten der Hand des Benutzers 10 jeweils über die Ableitung der entsprechenden Positionskoordinaten bestimmt werden.
Wurden die Überwachungsdaten als geeignet eingestuft, d.h. sind alle Kriterien der oben erläuterten Kriterien als geeignet eingestuft worden, werden in einem Schritt S4 nun Bilddaten mittels einer Bilderfassungseinrichtung 4 erfasst. Andernfalls beginnt das Verfahren 100 von vorne bei Schritt S1. Vor der Erfassung der Bilddaten wird vorteilhaft abgewartet, bis ein entsprechender Bildprozessor (Image Signal Processor; ISP) eine Anpassung abgeschlossen, um so die Belichtungssteuerung entsprechend geeignet anpassen zu können, mit welcher die Bilddaten erfasst werden.
Die Bilderfassungseinrichtung 4 kann insbesondere eine Kamera 4 sein, welche Bilddaten im sichtbaren Bereich des Lichts erfasst und kann daher als RGB-Kamera bezeichnet werden. Während eine IR-Kamera oder TOF-Kamera als Überwachungseinrichtung 3 zwar ein geeignetes Bild bei sehr unterschiedlichen Lichtverhältnissen liefert, enthalten die Überwachungsdaten 3 dann jedoch keine (RGB)-Farben. Diese sind jedoch für die Erkennung eines (im sichtbaren Bereich des Lichts) dargestellten Inhalts 22 auf einem Endgerät 2, wie auf einem Display 21 eines Smartphones (vgl. 3) notwendig. Auf einem IR-Bild ist ein Endgerät 2, wie ein Smartphone lediglich als (üblicherweise) im Wesentlichen rechteckiges Objekt zu erkennen, auf dem bestenfalls das Display 21 als rechteckige monochrome Fläche unterscheidbar ist.
Während in 2 die Überwachungseinrichtung 3 und die Bilderfassungseinrichtung 4 als separate Einheiten dargestellt sind, können diese auch kombiniert in einer Einheit vorliegen, welche insbesondere eine RGB-IR-Kamera sein kein, d.h. eine Kamera, welche sowohl im RGB- als auch im IR-Bereich Bilddaten liefert.
Die Bilderfassungseinrichtung 4 kann insbesondere auch im Fuß 5 des Innenspiegels 6 angeordnet sein. Daher können die Sichtbereiche der Überwachungseinrichtung 3 und der Bilderfassungseinrichtung 4 zumindest im Bereich 7 als weitgehend deckungsgleich angenommen werden (oder sogar im Wesentlichen deckungsgleich, wenn die Überwachungseinrichtung 3 und die Bilderfassungseinrichtung 4 als eine Einheit ausgebildet sind). Es werden daher insbesondere Bilddaten erfasst, welche sich im Bereich 7 befinden.
In den Bilddaten kann ein Ausschnitt aus dem Bereich 7 bestimmt werden, welcher dem Display 21 (oder maximal dem ganzen Endgerät 2) entspricht. Die entsprechenden 2D-Koordinaten, insbesondere vier Eckkoordinaten, können aus den Überwachungsdaten bestimmt werden. Die weitere Bildverarbeitung kann diese Information über diesen Ausschnitt der Bilddaten, der durch die genaue Position und Lage des Endgeräts 2 bzw. dessen Display 21 definiert ist, zur folgenden Prüfung der Bilddaten (Schritt S5) nutzen. Die dann folgende Bildanalyse (Schritt S6) kann dann vorteilhaft auf diesen Ausschnitt beschränkt werden, da alle Bereiche außerhalb des Displays 21 (bzw. zumindest außerhalb des Endgeräts 2) für die eigentliche Erkennung eines Inhalts ohnehin nicht relevant sind.
Die erfassten Bilddaten werden nun in einem Schritt S5 vor der weiteren Verarbeitung geprüft. Insbesondere wird geprüft, ob das Display 21 des Endgeräts 2 überhaupt eingeschaltet ist. Dies kann durch einen Helligkeitsvergleich von Pixeln innerhalb des Ausschnitts der Bilddaten, welcher das Display 21 definiert wie oben beschrieben, und Pixeln außerhalb erfolgen. Ferner werden die Lichtverhältnisse geprüft, wobei das Bild beispielsweise als zu dunkel eingestuft werden kann, wenn mehr als eine bestimmte Anzahl von Pixeln einen Sättigungswert kleiner als ein Grenzwert aufweist. Sind werden beide Kriterien als positiv bewertet, werden die Bilddaten als geeignet für die Erkennung eines Inhalts eingestuft. Andernfalls beginnt das Verfahren 100 bei Schritt S1 von vorne.
Wurden die Bilddaten als geeignet eingestuft, werden diese nun mittels Bildanalyse ausgewertet. Zunächst wird ein auf dem Endgerät 2 dargestellter Inhalt 22 erkannt (Schritt S6). Insbesondere können dazu bekannte Verfahren zur Texterkennung (OCR), wenn der Inhalt ein Text ist, oder zum Auslesen von maschinenlesbaren Codes, beispielsweise wenn der Inhalt ein Code, wie ein QR-Code ist, zum Einsatz kommen. Der erkannte Inhalt wird in einem Schritt S7 dann einer Fahrzeugfunktion zugeordnet, beispielsweise mittels bekannter Parsing- oder Klassifizierungsverfahren. Beispielsweise kann so eine erkannte Adresse der Fahrzeugfunktion „Navigationssystem“, ein erkanntes Musikstück der Fahrzeugfunktion „Musik-Player“ usw. zugeordnet werden. Zur Zuordnung können dazu gegebenenfalls auch weitere optische Merkmale, wie die Formatierung, Farbe usw., beispielsweise um einen bestimmten Streaming-Anbieter aufzurufen, oder auch Daten aus einem Code herangezogen werden.
In einem Schritt S8 wird dann die entsprechend zugeordnete Fahrzeugfunktion abhängig von dem erkannten Inhalt angesteuert werden. Das Steuern einer Fahrzeugfunktion kann insbesondere ein Aufrufen oder Starten einer einem erkannten Inhalt zugeordneten Fahrzeugfunktion umfassen, insbesondere in Abhängigkeit von dem erkannten Inhalt, d.h. die Fahrzeugfunktion wird mit dem erkannten Inhalt konfiguriert. Beispielsweise, wenn es sich bei dem Inhalt 22 um eine Adresse handelt, kann die Fahrzeugfunktion 9 „Navigationssystem“ direkt mit der Adresse als eingestellte Zieladresse aufgerufen werden, so dass die manuelle Eingabe der Adresse im Navigationssystem im Fahrzeug entfällt. Handelt es sich bei dem erkannten Musikstück, kann direkt ein Streaming-Anbieter mit dem erkannten Musikstück aufgerufen werden, usw.
Das Steuern einer Fahrzeugfunktion kann jedoch auch lediglich ein Anzeigen von einem erkannten Inhalt zugeordneten Daten umfassen, beispielsweise auf einem Bildschirm 8 des Fahrzeugs, insbesondere einem Display des Infotainmentsystems. Dann kann gegebenenfalls vorgesehen sei, eine Abfrage zur Bestätigung durch den Benutzer anzubieten, beispielsweise ob der erkannte Inhalt korrekt ist und/oder ob eine zu dem erkannten Inhalt zugeordnete Funktion ausgeführt werden soll. Zum Beispiel: „Es wurde folgende Adresse erkannt. Soll die Zielführung gestartet werden?“, „Es wurde folgendes Musikstück erkannt. Soll es abgespielt werden?“, usw.
Während vorhergehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorhergehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
BEZUGSZEICHENLISTE

100: Verfahren zum Steuern einer Fahrzeugfunktion
1: Fahrzeuginnenraum
2: Endgerät (Smartphone)
3: Überwachungseinrichtung (IR-Kamera)
4: Bilderfassungseinrichtung (RGB-Kamera)
5: Innenspiegelfuß
6: Innenspriegel
7: Bereich
8: Display Infotainmentsystem
9: Fahrzeugfunktion
10: Benutzer (Fahrer)
21: Display Endgerät (Smartphone)
22: angezeigter Inhalt

Claims

Verfahren (100) zum Steuern einer Funktion eines Fahrzeugs mittels eines Endgeräts (2) eines Benutzers (10), wobei das Verfahren folgendes umfasst: - Erfassen von Bilddaten mittels zumindest einer Bilderfassungseinrichtung (4) im Innenraum (1) eines Fahrzeugs, wobei die Bilddaten zumindest eine Ansicht eines Endgeräts (2) des Benutzers (10) enthalten; - Erkennen eines Inhalts auf dem Endgerät (2) des Benutzers (10) durch Auswerten der Bilddaten; - Zuordnen des erkannten Inhalts zu einer Funktion (9) des Fahrzeugs; und - Steuern der Funktion (9) des Fahrzeugs in Abhängigkeit von dem erkannten Inhalt (22).
Verfahren nach Anspruch 1, wobei das Verfahren vor dem Erfassen der Bilddaten mittels der Bilderfassungseinrichtung (4) des Weiteren folgendes umfasst: - Erfassen von Überwachungsdaten für zumindest einen Teil des Innenraums (1) des Fahrzeugs mittels zumindest einer Überwachungseinrichtung (3); - Feststellen, ob sich das Endgerät (2) des Benutzers (10) zumindest teilweise in einem vorgegebenen Bereich (7) der Überwachungsdaten befindet; wobei das Erfassen der Bilddaten mittels der Bilderfassungseinrichtung (4) nur durchgeführt wird, wenn festgestellt wird, dass sich das Endgerät (2) des Benutzers (10) zumindest teilweise in dem vorgegebenen Bereich (7) befindet.
Verfahren nach Anspruch 1 oder 2, wobei das Verfahren des Weiteren folgendes umfasst: - Erkennen eines Zustands des Endgeräts (2) durch Auswerten der Überwachungsdaten; und - Feststellen, ob der erkannte Zustand geeignet ist, einen Inhalt (22) auf dem Endgerät (2) des Benutzers (10) zu erkennen; wobei das Erkennen eines Inhalts auf dem Endgerät (2) des Benutzers (10) durch Auswerten der Bilddaten nur durchgeführt wird, wenn festgestellt wird, dass der Zustand des Endgeräts (2) zum Erkennen eines Inhalts auf dem Endgerät (2) geeignet ist.
Verfahren nach Anspruch 3, wobei der Zustand eine Position des Endgeräts (2) im Innenraum (1) des Fahrzeugs umfasst, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt (22) auf dem Endgerät (2) zu erkennen, wenn ein Abstand zwischen dem Endgerät (2) und der Bilderfassungseinrichtung (4) außerhalb eines vorgegebenen Bereichs liegt.
Verfahren nach Anspruch 4, wobei der Zustand eine Orientierung des Endgeräts (2) im Innenraum (1) des Fahrzeugs umfasst, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt (22) auf dem Endgerät (2) zu erkennen, wenn ein Blickwinkel der Bilderfassungseinrichtung (4) auf das Endgerät (2) außerhalb eines vorgegebenen Bereichs liegt.
Verfahren nach einem der Ansprüche 3 bis 5, wobei der Zustand einen durch die Bilderfassungseinrichtung (4) sichtbaren Anteil des Endgeräts (2) umfasst, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt (22) auf dem Endgerät (2) zu erkennen, wenn der sichtbare Anteil kleiner als ein vorgegebener Grenzwert ist.
Verfahren nach einem der Ansprüche 3 bis 6, wobei der Zustand eine Bewegung des Endgeräts (2) umfasst, wobei festgestellt wird, dass der erkannte Zustand nicht geeignet ist, einen Inhalt (22) auf dem Endgerät (2) zu erkennen, wenn die Bewegung größer als ein vorgegebener Grenzwert ist.
Verfahren einem der Ansprüche 2 bis 7, wobei das Verfahren vor dem Erkennen eines Inhalts (22) auf dem Endgerät (2) des Benutzers (10) durch Auswerten der Bilddaten des Weiteren folgendes umfasst: - Bestimmen eines Ausschnitts der Bilddaten, welcher das Endgerät (2) repräsentiert, aus den Überwachungsdaten; und - Feststellen, ob der Ausschnitt Bilddaten enthält, die geeignet sind, einen Inhalt (22) auf dem Endgerät (2) des Benutzers (10) zu erkennen; wobei das Erkennen eines Inhalts (22) auf dem Endgerät (2) nur durchgeführt wird, wenn festgestellt wird, dass der Ausschnitt Bilddaten enthält, die geeignet sind, einen Inhalt (22) auf dem Endgerät (2) zu erkennen.
Verfahren einem der vorhergehenden Ansprüche, wobei die Bilddaten mittels der Bilderfassungseinrichtung (4) im sichtbaren Bereich des Lichts erfasst werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Überwachungsdaten mittels der Überwachungseinrichtung (3) als Bilddaten im Infrarotlichtbereich und/oder als dreidimensionale Modelldaten erfasst werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erkennen eines Inhalts (22) das Erkennen eines Textes und/oder das Erkennen eines maschinenlesbaren Codes umfasst.
System zur Datenverarbeitung, aufweisend zumindest einen Prozessor, der so konfiguriert ist, dass er das Verfahren nach einem der vorhergehenden Ansprüche ausführt.
System nach Anspruch 12, des Weiteren aufweisend zumindest eine Bilderfassungseinrichtung (4), Bilddaten im sichtbaren Bereich des Lichts zu erfassen.
System nach Anspruch 12 oder 13, des Weiteren aufweisend zumindest eine Überwachungseinrichtung (3), welche eingerichtet ist, Überwachungsdaten für zumindest einen Teil des Innenraums (1) des Fahrzeugs zu erfassen.
Computerprogramm mit Instruktionen, die bei ihrer Ausführung auf einem System nach einem der Ansprüche 12 bis 14 dieses veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.