DE102022211287A1

DE102022211287A1 - Fahrzeugfunktionssteuerung mittels von Mobilgerät erkannter Mimik

Info

Publication number: DE102022211287A1
Application number: DE102022211287.3A
Authority: DE
Inventors: Anton Kneib
Original assignee: Stellantis Auto SAS
Current assignee: Stellantis Auto Sas Fr
Priority date: 2022-10-25
Filing date: 2022-10-25
Publication date: 2024-04-25
Also published as: WO2024088623A1

Abstract

Die Erfindung betrifft ein System für die berührungslose Bedienung einer Fahrzeugfunktion mittels Mimik, aufweisend eine Kamera (1) zum Erfassen der Mimik einer Person im Fahrzeug (3) und ein mobiles Endgerät (5), das dazu ausgeführt ist, in einem Trainingsvorgang innerhalb oder außerhalb des Fahrzeugs (3) eine Mimik der Person aufgrund einer entsprechenden Vorgabe einer bestimmten Fahrzeugfunktion zuzuordnen, wobei das mobile Endgerät (5) dazu ausgeführt ist, nach Abschluss des Trainingsvorgangs und eingebracht in das Fahrzeug (3) auf Grundlage der Bilddaten der Kamera (1) eine aktuelle Mimik auszuwerten und gemäß der Zuordnung aus dem Trainingsvorgang einer bestimmten Fahrzeugfunktion zuzuordnen sowie ein Kommando zum Ausführen der zugeordneten Fahrzeugfunktion an die Steuereinheit (7) des Fahrzeugs (3) zu übermitteln.

Description

Die Erfindung betrifft ein System zum Ermöglichen einer berührungslosen Bedienung einer Fahrzeugfunktion mittels Mimik, sowie ein Verfahren zum Ausführen eines Trainingsvorgangs für ein mobiles Endgerät zum Ermöglichen einer durch eine Person definierten Zuordnung zwischen der Mimik der Person und einer am Fahrzeug auszuführenden Fahrzeugfunktion.
Während der Fahrzeugführung durch einen Fahrer des Fahrzeugs entsteht des Öfteren Anlass, Subsysteme des Fahrzeugs zu bedienen. Dies kann einerseits durch die freiwillige Bedienung eines Unterhaltungssystems oder andere den Fahrzeugkomfort erhöhende Subsysteme auftreten, aber auch zur Unterstützung der Fahrzeugführung angezeigte Bedienschritte wie das Einschalten eines Scheibenwischers, eines Fahrzeuglichts oder eines ähnlich sicherheitskritischen Subsystems können ausgeführt werden. Dabei ist es naturgemäß notwendig, zumindest eine Hand vom Lenker des Fahrzeugs zu nehmen, zumindest wenn das jeweilige Subsystem durch eine haptisch und damit berührungsgesteuerte Bedienschnittstelle zu bedienen ist. Vor diesem Hintergrund besteht die Motivation, eine berührungslose Bedienschnittstelle im Fahrzeug vorzusehen, wie beispielsweise ein Sprachsteuerungssystem, oder ein mimikbasiertes System, wobei insbesondere Letzteres im Stand der Technik bekannt ist.
Die DE 10 2017 216 837 A1 betrifft hierzu ein Fahrzeug, welches eine Mehrzahl von funktionalen Geräten und eine Mensch-Maschine-Schnittstelle zum mimischen und/oder gestischen Betätigen einer Funktion eines Geräts aufweist, bei dem die Mensch-Maschine-Schnittstelle eine Kamera zum Erfassen eines bestimmten Insassen des Fahrzeugs und eine mit der Kamera verbundene Steuerungseinheit umfasst, welche konfiguriert ist, aus von der Kamera erfassten Bildsequenzen des Insassen einen Gesichtsausdruck und eine Handbewegung des Insassen zu extrahieren und den extrahierten Gesichtsausdruck und die extrahierte Handbewegung des bestimmten Insassen miteinander zu kombinieren, um eine zu betätigende Funktion eines Geräts zu ermitteln.
Somit kann körperlich beeinträchtigten Menschen eine vollwertige Bedienung von Fahrzeugfunktionen uneingeschränkt ermöglicht werden, außerdem bietet ein solches berührungsloses Funktionssteuerungssystem den Vorteil, dass beispielsweise ein Fahrer des Fahrzeugs weniger vom Verkehrsgeschehen abgelenkt ist und weder Hand noch Augen bewegen muss, und somit dem Verkehrsgeschehen verringerte Aufmerksamkeit widmen muss, um eine Funktion des Fahrzeugs auszuführen.
Aufgabe der Erfindung ist es, die berührungslose Bedienung von Funktionen in einem Fahrzeug zu verbessern.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
Ein erster Aspekt der Erfindung betrifft ein System zum Ermöglichen einer berührungslosen Bedienung einer Fahrzeugfunktion mittels Mimik, aufweisend eine Kamera zum Erfassen eines Gesichtsausdrucks einer Person in der Rolle eines Insassen im Fahrzeug und ein mobiles Endgerät mit einer Recheneinheit, wobei das mobile Endgerät dazu dient und dazu ausgeführt ist, in einem Trainingsvorgang innerhalb oder außerhalb des Fahrzeugs eine jeweils kamerabasiert erfasste aktuelle Mimik der Person aufgrund einer entsprechenden Vorgabe der Person einer bestimmten Fahrzeugfunktion zuzuordnen und die Zuordnung abzuspeichern, wobei das mobile Endgerät nach dem Einstecken in eine für das mobile Endgerät vorgesehene Schnittstelle im Fahrzeug mit einer Steuereinheit des Fahrzeugs verbunden werden kann und dazu ausgeführt und eingerichtet ist, nach Abschluss des Trainingsvorgangs und eingesteckt in die für das mobile Endgerät vorgesehene Schnittstelle im Fahrzeug auf Grundlage der Bilddaten der Kamera eine aktuelle Mimik der Person in der Rolle des Insassen im Fahrzeug zu analysieren und auszuwerten und gemäß der Zuordnung aus dem Trainingsvorgang einer bestimmten Fahrzeugfunktion zuzuordnen sowie ein Kommando zum Ausführen der zugeordneten Fahrzeugfunktion an die Steuereinheit des Fahrzeugs zu übermitteln.
Die Mimik der Person entspricht einem jeweiligen Gesichtsausdruck, welcher durch Kontraktion von Muskelpartien im Gesichtsbereich der Person zustande kommt, wie beispielsweise eine Mundbewegung, Augenbewegung, Augenbrauenbewegung, Änderung der Kopfhaltung.
In anderen Worten wird das Verfahren zum Trainieren und Vorgeben einer Zuordnung zwischen Mimik und auszuführender Fahrzeugfunktion, d.h. der oben genannte Trainingsvorgang, offline getätigt, d. h. insbesondere im Stillstand des Fahrzeugs, während die Person nicht mit der Fahrzeugführung beschäftigt ist. Die Verwendung der so definierten Zuordnung mit dem Zweck der Ausführung der ausgewählten Funktion erfolgt demgegenüber während der Fahrt des Fahrzeugs, während die Person mit der Fahrzeugführung des Fahrzeugs betraut ist, sodass sie während der Fahrt des Fahrzeugs berührungslose Funktionen des Fahrzeugs kommandieren kann.
Das System ist in anderen Worten dazu ausgebildet, die folgenden beiden Stufen auszuführen: In einem Trainingsvorgang führt die Person aktiv und bewusst gewisse Mimiken durch, und ordnet diese dann, nachdem sie von dem mobilen Endgerät erfasst und analysiert wurden, bestimmten Funktionen des Fahrzeugs zu. Diese Funktionen des Fahrzeugs werden zu diesem Zweck bevorzugt in einer abzuspeichernden Liste des mobilen Endgeräts bereitgestellt. Ist diese Abspeicherung erfolgt, kann das mobile Endgerät in einen dafür vorgesehenen Steckplatz im Fahrzeug eingesteckt werden, um mit einer Steuereinheit des Fahrzeugs verbunden zu werden. Durch die im Trainingsvorgang abgespeicherte Zuordnung kann somit während der Fahrt des Fahrzeugs die Zuordnung abgerufen werden und durch Erkennung einer aktuell und während der Fahrt des Fahrzeug ausgeführten Mimik der Person, die dann in der Rolle des Insassen (insbesondere eines Fahrers) des Fahrzeugs ist, mittels der Zuordnung die gewünschte Funktion des Fahrzeugs ausführen.
Zur jeweiligen Erkennung der Mimik durch die Recheneinheit des mobilen Endgeräts wird ein entsprechender Algorithmus ausgeführt, der insbesondere Bildanalyse und Bildvergleich umfasst, für die die Ausführung eines komplexen, tiefen Kl- Modells wie beispielsweise ein neuronales Netz nicht notwendig ist. Vorteilhaft sind daher die Anforderungen an die Recheneinheit des mobilen Endgeräts nicht übermäßig hoch. Die für die Recheneinheit des mobilen Endgeräts implementierte Software nutzt bevorzugt das Konzept des sogenannten „Haar-Cascade Classifier“, um ein Gesicht in den aufgenommenen Bilddaten zu detektieren und aus den gesamten Bilddaten die relevanten Bereiche mit dem Gesicht darin zu extrahieren. Das extrahierte Gesicht stellt die sogenannte ROI (abgekürzt für „region of interest“) dar und wird insbesondere als Trainingsdatensatz verwendet.
Für den „Haar-Cascade Classifier“ erfolgt zunächst eine Gesichtsdetektion; es wird somit ein menschliches Gesicht in einem Kamerabild gefunden. Dieses menschliche Gesicht wird von einem einhüllenden Rahmen, der sogenannten „bounding-box“ umschlossen, und als separates Bild extrahiert und dem nächsten Algorithmus-Schritt übergeben.
Zwei zu verschiedenen Zeitpunkten ausgeführte Mimiken, selbst wenn sie von ein und derselben Person stammen, sind naturgemäß nie exakt identisch, durch die Anwendung eines entsprechenden Algorithmus mit Ähnlichkeitsanalyse jedoch werden von selbst die entscheidenden Merkmale der ausgeführten Mimik wiedererkannt und somit die entsprechende Mimik wiedererkannt. Insbesondere können hier Techniken des maschinellen Lernens angewendet werden, um insbesondere dauerhaft sich verändernde Umstände herauszufinden, beispielsweise wenn sich Merkmale des Gesichts der Person dauerhaft geändert haben, beispielsweise wenn sie zu einem Brillenträger geworden ist.
Bevorzugt weist außerdem die Gesichtserkennungssoftware das Konzept des sogenannten „Local Binary Pattern Histogram“ auf, um die trainierten Gesichtsausdrücke, d. h. die Mimik während des Trainingsvorgangs, mit der im Innenraum des Fahrzeugs ausgeführten Gesichtszüge zu vergleichen und eine Ähnlichkeit dazwischen zu bestimmen. Liegt eine gewisse Ähnlichkeit oberhalb eines vorgegebenen Grenzwerts vor, wird von der Recheneinheit des mobilen Endgeräts das Ergebnis ausgegeben, dass die der erkannten Mimik zugeordnete Funktion von der Steuereinheit auszuführen ist.
Mit der „Local Binary Pattern Histogram“ Methode erfolgt eine Gesichtserkennung. Das extrahierte Gesicht wird in einen numerischen Datensatz transformiert, bevorzugt einen Array aus Integer- Werten. Anschließend werden Regionen des numerischen Datensatzes in ein Histogramm transformiert. Ein Erkennungsmodell wird dann für bevorzugt verschiedene Gesichtsbilder trainiert, basierend auf den Histogrammen. Es werden ferner zwei verschiedene Gesichtsbilder verglichen und auf Ähnlichkeit überprüft, indem die Histogramme miteinander verglichen werden. Im Ergebnis wird eine Vorhersage bezüglich des jeweils analysierten Gesichtsbildes mit einem Konfidenz-Wert und einer Klassifikation erhalten.
Die Gesichtserkennungssoftware, wie sie auf dem mobilen Endgerät zu implementieren ist, lernt während des Trainingsvorgangs bevorzugt dadurch, dass mehrere Repräsentationen einer jeweiligen Mimik der Person zeitversetzte abgespeichert werden. Dies ist naturgemäß dadurch möglich, dass eine Mimik der Person in verschiedenen Kopforientierungen relativ zum mobilen Endgerät wiederholt wird, aber auch von ein und derselben Mimik können mehrere Bilder der Mimik abgespeichert werden, die besonders bei dem in einer Hand der Person gehaltenen mobilen Endgerät leicht verschiedene Ansichten zeigen. Das trainierte Erkennungs-Modell wird dann bevorzugt in Form einer Datei auf einer Speichereinheit des mobilen Endgeräts abgespeichert.
Hierbei kann es notwendig werden, dass die Gesichtserkennungssoftware ein Gesicht mit einem neutralen Gesichtsausdruck, d. h. ohne spezielle Mimik, erfasst, um eine Referenz gegenüber den anderen definierten Mimiken zu haben. In diesem Fall wird vor dem Trainingsvorgang oder während des Trainingsvorgangs vorteilhaft die Person dazu aufgefordert, ein neutrales Gesicht zu zeigen, welches erfasst und nach Analyse mit entsprechenden Merkmalen abgespeichert wird. Zur weiteren Verbesserung wird bevorzugt die Person dazu aufgefordert, während des neutralen Gesichtsausdrucks und besonders bevorzugt auch während des Einnehmens einer bestimmten Mimik ihren Kopf etwas hin und her zu bewegen, um Variationen in der Ansicht zu erhalten. Dies fördert vorteilhaft die Qualität des Daten-Lernens.
Bevorzugt ist das mobile Endgerät dazu ausgeführt, auf seinem Bildschirm ein eigens dafür vorgesehenes Konfigurations-Menü anzuzeigen, mithilfe dessen die Person eine aktuell ausgeführte Mimik zu einer bestimmten Fahrzeugfunktion zuordnen kann. Diese Mimik in Form eines Gesichtsausdrucks wird dann von der Kamera des mobilen Endgeräts erfasst und Merkmale darüber abgespeichert. Vorteilhaft steht zu diesem Zweck eine vorgegebene Liste von möglichen Fahrzeugfunktionen der Person zur Verfügung, aus der sie eine bestimmte gewünschte Fahrzeugfunktion auswählen kann. Eine mögliche Fahrzeugfunktion ist das Ändern der Innenraumtemperatur, eine andere beispielsweise eine Ansteuerung der Audioanlage.
Das mobile Endgerät weist zu diesem Zweck eine Speichereinheit auf, die die Merkmale des gezeigten Gesichtsausdrucks abspeichert und dauerhaft gespeichert hält. Durch die Anwendung entsprechender Algorithmen insbesondere im mobilen Endgerät selbst kann dieses, wenn es in dem dafür vorgesehenen Steckplatz im Fahrzeug eingesteckt ist, auf Basis von Informationen von einer Fahrzeugkamera bzw. von seiner eigenen Kamera, eine aktuelle Mimik der Person insbesondere in ihrer Rolle als Fahrer des Fahrzeugs erfassen und der zuvor vorgegebenen Fahrzeugfunktion wiederum zuordnen und ein Kommando zur Ausführung dieser Fahrzeugfunktion an eine Steuereinheit des Fahrzeugs übermitteln.
Da die Speichereinheit und die Recheneinheit des mobilen Endgeräts dafür verantwortlich sind, sowohl die Zuordnung einer Mimik zu einer festgelegten Funktion des Fahrzeugs festzulegen, während das mobile Endgerät wahlweise innerhalb oder außerhalb des Fahrzeugs, jedoch in jedem Fall bevorzugt während des Stillstands des Fahrzeugs, als auch während der Fahrt des Fahrzeugs die aktuelle Mimik der Person in ihrer Rolle als Fahrer des Fahrzeugs zu erkennen und der vorgegebenen Funktion durch die festgelegte Zuordnung zuzuordnen, bedarf es lediglich des mobilen Endgeräts im Zugriffsbereich der Person, um es in einen entsprechenden Steckplatz in einem Fahrzeug einzustecken und die vorgegebenen Zuordnungen während der Fahrt zu verwenden.
Es ist deshalb eine vorteilhafte Wirkung der Erfindung, dass durch das Einbringen des mobilen Endgeräts in ein Fahrzeug die zu einer Person zugehörig definierten Tupel aus spezieller Mimik und auszuführender Funktion des Fahrzeugs in einer Vielzahl von kompatiblen Fahrzeugen, und damit die Mimiksteuerung einer Person wie sie sie selbst vordefiniert hat, gleichermaßen angewendet werden können. Da davon auszugehen ist, dass die Person ihr mobiles Endgerät, insbesondere in dem Fall eines Smartphones oder einer Smartwatch, ohnehin ständig mit sich führt, bietet sich somit eine Individualisierung einer Fahrzeugbedienung über eine große Menge von Fahrzeugen an.
Der Trainingsvorgang kann bevorzugt zu einem späteren Zeitpunkt nach längerer Benutzung des Systems wiederholt werden, um beispielsweise bestehende Zuordnungen zu Mimiken anzupassen, indem die jeweilige Mimik wiederholt wird, oder aber um alte Zuordnungen zu löschen, oder neue Zuordnungen mit einer neuen Mimik hinzuzufügen, oder Zuordnungen zu ändern.
Nach dem Einbringen des mobilen Endgeräts in das Fahrzeug, insbesondere nach dem Einstecken in die für das mobile Endgerät vorgesehene Schnittstelle im Fahrzeug, kann die Recheneinheit auf Grundlage der Kameradaten der Kamera eine aktuelle Mimik der Person in der Rolle des Insassen im Fahrzeug entweder kontinuierlich analysieren und auswerten, ob eine vordefinierte Mimik vorliegt, oder aber nur dann, wenn eine bestimmte Auslösebedingung auch vorliegt. Im letzteren Fall wird unnötige Rechenenergie eingespart, es muss jedoch eine Auslösebedingung vorliegen und deren Prüfung implementiert sein.
Ob das Einbringen des mobilen Endgeräts in das Fahrzeug ausreicht, oder ob ein Einstecken in eine dafür vorgesehene Schnittstelle notwendig ist, hängt davon ab, ob das mobile Endgerät mit der Steuereinheit des Fahrzeugs drahtlos verbunden wird oder drahtgebunden. Insbesondere in einer fixen Schnittstelle bietet sich die Möglichkeit an, gleichzeitig durch eine elektronische Steckverbindung automatisch eine Datenverbindung zwischen Steuereinheit und mobilem Endgerät herzustellen. In jedem Fall muss das mobile Endgerät mit der Steuereinheit des Fahrzeugs zumindest zur Übermittlung des Befehls der auszuführenden Funktion an die Steuereinheit, ausgegeben durch das mobile Endgerät bei erkannter zugeordneter Mimik, erfolgen; außerdem muss eine Datenverbindung zwischen Steuereinheit und mobilem Endgerät dann möglich sein, wenn eine fahrzeugfeste Kamera verwendet wird, um die Mimik der Person in ihrer Rolle als Insasse des Fahrzeugs optisch zu erfassen.
Gemäß einer vorteilhaften Ausführungsform ist die Kamera zum Erfassen eines Gesichtsausdrucks einer Person in der Rolle eines Insassen im Fahrzeug: Eine Kamera des Endgeräts.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Kamera zum Erfassen eines Gesichtsausdrucks einer Person in der Rolle eines Insassen im Fahrzeug eine im Fahrzeug stationär angeordnete Kamera, und durch Einstecken des mobilen Endgeräts in die für das mobile Endgerät vorgesehene Schnittstelle im Fahrzeug können von der Kamera des Fahrzeugs Bilddaten an das mobile Endgerät übermittelt werden.
Die Verwendung einer ohnehin im Fahrzeug verbauten Kamera erleichtert die Implementierung des erfindungsgemäßen Systems. Es ist nämlich davon auszugehen, dass in modernen Fahrzeugen standardmäßig eine Kamera verbaut ist, die kontinuierlich den Fahrer des Fahrzeugs beobachtet, in manchen Fällen auch den Beifahrer des Fahrzeugs.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit des Fahrzeugs dazu ausgeführt, das von der Kamera im Fahrzeug jeweilige aufgenommene aktuelle Bild in ein 8-Bit Graustufen-Bild zu konvertieren, bevor es von der Steuereinheit an das mobile Endgerät übermittelt wird.
Gemäß einer weiteren vorteilhaften Ausführungsform ist am mobilen Endgerät eine Eingabeoption vorgesehen, mithilfe derer die Person auswählen kann, ob für den in die dafür vorgesehene Schnittstelle eingesteckten Zustand des mobilen Endgeräts im Fahrzeug die im Fahrzeug stationär angeordnete Kamera oder die Kamera des Endgeräts selbst verwendet werden soll, um die jeweils aktuelle Mimik der Person in der Rolle eines Insassen im Fahrzeug zu erfassen.
Gemäß einer weiteren vorteilhaften Ausführungsform ist das mobile Endgerät ein Smartphone oder eine Smartwatch.
Gemäß einer weiteren vorteilhaften Ausführungsform ist das mobile Endgerät dazu ausgeführt, die im Trainingsvorgang außerhalb des Fahrzeugs aktuelle vorgegebene Mimik der Person mit Hilfe der Kamera des mobilen Endgeräts zu erfassen, und die in einem Trainingsvorgang innerhalb des Fahrzeugs aktuelle vorgegebene Mimik der Person mit Hilfe der Kamera des mobilen Endgeräts oder einer fahrzeugeigenen Kamera zu erfassen.
Alternativ zum Trainingsvorgang, der ausschließlich die Kamera des mobilen Endgeräts nutzt, kann angedacht werden, den Trainingsvorgang auch im Inneren des Fahrzeugs auszuführen und dabei eine Kamera des Fahrzeugs selbst zu nutzen, welche im Innenraum des Fahrzeugs stationär angeordnet und damit fest mit dem Fahrzeug verbaut ist. Bevorzugt besteht jedoch grundsätzlich die Möglichkeit, dass die Kamera des mobilen Endgeräts in allen Fällen für den Trainingsvorgang nutzbar ist; das heißt, dass das mobile Endgerät offline, insbesondere außerhalb des Innenraums des Fahrzeugs, mit den gewünschten Mimiken und den zugeordneten Funktionen des Fahrzeugs trainiert werden kann, unabhängig vom einzelnen Fahrzeug und Fahrzustand des jeweiligen Fahrzeugs.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Kamera zum Erfassen der Mimik der Person in der Rolle eines Insassen im Fahrzeug dazu ausgeführt, Licht im Infrarotbereich zu erfassen.
Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, eine „Haar-Cascade Classifier“ Methode zur Gesichtsdetektion, und eine „Local Binary Pattern Histogram“ Methode zur Gesichtserkennung während des Trainingsvorgangs und/oder während des Erfassens der Mimik der Person in der Rolle eines Insassen im Fahrzeug durchzuführen.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Ausführen eines Trainingsvorgangs für ein mobiles Endgerät zum Ermöglichen einer durch eine Person definierten Zuordnung zwischen einer Mimik der Person und einer am Fahrzeug auszuführenden Fahrzeugfunktion und zum Abspeichern der Zuordnung, aufweisend die Schritte:

- Starten eines Trainingsvorgangs an einem mobilen Endgerät einer Person durch Aufruf eines Initialisierungsprogramms am mobilen Endgerät durch die Person;
- Ausführen einer jeweiligen Mimik durch die Person auf eine Aufforderung durch das mobile Endgerät hin;
- Zuordnen der jeweiligen Mimik zu einer Fahrzeugfunktion durch die Person auf eine Aufforderung durch das mobile Endgerät hin; und
- Permanentes Abspeichern der Zuordnung der jeweiligen Mimik zu der ausgewählten Fahrzeugfunktion durch das mobile Endgerät;

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Verfahrens ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen System vorstehend gemachten Ausführungen.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:

1: Ein System zum Ermöglichen einer berührungslosen Bedienung einer Fahrzeugfunktion mittels Mimik gemäß einem Ausführungsbeispiel der Erfindung.
2: Beispielhafte Fahrzeugfunktionen mit den zugehörigen Mimiken gemäß einem Ausführungsbeispiel der Erfindung.
3: Ein Verfahren zum Ermöglichen einer berührungslosen Bedienung einer Fahrzeugfunktion mittels Mimik gemäß einem Ausführungsbeispiel der Erfindung.

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
1 zeigt ein System zum Ermöglichen einer berührungslosen Bedienung einer Fahrzeugfunktion mittels Mimik. Das System weist eine Kamera 1 im Fahrzeuginnenraum zum Erfassen eines Gesichtsausdrucks einer Person in der Rolle des Fahrers im Fahrzeug 3 und ein mobiles Endgerät 5 mit einer Recheneinheit auf. Die Kamera 1 ist fahrzeugfest im Innenraum des Fahrzeugs 3 angeordnet und ist mit ihrem Erfassungsbereich auf den Fahrer des Fahrzeugs 3 gerichtet. Von der Kamera 1 werden Bilddaten erhalten, die im Infrarotbereich aufgenommen wurden. Das mobile Endgerät 5 ist in der 1 in einem bereits in eine Halterung eingesteckten Zustand gezeichnet dargestellt, ist jedoch auch dazu ausgebildet, in einem Trainingsvorgang zuvor oder erneut wahlweise innerhalb oder außerhalb des Fahrzeugs 3 eine jeweils kamerabasiert erfasste aktuelle Mimik der Person aufgrund einer entsprechenden Vorgabe der Person einer bestimmten Fahrzeugfunktion zuzuordnen und die Zuordnung abzuspeichern. Mehrere verschiedene Mimiken werden dabei gemäß der Vorgabe der Person einer jeweiligen Fahrzeugfunktion zugeordnet, indem die Person in die Kamera des mobilen Endgeräts 5, ein Smartphone, blickt und sich durch die Anwendung führen lässt. Dazu hat die Person zunächst den Kopf still zu halten und eine neutrale Mimik aufzusetzen, während die Applikation auf dem Endgerät 5 von der neutralen Mimik mehrere Bilder in mehreren Ansichten generiert, die entstehen, wenn die Person ihren Kopf gemäß der Vorgabe auf dem mobilen Endgerät 5 schwenkt. Ist dieser Vorgang abgeschlossen, liegt im mobilen Endgerät 5 ein gespeicherter Datensatz mit Zuordnungen zwischen Mimik und Fahrzeugfunktionen vor. Beispiele hierfür sind in der 2 gezeigt. Nach dem Einstecken in eine für das mobile Endgerät 5 vorgesehene Schnittstelle im Fahrzeug 3 kann das mobile Endgerät 5 mit einer Steuereinheit 7 des Fahrzeugs 3 verbunden werden. Auf Grundlage der Bilddaten der fahrzeugfesten Infrarot-Kamera 1 wird laufend eine aktuelle Mimik der Person in der Rolle des Insassen im Fahrzeug 3 vom mobilen Endgerät 5 analysiert und ausgewertet. Die Steuereinheit 7 des Fahrzeugs 3 ist Teil einer Fahrzeug-ECU („Electrical Control Unit“). Die Steuereinheit 7 erfüllt damit unter anderem den Zweck, die Bilddaten der fahrzeugfesten Kamera 1 an das mobile Endgerät 5 zu übermitteln. Noch vor der Übermittlung konvertiert die Steuereinheit 7 jedoch die Bilddaten in 8-bit Graustufen Bilder. Die vorab abgespeicherte Zuordnung aus dem Trainingsvorgang wird vom mobilen Endgerät 5 dazu verwendet, bei Wiedererkennen einer vorab definierten Mimik einer bestimmten Fahrzeugfunktion auszuwählen sowie ein Kommando zum Ausführen der zugeordneten Fahrzeugfunktion an die Steuereinheit 7 des Fahrzeugs 3 zu übermitteln. Wurde die Funktion entsprechend der aktuellen Mimik der Personen im Innenraum des Fahrzeugs 3 wunschgemäß gestartet, erfolgt eine visuelle und/oder akustische Rückmeldung für die Person.
2 zeigt beispielhafte Kamerabilder der Kamera 1 im Fahrzeug 3. Hierbei wird die „Haar-Cascade Classifier“ Methode zur Gesichtsdetektion, und die „Local Binary Pattern Histogram“ Methode zur Gesichtserkennung während des Erfassens der Mimik der Person in der Rolle eines Insassen im Fahrzeug 3 durchgeführt. Skizziert sind dabei die Bounding Boxes, welche im Ergebnis das Gesicht aus den Bilddaten um Rahmen, um relevante Bildbereiche zu identifizieren. Die darin enthaltene Mimik wird analysiert und den beispielhaften Funktionen F1: Erhöhe Schallpegel einer Audioanlage des Fahrzeugs 3, F2: Schalte um auf einen anderen Radiosender, und F3: Aktiviere Heizung des Lenkrads, zugeordnet.
3 zeigt ein Verfahren zum Ausführen eines Trainingsvorgangs für ein mobiles Endgerät 5 zum Ermöglichen einer durch eine Person definierten Zuordnung zwischen der Mimik der Person und einer am Fahrzeug 3 auszuführenden Fahrzeugfunktion und zum Abspeichern der Zuordnung, aufweisend die Schritte:

- Starten S1 eines Trainingsvorgangs an einem mobilen Endgerät 5 einer Person durch Aufruf eines Initialisierungsprogramms am mobilen Endgerät 5 durch die Person;
- Ausführen S2 einer jeweiligen Mimik durch die Person auf eine Aufforderung durch das mobile Endgerät 5 hin;
- Zuordnen S3 der jeweiligen Mimik zu einer Fahrzeugfunktion durch die Person auf eine Aufforderung durch das mobile Endgerät 5 hin; und
- Permanentes Abspeichern S4 der Zuordnung der jeweiligen Mimik zu der ausgewählten Fahrzeugfunktion durch das mobile Endgerät 5;

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste

1: Kamera
3: Fahrzeug
5: Endgerät
7: Steuereinheit
S1: Starten
S2: Ausführen
S3: Zuordnen
S4: Abspeichern
F1-F3: beispielhafte Fahrzeugfunktionen

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017216837 A1 [0003]

Claims

System zum Ermöglichen einer berührungslosen Bedienung einer Fahrzeugfunktion mittels Mimik, aufweisend eine Kamera (1) zum Erfassen einer Mimik einer Person in der Rolle eines Insassen im Fahrzeug (3) und ein mobiles Endgerät (5) mit einer Recheneinheit, wobei das mobile Endgerät (5) dazu dient und dazu ausgeführt ist, in einem Trainingsvorgang innerhalb oder außerhalb des Fahrzeugs (3) eine jeweils kamerabasiert erfasste aktuelle Mimik der Person aufgrund einer entsprechenden Vorgabe der Person einer bestimmten Fahrzeugfunktion zuzuordnen und die Zuordnung abzuspeichern, wobei das mobile Endgerät (5) nach dem Verbringen in das Fahrzeug (3), insbesondere nach dem Einstecken in eine für das mobile Endgerät (5) vorgesehene Schnittstelle im Fahrzeug (3), mit einer Steuereinheit (7) des Fahrzeugs (3) verbunden werden kann und dazu ausgeführt und eingerichtet ist, nach Abschluss des Trainingsvorgangs und eingebracht in das Fahrzeug (3) auf Grundlage der Bilddaten der Kamera (1) eine aktuelle Mimik der Person in der Rolle des Insassen im Fahrzeug (3) zu analysieren und auszuwerten und gemäß der Zuordnung aus dem Trainingsvorgang einer bestimmten Fahrzeugfunktion zuzuordnen sowie ein Kommando zum Ausführen der zugeordneten Fahrzeugfunktion an die Steuereinheit (7) des Fahrzeugs (3) zu übermitteln.
System nach Anspruch 1, wobei die Kamera (1) zum Erfassen eines Gesichtsausdrucks einer Person in der Rolle eines Insassen im Fahrzeug (3) eine Kamera des Endgeräts (5) ist.
System nach Anspruch 1, wobei die Kamera (1) zum Erfassen eines Gesichtsausdrucks einer Person in der Rolle eines Insassen im Fahrzeug (3) eine im Fahrzeug (3) stationär angeordnete Kamera ist, und durch Einbringen des mobilen Endgeräts (5) in das Fahrzeug (3), insbesondere durch Einstecken des mobilen Endgeräts (5) in die für das mobile Endgerät (5) vorgesehene Schnittstelle im Fahrzeug (3), von der Kamera des Fahrzeugs (3) Bilddaten an das mobile Endgerät (5) übermittelt werden können.
System nach Anspruch 3, wobei die Steuereinheit (7) des Fahrzeugs (3) dazu ausgeführt ist, das von der Kamera (1) im Fahrzeug (3) jeweilige aufgenommene aktuelle Bild in ein 8-Bit Graustufen-Bild zu konvertieren, bevor es von der Steuereinheit (7) an das mobile Endgerät (5) übermittelt wird.
System nach einem der vorhergehenden Ansprüche, wobei am mobilen Endgerät (5) eine Eingabeoption vorgesehen ist, mithilfe derer die Person auswählen kann, ob für den in das Fahrzeug (3) eingebrachten Zustand des mobilen Endgeräts (5) im Fahrzeug (3) die im Fahrzeug (3) stationär angeordnete Kamera (1) oder die Kamera (1) des Endgeräts (5) selbst verwendet werden soll, um die jeweils aktuelle Mimik der Person in der Rolle eines Insassen im Fahrzeug (3) zu erfassen.
System nach einem der vorhergehenden Ansprüche, wobei das mobile Endgerät (5) ein Smartphone oder eine Smartwatch ist.
System nach einem der vorhergehenden Ansprüche, wobei das mobile Endgerät (5) dazu ausgeführt ist, die im Trainingsvorgang außerhalb des Fahrzeugs (3) aktuelle vorgegebene Mimik der Person mit Hilfe der Kamera (1) des mobilen Endgeräts (5) zu erfassen, und die in einem Trainingsvorgang innerhalb des Fahrzeugs (3) aktuelle vorgegebene Mimik der Person mit Hilfe der Kamera (1) des mobilen Endgeräts (5) oder einer fahrzeugeigenen Kamera (1) zu erfassen.
System nach einem der vorhergehenden Ansprüche, wobei die Kamera (1) zum Erfassen der Mimik der Person in der Rolle eines Insassen im Fahrzeug (3) dazu ausgeführt ist, Licht im Infrarotbereich zu erfassen.
System nach einem der vorhergehenden Ansprüche, wobei die Recheneinheit dazu ausgeführt ist, eine „Haar-Cascade Classifier“ Methode zur Gesichtsdetektion, und eine „Local Binary Pattern Histogram“ Methode zur Gesichtserkennung während des Trainingsvorgangs und/oder während des Erfassens der Mimik der Person in der Rolle eines Insassen im Fahrzeug (3) durchzuführen.
Verfahren zum Ausführen eines Trainingsvorgangs für ein mobiles Endgerät (5) zum Ermöglichen einer durch eine Person definierten Zuordnung zwischen der Mimik der Person und einer am Fahrzeug (3) auszuführenden Fahrzeugfunktion und zum Abspeichern der Zuordnung, aufweisend die Schritte: - Starten (S1) eines Trainingsvorgangs an einem mobilen Endgerät (5) einer Person durch Aufruf eines Initialisierungsprogramms am mobilen Endgerät (5) durch die Person; - Ausführen (S2) einer jeweiligen Mimik durch die Person auf eine Aufforderung durch das mobile Endgerät (5) hin; - Zuordnen (S3) der jeweiligen Mimik zu einer Fahrzeugfunktion durch die Person auf eine Aufforderung durch das mobile Endgerät (5) hin; und - Permanentes Abspeichern (S4) der Zuordnung der jeweiligen Mimik zu der ausgewählten Fahrzeugfunktion durch das mobile Endgerät (5);