DE102016001054A1

DE102016001054A1 - Verfahren zur Eingabe eines Befehls in ein Steuergerät eines Fahrzeuges

Info

Publication number: DE102016001054A1
Application number: DE102016001054.1A
Authority: DE
Inventors: Fridtjof Stein
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2016-01-30
Filing date: 2016-01-30
Publication date: 2016-07-21

Abstract

Die Erfindung betrifft ein Verfahren zur Eingabe eines Befehles in ein Steuergerät eines Fahrzeuges, bei welchem eine Fahrerbeobachtungskamera (7) Bilder (13, 15) von Lippen des Fahrers erzeugt. Bei einem Verfahren, bei welchem eine minimalinvasive Eingabemöglichkeit eines Befehls in einem Fahrzeug erfolgt, wird aus der Veränderung der Lippenstellung in zeitlich aufeinanderfolgenden Bildern (15) ein Befehl abgeleitet, der durch das Steuergerät (11) im Fahrzeug (1) umgesetzt wird.

Description

Die Erfindung betrifft ein Verfahren zur Eingabe eines Befehls in ein Steuergerät eines Fahrzeuges, bei welchem eine Fahrerbeobachtungskamera Bilder von Lippen des Fahrers erzeugt.
Aus der WO 00/68910 ist ein Verfahren zur Überwachung des Innenraumes und des Umfeldes eines Fahrzeuges bekannt. Dabei umfasst eine Vorrichtung zur Durchführung des Verfahrens eine Kameraeinheit, deren Strahlengang in Richtung des Fahrzeuginnenraumes ausgerichtet ist. Die Steuerung und eine Auswertung der ermittelten Bildinformation der Kameraeinheit erfolgt über eine Recheneinheit. Mittels der Kamera wird ein Gesicht des Fahrers, insbesondere eine Lippenbewegung des Fahrers, festgehalten. An Hand der Lippenbewegung des Fahrers, die von der Kameraeinrichtung erfasst wird, erfolgt eine Überprüfung einer Spracheingabe, indem die Lippenbewegungen daraufhin analysiert werden, ob in dem von der Spracheingabeeinheit verstandenen Befehl auch die Silben enthalten sind, die den erfassten Lippenbewegungen entsprechen. Dadurch wird eine undeutliche Spracheingabe ergänzt.
Durch die Sprachausgabe kann es vorkommen, dass bei gleichzeitiger Bedienung von Infotainment-Einheiten, Telefon oder anderen fahrzeugeigenen Instrumenten die Aufmerksamkeit des Fahrers von dem eigentlichen Fahrgeschehen abgelenkt wird. Dies führt zu einer Gefährdung des Verkehrsgeschehens.
Aufgabe der Erfindung ist es, ein Verfahren zur Eingabe eines Befehls in ein Steuergerät eines Fahrzeuges anzugeben, bei welchem die Aufmerksamkeit des Fahrers so gering wie möglich vom eigentlichen Fahrgeschehen abgelenkt wird.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind. Die Aufgabe ist mit einem Verfahren dadurch gelöst, dass aus der Veränderung der Lippenstellung in zeitlich aufeinanderfolgenden Bildern ein Befehl abgeleitet wird, der durch das Steuergerät im Fahrzeug umgesetzt wird. Somit wird der Befehl nur durch Lippenlesen erfasst. Dies stellt eine minimalinvasive Eingabemöglichkeit dar und verhindert eine zu große Ablenkung des Fahrers von dem eigentlichen Verkehrsgeschehen. Da dieser Vorgang tonlos erfolgt, wird eine Störung der Mitfahrer unterbunden.
Vorteilhafterweise wird parallel zur bildlichen Erfassung der Lippenstellung eine Sprachsequenz des Fahrers aufgenommen und ausgewertet, wobei die Auswertung der Lippenstellung und die Auswertung der Sprachsequenz miteinander verglichen werden und bei Übereinstimmung des jeweils erkannten Befehls dieser an das Steuergerät weitergegeben wird. Eine solche redundante Ermittlung der Befehlsausgabe verhindert eine Eingabe eines unbeabsichtigten Befehls in das Fahrzeug.
In einer Ausgestaltung erfolgt die Auswertung der Bilder der Lippenstellung mithilfe eines neuronalen Netzwerkes. Mittels dieses neuronalen Netzwerkes lassen sich einfache Silben, die durch eine konkrete Lippenstellung gekennzeichnet ist, nachverfolgen und zu den entsprechenden Wörtern, die den Befehlsinhalt darstellt, zusammenfügen.
In einer Ausführungsform wird die Auswertung der Bilder der Lippenstellung durch einen Vergleich mit einer Spracherkennung erlernt. Dazu wird eine herkömmlich bekannte Spracherkennung genutzt, aus welcher Rückschlüsse über die Lippenstellung bei der Aussprache einzelner Buchstaben, Silben bzw. Wörter gezogen werden.
Eine Weiterbildung der Erfindung betrifft ein Fahrzeug, umfassend eine, in einen Innenraum des Fahrzeuges gerichtete Bilderfassungseinrichtung, deren Detektionsbereich auf Lippen eines Fahrers des Fahrzeuges gerichtet ist und die mit einer Auswerteelektronik zur visuellen Erkennung der Lippenbewegung verbunden ist. Bei diesem Fahrzeug, bei welchem eine Befehlseingabe des Fahrzeuges durch den Fahrer erfolgt, ohne diesen von der eigentlichen Fahraufgabe abzulenken, ist die aus der visuellen Erkennung der Lippenbewegung einen Befehl für das Fahrzeug ableitende Auswerteelektronik mit einem Fahrzeugsteuergerät gekoppelt, welches den von der Auswerteelektronik erkannten Befehl im Fahrzeug umsetzt. Dadurch werden Steuerbefehle an das Fahrzeug einfach nur durch Bilderfassung der Lippen mittels Lippenlesens eingegeben und von dem Fahrzeug ausgewertet.
Vorteilhafterweise arbeitet die Auswerteelektronik auf Basis eines neuronalen Netzwerkes.
In einer Variante ist die Auswerteelektronik zur visuellen Erkennung der Lippenbewegung mit einer Sprachaufzeichnungseinheit zum Vergleich eines Sprachbefehls mit dem Befehl, welcher aus der visuellen Bewegung der Lippen abgeleitet wird, verbunden. Dadurch lassen sich die akustischen und visuellen Befehle der beiden Einheiten miteinander vergleichen, wobei nur dann der Befehl an das Fahrzeug weitergeleitet wird, wenn die Befehle übereinstimmen.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der – gegebenenfalls unter Bezug auf die Zeichnung – zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:
1 ein Ausführungsbeispiel des erfindungsgemäßen Fahrzeuges,
2 ein Ausführungsbeispiel für ein Verfahren zur Befehlserkennung durch Lippenlesen,
3 ein weiteres Ausführungsbeispiel für das Verfahren zur Befehlserkennung durch Lippenlesen und Sprachunterstützung,
4 ein weiteres Ausführungsbeispiel zur adaptiven bzw. individuellen Verbesserung des Verfahrens gemäß 2 und 3.
In 1 ist ein Fahrzeug 1 dargestellt, bei welchem an der Windschutzscheibe 3 eine in einen Fahrzeuginnenraum 5 gerichtete Fahrerbeobachtungskamera 7 angeordnet ist, die das Gesicht und vorzugsweise die Lippen des Fahrers detektiert, indem sie in zeitlich vorgegebenen Abständen Bilder der Lippen erzeugt. Unter dem Lippenlesen, welches auch als Ablesen bzw. Absehen vom Mund bezeichnet wird, ist das visuelle Erkennen des Gesprochenen über die Lippenbewegungen des Sprechers zu verstehen. Die bei verschiedenen Lauten jeweils unterschiedlichen Stellungen der Lippen und der Mundregion einschließlich der von außen sichtbaren Zungenstellung werden als Mundbild bezeichnet, welches in verschiedenen Varianten in einer zeitlichen Abfolge der Lippenbewegungen 15 in 2 dargestellt ist.
Die Fahrerbeobachtungskamera 7 ist mit einer Auswerteelektronik 9 verbunden, die eine Lippenlesefunktion umfasst, die als neuronales Netzwerk ausgebildet ist. Die Auswerteelektronik 9 wiederum ist an ein Steuergerät 11 des Fahrzeuges 1 gekoppelt, welches Fahrfunktionen des Fahrzeuges 1 steuert.
In 2 ist ein schematischer Ablauf eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens dargestellt. Die Fahrzeugbeobachtungskamera 7, die eine Mundfinderfunktion aufweist, erzeugt dabei ein Bild 13 des Fahrers, wobei von der Auswerteelektronik 9 nur der Lippenbereich weiter betrachtet wird. Die in einer zeitlichen Abfolge aufgenommenen Lippenbewegungen 15 werden durch das neuronale Netzwerk der Auswerteelektronik 9 ausgewertet.
Gibt ein Fahrer einen Befehl an das Fahrzeug 1 über Lippenbewegung aus, wobei diese Lippenbewegung auch tonlos erfolgen kann, so wertet die Auswerteelektronik 9 mittels des neuronalen Netzwerkes diese Lippenbewegungen aus und leitet daraus das von dem Fahrer an das Fahrzeug ausgegebene Kommando ab, welches an das Steuergerät 11 weiterleitet wird, das wiederum die durch das Kommando geforderte Funktionsänderung bzw. Bedienung von beispielsweise Infotainment-System oder Telefon ausführt.
In 3 ist zusätzlich zu der Lippenerkennung noch ein Mikrofon 25 an die Auswerteelektronik 9 angeschlossen, wobei die von der Auswerteelektronik 9 aus der Lippenbewegung abgeleiteten Befehle über die Sprachsequenz des Fahrers abgeglichen werden, um sicherzustellen, dass auch das richtige Kommando an das Steuergerät 11 des Fahrzeuges 1 ausgegeben ist. Da das Mundbild sprachabhängig ist, sind für verschiedene Sprachen verschiedene Parametersätze 17 für das Erkennungssystem nötig und von der Auswerteelektronik 9 entsprechend auswählbar. Somit können beispielsweise durch die Auswerteelektronik 9 Parametersätze 17 der Sprachen Deutsch 19, Englisch 21 oder Französisch 23 eingestellt werden.
4 zeigt ein Ausführungsbeispiel, bei welchem die Befehlserkennung durch Lippenlesen adaptiv und individuell verbessert werden kann. Dabei ist das Mikrofon 25 an eine Spracherkennungseinrichtung 27 angeschlossen, welche mit der Auswerteelektronik 9 verbunden ist. Durch die Spracherkennungseinrichtung 27 wird die Lippenlesung der Auswerteelektronik 9 individuell trainiert, um eine hohe Übereinstimmung der akustischen und visuellen Signale zu erlangen.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste

1: Fahrzeug
3: Windschutzscheibe
5: Fahrzeuginnenraum
7: Fahrerbeobachtungskamera
9: Auswerteelektronik
11: Steuergerät
13: Bild
15: Abfolge von Lippenbewegungen
17: Parametersatz
19: Deutsch
21: Englisch
23: Französisch
25: Mikrofon
27: Spracherkennungseinrichtung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 00/68910 [0002]

Claims

Verfahren zur Eingabe eines Befehles in ein Steuergerät eines Fahrzeuges, bei welchem eine Fahrerbeobachtungskamera (7) Bilder (13, 15) von Lippen des Fahrers erzeugt, dadurch gekennzeichnet, dass aus der Veränderung der Lippenstellung in zeitlich aufeinanderfolgenden Bildern (15) ein Befehl abgeleitet wird, der durch das Steuergerät (11) im Fahrzeug (1) umgesetzt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass parallel zur bildlichen Erfassung der Lippenstellung eine Sprachsequenz des Fahrers aufgenommen und ausgewertet wird, wobei die Auswertung der Lippenstellung und die Auswertung der Sprachsequenzen miteinander verglichen werden und bei Übereinstimmung des jeweils erkannten Befehls dieser an das Steuergerät (11) weitergegeben wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswertung der Bilder (15) der Lippenstellung mithilfe eines neuralen Netzwerkes erfolgt.
Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Auswertung der Bilder (15) der Lippenstellung durch einen Vergleich mit einer Spracherkennung erlernt wird.
Fahrzeug, umfassend eine, in einen Innenraum (5) des Fahrzeuges (1) gerichtete Bilderfassungseinrichtung (7), deren Detektionsbereich auf Lippen eines Fahrers des Fahrzeuges (1) gerichtet ist und die mit einer Auswerteelektronik (9) zur visuellen Erkennung der Lippenbewegung verbunden ist, dadurch gekennzeichnet, dass die aus der visuellen Erkennung der Lippenbewegung einen Befehl für das Fahrzeug (1) ableitende Auswerteelektronik (9) mit einem Fahrzeugsteuergerät (11) gekoppelt ist, welches den von der Auswerteelektronik (9) erkannten Befehl im Fahrzeug (1) umsetzt.
Fahrzeug nach Anspruch 5, dadurch gekennzeichnet, dass die Auswerteelektronik (9) auf Basis eines neuralen Netzwerkes arbeitet.
Fahrzeug nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Auswerteelektronik (9) zur visuellen Erkennung der Lippenbewegung mit einer Sprachaufzeichnungseinheit (25) zum Vergleich eines Sprachbefehles mit dem Befehl, welcher aus der visuellen Bewegung der Lippen abgeleitet wird, verbunden ist.