-
Die vorliegende Erfindung betrifft ein Verfahren zur automatisierten Bestimmung einer Kopfpose eines Benutzers in einem Kraftfahrzeug. Darüber hinaus betrifft die Erfindung eine Vorrichtung und ein Computerprogramm, die jeweils konfiguriert sind, das Verfahren auszuführen.
-
Es sind Verfahren bekannt, mit denen eine Kopf- bzw. Gesichtserkennung und eine Kopf- bzw. Gesichtsüberwachung eines Benutzers im Kraftfahrzeug durchgeführt werden können. Weiterhin ist bekannt für diese Verfahren Maschinenlern-Algorithmen einzusetzen.
-
Diese Maschinenlern-Algorithmen zur Erkennung und Überwachung des Benutzers im Kraftfahrzeug erfordern eine große Menge von Trainingsdaten, um von einer Vielzahl von Benutzern eine hinreichend genaue Erkennung zu ermöglichen. Diese Vielzahl von erkannten Benutzern kann dazu führen, dass eine Überwachung jedes einzelnen Benutzers mit einer geringeren Genauigkeit erfolgt als mit einem speziell auf einen Benutzer trainierten Datensatz. Ein individuell trainierter Datensatz für jeden einzelnen Benutzer würde jedoch eine große Bilddatenbank erfordern, die für jeden Benutzer individuell trainiert werden müsste. Dies würde weiterhin zu einem großen Rechenaufwand bei der Überwachung jedes Benutzers führen.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein optimiertes Verfahren zur Bestimmung einer Kopfpose eines Benutzers in einem Kraftfahrzeug vorzuschlagen.
-
Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
-
Ein erster Aspekt der Erfindung betrifft ein Verfahren zur automatisierten Bestimmung einer Kopfpose eines Benutzers in einem Kraftfahrzeug aufweisend: (i) Bestimmen von Identifikationsdaten des Benutzers im Kraftfahrzeug; (ii) Erfassen von Posendaten durch ein im Kraftfahrzeug angeordnetes Sensorsystem; (iii) Zuordnen der Identifikationsdaten zu den erfassten Posendaten; (iv) Bestimmen der Kopfpose durch ein trainiertes tiefes neuronales Netzwerk mit einer Mehrzahl von Neuronen, wobei als Eingangsdaten für das tiefe neuronale Netzwerk die den Identifikationsdaten zugeordneten Posendaten verwendet werden, wobei ein Neuron aus der Mehrzahl der Neuronen zur Bestimmung der Kopfpose verwendet wird, wenn für das jeweilige Neuron ein vorgegebenes Kriterium erfüllt ist.
-
Die hierein gegebenenfalls verwendeten Begriffe „umfasst“, „beinhaltet“, „schließt ein“, „weist auf“, „hat“, „mit“, oder jede andere Variante davon sollen eine nicht ausschließliche Einbeziehung abdecken. So ist beispielsweise ein Verfahren oder eine Vorrichtung, die eine Liste von Elementen umfasst oder aufweist, nicht notwendigerweise auf diese Elemente beschränkt, sondern kann andere Elemente einschließen, die nicht ausdrücklich aufgeführt sind oder die einem solchen Verfahren oder einer solchen Vorrichtung inhärent sind.
-
Ferner bezieht sich „oder“, sofern nicht ausdrücklich das Gegenteil angegeben ist, auf ein inklusives oder und nicht auf ein exklusives „oder“. Zum Beispiel wird eine Bedingung A oder B durch eine der folgenden Bedingungen erfüllt: A ist wahr (oder vorhanden) und B ist falsch (oder nicht vorhanden), A ist falsch (oder nicht vorhanden) und B ist wahr (oder vorhanden), und sowohl A als auch B sind wahr (oder vorhanden).
-
Die Begriffe „ein“ oder „eine“, wie sie hier verwendet werden, sind im Sinne von „ein/eine oder mehrere“ definiert. Die Begriffe „ein anderer“ und „ein weiterer“ sowie jede andere Variante davon sind im Sinne von „zumindest ein Weiterer“ zu verstehen.
-
Der Begriff „Mehrzahl“, wie er hier verwendet wird, ist im Sinne von „zwei oder mehr“ zu verstehen.
-
Unter dem Begriff „konfiguriert“ oder „eingerichtet“ eine bestimmte Funktion zu erfüllen, (und jeweiligen Abwandlungen davon) ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vorrichtung bereits in einer Ausgestaltung oder Einstellung vorliegt, in der sie die Funktion ausführen kann oder sie zumindest so einstellbar - d.h. konfigurierbar - ist, dass sie nach entsprechender Einstellung die Funktion ausführen kann. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbesondere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi aufweisen, so dass das Konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.
-
Unter dem Begriff „kontaktanaloge Information“ oder „kontaktanalog dargestellte Information“ im Sinne der Erfindung ist insbesondere zu verstehen, dass diese Information als Objektinformation einem bestimmten zugeordneten Objekt in einer Realumgebung überlagert sein kann bzw. an diesem orientiert sein kann oder dass eine anzuzeigende Objektinformation in einer bestimmten Ausrichtung zu einer Blickrichtung eines Benutzers angezeigt werden kann. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. eine Illusion entstehen kann, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der Objektinformation bzw. der kontaktanalogen Information ergänzt wurde.
-
Unter „Pose“ oder „Kopfpose“ im Sinne der Erfindung ist insbesondere die räumliche Position eines Gegenstands oder eines Kopfes jeweils in Bezug auf drei zueinander senkrecht stehenden Raumrichtungen und dessen Ausrichtung in Bezug auf drei zueinander senkrecht stehenden Raumachsen zu verstehen.
-
Durch das Verfahren nach dem ersten Aspekt kann erreicht werden, dass das tiefe neuronale Netzwerk hinsichtlich der verwendeten Neuronen zur Bestimmung der Kopfpose angepasst werden kann. Dabei ist vorgesehen, dass ein Neuronen dann für die Bestimmung der Kopfpose verwendet wird, wenn es ein vorgegebenes Kriterium erfüllt. Wenn ein Neuron das vorgegebene Kriterium nicht erfüllt, und nicht für die Bestimmung der Kopfpose verwendet wird, kann das tiefe neuronale Netzwerk vereinfacht werden, indem es nur die Neuronen verwendet, die das Kriterium erfüllen. Damit kann insgesamt der Rechenaufwand des tiefen neuronalen Netzwerks verringert werden kann. Darüber hinaus kann das tiefe neuronale Netzwerk durch die Auswahl des Kriteriums für die Bestimmung einer Kopfpose eines Benutzers optimiert werden.
-
Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens beschrieben, die jeweils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfindung kombiniert werden können.
-
Bei einigen Ausführungsformen wird eine Standardkopfpose, unter Verwendung von Posendaten, die erfasst werden, wenn der Kopf des Benutzers in einer vorgegebenen Richtung ausgerichtet ist, insbesondere in Richtung eines vorgegebenen Bezugspunktes, bestimmt, und wobei die bestimmte Kopfpose zu der bestimmten Standardkopfpose in Bezug gesetzt wird. Dadurch kann die Kopfpose bezüglich einer vorgegebenen Richtung bestimmt werden.
-
Bei einigen Ausführungsformen werden die Eingangsdaten durch die Mehrzahl der Neuronen gewichtet, und wobei das Kriterium für ein Neuron erfüllt ist, wenn die Gewichtung der Eingangsdaten durch das jeweilige Neuron wenigstens einen vorgegebenen Schwellwert aufweist. Dadurch kann erreicht werden, dass Neuronen zur Bestimmung der Kopfpose verwendet werden, deren Gewichtung wenigstens einen vorgegebenen Schwellwert aufweist. Dadurch kann das tiefe neuronale Netzwerk auf diese Neuronen beschränkt werden, und dadurch der Rechenaufwand zur Bestimmung der Kopfpose verringert werden. Gleichzeit kann durch den Schwellwert eingestellt werden, welche Gewichtung durch ein Neuron für die Bestimmung der Kopfpose verwendet wird. Dabei kann die Gewichtung ein Maß für den Einfluss eines Neurons auf das Ergebnis der Bestimmung sein. Dadurch, dass die Identifikationsdaten den Posendaten zugeordnet werden, kann für jeden Benutzer individuell das tiefe neuronale Netzwerk angepasst werden. Denn bei der Bestimmung der Kopfpose kann für verschiedene Benutzer ein Neuron des Netzwerks verschiedene Gewichtungen aufweisen, so dass für einen Benutzer das Kriterium erfüllt sein kann und für einen anderen Benutzer nicht.
-
Bei einigen Ausführungsformen werden die Neuronen, deren Eingangsdaten eine Gewichtung unter dem vorgegebenen Schwellwert aufweisen, mit dem Wert „0“ belegt. Dadurch kann sichergestellt werden, dass diese Neuronen für die Bestimmung der Kopfpose nicht verwendet werden, und hierfür keine Rechenleistung verwendet wird.
-
Bei einigen Ausführungsformen wird die Kopfpose kontinuierlich bestimmt. Dadurch wird bei einer Bewegung des Kopfes von einer Position in eine andere Position automatisiert eine zugehörige Kopfpose bestimmt.
-
Bei einigen Ausführungsformen wird unter Verwendung der bestimmten Kopfpose eine Blickrichtung des Benutzers bestimmt, und wobei eine kontaktanaloge Information auf einer ersten transparenten Anzeigefläche in Abhängigkeit von der Blickrichtung dargestellt wird. Dadurch kann die Darstellung der kontaktanalogen Information der Blickrichtung des Benutzers in Bezug auf die erste transparente Anzeigefläche angepasst werden. Dadurch kann erreicht werden, dass dem Benutzer bei einer ersten Blickrichtung eine bestimmte kontaktanaloge Information dargestellt wird, und bei einer zweiten Blickrichtung diese kontaktanaloge Information nicht dargestellt wird.
-
Bei einigen Ausführungsformen wird unter Verwendung der bestimmten Kopfpose eine Pose einer mit dem Kopf kraftschlüssig verbundenen optischen Einrichtung bestimmt. Die Verwendung der Kopfpose für die Bestimmung der Pose der optischen Einrichtung kann den Aufwand für die Bestimmung der Pose der optischen Einrichtung verringern. Zudem kann durch die kraftschlüssige Verbindung erreicht werden, dass eine Bewegung des Kopfes zu einer Bewegung der optischen Einrichtung führt.
-
Bei einigen Ausführungsformen wird die kontaktanaloge Information auf einer zweiten transparenten Anzeigefläche, welche an der optischen Einrichtung so angebracht ist, dass der Benutzer mit seiner jeweiligen Blickrichtung hindurchsehen kann, dargestellt. Dadurch, dass die optische Einrichtung mit dem Kopf kraftschlüssig verbunden ist, kann erreicht werden, dass die auf der zweiten transparenten Anzeigefläche dargestellte kontaktanaloge Information auch bei einer Bewegung des Kopfes für den Benutzer sichtbar wäre. Darüber hinaus kann dem Benutzer auf der zweiten transparenten Anzeigefläche eine kontaktanaloge Information dargestellt werden, die nur für den Benutzer relevant sein kann. Im Gegensatz dazu wäre die Darstellung einer kontaktanalogen Information auf einer, im Vergleich zur optischen Einrichtung, weiter vom Kopf entfernten Anzeigefläche, beispielsweise auf einer Windschutzscheibe des Kraftfahrzeugs, welche die erste Anzeigefläche sein kann, auch für andere Insassen im Kraftfahrzeug sichtbar.
-
Bei einigen Ausführungsformen ist die optische Einrichtung als Brille mit einem Brillenglas ausgebildet, wobei die kontaktanaloge Information auf der zweiten transparenten Anzeigefläche, die auf dem Brillenglas angeordnet ist, dargestellt wird. Dadurch kann erreicht werden, dass ein Benutzer die kontaktanaloge Information durch ein Brillenglas einer Brille sehen kann. Dadurch ist für den Benutzer die kontaktanaloge Information in seinem natürlichen Blickfeld, das durch die Brille wahrgenommen werden kann, sichtbar. Darüber hinaus kann ein Benutzer durch eine Brille die reale Umgebung in seinem Blickfeld ebenso wahrnehmen, und eine Überlagerung einer kontaktanalogen Information mit der realen Umgebung ist für den Benutzer durch die Brille sichtbar.
-
Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zur automatisierten Bestimmung einer Kopfpose eines Benutzers in einem Kraftfahrzeug, wobei die Vorrichtung konfiguriert ist, das Verfahren gemäß dem ersten Aspekt der Erfindung auszuführen.
-
Ein dritter Aspekt der Erfindung betrifft ein Computerprogramm, das konfiguriert ist, das Verfahren gemäß dem ersten Aspekt der Erfindung auszuführen.
-
Das Computerprogramm kann insbesondere auf einem nichtflüchtigen Datenträger gespeichert sein. Bevorzugt ist dies ein Datenträger in Form eines optischen Datenträgers oder eines Flashspeichermoduls. Dies kann vorteilhaft sein, wenn das Computerprogramm als solches unabhängig von einer Prozessorplattform gehandelt werden soll, auf der das ein bzw. die mehreren Programme auszuführen sind. In einer anderen Implementierung kann das Computerprogramm als eine Datei auf einer Datenverarbeitungseinheit, insbesondere auf einem Server vorliegen, und über eine Datenverbindung, beispielsweise das Internet oder eine dedizierte Datenverbindung, wie etwa ein proprietäres oder lokales Netzwerk, herunterladbar sein.
-
Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung.
-
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit der Figur.
-
Dabei zeigt die Figur eine beispielhafte Ausführungsform des erfindungsgemäßen Verfahrens 100 zur automatisierten Bestimmung einer Kopfpose eines Benutzers in einem Kraftfahrzeug.
-
In dem Verfahren 100 werden in einem Schritt 110 Identifikationsdaten des Benutzers im Kraftfahrzeug bestimmt. Die Identifikationsdaten können den Namen des Benutzers aufweisen, der mit dem Schlüssel des Fahrzeugs verknüpft ist, so dass beim Öffnen des Fahrzeugs die Identifikationsdaten Benutzers, insbesondere des Fahrers, zugeordnet werden.
-
Des Weiteren werden in dem Verfahren 100 in einem Schritt 120 Posendaten durch ein im Kraftfahrzeug angeordnetes Sensorsystem erfasst. Das Sensorsystem kann eine oder mehrere im Kraftfahrzeug angeordnete Kameras aufweisen. Die Kameras nehmen Bilder und/oder bewegte Bilder des Fahrers, insbesondere des Kopfes des Fahrers auf, welche auch als Posendaten benannt werden.
-
In einem weiteren Schritt 130 des Verfahrens 100 werden die Identifikationsdaten den erfassten Posendaten zugeordnet.
-
In dem Verfahren 100 werden in einem weiteren Schritt 140 die Kopfpose durch ein trainiertes tiefes neuronales Netzwerk mit einer Mehrzahl von Neuronen, beispielhaft sind fünf Neuronen N1 bis N5 dargestellt, bestimmt, wobei als Eingangsdaten für das tiefe neuronale Netzwerk die den Identifikationsdaten zugeordneten Posendaten verwendet werden, und wobei ein Neuron aus der Mehrzahl der Neuronen zur Bestimmung der Kopfpose verwendet wird, wenn für das jeweilige Neuron ein vorgegebenes Kriterium erfüllt ist.
-
In einem weiteren Schritt 150 des Verfahrens 100 werden die Eingangsdaten durch die Mehrzahl der Neuronen gewichtet, wobei das Kriterium für ein Neuron erfüllt ist, wenn die Gewichtung der Eingangsdaten durch das jeweilige Neuron wenigstens einen vorgegebenen Schwellwert aufweist. Dadurch kann erreicht werden, dass Neuronen zur Bestimmung der Kopfpose verwendet werden, welche einen relevanten Einfluss bei der Bestimmung der Kopfpose aufweisen. Durch eine entsprechende Erhöhung des Schwellwerts können die Neuronen für die Bestimmung der Kopfpose herausgefiltert werden, die einen wesentlichen Einfluss bei der Bestimmung der Kopfpose haben. Dadurch kann das tiefe neuronale Netzwerk auf diese Neuronen beschränkt werden, und dadurch der Rechenaufwand zur Bestimmung der Kopfpose verringert werden. Dies kann ferner dadurch unterstützt werden, dass die Neuronen, deren Eingangsdaten eine Gewichtung unter dem Schwellwert aufweisen, auf „0“ gesetzt werden. Dadurch, dass die Benutzungsdaten den Posendaten zugeordnet werden, kann für jeden Benutzer individuell das tiefe neuronale Netzwerk angepasst werden. Beispielsweise kann bei einem Fahrerwechsel ein neues Benutzerprofil für den anderen Fahrer erstellt werden.
-
Weiterhin wird in einem Verfahrensschritt eine Standardkopfpose ermittelt. Zur Ermittlung der Standardkopfpose werden Posendaten erfasst, wenn der Kopf des Benutzers in einer vorgegebenen Richtung ausgerichtet ist, beispielsweise in Richtung eines vorgegebenen Fixpunktes. Dieser Fixpunkt kann so gewählt werden, dass der Fahrer im Fahrersitz im Wesentlichen geradeaus nach vorne durch die Windschutzscheibe blickt. Eine andere Möglichkeit wäre, dass die Standardkopfpose erstellt wird, wenn sich das Kraftfahrzeug in einer Geradeausfahrt befindet. Die bestimmte Kopfpose zu der Standardkopfpose in Bezug gesetzt. Dadurch kann die Kopfpose bezüglich einer vorgegebenen Richtung bestimmt werden.
-
Das Bestimmen der Kopfpose kann iterativ wiederholt werden, um die Genauigkeit der Bestimmung zu verbessern, und kann nach einer vorgegebenen Anzahl von Wiederholungen beendet werden. Es ist auch denkbar, dass die Iterationen dann beendet werden, wenn eine vorgegebene Genauigkeit bei der Ermittlung der Kopfpose erreicht wurde.
-
In einem weiteren Schritt des Verfahrens 100 wird unter Verwendung der bestimmten Kopfpose eine Pose einer mit dem Kopf kraftschlüssig verbundenen optischen Einrichtung, insbesondere einer Brille, insbesondere einer Datenbrille, bestimmt. Auf einem Brillenglas der Brille ist eine transparente Anzeigefläche angebracht, auf der eine kontaktanaloge Information dargestellt werden kann. Darüber hinaus kann der Fahrer durch das Brillenglas nach wie vor die reale Umgebung sehen. Dadurch kann der Fahrer die reale Umgebung, und eine zusätzliche auf der transparenten Anzeigefläche dargestellte kontaktanaloge Information überlagert zur realen Umgebung sehen.
-
Die Pose der Datenbrille kann ebenso mit den Identifikationsdaten des Fahrers verknüpft werden, so dass die Datenbrille bei der Erkennung des Fahrers durch die Identifikationsdaten ebenfalls erkannt wird. In dem Fall, dass der Fahrer auf eine neue Datenbrille wechselt, kann das tiefe neuronale Netz entsprechend auf die neue Datenbrille angepasst werden, und erweitert werden. Dies kann dann besonders effektiv, beispielsweise durch ein sogenanntes bestärkendes Lernen (engl. Reinforcement Learning), erfolgen, wenn die neue Datenbrille ähnliche oder teilweise gleiche Merkmale wie die ältere Datenbrille aufweist, da dann die bereits in dem Netzwerk hinterlegten und hinzugelernten Merkmale der älteren Brille durch das Netzwerk für die Posenbestimmung der neuen Datenbrille verwendet werden können. Ebenfalls ist denkbar, dass die ermittelten Merkmale einer Brille in dem ursprünglichen tiefen neuronalen Netzwerk, also vor der Anpassung auf Basis der Gewichtungen, hinterlegt werden, und für die Kopfposenbestimmung und Posenbestimmung eines anderen Fahrers zur Verfügung stehen.
-
Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtlimitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die Anwendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anleitung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen werden können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgelegten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
-
Bezugszeichenliste
-
- 100
- Verfahren zur automatisierten Bestimmung einer Kopfpose
- 110
- Bestimmen von Identifikationsdaten des Benutzers
- 120
- Erfassen von Posendaten
- 130
- Zuordnen der Identifikationsdaten zu den erfassten Posendaten
- 140
- Bestimmen der Kopfpose
- Ni
- Neuronen
- i
- Index zur Kennzeichnung verschiedener Neuronen
- TNN
- Tiefes neuronales Netzwerk
