-
Die Erfindung betrifft ein Verfahren zur adaptiven Belichtungssteuerung für eine Erfassungseinrichtung zum Erfassen einer Mimik und/oder einer Gestik eines Insassen eines Kraftfahrzeugs gemäß dem Oberbegriff des Patentanspruchs 1.
-
Zum Erfassen einer Mimik und/oder einer Gestik eines Insassen eines Kraftfahrzeugs sind verschiedene Verfahren aus dem Stand der Technik bekannt. Dabei wird oft ein aufwendiger Bildverarbeitungsprozess benutzt, der aufgrund des verwendeten Verfahrens oft mehrere Nachteile aufweist.
-
Beispielsweise werden gemäß dem Stand der Technik nacheinander mehrere Kamerabilder des Insassen als Bildabfolge nacheinander aufgenommen und jeweilige Änderungen zwischen den Kamerabildern der Bildfolge durch ein mathematisches Verfahren analysiert. Auf diese Weise können Bewegungen eines Objekts jedoch nicht dessen Position detektiert werden. In einem anderen Verfahren wird ein Kamerabild des Insassen anhand eines Mustererkennungsverfahrens, eines Klassifikationsverfahrens und/oder eines RGB-Analyseverfahrens analysiert. Dabei treten häufig Fehldetektionen von Mustern und/oder an Rändern und/oder an Kanten auf. Die Positionsermittlung kann stark von der Mimik und/oder Gestik und/oder dem Insassen, insbesondere dessen Farbe, Form und/oder Position, abhängen.
-
Für ein genaues Erfassen der Mimik und/oder der Gestik des Insassen ist insbesondere eine optimale Belichtung des Objekts nötig. Zur Belichtung des Objekts sind aus dem Stand der Technik Beleuchtungseinheiten bekannt, welche das Objekt mit einer variablen und/oder vorbestimmten Beleuchtungsintensität beleuchten.
-
Die
DE 10 2012 106 286 A1 offenbart ein Verfahren zur Belichtungssteuerung für eine Erfassungseinrichtung zum Aufnehmen eines Gesichts eines Insassen eines Kraftfahrzeugs, wobei eine Farbe der Haut des Insassen mit einer vorbestimmten Referenzfarbe verglichen wird. In Abhängigkeit des Vergleichsergebnisses kann eine Beleuchtungsintensität erhöht oder verringert werden.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Mimik und/oder Gestik durch genaueres Anpassen einer Belichtung einer Körperpartie des Insassen besser zu ermitteln.
-
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur adaptiven Belichtungssteuerung für eine Erfassungseinrichtung zum Erfassen einer Mimik und/oder Gestik eines Insassen eines Kraftfahrzeugs mit den Merkmalen des Patentanspruchs 1. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen des erfindungsgemäßen Verfahrens sind Teil der Unteransprüche.
-
Um nun das Verfahren gemäß dem Oberbegriff des Patentanspruchs 1 dahingehend weiterzuentwickeln, dass eine Mimik und/oder Gestik durch genaueres Anpassen einer Belichtung einer Körperpartie des Insassen besser ermittelt werden kann, ist erfindungsgemäß vorgesehen, dass mittels der Erfassungseinheit eine Mimik und/oder Gestik des Insassen als Insassencharakteristikum erfasst wird. Auf diese Weise wird die Beleuchtungsintensität genau anhand des Konfidenzniveaus oder anhand einer Konfidenz derjenigen Größe, nämlich der Mimik und/oder Gestik, angepasst, welche durch die Erfassungseinrichtung erfasst werden soll. Beispielsweise wird die Belichtung der Körperpartie des Insassen dadurch so eingestellt, dass die Mimik und/oder Gestik des Insassen optimal erfasst werden kann. Das Konfidenzniveau für das erfasste Insassencharakteristikum beziehungsweise die Mimik und/oder Gestik des Insassen kann eine Plausibilität des erfassten Insassencharakteristikums beziehungsweise der erfassten Mimik und/oder Gestik des Insassen betreffen. Beispielsweise wird beim Ermitteln des Konfidenzniveaus ermittelt, ob die erfasste Mimik und/oder Gestik des Insassen plausibel ist. Alternativ oder zusätzlich kann ermittelt werden, ob eine korrekte Erfassung der Mimik und/oder Gestik des Insassen möglich ist.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigen:
-
1 in einer schematischen Seitenansicht ein Kraftfahrzeug mit einer Erfassungseinrichtung zum Erfassen einer Gestik und/oder Mimik eines Insassen mit mehreren Beleuchtungseinheiten, und
-
2 ein Flussdiagramm einer Ausführungsform des vorliegenden Verfahrens.
-
1 zeigt in einer schematischen Seitenansicht ein Kraftfahrzeug 1 mit einem Insassen 2 und einer Erfassungseinrichtung 5 zum Erfassen einer Gestik und/oder Mimik des Insassen 2 und/oder einer Position und/oder Bewegung einer Körperpartie 4 des Insassen 2. Vorliegend die Körperpartie 4 der Kopf 8 des Insassen 2. Die Erfassungseinrichtung 5 kann eine Kameraeinheit 10, eine Erfassungseinheit 6 und/oder eine oder mehrere Beleuchtungseinheiten 3 umfassen.
-
Die Kameraeinheit 10, insbesondere eine digitale Kameraeinheit, beispielsweise eine Videokamera oder eine Fotokamera, kann derart innerhalb des Kraftfahrzeugs 1 angeordnet sein, dass diese möglichst günstig auf die Körperpartie 4 ausgerichtet ist. Insbesondere ist die Kameraeinheit 10 auf einen Bereich ausgerichtet, in dem sich die Körperpartie 4 in einem Betrieb der Erfassungseinrichtung 5 üblicherweise befindet. Die Körperpartie 4 ist vorliegend der Kopf 8 des Insassen 2. Die Kameraeinheit 10 ist demnach vorliegend in Richtung einer Kopfstütze 19 eines Fahrzeugsitzes 18 des Kraftfahrzeugs 1 ausgerichtet, da sich die Körperpartie 4, vorliegend der Kopf 8, des Insassen 2 in einem Betrieb der Erfassungseinrichtung 5 üblicherweise in einem Bereich um die Kopfstütze 19 befindet. Mittels der Kameraeinheit 10 kann als Kamerabild entweder ein Einzelbild, eine Folge von Einzelbildern oder ein Bewegtbild, insbesondere ein Video, erfasst werden. Das Kamerabild bildet vorzugsweise die Körperpartie 4 vollständig oder teilweise ab.
-
Die zuverlässige Erkennung der Gestik und/oder Mimik des Insassen 2 ist nur im Falle einer optimalen Belichtung der Körperpartie 4 des Insassen 2 möglich. Zur Belichtung der Körperpartie 4 des Insassen 2 sind vorliegend mehrere Beleuchtungseinheiten 3 im Innenraum des Kraftfahrzeugs 1 angeordnet. Die Beleuchtungseinheiten 3 senden Licht 15 zur Belichtung der Körperpartie 4 des Insassen 2, insbesondere in Richtung der Körperpartie 4, aus. Eine Beleuchtungsintensität der Belichtung der Körperpartie 4 durch die Beleuchtungseinheit 3 kann variabel, zumindest in 2 Stufen, angepasst werden. Dadurch, dass mehrere Beleuchtungseinheiten 3 im Innenraum des Kraftfahrzeugs 1 angeordnet sind, ist eine besonders gute Belichtung der Körperpartie 4 gewährleistet. Insbesondere kann die Beleuchtungsintensität der mehreren Beleuchtungseinheiten 3 unabhängig voneinander angepasst werden, wodurch die Belichtung der Körperpartie 4 aus unterschiedlichen Richtungen mit unterschiedlicher Beleuchtungsintensität erfolgen kann.
-
Als Mimik und/oder Gestik des Insassen 2 wird beispielsweise eine Liedöffnung eines Augenliedes, eine Kopfposition, eine Kopfpose, eine Blickrichtung, eine Armposition, eine Handposition, eine Nasenposition, eine Körperposition und/oder die Position charakteristischer Merkmale im Gesicht der Insassen 2, auch Facial Landmarks genannt, bezeichnet.
-
Im Folgenden werden einzelne Verfahrensschritte anhand des Flussdiagramms gemäß 2 offenbart.
-
Zunächst wird in einem Schritt i) eine vorbestimmte Beleuchtungsintensität der Beleuchtungseinheit 3 eingestellt. Der vorbestimmte Wert für die Beleuchtungsintensität ist insbesondere ein für den Einzelfall ermittelter Kompromisswert, für den unter unterschiedlichen Umgebungsbedingungen, insbesondere unterschiedliche Sonneneinstrahlung in das Kraftfahrzeug 1, ein Erfassen der Mimik und/oder Gestik des Insassen 2 möglichst gut möglich ist. Durch die vorbestimmte Beleuchtungsintensität der Beleuchtungseinheit 3 kann eine Belichtung der Körperpartie 4 erzeugt werden. Die Belichtung der Körperpartie 4 kann zusätzlich von weiteren Größen, beispielsweise der Sonneneinstrahlung in das Kraftfahrzeug 1, abhängig sein.
-
Zur adaptiven Steuerung der Belichtung der Körperpartie 4 des Insassen 2 zum Erfassen einer Mimik und/oder Gestik des Insassen 2 wird in einem Schritt ii) ein Bild der Körperpartie 4 aufgenommen. Es kann auch die Aufnahme mehrerer Bilder der Körperpartie 4 des Insassen 2 mit der vorbestimmten Beleuchtungsintensität vorgesehen sein. Insbesondere kann dadurch der Einfluss von Bildfehlern während des Aufnehmens des Bildes minimiert werden.
-
Im nächsten Schritt iii) wird mittels einer Erfassungseinheit 6 ein den Insassen 2 beschreibendes Insassencharakteristikum anhand des Bildes erfasst. Dabei wird als Insassencharakteristikum die Mimik und/oder Gestik des Insassen 2 erfasst. Die Erfassungseinheit 6 kann beispielsweise als Recheneinheit, insbesondere als Computer, ausgeführt sein. Insbesondere wird das Bild der Körperpartie 4 der Erfassungseinheit 6 von der Kameraeinheit 10, vorzugsweise in digitaler Form, übermittelt. Die Erfassungseinheit 6 kann das Bild der Körperpartie 4 analysieren und/oder anhand des Bildes eine Mimik und/oder Gestik des Insassen 2 erfassen oder versuchen zu erfassen.
-
Für die anhand des Bildes der Körperpartie 4 erfasste Mimik und/oder Gestik des Insassen 2 wird in einem nächsten Schritt iv) ein Konfidenzniveau ermittelt. Insbesondere kann das Konfidenzniveau durch die Erfassungseinheit 6 ermittelt werden. Beim Ermitteln des Konfidenzniveaus kann überprüft werden, ob die zuvor erfasste Mimik und/oder Gestik des Insassen 2 plausibel ist. Beispielsweise wird mit einer vorbestimmten Konferenzvorschrift überprüft, ob die Mimik und/oder Gestik einer vorbestimmten Mimik und/oder Gestik entspricht. Beispielsweise wird die Mimik und/oder Gestik des Insassen 2 anhand unterschiedlicher Algorithmen anhand des Bildes der Körperpartie 4 erfasst. Dann kann zum Ermitteln des Konfidenzniveaus überprüft werden, ob die unterschiedlichen Algorithmen zum Erfassen der Mimik und/oder Gestik ein vergleichbares beziehungsweise plausibles Ergebnis liefern. Konnte in dem Schritt iii) keine Mimik und/oder Gestik des Insassen erfasst werden, so kann ein besonders geringes Konfidenzniveau ermittelt werden.
-
In einem nächsten Schritt v) wird die Beleuchtungsintensität an der Körperpartie 4 erhöht oder verringert. Beispielsweise wird die Beleuchtungsintensität aller Beleuchtungseinheiten 3 gemeinsam erhöht oder verringert. Vorliegend jedoch wird nur die Beleuchtungsintensität einer Beleuchtungseinheit 3 erhöht oder verringert. Anschließend werden die Verfahrensschritte ii) und iv) wiederholt.
-
Hat sich das Konfidenzniveau erhöht, so kann in einem Schritt vi) erkannt werden, dass sich die Belichtung der Körperpartie 4 durch das Erhöhen oder Verringern der Beleuchtungsintensität verbessert hat. In diesem Fall kann erkannt kann werden, dass die Körperpartie 4 unterbelichtet war und/oder ist, wenn zuvor die Beleuchtungsintensität erhöht wurde. Hat sich das Konfidenzniveau erhöht und wurde die Beleuchtungsintensität zuvor verringert, so kann erkannt werden, dass die Körperpartie 4 überbelichtet war und/oder ist. Hat sich das Konfidenzniveau erhöht, so kann in dem Schritt vi) erkannt werden, dass sich die Belichtung der Körperpartie 4 durch das Erhöhen oder Verringern der Beleuchtungsintensität verschlechtert hat. Wurde in diesem Fall die Beleuchtungsintensität zuvor erhöht, so kann erkannt werden, dass die Körperpartie 4 zur Aufnahme des Bildes überbelichtet ist. Hat sich das Konfidenzniveau verringert und die Beleuchtungsintensität wurde zuvor verringert, so kann erkannt werden, dass die Körperpartie 4 unterbelichtet ist.
-
Hat sich das Konfidenzniveau erhöht, so kann in weiteren Schritten die Beleuchtungsintensität weiter erhöht werden beziehungsweise verringert werden. Hat sich das Konfidenzniveau durch das Erhöhen beziehungsweise verringern der Beleuchtungsintensität verringert, so kann in einem nächsten Schritt die Beleuchtungsintensität gegenläufig verringert beziehungsweise erhöht werden. Wird gemäß der oben genannten Vorschrift eine Überbelichtung erkannt, so kann die Beleuchtungsintensität verringert werden. Wird eine Unterbelichtung der Körperpartie 4 erkannt, so kann die Beleuchtungsintensität erhöht werden.
-
Erhöhen beziehungsweise Verringern der Beleuchtungsintensität bedeutet insbesondere Erhöhen beziehungsweise Verringern der Beleuchtungsintensität um einen vordefinierten Beleuchtungswert. Dies kann insbesondere durch Dimmen einer oder mehrerer Beleuchtungseinheiten 3 erfolgen. Ein Dimmen der Beleuchtungseinheit 3 kann durch eine Spannungsänderung an der Beleuchtungseinheit 3 erfolgen.
-
Es kann vorgesehen sein, dass die Schritte ii) bis v) im Rahmen einer Iterationsschleife 40 solange wiederholt werden, bis ein Maximum des Konfidenzniveaus gefunden wird. Dies kann insbesondere im Rahmen eines Schrittes vi) erfolgen. Ein Maximum des Konfidenzniveaus wird in dem Schritt vi) beispielsweise dadurch erkannt, dass das Konfidenzniveau sowohl durch Erhöhen als auch durch Verringern der Beleuchtungsintensität der Körperpartie 4 verringert wird. Wird ein Maximum des Konfidenzniveaus erkannt, so kann eine optimale Belichtung der Körperpartie 4 erkannt werden.
-
In einer zweiten Iterationsschleife 41 im Rahmen eines Schrittes (viii) kann die Beleuchtungsintensität mehrerer Beleuchtungseinheiten 3 nacheinander erhöht oder verringert werden. Insbesondere wird durch Anpassen der Beleuchtungsintensität der mehreren Beleuchtungseinheiten 3 ein Maximum des Konfidenzniveaus für jede der Beleuchtungseinheiten 3 unabhängig voneinander gesucht. Beispielsweise wird zunächst das Konfidenzniveau in Abhängigkeit von der Beleuchtungsintensität der Beleuchtungseinheit 14 maximiert, anschließend das Konfidenzniveau durch Anpassen der Beleuchtungsintensität der Beleuchtungseinheit 13 maximiert und zuletzt das Konfidenzniveau durch Anpassen der Beleuchtungsintensität der Beleuchtungseinheit 12 maximiert. In diesem Fall wird nicht nur die Belichtung der Körperpartie 4 optimiert, sondern auch die Beleuchtungsintensität aus verschiedenen Richtungen. Insbesondere können hierdurch Schatten auf der Körperpartie 4 oder Reflexionen auf der Körperpartie 4 minimiert werden.
-
Vorzugsweise ist vorgesehen, dass ein Iterationsschritt eine vorbestimmte Dauer nicht überschreitet. Als Iterationsschritt wird vorzugsweise die Durchführung der Schritte ii) bis v) bezeichnet. Insbesondere ist die vorbestimmte Dauer daran bemessen, dass sich die Belichtung der Körperpartie 4 und/oder die Mimik und/oder Gestik des Insassen 2 innerhalb der vorbestimmten Dauer nicht zu sehr verändert. Insbesondere entspricht die vorbestimmte Dauer einer Zeitspanne von 1 ms, 10 ms oder 100 ms. Insbesondere entspricht die vorbestimmte Dauer einer Zeitdauer, innerhalb welcher die Konfidenzniveaus des Insassencharakteristikums als vergleichbar angesehen werden können.
-
Anstatt eines Konfidenzniveaus kann eine Konfidenz ermittelt werden. Im Rahmen einer dritten Iterationsschleife 42 kann nach Ablauf einer vorbestimmter Zeitdauer ΔT oder einer Änderung der Konfidenz das Verfahren neu begonnen werden. Alternativ oder zusätzlich kann für jede Erfassung der Mimik und/oder Gestik die optimale Belichtung der Körperpartie 4 neu ermittelt werden.
-
Das Konfidenzniveau kann nicht nur anhand der Mimik und/oder Gestik des Insassen 2 ermittelt werden. Alternativ oder zusätzlich kann das Konfidenzniveau anhand einer Helligkeit in dem Kamerabild 7, beispielsweise einer durchschnittlichen Helligkeit oder einer Helligkeitsverteilung, und/oder anhand eines Farbtons in dem Kamerabild 7, insbesondere durch Vergleichen des Farbtons mit einem Referenzfarbton ermittelt werden. Als Farbton kann beispielsweise der Farbton der Haut des Insassen 2 oder ein Farbton einer Innenausstattung des Kraftfahrzeugs 2 genutzt werden. Die Innenausstattung des Kraftfahrzeugs 2 kann einen vordefinierten Farbton aufweisen, der als der Referenzfarbton gespeichert ist. Der Farbton der Haut des Insassen 2 kann insbesondere als der Referenzfarbton gespeichert sein.
-
Durch das vorliegende Verfahren kann eine Unterbelichtung und/oder Überbelichtung von Bildern zum Erfassen einer Mimik und/oder Gestik vermieden werden.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Insasse
- 3
- Beleuchtungseinheit
- 4
- Körperpartie
- 5
- Erfassungseinrichtung
- 6
- Erfassungseinheit
- 8
- Kopf
- 10
- Kameraeinheit
- 12
- Beleuchtungseinheit
- 13
- Beleuchtungseinheit
- 14
- Beleuchtungseinheit
- 15
- Licht
- 18
- Fahrzeugsitzes
- 19
- Kopfstütze
- 40
- Iterationsschleife
- 41
- Iterationsschleife
- 42
- Iterationsschleife
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012106286 A1 [0005]
