-
Die Erfindung betrifft ein Verfahren zum Erfassen einer Position und/oder Bewegung eines Objekts, insbesondere einer Mimik und/oder Gestik eines Insassen eines Kraftfahrzeugs. Ein zweiter Aspekt der Erfindung betrifft eine Erfassungseinrichtung zum Erfassen einer Position und/oder Bewegung eines Objekts, insbesondere einer Mimik und/oder Gestik eines Insassen eines Kraftfahrzeugs.
-
Zur genauen Positionsbestimmung von Objekten, insbesondere Gegenständen, Menschen und/oder Tieren, durch eine Kameraeinheit sind verschiedene Verfahren aus dem Stand der Technik bekannt. Dabei wird oft ein aufwendiger Bildverarbeitungsprozess benutzt, der aufgrund des verwendeten Verfahrens oft mehrere Nachteile aufweist.
-
Beispielsweise werden gemäß dem Stand der Technik nacheinander mehrere Kamerabilder des Objekts als Bildabfolge nacheinander aufgenommen und jeweilige Änderungen zwischen den Kamerabildern der Bildfolge durch ein mathematisches Verfahren analysiert. Auf diese Weise können Bewegungen des Objekts jedoch nicht dessen Position detektiert werden.
-
In einem anderen Verfahren wird ein Kamerabild des Objekts anhand eines Mustererkennungsverfahrens, eines Klassifikationsverfahrens und/oder eines RGB-Analyseverfahrens analysiert. Dabei treten häufig Fehldetektionen von Mustern und/oder an Rändern und/oder an Kanten auf. Die Positionsermittlung kann stark von dem genauen Objekt, insbesondere dessen Farbe, Form und/oder Position, abhängen.
-
Die
DE 10 2004 007 049 A1 offenbart ein Verfahren zur Klassifizierung eines Objekts mit einer Stereokamera, wobei zwei mit jeweiligen Videosensoren erzeugte Bilder, insbesondere Stereobilder, mit gespeicherten Modelldaten zur Positionsbestimmung des Objekts verglichen werden.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Position und/oder Bewegung eines Objekts mit einer erhöhten Genauigkeit gegenüber dem Stand der Technik zu messen.
-
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1. Diese Aufgabe wird außerdem gelöst durch eine Erfassungseinrichtung mit den Merkmalen des Patentanspruchs 6. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen des erfindungsgemäßen Verfahrens bilden die abhängigen Unteransprüche und gelten analog auch für die erfindungsgemäße Erfassungseinrichtung.
-
Um ein Verfahren zu schaffen, mittels dessen eine Position und/oder Bewegung eines Objekts, insbesondere eine Mimik und/oder Gestik eines Insassen eines Kraftfahrzeugs, mit einer erhöhten Genauigkeit gegenüber dem Stand der Technik gemessen werden kann, ist erfindungsgemäß vorgesehen, dass der vordefinierte Farbton der Farbmarkierung aus dem Kamerabild gefiltert wird und die Position und/oder Bewegung des Objekts, insbesondere die Mimik und/oder Gestik des Insassen, durch Auswerten der Position und/oder Lage der Farbmarkierung und dem Kamerabild erfasst wird. Die Farbmarkierung ist auf dem zu beobachtenden Objekt, insbesondere einem Menschen, einem Gegenstand oder einem Tier, vorzugsweise jedoch der Körperpartie des Insassen aufgebracht. Die Farbmarkierung kann die Form einer beliebigen geometrischen Figur, beispielsweise ein Kreis, ein Punkt, eine Linie, ein Dreieck, ein Viereck oder ein N-Eck, aufweisen. Durch das Filtern des vordefinierten Farbtons der Farbmarkierung aus dem Kamerabild kann der vordefinierte Farbton bevorzugt erfasst werden. Beispielsweise kann eine Intensität der Erfassung von Farbtönen, welche nicht dem vordefinierten Farbton entsprechen, gesenkt werden oder Farbtöne, die nicht dem vordefinierten Farbton entsprechen, herausgefiltert werden. Der vordefinierte Farbton der Farbmarkierung kann in dem Kamerabild durch das Filtern in einer besonders hohen relativen Intensität vorliegen. Der vordefinierte Farbton kann ein vordefinierter Farbbereich sein.
-
Als vordefinierter Farbton im Sinne der Erfindung kann eine Farbe, die durch Licht einer Wellenlänge, mehrere Wellenlängen oder ein, zusammenhängendes oder zusammengesetztes, Spektrum oder eine Graustufe in einem Schwarz-Weiß-Bild gemeint sein. Insbesondere kann die Graustufe durch die Farbe des vordefinierten Farbtons gebildet sein.
-
Durch die hohe relative Intensität des vordefinierten Farbtons der Farbmarkierung in dem Kamerabild kann die Position oder Bewegung des Objekts, insbesondere die Mimik und/oder Gestik des Insassen, mit besonders hoher Genauigkeit erfasst werden. Insbesondere ist eine Form der Farbmarkierung bekannt, sodass durch Auswerten der Position und/oder Lage und/oder Form der Farbmarkierung in dem Kamerabild die Position und/oder Bewegung des Objekts, insbesondere die Mimik und/oder Gestik des Insassen, mit besonders hoher Genauigkeit erfasst werden kann.
-
In weiterer Ausgestaltung der Erfindung kann vorgesehen sein, dass durch eine Beleuchtungseinheit eine auf den vordefinierten Farbton angepasste Lichtfarbe ausgesendet wird. Beispielsweise weist die durch die Beleuchtungseinheit ausgesendet Lichtfarbe eine besonders hohe Intensität ausgesendeten Lichtes in einem Farbbereich auf, der dem vordefinierten Farbton entspricht. Auf diese Weise kann die Intensität des vordefinierten Farbtons der Farbmarkierung in dem Kamerabild relativ zu anderen Farbtönen, die nicht dem vordefinierten Farbton entsprechen, noch weiter gesteigert werden. Hierdurch kann das Filtern des vordefinierten Farbtons unterstützt und/oder unnötig werden.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigen:
-
1 in einer schematischen Seitenansicht ein Kraftfahrzeug mit einer Erfassungseinrichtung zum Erfassen einer Position und/oder Bewegung eines Objekts, insbesondere einer Gestik und/oder Mimik eines Insassen, und
-
2 ein schematisches Kamerabild eines Insassen eines Kraftfahrzeugs, der an einer Körperpartie mehrere Farbmarkierungen aufweist.
-
1 zeigt in einer schematischen Seitenansicht ein Kraftfahrzeug 1 mit einem Insassen 2 und einer Erfassungseinrichtung 5 zum Erfassen einer Position und/oder Bewegung eines Objekts 9, vorliegend des Insassen 2. Als Position und/oder Bewegung des Objekts 9 kann insbesondere eine Gestik und/oder Mimik des Insassen 2 und/oder eine Position und/oder Bewegung einer Körperpartie 4 des Insassen 2, vorliegend der Kopf 8 des Insassen 2, erfasst werden. Die Erfassungseinrichtung 5 kann eine Kameraeinheit 10, einen Farbfilter 11, eine Erfassungseinheit 6 und/oder eine Beleuchtungseinheit 12 umfassen. Der Farbfilter 11 ist insbesondere zum Filtern einer Wellenlänge beziehungsweise eines Spektrum verschiedener Wellenlängen ausgebildet. Diese Wellenlängen beziehungsweise dieses Spektrum verschiedener Wellenlängen kann einer Wellenlänge beziehungsweise einem Spektrum verschiedener Wellenlängen des vordefinierten Farbtons entsprechen. Somit kann die Wellenlänge beziehungsweise das Spektrum verschiedener Wellenlängen des vordefinierten Farbtons den Farbfilter 11 bevorzugt transmittieren.
-
Die Kameraeinheit 10, insbesondere eine digitale Kameraeinheit, beispielsweise eine Videokamera oder eine Fotokamera, kann derart innerhalb des Kraftfahrzeugs 1 angeordnet sein, dass diese möglichst günstig auf das zu beobachtendes Objekt 9 ausgerichtet ist. Insbesondere ist die Kameraeinheit 10 auf einen Bereich ausgerichtet, in dem sich das Objekt 9 in einem Betrieb der Erfassungseinrichtung 5 üblicherweise befindet. Das Objekt 9 ist vorliegend ein Körperteil 4, insbesondere der Kopf 8, eines Insassen 2. Die Kameraeinheit 10 ist demnach vorliegend in Richtung einer Kopfstütze 19 eines Fahrzeugsitzes 18 des Kraftfahrzeugs 1 ausgerichtet, da sich die Körperpartie 4, vorliegend der Kopf 8, des Insassen 2 in einem Betrieb der Erfassungseinrichtung 5 üblicherweise in einem Bereich um die Kopfstütze 19 befindet. Mittels der Kameraeinheit 10 kann als Kamerabild 7 entweder ein Einzelbild, eine Folge von Einzelbildern oder ein Bewegtbild, insbesondere ein Video, erfasst werden. Das Kamerabild 7 bildet vorzugsweise das zu beobachtende Objekt 9 vollständig oder teilweise ab.
-
2 zeigt thematisch und beispielhaft ein Kamerabild 7 der Kameraeinheit 10 gemäß 1. Das zu beobachtende Objekt 9 beziehungsweise die Körperpartie 4, vorliegend der Kopf, des Insassen 2 befindet sich zumindest teilweise, vorliegend vollständig, auf dem Kamerabild 7. Das zu beobachtende Objekt 9 weist mehrere Farbmarkierungen 3 auf, beispielsweise eine Farbmarkierung 30 am Kopf 8 des Fahrzeuginsassen sowie Farbmarkierungen 31, 32 an Augenlidern 21, 22 der Augen 20 des Insassen 2. Die Farbmarkierungen 3 sind insbesondere in einer vorbestimmten, vorzugsweise standardisierten, Form auf das Objekt 9, vorliegend die Körperpartie 4 beziehungsweise den Kopf 8 des Insassen 2, aufgebracht.
-
Die Farbmarkierungen 3 weisen einen vordefinierten Farbton auf. In dem Kamerabild 7 können die Farbmarkierungen 3 anhand des vordefinierten Farbtons erfasst werden. Beispielsweise durchsucht ein Algorithmus das Kamerabild 7 nach solchen Pixeln, die dem vordefinierten Farbton entsprechen oder maximal ein vorbestimmtes Maß von dem vordefinierten Farbton abweichen. Die Farbmarkierung 3 kann in dem Kamerabild 7 durch alle diejenigen Pixel repräsentiert sein, welche dem vordefinierten Farbton entsprechen oder maximal ein vordefinierte Maß von dem vordefinierten Farbton abweichen. Auf diese Weise kann die Farbmarkierung 3 besonders einfach durch Auswerten eines Farbwertes jeden Pixel des Kamerabild 7 erfasst werden.
-
Vorliegend ist der Farbfilter 11 der Kameraeinheit 10 vorgelagert. Insbesondere erfolgt das Erfassen des Kamerabildes 7 durch der Farbfilter 11 hindurch. Beispielsweise muss in die Kameraeinheit 10 einfallendes Licht den Farbfilter 11 transmittieren und wird dabei bezüglich der Lichtfarbe gefiltert. In anderen nicht gezeigten Ausführungsformen der Erfindung kann der Farbfilter 11 alternativ oder zusätzlich durch einen digitalen Filteralgorithmus bereitgestellt sein. Der digitale Filteralgorithmus wird insbesondere nach Erfassen des Kamerabildes 7 auf das digital vorliegende Kamerabild 7 angewendet. Demnach ist der digitale Filteralgorithmus der Kameraeinheit 10 nachgelagert, insbesondere wird das Kamerabild 7 von der Kameraeinheit 10 erfasst und anschließend an eine der Kameraeinheit 10 nachgelagerte Recheneinheit gesendet, welche den digitalen Filteralgorithmus auf das Kamerabild 7 anwendet. Durch das Filtern des vordefinierten Farbtons aus dem Kamerabild 7 kann der Kontrast der Farbmarkierung 3 in dem Kamerabild 7 erhöht werden. Hierdurch ist eine besonders genaue und zuverlässige Erfassung der Farbmarkierung 3 anhand des Kamerabild 7 ermöglicht.
-
Der Farbfilter 11 und/oder der digitale Filteralgorithmus senken insbesondere die Intensität derjenige Farbanteile des Kamerabildes 7 ab, welche nicht dem vordefinierten Farbton beziehungsweise einem vordefinierten Farbbereich um den vordefinierten Farbton entsprechen. Der vordefinierte Farbbereich kann exakt durch diejenigen Farbtöne gebildet sein, die dem vordefinierten Farbton entsprechen und/oder maximal um ein vordefiniertes Maß von dem vordefinierten Farbton abweichen. Wird eine relative Intensität des vordefinierten Farbtons und/oder des vordefinierten Farbbereichs relativ zu allen anderen Farbtönen durch das Filtern erhöht. Es kann auch vorgesehen sein, dass alle Farbtöne die nicht dem vordefinierten Farbton entsprechen beziehungsweise Teil des vordefinierten Farbbereichs sind durch das Filtern aus dem Kamerabild 7 herausgefiltert werden.
-
Die Erfassungseinrichtung 5 umfasst vorliegend eine Beleuchtungseinheit 12, welche Licht 13 zur Beleuchtung des Objekts 9 aussendet. Das Licht 13 weist eine Lichtfarbe auf, die dem vordefinierten Farbton angepasst ist und dem vordefinierten Farbton insbesondere entspricht. Durch das Beleuchten der auf das Objekt 9 aufgebrachten Farbmarkierungen 3 durch das Licht 13 können die Farbmarkierungen 3 besonders hell erscheinen. Dadurch dass die Lichtfarbe des Lichts 13 auf die Farbmarkierungen 3 angepasst ist, können die Farbmarkierungen 3 das Licht 13 besonders gut reflektieren, wodurch die Farbmarkierungen 3 auf dem Kamerabild 7 besonders hell erscheinen können. Das Filtern des vordefinierten Farbtons aus dem Kamerabild 7 kann insbesondere durch beleuchten des Objekts 9 durch das Licht 13 erfolgen. Durch eine passende Beleuchtungsintensität durch das Licht 13 kann die relative Intensität des durch die Farbmarkierung 3 reflektierten vordefinierten Farbtons gegenüber anderen Farbtönen so intensiv sein, dass ein weiteres Filtern durch den Farbfilter 11 oder den digitalen Filteralgorithmus nicht mehr nötig ist.
-
Das Kraftfahrzeug 1 weist eine Erfassungseinheit 6 auf, die zum Erfassen einer Position und/oder Bewegung des Objekts 9, insbesondere der Körperpartie 4 ausgebildet ist. Vorzugsweise ist die Erfassungseinheit 6 zum Erfassen einer Mimik und/oder Gestik des Insassen 2 ausgebildet. Dabei wird durch die Erfassungseinheit 6 eine Position und/oder eine Lage der Farbmarkierung 3 in dem Kamerabild 7 ausgewertet. Die Position und/oder Lage der Farbmarkierung 3 in dem Kamerabild 7 kann wie oben beschrieben durch die Pixel des Kamerabildes 7 definiert sein, deren Farbton dem vordefinierten Farbton entspricht beziehungsweise Teil des vordefinierten Farbbereichs ist. Eine Bewegung des Objekts 9 kann insbesondere dann erfasst werden, wenn das Kamerabild 7 eine Bildfolge oder ein Bewegtbild ist. Wird als Position und/oder Bewegung des Objekts 9 die Mimik und/oder Gestik des Insassen 2 erfasst, so kann die Position und/oder Lage der Farbmarkierung 3 über den Kopf 8 des Insassen 2 ausgewertet werden.
-
Die Farbmarkierungen 3 auf einer Haut des Insassen 2 und/oder einem Objekt 9 kann ein Referenzpunkt, eine Referenzlinie oder ein Referenzmuster sein. Die Farbmarkierung 3 kann als vordefinierten Farbton eine Farbe auf einer Wellenlänge des Lichts haben, welche von allen übrigen im Kamerabild 7 sichtbaren Farben abweicht. Auf diese Weise kann ein guter Kontrast der Farbmarkierung 3 und somit eine sichere Erfassung der Farbmarkierung 3 gewährleistet sein. Die Kameraeinheit 10, der Farbfilter 11 und/oder der digitale Filteralgorithmus können speziell auf diese Wellenlänge des vordefinierten Farbtons abgestimmt sein. Insbesondere können als Folge der Abstimmung von der Wellenlänge abweichende Wellenlängen aus dem Spektrum beziehungsweise aus dem Kamerabild 7 herausgefiltert werden. Zum Auswerten der Position und/oder Lage der Farbmarkierung 3 kann das Kamerabild 7 digital gefiltert werden, sodass lediglich eine Information über die Position der Farbmarkierung 3 beziehungsweise der Farbmarkierungen 3 von dem Kamerabild 7 übrig bleibt.
-
Die Farbmarkierung 3 kann fluoreszierend ausgebildet sein. Insbesondere kann der vordefinierte Farbton einer fluoreszierenden Farbe entsprechen. Der vordefinierte Farbton beziehungsweise eine Wellenlänge des vordefinierten Farbtons kann außerhalb des für den Menschen sichtbaren Lichtbereichs liegen. Beispielsweise liegt der vordefinierte Farbton beziehungsweise die Wellenlänge des vordefinierten Farbtons im UV-Bereich oder im Infrarot-Bereich. Im Falle mehrerer Farbmarkierungen 3 kann in einer Weiterbildung vorgesehen sein, dass die mehreren Farbmarkierungen 3 zumindest teilweise einen unterschiedlichen vordefinierten Farbton aufweisen. Demnach gibt es mehrere vordefinierte Farbtöne.
-
In einer nicht dargestellten Ausführungsform der Erfassungseinrichtung 5 sind mehrere Kameraeinheiten 10 vorgesehen, welche zusammen ein Kamerasystem bilden. Durch eine Mehrzahl von Kameraeinheiten 10 kann eine geometrische, insbesondere dreidimensionale, Berechnung der Position der Farbmarkierung 3 beziehungsweise der Farbmarkierungen 3 erfolgen, und so eine genaue Bestimmung der Lage der Farbmarkierung 3 im Raum erfolgen. Durch die genaue Bestimmung der Lage der Farbmarkierung 3 im Raum kann die genaue Position und/oder Bewegung des Objekts 9 im Raum erfasst werden. Durch eine vordefinierte, insbesondere standardisierte, Anordnung der Farbmarkierung 3 kann auch mit nur einer Kameraeinheit 10 und einer passenden Kalibration die genaue Position und/oder Bewegung der Farbmarkierung 3 beziehungsweise des Objekts 9 im Raum erfasst werden.
-
Falls die Farbmarkierung 3 im Kamerabild 7 nach dem Filter nach dem vordefinierten Farbton nicht detektierbar sind, so kann direkt auf eine Verdeckung des Objekts 9, beispielsweise durch einen Gegenstand, der sich im Weg befindet, oder auf eine nicht Anwesenheit des Objektes 9 geschlossen werden.
-
Die Farbmarkierung 3 kann auf dem Objekt 9, insbesondere der Körperpartie 4 beispielsweise dem Kopf 8 des Insassen 2, mittels eines Stiftes, insbesondere eines Kajalstiftes, aufgebracht werden. Hierfür kann die Farbmarkierung 3 nach einem vordefinierten Muster beziehungsweise nach einem standardisierten Muster aufgebracht werden.
-
Gemäß 2 kann das Objekt 9 insbesondere ein Augenlid 21, 22 eines Auges 20 des Insassen sein. Zu Bestimmung einer Liedposition der Augenlider 21, 22 kann zunächst eine Position des Kopfes 8 mit einer Farbmarkierung 30 am Kopf 8 erfasst werden. Die genaue Position der Augenlider 21, 22 kann dann durch Farbmarkierungen 31, 32 an den Augenlidern 21, 22 erfasst werden. Die Farbmarkierungen 31, 32 sind insbesondere mit einem Kajalstift aufgebracht. Die genaue Position, Lage und/oder Bewegung der Augenlider 21, 22 kann alleine durch Auswerten der Position, Lage und/oder Bewegung der Farbmarkierungen 31, 32 erfolgen. Insbesondere kann auf diese Weise eine Detektion einer Lidspalte erfolgen. Eine Kalibration der Lidspalte in Bezug auf einen individuellen Iris Durchmesser des Insassen 2 ist möglich.
-
Bezugszeichenliste
-
- 1
- Kraftfahrzeug
- 2
- Insasse
- 3
- Farbmarkierung
- 4
- Körperpartie
- 5
- Erfassungseinrichtung
- 6
- Erfassungseinheit
- 8
- Kopf
- 10
- Kameraeinheit
- 11
- Farbfilter
- 12
- Beleuchtungseinheit
- 13
- Licht
- 18
- Fahrzeugsitzes
- 19
- Kopfstütze
- 20
- Auge
- 21
- Augenlid
- 22
- Augenlid
- 30
- Farbmarkierung
- 31
- Farbmarkierung
- 32
- Farbmarkierung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102004007049 A1 [0005]
