DE102016201704A1 - Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges - Google Patents
Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges Download PDFInfo
- Publication number
- DE102016201704A1 DE102016201704A1 DE102016201704.7A DE102016201704A DE102016201704A1 DE 102016201704 A1 DE102016201704 A1 DE 102016201704A1 DE 102016201704 A DE102016201704 A DE 102016201704A DE 102016201704 A1 DE102016201704 A1 DE 102016201704A1
- Authority
- DE
- Germany
- Prior art keywords
- occupant
- gesture
- illumination
- hand
- fingers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005286 illumination Methods 0.000 claims abstract description 71
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 18
- 230000001419 dependent effect Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002918 waste heat Substances 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 206010015946 Eye irritation Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 231100000013 eye irritation Toxicity 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B60K35/10—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- B60K2360/146—
-
- B60K2360/1464—
Abstract
Die Erfindung offenbart ein Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges, aufweisend die folgenden Schritte: – Erfassen eines Innenraums des Fahrzeuges mittels eines bildgebenden Sensorsystems mit einer ersten Bildwiederholungsfrequenz und einer ersten Beleuchtungseinstellung, um eine erste Bilderserie zu erzeugen; – Suchen einer Hand des Insassen; – Falls eine Hand des Insassen in der ersten Bilderserie erkannt wird, Erfassen des Innenraums des Fahrzeuges mittels des bildgebenden Sensorsystems mit einer zweiten Bildwiederholungsfrequenz und einer zweiten Beleuchtungseinstellung, um eine zweite Bilderserie zu erzeugen; und – Auswerten der zweiten Bilderserie, um eine Geste des Insassen zu erkennen
Description
- Die vorliegende Erfindung betrifft eine Gestenerkennungsvorrichtung und ein Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges. Die vorliegende Erfindung betrifft insbesondere die mehrstufige Erkennung einer Geste eines Insassen eines Fahrzeuges.
- Systeme zum Erkennen einer Geste mittels einer Mensch-Maschine-Schnittstelle erfordern ein System zum Erkennen der Hand und der Finger des Insassen des Kraftfahrzeuges. Der Insasse führt seine Hand in einen Interaktionsbereich und kann durch die Bewegung der Finger und Gesten ein System des Fahrzeuges steuern. In der Regel werden zum Erfassen der Hand des Insassen kamerabasierte Systeme verwendet. Um eine möglichst hohe Unabhängigkeit bei der Beleuchtung der Hand des Insassen vom Umgebungslicht zu erreichen, werden häufig Infrarotlichtquellen eingesetzt, die den Interaktionsbereich und folglich die Hand des Insassen zusätzlich beleuchten.
- Soll eine Geste des Insassen mittels einer Hand lediglich erkannt werden, sind Bildwiederholraten zwischen etwa 30 und 60 Hz üblich und ausreichend. Für die Bedienung eines Systems des Fahrzeuges ist eine schnellere Erkennung der Hand bzw. der aktuellen Position der Finger erforderlich, beispielsweise wie bei der Bedienung einer Maus. Folglich ist eine hohe Bildwiederholfrequenz von größer als 200 Hz erforderlich, um Latenzen zu vermeiden, die durch einen Benutzer erkannt werden können. Eine derart hohe Bildwiederholungsfrequenz erfordert aufgrund der kurzen Belichtungszeit eine stärkere zusätzliche Beleuchtung mittels Infrarotlichtquellen.
- Herkömmliche Systeme zu Erkennung von Gesten eines Insassen in einem Kraftfahrzeug verwenden Kameras mit einer üblichen Bildwiederholungsfrequenz oder Hochgeschwindigkeitskameras. Die übliche Bildwiederholungsfrequenz von etwa 30 bis etwa 60 Hz ermöglicht eine gute Erkennung der Hand und/oder der Finger, aber sie führen zu einer erheblichen Latenzzeit. Die Latenzzeit wird durch den Benutzer wahrgenommen und ist von diesem unerwünscht.
- Eine hohe Bildwiederholfrequenz, beispielsweise eine Bildwiederholfrequenz von etwa 250 Hz oder höher erfordert aufgrund der kurzen Belichtungszeiten eine sehr starke zusätzliche Infrarotbeleuchtung. Eine derartige starke Infrarotbeleuchtung kann für einen Benutzer des Systems zum Erkennen der Geste aufgrund von Blendeffekten wegen der starken Infrarotbeleuchtung zu Augenreizungen führen. Ferner erzeugen starke Infrarotlichtquellen eine unerwünschte Abwärme Die
DE 10 2014 201 313 A1 offenbart, dass Gesten mit einer Kamera nachverfolgt werden. Die Definition des Tiefenbereichs kann durch Einstellung einer Beleuchtungsstärke einer Lichtquelle erfolgen. - Die
DE 11 2013 000 590 T5 offenbart eine Infrarot-Leuchtdiode als Lichtquelle und eine Kamera mit einer Belichtungszeit von 100 μs. Es können dadurch auch Gesten beobachtet werden Die Erfindung stellt sich zur Aufgabe, ein Verfahren und eine Vorrichtung zum Erkennen einer Geste eines Insassen zu schaffen, das bzw. die möglichst kurze Latenzzeiten verursacht. - Die Aufgabe der Erfindung wird durch ein Verfahren nach Anspruch 1, eine Gestenerfassungsvorrichtung nach Anspruch 6 und ein Fahrzeug nach Anspruch 10 gelöst. Die abhängigen Ansprüche beanspruchen bevorzugte Ausführungsformen.
- Das erfindungsgemäße Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges umfasst den Schritt des Erfassens eines Innenraums des Fahrzeuges mittels eines bildgebenden Sensorsystems mit einer ersten Bildwiederholungsfrequenz und einer ersten Beleuchtungseinstellung, um eine erste Bilderserie zu erzeugen. In der ersten Bilderserie wird eine Hand des Insassen gesucht. Falls eine Hand des Insassen in der ersten Bilderserie erkannt wird, wird der Innenraum des Fahrzeuges mittels des bildgebenden Sensors mit einer zweiten Bildwiederholungsfrequenz und einer zweiten Beleuchtungseinstellung erfasst, um eine zweite Bilderserie zu erzeugen. Schließlich wird die zweite Bilderserie ausgewertet, um eine Geste des Insassen zu erkennen.
- Die anfängliche Erkennung bzw. Klassifikation der Hand und/oder Finger erfolgt bei einer niedrigeren Bildwiederholungsrate des bildgebenden Sensors, beispielsweise der Kamera. Dadurch kann auch mit einer schwachen Intensität der Infrarotbeleuchtung eine geeignete Ausleuchtung und eine geeignete Bildqualität erreicht werden. Dadurch ist es möglich, eine Hand zu erkennen. Sobald die Hand eindeutig erkannt wird, erfolgt eine latenzfreie Nachverfolgung mit einer hohen Bildwiederholungsfrequenz bei einer dynamisch angepassten Infrarotbeleuchtung. Die Stärke der Infrarotbeleuchtung wird dabei abhängig von der Umgebungsbeleuchtung, vom Abstand der Hand zur Infrarotlichtquelle und von der Hautfarbe und/oder der Kleidung dynamisch für jedes Einzelbild der zweiten Bilderserie geregelt.
- Die Erfindung hat den Vorteil, dass eine robuste Interaktion ermöglicht wird, weil eine Nachverfolgung nur bei einer eindeutigen anfänglichen Klassifikation der Hand und/oder Finger erfolgt. Bei anderen Objekten erfolgt keine Nachverfolgung, insbesondere keine Nachverfolgung mit einer erhöhten Infrarotlichtbeleuchtung. Dadurch werden eine vom Insassen als unangenehm empfundene Blendung aufgrund der Infrarotbeleuchtung reduziert. Ferner wird die Abwärme durch die Beleuchtung bzw. Belichtung reduziert, was zu einer einfacheren technischen Integration in ein Fahrzeug führt und ferner zu einer Einsparung von Energie führt.
- Bei einer Ausführungsform kann das Verfahren den Abstand einer Hand des Insassen von einer Beleuchtungsquelle, die die zweite Beleuchtungseinstellung erzeugt, ermitteln. Die zweite Beleuchtungseinstellung wird in Abhängigkeit des Abstandes der Hand von der Beleuchtungsquelle, die die zweite Beleuchtungseinstellung erzeugt, angepasst. Die Helligkeit des von der Beleuchtungsquelle erzeugten Lichtes nimmt mit dem Quadrat des Abstandes ab. Folglich muss die Beleuchtungsquelle Licht mit einer höheren Intensität emittieren, wenn die Hand des Insassen weiter von der Beleuchtungsquelle entfernt ist.
- Die zweite Bildwiederholfrequenz kann höher als die erste Bildwiederholfrequenz sein. Alternativ hierzu oder zusätzlich kann die zweite Beleuchtungseinstellung eine stärkere Beleuchtung der Finger des Insassen erzeugen als die erste Beleuchtungseinstellung. Da die erste Bildwiederholungsfrequenz niedriger als die zweite Bildwiederholungsfrequenz ist, benötigt sie lediglich eine schwächere Beleuchtung. Lediglich zum latenzfreien Nachverfolgen der Finger ist die höhere Bildwiederholungsfrequenz und folglich die stärkere Beleuchtungseinstellung erforderlich.
- Das Verfahren kann die Geschwindigkeit der Finger während der Geste ermitteln. Das Verfahren kann die zweite Bildwiederholfrequenz in Abhängigkeit der Geschwindigkeit der Finger des Insassen während der Geste anpassen. Alternativ hierzu oder zusätzlich kann die zweite Beleuchtungseinstellung in Abhängigkeit der Geschwindigkeit der Finger des Insassen während der Geste angepasst werden. Je höher die Geschwindigkeit der Finger ist, desto höher ist die Bildwiederholfrequenz auszuwählen. Eine höhere Bildwiederholungsfrequenz erfordert jedoch eine stärkere Beleuchtung.
- Das Verfahren kann ferner die Hautfarbe der Finger und/oder eine Kleidung, insbesondere die Farbe einer Kleidung des Insassen ermitteln. Die zweite Beleuchtungseinstellung kann in Abhängigkeit der Hautfarbe der Finger und/oder der Kleidung des Insassen angepasst werden.
- Die Erfindung betrifft auch ein Computerprogrammprodukt, das, wenn es in einen Speicher eines Computers mit einem Prozessor geladen wird, die Schritte des zuvor beschriebenen Verfahrens ausführt.
- Die Erfindung offenbart auch eine Gestenerfassungsvorrichtung mit einem bildgebenden Sensorsystems mit einem Bildaufnahmesensor mit einer variablen Bildwiederholungsfrequenz und einer Beleuchtungseinrichtung. Die Gestenerfassungsvorrichtung umfasst eine Auswertesteuerungseinrichtung, die das bildgebende Sensorsystem steuern kann und die damit erzeugten Bilder auswerten kann. Die Auswertesteuerungseinrichtung ist dazu ausgebildet, das bildgebende Sensorsystem so anzusteuern, dass das bildgebende Sensorsystem eine erste Bilderserie mit einer ersten Bildwiederholungsfrequenz und einer ersten Bildsteuerungseinstellung erzeugt. Die Auswertesteuerungseinrichtung ist dazu ausgebildet, eine Hand eines Insassen in der ersten Bilderserie zu suchen. Die Auswertesteuerungseinrichtung ist dazu ausgebildet, falls die Hand des Insassen erkannt wird, das bildgebende Sensorsystem derart anzusteuern, dass der Innenraum des Fahrzeuges mittels des bildgebenden Sensorsystems mit einer zweiten Bildwiederholungsfrequenz und einer zweiten Beleuchtungseinstellung erfasst wird, um eine zweite Bilderserie zu erzeugen. Die Auswertesteuerungseinrichtung kann die zweite Bilderserie auswerten, um eine Geste des Insassen zu erkennen.
- Die Gestenerfassungsvorrichtung kann so weitergebildet sein, wie zuvor hinsichtlich des Verfahrens beschrieben wurde.
- Die Gestenerfassungsvorrichtung kann eine Abstandserfassungseinrichtung aufweisen, die dazu ausgebildet ist, den Abstand der Hand des Insassen von der Beleuchtungsquelle zu ermitteln. Die Abstandserfassungseinrichtung kann durch die Auswertesteuerungseinrichtung implementiert sein. Die Auswertesteuerungseinrichtung kann dazu ausgebildet sein, das bildgebende Sensorsystem so anzusteuern, dass die zweite Beleuchtungseinstellung in Abhängigkeit des Abstandes der Hand von der Beleuchtungsquelle, die die zweite Beleuchtungseinstellung erzeugt, variiert wird.
- Die zweite Bildwiederholfrequenz kann höher als die erste Bildwiederholfrequenz sein. Die zweite Beleuchtungseinstellung kann eine stärkere Beleuchtung der Finger des Insassen erzeugen als die erste Beleuchtungseinstellung.
- Die Auswertesteuerungseinrichtung kann dazu ausgebildet sein, die Geschwindigkeit der Finger während der Geste zu ermitteln. Die Auswertesteuerungseinrichtung kann dazu ausgebildet sein, die zweite Bildwiederholfrequenz in Abhängigkeit der Geschwindigkeit der Finger des Insassen während der Geste und/oder die zweite Beleuchtungseinstellung in Abhängigkeit der Geschwindigkeit der Finger des Insassen während der Geste zu ermitteln.
- Die Erfindung betrifft auch ein Kraftfahrzeug mit der zuvor beschriebenen Gestenerfassungseinrichtung.
- Die Erfindung wird nun unter Bezugnahme auf die Figuren erläutert, die eine exemplarische und nicht beschränkende Ausführungsform der Erfindung zeigen, wobei
-
1 eine Gestenerkennungsvorrichtung zeigt; und -
2 ein Flussdiagramm eines Verfahrens zum latenzfreien Erkennen einer Geste zeigt. -
1 zeigt eine Gestenerkennungsvorrichtung, die in ein Fahrzeug eingebaut ist. Über eine Anzeigeeinrichtung102 werden Inhalte, die ein Insasse des Fahrzeuges auswählen kann, angezeigt. Eine Auswertesteuerungseinrichtung108 steuert eine Infrarotbeleuchtungseinrichtung110 und eine Kamera112 so an, dass ein Erfassungsbereich bzw. Interaktionsbereich, in dem sich eine Hand104 und die Finger106 eines Insassen befinden, beleuchtet und ausgewertet wird. Mittels der Bewegung der Finger106 kann der Benutzer ein Element auf der Anzeigeeinrichtung102 auswählen. Dieses Element kann auf der Anzeigeeinrichtung102 farblich markiert werden. Eine Handlung kann in Reaktion auf das Auswählen eines Elementes der Anzeigeeinrichtung102 durchgeführt werden, ein Untermenü kann in Reaktion auf das Auswählen des einen Elementes der Anzeigeeinrichtung102 geöffnet werden oder dergleichen, wie dem Fachmann bekannt ist. - Die Kamera
106 kann ein zweidimensionaler Halbleitersensor, ein zweidimensionaler CMOS-Sensor, ein zweidimensionaler CCD-Sensor, und/oder einen Stereo-Sensor sein, der eine Mehrzahl der Halbleitersensoren aufweist. Eine dreidimensionale Bildgebung kann beispielsweise durch eine Streifenlichtprojektion erfolgen. Derartige Sensoren und Beleuchtungsverfahren sind dem Fachmann bekannt und müssen im Sinne der Prägnanz nicht weiter beschrieben werden. Die Kamera kann einen Bandpass-Filter aufweisen, der nur IR-Licht passieren lässt. - Die Gestenerkennungsvorrichtung
100 umfasst auch eine Abstandsermittlungseinrichtung114 , die den Abstand der Hand104 und/oder der Finger106 von der Infrarotbeleuchtungseinrichtung110 ermittelt. In Abhängigkeit des Abstandes der Hand104 und/oder der Finger106 kann die Auswertesteuerungseinrichtung108 die Intensität der Infrarotbeleuchtung110 anpassen. Die Abstandsermittlungseinrichtung kann durch die Auswertesteuerungseinrichtung108 implementiert werden. - Das Verfahren wird nun unter Bezugnahme auf
2 detaillierter beschrieben, die ein Flussdiagramm des erfindungsgemäßen Verfahrens200 zeigt. Im Schritt202 wird der Interaktionsbereich mit einer Infrarotbeleuchtung mit einer Beleuchtung niedriger Intensität beleuchtet. Der Insasse muss die Hand104 in den Interaktionsbereich führen. Dort wird der Interaktionsbereich von der Infrarotbeleuchtung mit der niedrigen Intensität, die der ersten Beleuchtungseinstellung entspricht, beleuchtet. - Im Schritt
204 versucht die Kamera ein Bild der Hand104 aufzunehmen. Dazu wird eine erste Bildwiederholungsfrequenz verwendet, die zwischen etwa 10 Hz und etwa 60 Hz, vorzugsweise zwischen etwa 50 Hz und 60 Hz liegt. Diese Bildwiederholungsfrequenz entspricht der ersten Bildwiederholungsfrequenz. Aufgrund der niedrigeren Bildwiederholungsfrequenz ist lediglich die Infrarotbeleuchtung mit der niedrigen Intensität erforderlich, die im Schritt202 eingestellt wurde. Da im Schritt204 lediglich die Hand erkannt bzw. klassifiziert werden muss, ist eine Verzögerung bzw. Latenz von wenigen 100 ms aufgrund der vergleichsweise niedrigen Bildwiederholungsfrequenz und/oder aufgrund der ressourcenintensiven Klassifikation unproblematisch. - Im Schritt
206 wird geprüft, ob in dem im Schritt204 erzeugten ersten Bild bzw. ersten Bildserie eine Hand104 und/oder ein Finger106 erkannt werden kann. Falls im Schritt206 keine Hand und/oder Finger erkannt werden, kehrt das Verfahren zum Schritt204 zurück, um ein weiteres erstes Bild und/oder eine weitere erste Bilderserie mit der ersten Beleuchtungseinstellung und der ersten Bildwiederholungsfrequenz zu erzeugen. - Falls im Schritt
206 eine Hand104 und/oder Finger106 erkannt werden, fährt das Verfahren zum Schritt208 fort. Im Schritt208 wird mittels der Abstandserfassungseinrichtung114 der Abstand d der Hand104 und/oder der Finger106 von der Beleuchtungseinrichtung110 ermittelt. Die Abstandserfassungseinrichtung kann bei einer Ausführungsform durch die Auswertesteuerungseinrichtung108 gebildet sein, die den Abstand d der Hand104 und/oder der Finger im dreidimensionalen Raum ermittelt. - Ferner kann die Auswertesteuerungseinrichtung
108 die durchschnittliche Helligkeit l der nachzuverfolgenden Bereichen der Hand im Schnitt210 ermitteln. Unterschreitet das Verhältnis des Abstandes der Hand d und der Helligkeit l einen vorbestimmten Schwellenwert, wird die Intensität der Infrarotbeleuchtung erhöht. Ist das Verhältnis aus Abstand d zu Helligkeit l höher als ein vorbestimmter Schwellenwert, wird die Infrarotbeleuchtung reduziert. Um die Stabilität des Systems und der Erkennung zu gewährleisten, wird im Schritt208 die Hand104 zuerst mit der maximalen möglichen Infrarotbeleuchtung beleuchtet. - Im Schritt
212 ermittelt das Verfahren mittels der in den Schritten208 und210 eingestellten Infrarotbeleuchtung die Position der Hand104 und/oder der Finger106 mit einer zweiten Bildwiederholungsfrequenz. Die zweite Bildwiederholungsfrequenz beträgt etwa 150 Hz bis etwa 1000 Hz. Während die Hand104 und/oder die Finger106 mit der zweiten Bildwiederholungsfrequenz nachverfolgt werden, werden die Hand104 und/oder die Finger106 mit der in den Schritten208 und210 ermittelten zweiten Beleuchtungseinstellung beleuchtet. - Im Schritt
214 wird geprüft, ob im Schritt212 die Position einer Hand104 und/oder zumindest eines Fingers106 ermittelt werden kann. Falls eine Position der Hand104 und/oder zumindest eines Fingers106 ermittelt werden kann, kehrt das Verfahren zum Schritt204 zurück, um wieder bei der Erkennung der Hand der ersten Beleuchtungseinstellung und der ersten Bildwiederholfrequenz zu beginnen. - Falls im Schritt
214 die Position der Hand104 und/oder zumindest eines Fingers106 erkannt werden kann, fährt das Verfahren mit dem Schritt216 fort und übergibt die Position der Hand104 und/oder des zumindest einen Fingers106 an eine Gestenauswerteeinrichtung, die dazu ausgebildet ist, vom Benutzer eingegebene Gesten zu ermitteln. Ferner kehrt das Verfahren zum Schritt208 zurück, um den aktuellen Abstand der Hand104 von der Infrarotbeleuchtung110 zu ermitteln. - Die Erfindung schafft ein Verfahren und eine Vorrichtung zum latenzfreien Erkennen von Gesten eines Insassen eines Fahrzeuges, ohne dass der Insasse durch Beleuchtungseffekte beeinträchtigt wird.
- ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- DE 102014201313 A1 [0005]
- DE 112013000590 T5 [0006]
Claims (10)
- Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges, aufweisend die folgenden Schritte: – Erfassen eines Innenraums des Fahrzeuges mittels eines bildgebenden Sensorsystems (
110 ,112 ) mit einer ersten Bildwiederholungsfrequenz und einer ersten Beleuchtungseinstellung, um eine erste Bilderserie zu erzeugen; – Suchen einer Hand (104 ) des Insassen; – falls eine Hand (104 ) des Insassen in der ersten Bilderserie erkannt wird, Erfassen des Innenraums des Fahrzeuges mittels des bildgebenden Sensorsystems (110 ,112 ) mit einer zweiten Bildwiederholungsfrequenz und einer zweiten Beleuchtungseinstellung, um eine zweite Bilderserie zu erzeugen; und – Auswerten der zweiten Bilderserie, um eine Geste (106 ) des Insassen zu erkennen. - Verfahren nach Anspruch 1, gekennzeichnet durch die folgenden Schritte: – Ermitteln des Abstandes der Hand (
104 ) des Insassen von einer Beleuchtungsquelle (110 ), die die zweite Beleuchtungseinstellung erzeugt; – Anpassen der zweiten Beleuchtungseinstellung in Abhängigkeit des Abstandes der Hand (104 ) von der Beleuchtungsquelle (110 ), die die zweite Beleuchtungseinstellung erzeugt. - Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die zweite Bildwiederholfrequenz höher als die erste Bildwiederholfrequenz ist und/oder die zweite Beleuchtungseinstellung eine stärkere Beleuchtung der Finger (
106 ) des Insassen erzeugt als die erste Beleuchtungseinstellung. - Verfahren nach einem der Ansprüche 1 bis 3, gekennzeichnet durch folgende Schritte: – Ermitteln der Geschwindigkeit der Finger während der Geste (
106 ); und – Anpassen der zweiten Bildwiederholfrequenz in Abhängigkeit der Geschwindigkeit der Finger (106 ) des Insassen während der Geste; und/oder – Anpassen der zweiten Beleuchtungseinstellung in Abhängigkeit der Geschwindigkeit der Finger (106 ) des Insassen während der Geste. - Verfahren nach einem der Ansprüche 1 bis 4, gekennzeichnet durch folgende Schritte: – Ermitteln einer Hautfarbe der Finger (
106 ) und/oder einer Kleidung des Insassen; und – Anpassen der zweiten Beleuchtungseinstellung in Abhängigkeit der Hautfarbe der Finger (106 ) und/oder der Kleidung des Insassen. - Gestenerfassungsvorrichtung (
100 ), aufweisend: – ein bildgebendes Sensorsystem mit einem Bildaufnahmesensor (112 ) mit einer variablen Bildwiederholungsfrequenz und einer Beleuchtungseinrichtung (110 ); – einer Auswertesteuerungseinrichtung (108 ), die dazu ausgebildet ist, – das bildgebenden Sensorsystems (110 ,112 ) so anzusteuern, dass das bildgebende Sensorsystem eine erste Bilderserie mit einer ersten Bildwiederholungsfrequenz und einer ersten Beleuchtungseinstellung erzeugt; – eine Hand (104 ) eines Insassen in der ersten Bilderserie zu suchen, – falls die Hand (104 ) des Insassen erkannt wird, das bildgebende Sensorsystem derart anzusteuern, dass der Innenraum des Fahrzeuges mittels des bildgebenden Sensorsystems (110 ,112 ) mit einer zweiten Bildwiederholungsfrequenz und einer zweiten Beleuchtungseinstellung erfasst wird, um eine zweite Bilderserie zu erzeugen; und – die zweite Bilderserie auszuwerten, um eine Geste (106 ) des Insassen zu erkennen. - Gestenerfassungsvorrichtung (
100 ) nach Anspruch 6, gekennzeichnet durch eine Abstandserfassungseinrichtung (114 ), die dazu ausgebildet ist, den Abstand der Hand (104 ) des Insassen von der Beleuchtungsquelle (110 ) zu ermitteln, wobei die Auswertesteuerungseinrichtung dazu ausgebildet ist, das bildgebende Sensorsystem (110 ,112 ) so anzusteuern, dass die zweite Beleuchtungseinstellung in Abhängigkeit des Abstandes der Hand (104 ) von der Beleuchtungsquelle (110 ), die die zweite Beleuchtungseinstellung erzeugt, variiert wird. - Gestenerfassungsvorrichtung (
100 ) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die zweite Bildwiederholfrequenz höher als die erste Bildwiederholfrequenz ist und/oder die zweite Beleuchtungseinstellung eine stärkere Beleuchtung der Finger (106 ) des Insassen erzeugt als die erste Beleuchtungseinstellung. - Gestenerfassungsvorrichtung (
100 ) nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Auswertesteuerungseinrichtung (108 ) dazu ausgebildet ist, – die Geschwindigkeit der Finger (106 ) während der Geste zu ermitteln; und – die zweiten Bildwiederholfrequenz in Abhängigkeit der Geschwindigkeit der Finger (106 ) des Insassen während der Geste und/oder die zweite Beleuchtungseinstellung in Abhängigkeit der Geschwindigkeit der Finger (106 ) des Insassen während der Geste zu ermitteln. - Kraftfahrzeug mit der Gestenerfassungseinrichtung (
100 ) nach einem der Ansprüche 1 bis 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016201704.7A DE102016201704A1 (de) | 2016-02-04 | 2016-02-04 | Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016201704.7A DE102016201704A1 (de) | 2016-02-04 | 2016-02-04 | Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102016201704A1 true DE102016201704A1 (de) | 2017-08-10 |
Family
ID=59382342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102016201704.7A Pending DE102016201704A1 (de) | 2016-02-04 | 2016-02-04 | Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102016201704A1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2568512B (en) * | 2017-11-17 | 2021-01-13 | Jaguar Land Rover Ltd | Vehicle controller |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008031697A1 (de) * | 2008-07-04 | 2010-01-07 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur Objektidentifikation |
DE102013100521A1 (de) * | 2013-01-18 | 2014-07-24 | Huf Hülsbeck & Fürst Gmbh & Co. Kg | Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen |
DE112013000590T5 (de) | 2012-01-17 | 2014-11-06 | Leap Motion, Inc. | Verbesserter Konstrast zur Objekterfassung und Charaktersierung durch optisches Abbilden |
WO2015053451A1 (en) * | 2013-10-10 | 2015-04-16 | Lg Electronics Inc. | Mobile terminal and operating method thereof |
DE112013005337T5 (de) * | 2012-11-08 | 2015-07-16 | Leap Motion, Inc. | Objekterfassung und Nachverfolgung mit veränderlichen Feldbeleuchtungsvorrichtungen |
DE102014201313A1 (de) | 2014-01-24 | 2015-07-30 | Myestro Interactive Gmbh | Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens |
-
2016
- 2016-02-04 DE DE102016201704.7A patent/DE102016201704A1/de active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008031697A1 (de) * | 2008-07-04 | 2010-01-07 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur Objektidentifikation |
DE112013000590T5 (de) | 2012-01-17 | 2014-11-06 | Leap Motion, Inc. | Verbesserter Konstrast zur Objekterfassung und Charaktersierung durch optisches Abbilden |
DE112013005337T5 (de) * | 2012-11-08 | 2015-07-16 | Leap Motion, Inc. | Objekterfassung und Nachverfolgung mit veränderlichen Feldbeleuchtungsvorrichtungen |
DE102013100521A1 (de) * | 2013-01-18 | 2014-07-24 | Huf Hülsbeck & Fürst Gmbh & Co. Kg | Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen |
WO2015053451A1 (en) * | 2013-10-10 | 2015-04-16 | Lg Electronics Inc. | Mobile terminal and operating method thereof |
DE102014201313A1 (de) | 2014-01-24 | 2015-07-30 | Myestro Interactive Gmbh | Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2568512B (en) * | 2017-11-17 | 2021-01-13 | Jaguar Land Rover Ltd | Vehicle controller |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102007015495B4 (de) | Objekterfassungsvorrichtung und Verfahren zum Extrahieren eines Bedienobjekts | |
DE112013003189B4 (de) | Digitale Bildaufnahme unter sich ändernden Lichtintensitätsbedingungen | |
DE112014004212T5 (de) | Vorrichtung und Verfahren, Programm und Speichermedium zur Gestenbedienung | |
DE112014005160T5 (de) | Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug | |
DE102014104613A1 (de) | Objekterfassungsvorrichtung | |
DE102012000263A1 (de) | Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt | |
DE102014114948A1 (de) | Alarmanlage und Verfahren für Fahrzeug | |
DE112016001815T5 (de) | Informationsanzeigevorrichtung und Informationsanzeigeverfahren | |
DE102014002134A1 (de) | Vorrichtung zur Erkennung einer Beleuchtungsumgebung eines Fahrzeugs und Steuerungsverfahren davon | |
DE102013203011A1 (de) | Bilderfassungsverfahren und Bilderfassungssystem hierzu | |
DE102014117102A1 (de) | Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems | |
DE102012209316A1 (de) | Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems | |
DE102015003960A1 (de) | Verfahren zum Bestimmen einer Sichtweite für ein Fahrzeug bei Nebel | |
DE112020004853T5 (de) | Reduzierung eines Flimmereffektes mehrerer Lichtquellen in einem Bild | |
DE102014118387A1 (de) | Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren | |
DE102015012720A1 (de) | Interaktives Bediensystem und Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem | |
DE102016201704A1 (de) | Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges | |
DE102013226725A1 (de) | Verfahren und system für das erkennen einer handgeste, wobei selektive beleuchtung benutzt wird | |
DE102014102011B4 (de) | System und Verfahren zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich | |
DE102011010315A1 (de) | Erkennung von Objekten | |
EP1588554B1 (de) | Verfahren zur einstellung eines bildsensors | |
DE102014216053A1 (de) | Anpassung der Beleuchtungs-Wellenlänge bei der Augenerfassung | |
DE102011002577A1 (de) | Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung | |
DE102017125799A1 (de) | Reduktion von Bildstörungen in Bildern | |
DE102014224898A1 (de) | Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed | ||
R016 | Response to examination communication |