DE102016201704A1 - Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges - Google Patents

Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges Download PDF

Info

Publication number
DE102016201704A1
DE102016201704A1 DE102016201704.7A DE102016201704A DE102016201704A1 DE 102016201704 A1 DE102016201704 A1 DE 102016201704A1 DE 102016201704 A DE102016201704 A DE 102016201704A DE 102016201704 A1 DE102016201704 A1 DE 102016201704A1
Authority
DE
Germany
Prior art keywords
occupant
gesture
illumination
hand
fingers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016201704.7A
Other languages
English (en)
Inventor
Marc Hofmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102016201704.7A priority Critical patent/DE102016201704A1/de
Publication of DE102016201704A1 publication Critical patent/DE102016201704A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B60K2360/146
    • B60K2360/1464

Abstract

Die Erfindung offenbart ein Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges, aufweisend die folgenden Schritte: – Erfassen eines Innenraums des Fahrzeuges mittels eines bildgebenden Sensorsystems mit einer ersten Bildwiederholungsfrequenz und einer ersten Beleuchtungseinstellung, um eine erste Bilderserie zu erzeugen; – Suchen einer Hand des Insassen; – Falls eine Hand des Insassen in der ersten Bilderserie erkannt wird, Erfassen des Innenraums des Fahrzeuges mittels des bildgebenden Sensorsystems mit einer zweiten Bildwiederholungsfrequenz und einer zweiten Beleuchtungseinstellung, um eine zweite Bilderserie zu erzeugen; und – Auswerten der zweiten Bilderserie, um eine Geste des Insassen zu erkennen

Description

  • Die vorliegende Erfindung betrifft eine Gestenerkennungsvorrichtung und ein Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges. Die vorliegende Erfindung betrifft insbesondere die mehrstufige Erkennung einer Geste eines Insassen eines Fahrzeuges.
  • Systeme zum Erkennen einer Geste mittels einer Mensch-Maschine-Schnittstelle erfordern ein System zum Erkennen der Hand und der Finger des Insassen des Kraftfahrzeuges. Der Insasse führt seine Hand in einen Interaktionsbereich und kann durch die Bewegung der Finger und Gesten ein System des Fahrzeuges steuern. In der Regel werden zum Erfassen der Hand des Insassen kamerabasierte Systeme verwendet. Um eine möglichst hohe Unabhängigkeit bei der Beleuchtung der Hand des Insassen vom Umgebungslicht zu erreichen, werden häufig Infrarotlichtquellen eingesetzt, die den Interaktionsbereich und folglich die Hand des Insassen zusätzlich beleuchten.
  • Soll eine Geste des Insassen mittels einer Hand lediglich erkannt werden, sind Bildwiederholraten zwischen etwa 30 und 60 Hz üblich und ausreichend. Für die Bedienung eines Systems des Fahrzeuges ist eine schnellere Erkennung der Hand bzw. der aktuellen Position der Finger erforderlich, beispielsweise wie bei der Bedienung einer Maus. Folglich ist eine hohe Bildwiederholfrequenz von größer als 200 Hz erforderlich, um Latenzen zu vermeiden, die durch einen Benutzer erkannt werden können. Eine derart hohe Bildwiederholungsfrequenz erfordert aufgrund der kurzen Belichtungszeit eine stärkere zusätzliche Beleuchtung mittels Infrarotlichtquellen.
  • Herkömmliche Systeme zu Erkennung von Gesten eines Insassen in einem Kraftfahrzeug verwenden Kameras mit einer üblichen Bildwiederholungsfrequenz oder Hochgeschwindigkeitskameras. Die übliche Bildwiederholungsfrequenz von etwa 30 bis etwa 60 Hz ermöglicht eine gute Erkennung der Hand und/oder der Finger, aber sie führen zu einer erheblichen Latenzzeit. Die Latenzzeit wird durch den Benutzer wahrgenommen und ist von diesem unerwünscht.
  • Eine hohe Bildwiederholfrequenz, beispielsweise eine Bildwiederholfrequenz von etwa 250 Hz oder höher erfordert aufgrund der kurzen Belichtungszeiten eine sehr starke zusätzliche Infrarotbeleuchtung. Eine derartige starke Infrarotbeleuchtung kann für einen Benutzer des Systems zum Erkennen der Geste aufgrund von Blendeffekten wegen der starken Infrarotbeleuchtung zu Augenreizungen führen. Ferner erzeugen starke Infrarotlichtquellen eine unerwünschte Abwärme Die DE 10 2014 201 313 A1 offenbart, dass Gesten mit einer Kamera nachverfolgt werden. Die Definition des Tiefenbereichs kann durch Einstellung einer Beleuchtungsstärke einer Lichtquelle erfolgen.
  • Die DE 11 2013 000 590 T5 offenbart eine Infrarot-Leuchtdiode als Lichtquelle und eine Kamera mit einer Belichtungszeit von 100 μs. Es können dadurch auch Gesten beobachtet werden Die Erfindung stellt sich zur Aufgabe, ein Verfahren und eine Vorrichtung zum Erkennen einer Geste eines Insassen zu schaffen, das bzw. die möglichst kurze Latenzzeiten verursacht.
  • Die Aufgabe der Erfindung wird durch ein Verfahren nach Anspruch 1, eine Gestenerfassungsvorrichtung nach Anspruch 6 und ein Fahrzeug nach Anspruch 10 gelöst. Die abhängigen Ansprüche beanspruchen bevorzugte Ausführungsformen.
  • Das erfindungsgemäße Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges umfasst den Schritt des Erfassens eines Innenraums des Fahrzeuges mittels eines bildgebenden Sensorsystems mit einer ersten Bildwiederholungsfrequenz und einer ersten Beleuchtungseinstellung, um eine erste Bilderserie zu erzeugen. In der ersten Bilderserie wird eine Hand des Insassen gesucht. Falls eine Hand des Insassen in der ersten Bilderserie erkannt wird, wird der Innenraum des Fahrzeuges mittels des bildgebenden Sensors mit einer zweiten Bildwiederholungsfrequenz und einer zweiten Beleuchtungseinstellung erfasst, um eine zweite Bilderserie zu erzeugen. Schließlich wird die zweite Bilderserie ausgewertet, um eine Geste des Insassen zu erkennen.
  • Die anfängliche Erkennung bzw. Klassifikation der Hand und/oder Finger erfolgt bei einer niedrigeren Bildwiederholungsrate des bildgebenden Sensors, beispielsweise der Kamera. Dadurch kann auch mit einer schwachen Intensität der Infrarotbeleuchtung eine geeignete Ausleuchtung und eine geeignete Bildqualität erreicht werden. Dadurch ist es möglich, eine Hand zu erkennen. Sobald die Hand eindeutig erkannt wird, erfolgt eine latenzfreie Nachverfolgung mit einer hohen Bildwiederholungsfrequenz bei einer dynamisch angepassten Infrarotbeleuchtung. Die Stärke der Infrarotbeleuchtung wird dabei abhängig von der Umgebungsbeleuchtung, vom Abstand der Hand zur Infrarotlichtquelle und von der Hautfarbe und/oder der Kleidung dynamisch für jedes Einzelbild der zweiten Bilderserie geregelt.
  • Die Erfindung hat den Vorteil, dass eine robuste Interaktion ermöglicht wird, weil eine Nachverfolgung nur bei einer eindeutigen anfänglichen Klassifikation der Hand und/oder Finger erfolgt. Bei anderen Objekten erfolgt keine Nachverfolgung, insbesondere keine Nachverfolgung mit einer erhöhten Infrarotlichtbeleuchtung. Dadurch werden eine vom Insassen als unangenehm empfundene Blendung aufgrund der Infrarotbeleuchtung reduziert. Ferner wird die Abwärme durch die Beleuchtung bzw. Belichtung reduziert, was zu einer einfacheren technischen Integration in ein Fahrzeug führt und ferner zu einer Einsparung von Energie führt.
  • Bei einer Ausführungsform kann das Verfahren den Abstand einer Hand des Insassen von einer Beleuchtungsquelle, die die zweite Beleuchtungseinstellung erzeugt, ermitteln. Die zweite Beleuchtungseinstellung wird in Abhängigkeit des Abstandes der Hand von der Beleuchtungsquelle, die die zweite Beleuchtungseinstellung erzeugt, angepasst. Die Helligkeit des von der Beleuchtungsquelle erzeugten Lichtes nimmt mit dem Quadrat des Abstandes ab. Folglich muss die Beleuchtungsquelle Licht mit einer höheren Intensität emittieren, wenn die Hand des Insassen weiter von der Beleuchtungsquelle entfernt ist.
  • Die zweite Bildwiederholfrequenz kann höher als die erste Bildwiederholfrequenz sein. Alternativ hierzu oder zusätzlich kann die zweite Beleuchtungseinstellung eine stärkere Beleuchtung der Finger des Insassen erzeugen als die erste Beleuchtungseinstellung. Da die erste Bildwiederholungsfrequenz niedriger als die zweite Bildwiederholungsfrequenz ist, benötigt sie lediglich eine schwächere Beleuchtung. Lediglich zum latenzfreien Nachverfolgen der Finger ist die höhere Bildwiederholungsfrequenz und folglich die stärkere Beleuchtungseinstellung erforderlich.
  • Das Verfahren kann die Geschwindigkeit der Finger während der Geste ermitteln. Das Verfahren kann die zweite Bildwiederholfrequenz in Abhängigkeit der Geschwindigkeit der Finger des Insassen während der Geste anpassen. Alternativ hierzu oder zusätzlich kann die zweite Beleuchtungseinstellung in Abhängigkeit der Geschwindigkeit der Finger des Insassen während der Geste angepasst werden. Je höher die Geschwindigkeit der Finger ist, desto höher ist die Bildwiederholfrequenz auszuwählen. Eine höhere Bildwiederholungsfrequenz erfordert jedoch eine stärkere Beleuchtung.
  • Das Verfahren kann ferner die Hautfarbe der Finger und/oder eine Kleidung, insbesondere die Farbe einer Kleidung des Insassen ermitteln. Die zweite Beleuchtungseinstellung kann in Abhängigkeit der Hautfarbe der Finger und/oder der Kleidung des Insassen angepasst werden.
  • Die Erfindung betrifft auch ein Computerprogrammprodukt, das, wenn es in einen Speicher eines Computers mit einem Prozessor geladen wird, die Schritte des zuvor beschriebenen Verfahrens ausführt.
  • Die Erfindung offenbart auch eine Gestenerfassungsvorrichtung mit einem bildgebenden Sensorsystems mit einem Bildaufnahmesensor mit einer variablen Bildwiederholungsfrequenz und einer Beleuchtungseinrichtung. Die Gestenerfassungsvorrichtung umfasst eine Auswertesteuerungseinrichtung, die das bildgebende Sensorsystem steuern kann und die damit erzeugten Bilder auswerten kann. Die Auswertesteuerungseinrichtung ist dazu ausgebildet, das bildgebende Sensorsystem so anzusteuern, dass das bildgebende Sensorsystem eine erste Bilderserie mit einer ersten Bildwiederholungsfrequenz und einer ersten Bildsteuerungseinstellung erzeugt. Die Auswertesteuerungseinrichtung ist dazu ausgebildet, eine Hand eines Insassen in der ersten Bilderserie zu suchen. Die Auswertesteuerungseinrichtung ist dazu ausgebildet, falls die Hand des Insassen erkannt wird, das bildgebende Sensorsystem derart anzusteuern, dass der Innenraum des Fahrzeuges mittels des bildgebenden Sensorsystems mit einer zweiten Bildwiederholungsfrequenz und einer zweiten Beleuchtungseinstellung erfasst wird, um eine zweite Bilderserie zu erzeugen. Die Auswertesteuerungseinrichtung kann die zweite Bilderserie auswerten, um eine Geste des Insassen zu erkennen.
  • Die Gestenerfassungsvorrichtung kann so weitergebildet sein, wie zuvor hinsichtlich des Verfahrens beschrieben wurde.
  • Die Gestenerfassungsvorrichtung kann eine Abstandserfassungseinrichtung aufweisen, die dazu ausgebildet ist, den Abstand der Hand des Insassen von der Beleuchtungsquelle zu ermitteln. Die Abstandserfassungseinrichtung kann durch die Auswertesteuerungseinrichtung implementiert sein. Die Auswertesteuerungseinrichtung kann dazu ausgebildet sein, das bildgebende Sensorsystem so anzusteuern, dass die zweite Beleuchtungseinstellung in Abhängigkeit des Abstandes der Hand von der Beleuchtungsquelle, die die zweite Beleuchtungseinstellung erzeugt, variiert wird.
  • Die zweite Bildwiederholfrequenz kann höher als die erste Bildwiederholfrequenz sein. Die zweite Beleuchtungseinstellung kann eine stärkere Beleuchtung der Finger des Insassen erzeugen als die erste Beleuchtungseinstellung.
  • Die Auswertesteuerungseinrichtung kann dazu ausgebildet sein, die Geschwindigkeit der Finger während der Geste zu ermitteln. Die Auswertesteuerungseinrichtung kann dazu ausgebildet sein, die zweite Bildwiederholfrequenz in Abhängigkeit der Geschwindigkeit der Finger des Insassen während der Geste und/oder die zweite Beleuchtungseinstellung in Abhängigkeit der Geschwindigkeit der Finger des Insassen während der Geste zu ermitteln.
  • Die Erfindung betrifft auch ein Kraftfahrzeug mit der zuvor beschriebenen Gestenerfassungseinrichtung.
  • Die Erfindung wird nun unter Bezugnahme auf die Figuren erläutert, die eine exemplarische und nicht beschränkende Ausführungsform der Erfindung zeigen, wobei
  • 1 eine Gestenerkennungsvorrichtung zeigt; und
  • 2 ein Flussdiagramm eines Verfahrens zum latenzfreien Erkennen einer Geste zeigt.
  • 1 zeigt eine Gestenerkennungsvorrichtung, die in ein Fahrzeug eingebaut ist. Über eine Anzeigeeinrichtung 102 werden Inhalte, die ein Insasse des Fahrzeuges auswählen kann, angezeigt. Eine Auswertesteuerungseinrichtung 108 steuert eine Infrarotbeleuchtungseinrichtung 110 und eine Kamera 112 so an, dass ein Erfassungsbereich bzw. Interaktionsbereich, in dem sich eine Hand 104 und die Finger 106 eines Insassen befinden, beleuchtet und ausgewertet wird. Mittels der Bewegung der Finger 106 kann der Benutzer ein Element auf der Anzeigeeinrichtung 102 auswählen. Dieses Element kann auf der Anzeigeeinrichtung 102 farblich markiert werden. Eine Handlung kann in Reaktion auf das Auswählen eines Elementes der Anzeigeeinrichtung 102 durchgeführt werden, ein Untermenü kann in Reaktion auf das Auswählen des einen Elementes der Anzeigeeinrichtung 102 geöffnet werden oder dergleichen, wie dem Fachmann bekannt ist.
  • Die Kamera 106 kann ein zweidimensionaler Halbleitersensor, ein zweidimensionaler CMOS-Sensor, ein zweidimensionaler CCD-Sensor, und/oder einen Stereo-Sensor sein, der eine Mehrzahl der Halbleitersensoren aufweist. Eine dreidimensionale Bildgebung kann beispielsweise durch eine Streifenlichtprojektion erfolgen. Derartige Sensoren und Beleuchtungsverfahren sind dem Fachmann bekannt und müssen im Sinne der Prägnanz nicht weiter beschrieben werden. Die Kamera kann einen Bandpass-Filter aufweisen, der nur IR-Licht passieren lässt.
  • Die Gestenerkennungsvorrichtung 100 umfasst auch eine Abstandsermittlungseinrichtung 114, die den Abstand der Hand 104 und/oder der Finger 106 von der Infrarotbeleuchtungseinrichtung 110 ermittelt. In Abhängigkeit des Abstandes der Hand 104 und/oder der Finger 106 kann die Auswertesteuerungseinrichtung 108 die Intensität der Infrarotbeleuchtung 110 anpassen. Die Abstandsermittlungseinrichtung kann durch die Auswertesteuerungseinrichtung 108 implementiert werden.
  • Das Verfahren wird nun unter Bezugnahme auf 2 detaillierter beschrieben, die ein Flussdiagramm des erfindungsgemäßen Verfahrens 200 zeigt. Im Schritt 202 wird der Interaktionsbereich mit einer Infrarotbeleuchtung mit einer Beleuchtung niedriger Intensität beleuchtet. Der Insasse muss die Hand 104 in den Interaktionsbereich führen. Dort wird der Interaktionsbereich von der Infrarotbeleuchtung mit der niedrigen Intensität, die der ersten Beleuchtungseinstellung entspricht, beleuchtet.
  • Im Schritt 204 versucht die Kamera ein Bild der Hand 104 aufzunehmen. Dazu wird eine erste Bildwiederholungsfrequenz verwendet, die zwischen etwa 10 Hz und etwa 60 Hz, vorzugsweise zwischen etwa 50 Hz und 60 Hz liegt. Diese Bildwiederholungsfrequenz entspricht der ersten Bildwiederholungsfrequenz. Aufgrund der niedrigeren Bildwiederholungsfrequenz ist lediglich die Infrarotbeleuchtung mit der niedrigen Intensität erforderlich, die im Schritt 202 eingestellt wurde. Da im Schritt 204 lediglich die Hand erkannt bzw. klassifiziert werden muss, ist eine Verzögerung bzw. Latenz von wenigen 100 ms aufgrund der vergleichsweise niedrigen Bildwiederholungsfrequenz und/oder aufgrund der ressourcenintensiven Klassifikation unproblematisch.
  • Im Schritt 206 wird geprüft, ob in dem im Schritt 204 erzeugten ersten Bild bzw. ersten Bildserie eine Hand 104 und/oder ein Finger 106 erkannt werden kann. Falls im Schritt 206 keine Hand und/oder Finger erkannt werden, kehrt das Verfahren zum Schritt 204 zurück, um ein weiteres erstes Bild und/oder eine weitere erste Bilderserie mit der ersten Beleuchtungseinstellung und der ersten Bildwiederholungsfrequenz zu erzeugen.
  • Falls im Schritt 206 eine Hand 104 und/oder Finger 106 erkannt werden, fährt das Verfahren zum Schritt 208 fort. Im Schritt 208 wird mittels der Abstandserfassungseinrichtung 114 der Abstand d der Hand 104 und/oder der Finger 106 von der Beleuchtungseinrichtung 110 ermittelt. Die Abstandserfassungseinrichtung kann bei einer Ausführungsform durch die Auswertesteuerungseinrichtung 108 gebildet sein, die den Abstand d der Hand 104 und/oder der Finger im dreidimensionalen Raum ermittelt.
  • Ferner kann die Auswertesteuerungseinrichtung 108 die durchschnittliche Helligkeit l der nachzuverfolgenden Bereichen der Hand im Schnitt 210 ermitteln. Unterschreitet das Verhältnis des Abstandes der Hand d und der Helligkeit l einen vorbestimmten Schwellenwert, wird die Intensität der Infrarotbeleuchtung erhöht. Ist das Verhältnis aus Abstand d zu Helligkeit l höher als ein vorbestimmter Schwellenwert, wird die Infrarotbeleuchtung reduziert. Um die Stabilität des Systems und der Erkennung zu gewährleisten, wird im Schritt 208 die Hand 104 zuerst mit der maximalen möglichen Infrarotbeleuchtung beleuchtet.
  • Im Schritt 212 ermittelt das Verfahren mittels der in den Schritten 208 und 210 eingestellten Infrarotbeleuchtung die Position der Hand 104 und/oder der Finger 106 mit einer zweiten Bildwiederholungsfrequenz. Die zweite Bildwiederholungsfrequenz beträgt etwa 150 Hz bis etwa 1000 Hz. Während die Hand 104 und/oder die Finger 106 mit der zweiten Bildwiederholungsfrequenz nachverfolgt werden, werden die Hand 104 und/oder die Finger 106 mit der in den Schritten 208 und 210 ermittelten zweiten Beleuchtungseinstellung beleuchtet.
  • Im Schritt 214 wird geprüft, ob im Schritt 212 die Position einer Hand 104 und/oder zumindest eines Fingers 106 ermittelt werden kann. Falls eine Position der Hand 104 und/oder zumindest eines Fingers 106 ermittelt werden kann, kehrt das Verfahren zum Schritt 204 zurück, um wieder bei der Erkennung der Hand der ersten Beleuchtungseinstellung und der ersten Bildwiederholfrequenz zu beginnen.
  • Falls im Schritt 214 die Position der Hand 104 und/oder zumindest eines Fingers 106 erkannt werden kann, fährt das Verfahren mit dem Schritt 216 fort und übergibt die Position der Hand 104 und/oder des zumindest einen Fingers 106 an eine Gestenauswerteeinrichtung, die dazu ausgebildet ist, vom Benutzer eingegebene Gesten zu ermitteln. Ferner kehrt das Verfahren zum Schritt 208 zurück, um den aktuellen Abstand der Hand 104 von der Infrarotbeleuchtung 110 zu ermitteln.
  • Die Erfindung schafft ein Verfahren und eine Vorrichtung zum latenzfreien Erkennen von Gesten eines Insassen eines Fahrzeuges, ohne dass der Insasse durch Beleuchtungseffekte beeinträchtigt wird.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102014201313 A1 [0005]
    • DE 112013000590 T5 [0006]

Claims (10)

  1. Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges, aufweisend die folgenden Schritte: – Erfassen eines Innenraums des Fahrzeuges mittels eines bildgebenden Sensorsystems (110, 112) mit einer ersten Bildwiederholungsfrequenz und einer ersten Beleuchtungseinstellung, um eine erste Bilderserie zu erzeugen; – Suchen einer Hand (104) des Insassen; – falls eine Hand (104) des Insassen in der ersten Bilderserie erkannt wird, Erfassen des Innenraums des Fahrzeuges mittels des bildgebenden Sensorsystems (110, 112) mit einer zweiten Bildwiederholungsfrequenz und einer zweiten Beleuchtungseinstellung, um eine zweite Bilderserie zu erzeugen; und – Auswerten der zweiten Bilderserie, um eine Geste (106) des Insassen zu erkennen.
  2. Verfahren nach Anspruch 1, gekennzeichnet durch die folgenden Schritte: – Ermitteln des Abstandes der Hand (104) des Insassen von einer Beleuchtungsquelle (110), die die zweite Beleuchtungseinstellung erzeugt; – Anpassen der zweiten Beleuchtungseinstellung in Abhängigkeit des Abstandes der Hand (104) von der Beleuchtungsquelle (110), die die zweite Beleuchtungseinstellung erzeugt.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die zweite Bildwiederholfrequenz höher als die erste Bildwiederholfrequenz ist und/oder die zweite Beleuchtungseinstellung eine stärkere Beleuchtung der Finger (106) des Insassen erzeugt als die erste Beleuchtungseinstellung.
  4. Verfahren nach einem der Ansprüche 1 bis 3, gekennzeichnet durch folgende Schritte: – Ermitteln der Geschwindigkeit der Finger während der Geste (106); und – Anpassen der zweiten Bildwiederholfrequenz in Abhängigkeit der Geschwindigkeit der Finger (106) des Insassen während der Geste; und/oder – Anpassen der zweiten Beleuchtungseinstellung in Abhängigkeit der Geschwindigkeit der Finger (106) des Insassen während der Geste.
  5. Verfahren nach einem der Ansprüche 1 bis 4, gekennzeichnet durch folgende Schritte: – Ermitteln einer Hautfarbe der Finger (106) und/oder einer Kleidung des Insassen; und – Anpassen der zweiten Beleuchtungseinstellung in Abhängigkeit der Hautfarbe der Finger (106) und/oder der Kleidung des Insassen.
  6. Gestenerfassungsvorrichtung (100), aufweisend: – ein bildgebendes Sensorsystem mit einem Bildaufnahmesensor (112) mit einer variablen Bildwiederholungsfrequenz und einer Beleuchtungseinrichtung (110); – einer Auswertesteuerungseinrichtung (108), die dazu ausgebildet ist, – das bildgebenden Sensorsystems (110, 112) so anzusteuern, dass das bildgebende Sensorsystem eine erste Bilderserie mit einer ersten Bildwiederholungsfrequenz und einer ersten Beleuchtungseinstellung erzeugt; – eine Hand (104) eines Insassen in der ersten Bilderserie zu suchen, – falls die Hand (104) des Insassen erkannt wird, das bildgebende Sensorsystem derart anzusteuern, dass der Innenraum des Fahrzeuges mittels des bildgebenden Sensorsystems (110, 112) mit einer zweiten Bildwiederholungsfrequenz und einer zweiten Beleuchtungseinstellung erfasst wird, um eine zweite Bilderserie zu erzeugen; und – die zweite Bilderserie auszuwerten, um eine Geste (106) des Insassen zu erkennen.
  7. Gestenerfassungsvorrichtung (100) nach Anspruch 6, gekennzeichnet durch eine Abstandserfassungseinrichtung (114), die dazu ausgebildet ist, den Abstand der Hand (104) des Insassen von der Beleuchtungsquelle (110) zu ermitteln, wobei die Auswertesteuerungseinrichtung dazu ausgebildet ist, das bildgebende Sensorsystem (110, 112) so anzusteuern, dass die zweite Beleuchtungseinstellung in Abhängigkeit des Abstandes der Hand (104) von der Beleuchtungsquelle (110), die die zweite Beleuchtungseinstellung erzeugt, variiert wird.
  8. Gestenerfassungsvorrichtung (100) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die zweite Bildwiederholfrequenz höher als die erste Bildwiederholfrequenz ist und/oder die zweite Beleuchtungseinstellung eine stärkere Beleuchtung der Finger (106) des Insassen erzeugt als die erste Beleuchtungseinstellung.
  9. Gestenerfassungsvorrichtung (100) nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Auswertesteuerungseinrichtung (108) dazu ausgebildet ist, – die Geschwindigkeit der Finger (106) während der Geste zu ermitteln; und – die zweiten Bildwiederholfrequenz in Abhängigkeit der Geschwindigkeit der Finger (106) des Insassen während der Geste und/oder die zweite Beleuchtungseinstellung in Abhängigkeit der Geschwindigkeit der Finger (106) des Insassen während der Geste zu ermitteln.
  10. Kraftfahrzeug mit der Gestenerfassungseinrichtung (100) nach einem der Ansprüche 1 bis 9.
DE102016201704.7A 2016-02-04 2016-02-04 Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges Pending DE102016201704A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016201704.7A DE102016201704A1 (de) 2016-02-04 2016-02-04 Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016201704.7A DE102016201704A1 (de) 2016-02-04 2016-02-04 Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges

Publications (1)

Publication Number Publication Date
DE102016201704A1 true DE102016201704A1 (de) 2017-08-10

Family

ID=59382342

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016201704.7A Pending DE102016201704A1 (de) 2016-02-04 2016-02-04 Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges

Country Status (1)

Country Link
DE (1) DE102016201704A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568512B (en) * 2017-11-17 2021-01-13 Jaguar Land Rover Ltd Vehicle controller

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008031697A1 (de) * 2008-07-04 2010-01-07 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Objektidentifikation
DE102013100521A1 (de) * 2013-01-18 2014-07-24 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
DE112013000590T5 (de) 2012-01-17 2014-11-06 Leap Motion, Inc. Verbesserter Konstrast zur Objekterfassung und Charaktersierung durch optisches Abbilden
WO2015053451A1 (en) * 2013-10-10 2015-04-16 Lg Electronics Inc. Mobile terminal and operating method thereof
DE112013005337T5 (de) * 2012-11-08 2015-07-16 Leap Motion, Inc. Objekterfassung und Nachverfolgung mit veränderlichen Feldbeleuchtungsvorrichtungen
DE102014201313A1 (de) 2014-01-24 2015-07-30 Myestro Interactive Gmbh Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008031697A1 (de) * 2008-07-04 2010-01-07 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Objektidentifikation
DE112013000590T5 (de) 2012-01-17 2014-11-06 Leap Motion, Inc. Verbesserter Konstrast zur Objekterfassung und Charaktersierung durch optisches Abbilden
DE112013005337T5 (de) * 2012-11-08 2015-07-16 Leap Motion, Inc. Objekterfassung und Nachverfolgung mit veränderlichen Feldbeleuchtungsvorrichtungen
DE102013100521A1 (de) * 2013-01-18 2014-07-24 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
WO2015053451A1 (en) * 2013-10-10 2015-04-16 Lg Electronics Inc. Mobile terminal and operating method thereof
DE102014201313A1 (de) 2014-01-24 2015-07-30 Myestro Interactive Gmbh Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568512B (en) * 2017-11-17 2021-01-13 Jaguar Land Rover Ltd Vehicle controller

Similar Documents

Publication Publication Date Title
DE102007015495B4 (de) Objekterfassungsvorrichtung und Verfahren zum Extrahieren eines Bedienobjekts
DE112013003189B4 (de) Digitale Bildaufnahme unter sich ändernden Lichtintensitätsbedingungen
DE112014004212T5 (de) Vorrichtung und Verfahren, Programm und Speichermedium zur Gestenbedienung
DE112014005160T5 (de) Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
DE102014104613A1 (de) Objekterfassungsvorrichtung
DE102012000263A1 (de) Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102014114948A1 (de) Alarmanlage und Verfahren für Fahrzeug
DE112016001815T5 (de) Informationsanzeigevorrichtung und Informationsanzeigeverfahren
DE102014002134A1 (de) Vorrichtung zur Erkennung einer Beleuchtungsumgebung eines Fahrzeugs und Steuerungsverfahren davon
DE102013203011A1 (de) Bilderfassungsverfahren und Bilderfassungssystem hierzu
DE102014117102A1 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
DE102012209316A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
DE102015003960A1 (de) Verfahren zum Bestimmen einer Sichtweite für ein Fahrzeug bei Nebel
DE112020004853T5 (de) Reduzierung eines Flimmereffektes mehrerer Lichtquellen in einem Bild
DE102014118387A1 (de) Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren
DE102015012720A1 (de) Interaktives Bediensystem und Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem
DE102016201704A1 (de) Gestenerkennungsvorrichtung und Verfahren zum Erkennen einer Geste eines Insassen eines Fahrzeuges
DE102013226725A1 (de) Verfahren und system für das erkennen einer handgeste, wobei selektive beleuchtung benutzt wird
DE102014102011B4 (de) System und Verfahren zum Erzeugen eines Bildes mit einem breiten dynamischen Bereich
DE102011010315A1 (de) Erkennung von Objekten
EP1588554B1 (de) Verfahren zur einstellung eines bildsensors
DE102014216053A1 (de) Anpassung der Beleuchtungs-Wellenlänge bei der Augenerfassung
DE102011002577A1 (de) Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung
DE102017125799A1 (de) Reduktion von Bildstörungen in Bildern
DE102014224898A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication