DE102015015389A1

DE102015015389A1 - Einfache Gestenerkennungsvorrichtung

Info

Publication number: DE102015015389A1
Application number: DE102015015389.7A
Authority: DE
Inventors: Tycho Lorenz Roland Raab
Original assignee: Elmos Semiconductor SE
Current assignee: Elmos Semiconductor SE
Priority date: 2015-11-18
Filing date: 2015-11-18
Publication date: 2017-05-18

Abstract

Gestenerkennungsvorrichtung (GV) zur vereinfachten Erkennung von Mehrfingergesten bei der Bedienung von Mensch-Maschine-Schnittstellen im Zusammenwirken mit mindestens einem Bildschirm (DS) in einem Kraftfahrzeug mittels eines Gestenerkennungsobjektes (O), gekennzeichnet dadurch, a. dass sie mindestens einen Näherungssensor (H, D, K) umfasst, der mindestens einen ersten Messwert misst und einen relevanten Messwert (RM) aus den ggf. mehreren ersten Messwerten ermittelt oder berechnet, der ein Abstandswert und/oder ein Reflexionswert und/oder ein Transmissionswert des Gestenerkennungsobjektes (O) ist, und b. dass sie mindestens ein eindimensionales und/oder zweidimensionales Infrarotsensor-Array (PIRA) mit mindestens zwei Infrarotsensoren (PIR1 bis PIRk) innerhalb des Infrarotsensor-Arrays (PIRA), die jeweils empfindlich für die Wärmestrahlung des Gestenerkennungsobjekts (O) sind und jeweils ein Infrarotmesssignal (IM1 bis IMk) liefern, umfasst und c. dass sie mindestens eine optische Projektionsvorrichtung (L) umfasst, die dazu vorgesehen und eingerichtet ist zumindest zeitweise ein Infrarotbild des Gestenerkennungsobjektes (O) auf das besagte Infrarotsensor-Array (PIRA) zu projizieren, und d. dass sie eine Auswertevorrichtung (AV) umfasst, die den relevanten Messwert (RM) mit einer ersten Schwelle (SW1) vergleicht und e. dass die Auswertevorrichtung (AV) ein Verfahren zur Gestenerkennung zur Ermittlung eines Gestenerkennungsergebnisses auf Basis der mindestens zwei Infrarotmesssignale (IM1 bis IMk), die das Infrarotsensor-Arrays (PIRA) liefert, durchführt, wenn der in Schritt d vorausgehende Vergleich genau ein erstes vorbestimmtes Ergebnis der beiden folgenden möglichen Ergebnisse ergibt, nämlich dass der relevante Messwert (RM) entweder unterhalb der ersten Schwelle (SW1) liegt oder oberhalb der ersten Schwelle (SW1) liegt, und im Falle des anderen Ergebnisses keine Gestenerkennung durchführt oder erkannte Gesten unterdrückt und f. anschließend an die Auswertevorrichtung (AV) das Gestenerkennungsergebnis durch ein Signal (32) ausgibt und/oder in Abhängigkeit vom dem Gestenerkennungsergebnis einen Aktor bedient und/oder sonst wie den Systemzustand der Gestenerkennungsvorrichtung (GV) und/oder den Systemzustand einer Vorrichtung, deren Teil die Gestenerkennungsvorrichtung (GV) ist, und/oder den Systemzustand eines Vorrichtungssystems, deren Teil die Gestenerkennungsvorrichtung (GV) ist, verändert.

Description

Einleitung
Die Erfindung betrifft eine Gestenerkennungsvorrichtung für die Erkennung von Gesten in dem Raum vor einem Bildschirm in einem Kraftfahrzeug. Die Erfindung betrifft dabei vor allem berührungslose Gesten.
Solche Gestenerkennungsvorrichtungen mit diesem Zweck sind aus dem Stand der Technik bekannt. Zunächst soll auf die Probleme mit den derzeit verfügbaren Lösungen kurz eingegangen werden.
Bekannt ist eine Gestenerkennung auf Basis des Halios-Systems, wie es beispielsweise in folgenden Druckschriften beschrieben wird:
EP 1913420 B1 , DE 10 2007 005 187 B4 , DE 10 2005045 993 B4 , DE 10 2005 045 993 A1 , DE 10 2012 024 597 B4 , DE 10 2013 013 664 B3 , EP 2 631 674 , EP 2 924 466 , EP 2 924 459 , EP 2 924 460 , EP 1 979 764 B8 , EP 1 979 764 B1 , WO 2008 092 611 A1 , EP 2 679 982 A1 , EP 2 016 480 B1 , EP 2 598 908 A1 , WO 2013 113 456 A1 , EP 2 653 885 A1 , EP 2 405 283 B1 , EP 2 602 635 B1 , EP 1 671 160 B1 , WO 2013 037 465 A1 , EP 1 901 947 B1 , EP 1 747 484 B1 , EP 2 107 550 A3 , EP 1 723 446 B1 , EP 1 435 509 B1 , EP 801 726 B1 , EP 1 269 629 B1 , EP 801 726 B1 , EP 1 480 015 A1 , EP1410507 B1 , DE 10 2005 045 993 B4 , DE 4 339 574 C2 , DE 4 411 770 C1 , DE 4 411 773 C2 , WO 2013 083 346 A1 , EP 2 679 982 A1 , WO 2013 076 079 A1 , WO 2013 156 557 A1 .
Hierbei beschreiben insbesondere die folgenden Druckschriften, wie sich eine beispielhafte Gestenerkennung mit einem Halios-System realisieren lässt:
EP 2 594 023 A1 , EP 2 016 480 B1 , US 2012 0 326 958 A1 , EP 1410 507 B1 , EP 1435 509 B1 , EP 1 258 084 B1 , DE 10 2006 020 570 A1 , DE 10 133 823 A1 , DE 10 2012 010 627 A1 , DE 10 2012 024 778 A1 , DE 10 2012 025 564 A1 DE 10 2013 019 660 A1
1 zeigt eine wichtige Nutzungssituation. Durch eine Spreizbewegung der Finger, die sich vor dem Bildschirm befinden, soll das System, dessen Ausgabe auf dem Bildschirm (DS) erfolgt, dazu veranlasst werden, ein virtuelles Objekt auf dem Bildschirm zu verändern. Hier soll es vergrößert werden. Hierfür muss nicht nur eine Position eines Objektes, sondern dessen Struktur erkannt werden. Aus der HALIOS GESTURE RECOGNITION ist ein solches Halios-System bekannt. Ein solches Halios-System verfügt über mehrere Leuchtdioden als Sender (H). Für die verbesserte Auflösung sind mehrere Sender notwendig. Leuchtdioden sind aber zurzeit relativ teure elektronische Bauelemente, weshalb sich das System mit steigender Auflösung verteuert. Alternativ kommen 3D-TOF-Kameras oder Stereo-Kamerasysteme in Frage, die ein Bild liefern, wobei jedem Pixel eine Tiefeninformation zugeordnet wird. Diese Systeme sind noch teurer und benötigen eine signifikante Rechenleistung.
Aus dem Stand der Technik sind PIR-Sensor-Arrays bekannt, die dazu geeignet sind, die Bewegung eines thermisch strahlenden Objektes, beispielsweise einer Benutzerhand vor einem kälteren Hintergrund zu erkennen. Sie können aber nicht zwischen Nahen und fernen Objekten unterscheiden.
Aufgabe der Erfindung
Es ist die Aufgabe der Erfindung ein kostengünstiges Verfahren und eine kostengünstige Vorrichtung anzugeben, die die Nachteile aus dem Stand der Technik überwinden.
Diese Aufgabe wird durch eine Vorrichtung nach Anspruch 1 gelöst.
Beschreibung der Erfindung
Die Beschreibung der Erfindung erfolgt anhand der Figuren. Sofern die Figuren den Stand der Technik widerspiegeln, wird dies im Text erwähnt und auf der betreffenden Figur mit der Abkürzung SdT markiert.
1 zeigt, wie erwähnt, einen Bildschirm (DS), wie er in heutigen Kfz zum Einsatz kommt. Typischerweise ist er in einem Gehäuse (GH) untergebracht. In dem Gehäuse (GH) des Bildschirms (DS) befindet sich ein Annäherungssensor-Array (PIRA). Gleichzeitig befindet sich in dem Gehäuse (GH) ein Abstandsmessystem in Form eines Näherungssensors, hier ein Halios-System mit einem Sender (H), einem Empfänger (D) und einem Kompensationssender (K), der dem Empfänger (K) zugeordnet ist. Dieses kombinierte Näherungssensorsystem ist nun in der Lage, zu einem wesentlich geringeren Kostenpunkt die erfindungsgemäße Aufgabe zu lösen als Lösungen aus dem Stand der Technik. Insbesondere wird durch die Verwendung eines Halios-Systems eine gute Fremdlichtrobustheit beispielsweise gegenüber Sonnenlicht erreicht.
2 zeigt ein übliches Halios-System aus dem Stand der Technik, wie es in der erfindungsgemäßen Vorrichtung Verwendung findet. Das hier schematisch skizierte Halios-System verfügt über N Sender (H₁ bis H_N), von denen nur der i-te Sender (H_i) gezeichnet ist, sowie M Empfänger (D₁ bis D_M), von denen nur der j-te Empfänger (D_j) gezeichnet ist. Jedem Empfänger ist ein Kompensationssender von M Kompensationssendern (K₁ bis K_M) zugeordnet. Es ist nur der j-te Kompensationssender (K_j) passen zum j-ten Empfänger (D_j) in der Figur eingezeichnet. Dem j-ten Empfänger (D_j) ist somit der j-te Kompensationssender (K_j) zugeordnet. Im Folgenden wird die Regelung an Hand des beispielhaften Regelkreises betreffend den i-ten Sender (H_i) und den j-ten Empfänger (D_j) beschrieben. Weitere Regelkreise für weitere Paarungen zwischen Sendern (H_i) auf der einen Seite und Empfängern (D_j) und zugehörigen Kompensationssendern (K_j) auf der anderen Seite werden in der Regel vorgesehen, sind aber nicht zwingend erforderlich. Das Folgende kann auf die anderen, nicht gezeichneten Regelkreise übertragen werden. Ein Generator (G_i) erzeugt ein Sendesignal (S5_i). Mit diesem Signal wird die Leuchtstärke, also die Amplitude des Senders (H_i) moduliert. Dadurch strahlt der i-te Sender (H_i) ein i-tes optisches Sendesignal (I1_i) ab. Dieses optische Sendesignal (I1_i) bestrahlt das zu erfassende Objekt (O). Das zu erfassende Objekt (O) reflektiert und/oder transmittiert die das Objekt (O) bestrahlenden optischen Sendesignale (I1₁ bis I1_N) auch in Richtung des j-ten Empfängers (D_j) – und damit auch das i-te optische Sendesignal (I1_i) – als reflektiertes optisches Sendesignal (I3_j). Das reflektierte optische Sendesignal (I3_j) wird vom j-ten Empfänger (D_j) empfangen und in das j-te Empfangssignal (S0_j) umgewandelt. Dieses wird im j-ten Vorverstärker (V_j) zum verstärkten Empfangssignal (S1j) verstärkt und typischerweise Hochpass oder Bandpass gefiltert. Es folgt je auszuwertender Paarung aus Sender (H_i) und Empfänger (D_j) im Signalpfad je ein Synchrondemodulator. Dieser multipliziert mittels eines i, j-ten Multiplizierers (M_i,j) das i-te Sendesignal (S5_i) mit dem verstärkten j-ten Empfangssignal (S1_j) zum i, j-ten multiplizierten Empfangssignal (S9_i,j). Dieses wird sodann in dem i, j-ten Filter (F1_i,j) zum i, j-ten Filterausgangssignal (S10_i,j) tiefpassgefiltert. Durch die Multiplikation und die anschließende Filterung wird mathematisch gesehen ein Skalarprodukt zwischen dem i-ten Sendesignal (S5_i) und dem j-ten verstärkten Empfangssignal (S1_j) gebildet. Damit ist das i, j-te Filterausgangssignal (S10_i,j) quasi der zum Sendesignal (S5_i) zugehörige Fourier-Koeffizient. Das j-te verstärkte Empfangssignal (S1_j) wird dadurch mathematisch gesehen auf das i-te Sendesignal (S5_i) projiziert. Das i, j-te Filterausgangssignal (S10_i,j) wird zum i, j-ten verstärkten Filterausgangssignal (S4_i,j) durch den i, j-ten Nachverstärker (VN_i,j) verstärkt. Dabei wird das Vorzeichen und der Frequenz- und Phasengang der Verstärkung so gewählt, dass sich im sich später ergebenden Regelkreis Stabilität ergibt. Das i, j-te verstärkte Filterausgangssignal (S4_i,j) wird nun durch Multiplikation mit dem i-ten Sendesignal (S5_i) in einem weiteren i, j-ten Multiplizierer (M2_i,j) zum i, j-ten Kompensationsspeisevorsignal (S6_i,j) vom Sendesignalraum der Sendesignale (S5₁ bis S5_N) in den Zeitbereich zurück transformiert. Die den jeweiligen Sendesignalen (S5_i) zugeordneten i, j-ten Kompensationsspeisevorsignale (S6_i,j) werden durch N Summierer (A_i,j) zum j-ten Kompensationsspeisevorsignal (S6_j) zusammengefasst, das nur noch dem j-ten Empfänger (D_j) zugeordnet ist. Zu diesem j-ten Kompensationsspeisevorsignal (S6_j) wird durch einen weiteren Addierer typischerweise noch ein j-ter positiver Offset (B_j) hinzuaddiert, da eine LED kein negatives Licht senden kann. Es entsteht das j-te Kompensationsspeisesignal (S3_j). Mit diesem j-ten Kompensationsspeisesignal (S3_j) wird der j-te Kompensationssender (K_j) gesteuert, der dem j-ten Empfänger (D_j) zugeordnet ist. Dieser strahlt ein j-tes optisches Kompensationssendesignal (I2_j) und dieses nun ebenfalls in den j-ten Empfänger (D_j) ein. Die Überlagerung des j-ten reflektierten optischen Sendesignals (I3_j) und des j-ten optischen Kompensationssendesignals (I2_j) erfolgt im j-ten Empfänger vorzugsweise linear summierend. Bei der richtigen Vorzeichenwahl der i, j-ten Nachverstärker (VN_1j bis V_Nj) ist der Regelkreis stabil. In dem Fall repräsentieren die i, j-ten verstärkten Filterausgangssignale (S4_i,j) eine Matrix von Messwerten, mit denen das Objekt (O) und/oder die Übertragungsstrecke vom Sender (H_i) zum Objekt (O) und zurück zum Empfänger (D_j) bewertet werden kann. Aus dem Stand der Technik sind auch analoge Methoden und Vorrichtungen bekannt, um neben der Amplitude such die Phase des Kompensationssendesignal (S3_j) zu regeln. Auch ist es möglich statt des Kompensationssenders (D_j) mittels eines geregelten Kompensationssendesignals (S3_j) den Sender (H_i) mittels des Sendesignals (H_i) zu regeln. Mischungen in Form einer zweidimensionalen Regelung mittels einer eindimensionalen Relgelkennlinie in dem sich ergebenden zweidimensionalen Regelraum sind ebenso bekannt.
Dem Fachmann ist offenbar, dass statt dem hier beschriebenen Raummultiplex in N×M Einheiten auch ein Zeitmultiplex in Teilen des Signalpfades möglich ist und dass Teile durch eine Datenverarbeitungsanlage durchgeführt werden können.
3 zeigt schematisch ein aus dem Stand der Technik bekanntes System eines passiven Infrarot-Sensor-Arrays. Es besteht aus einem Gehäuse (GHP). Das Gehäuse ist typischerweise mit einem Schutzgas (SG) oder Vakuum gefüllt. Ein optisches Fenster (F) lässt vorzugsweise nur Strahlung im interssierenden Infrarotbereich in den Innenraum des Sensors. Das eigentliche Infrarot-Sensor-Array (PIRA) ist vorzugsweise monolithisch aufgebaut und umfasst mehrere flächig angeordnete Infrarotsensoren (PIR₁, PIR₂, ... PIR_K). Eine Linse (L), die für die interessierende Strahlung transparent ist, bildet strahlende Objekte (O) auf das Infrarot-Sensor-Array (PIRA) ab. Diese Linse (L) kann sich vor dem Fenster (F) oder zwischen dem Fenster (F) und dem Infrarot-Sensor-Array (PIRA) befinden.
4 zeigt die beispielhafte Anordnung mehrerer Halios Sender (H1, H2, H3) und -Empfänger (D1, D2, D3) und der zugehörigen Kompensationssender (K1, K2, K3) sowie zweier Infrarot-Sensor-Arrays PIRA1, PIRA2) in der Nähe eines Bildschirms (DS) in der Aufsicht (4a) und in der Seitenansicht (4b). Erfindungsgemäß wird nun die vom Halios-System gelieferte Abstands- und/oder Reflexionsamplitudeninformation in Form der 9 verstärkten Filterausgangssignale (S411 bis S433) genutzt, um eine Annäherung eines Objekts (O), ob belebt oder unbelebt, an das System zuverlässig detektieren zu können. In dem Beispiel der 4 wird der Raum vertikal zur Bildschirmoberfläche in beispielhaft drei Abstandsbereiche (I, II, III) eingeteilt. Gleichzeitig ist der Empfindlichkeitsbereich der Sensoren typischerweise auf einen Bereich unterhalb einer oberen Grenze (GO) und oberhalb einer unteren Grenze (GU) beschränkt. Durch diese Einteilung entstehen drei Sensor-Bereichen (SB1, SB2, SB3). Ist der Abstand eines Objekts (O) zum Bildschirm (DS) so, dass ein Gestenerkennungsobjekt (O), mit dem die eine Geste ausgeführt wird, sich im ersten Sensorbereich (SB1) befindet, so wird beispielsweise ein erster Satz von Gesten erkannt. Befindet sich das Objekt (O), also typischerweise das Gestenerkennungsobjekt (O) im zweiten Sensor-Bereich (SB2) so wird ein zweiter Satz von Gesten, der sich vom ersten Satz an zu erkennenden Gesten unterscheiden kann, erkannt. Die zu erkennenden Gesten, Einzelgesten und Gestenvokabularien und -grammatiken können sich also je nach Sensor-Bereich unterschieden. Im dritten Sensorbereich (SB3) werden typischerweise keine Gesten erkannt. Die Gestenerkennung selbst erfolgt jedoch nicht notwendigerweise mittels des Halios-Systems sondern vorzugsweise durch Auswertung der Infrarotmesssignale (IM₁ bis IM_k) der Infrarot-Sensoren (PIR₁ bis PIR_k) der jeweiligen Infrarot-Sensor-Arrays (PIRA₁, PIRA₂). Insbesondere ist es möglich, mit Hilfe dieser passiven Infrarot-Sensoren (PIRA₁, PIRA₂) zwischen belebten und unbelebten Objekten (O) zu unterscheiden. Somit wird eine Fehlauslösung unwahrscheinlich.
Es ist ein Merkmal der erfindungsgemäßen Gestenerkennungsvorrichtung (GV), dass sie neben dem Näherungssensor, der in der Lage ist, mindesten einen Abstand eines Objektes (O) von dem Näherungssensor und/oder einem Bildschirm (DS) zu bestimmen, mindestens einen weiteren Sensor aufweist, der zwischen belebten und unbelebten Objekten (O) unterscheiden kann. Dabei ist es von Vorteil, wenn die Vorrichtung eine Auswertevorrichtung (AV) aufweist, die die Daten des Näherungssensors und des weiteren Sensors so kombiniert, dass sie nur Gesten erkennen kann, die von belebten Gestenerkennungsobjekten ausgeführt werden und solche, die von nichtbelebten Gestenerkennungsobjekten ausgeführt werden, grundsätzlich als nicht erkannt bewertet. Als Kriterium für die Bewertung als belebt kann dabei beispielsweise das Überschreiten eines Infrarotstrahlungspegelschwellwertes durch ein oder mehrere Infrarotmesssignale (IM_l) und/oder eines oder mehrerer daraus abgeleiteter Signale oder ein ähnlicher Vorgang gewertet werden.
Beispielhaft können wir beispielsweise annehmen, dass die beiden beispielhaften Infrarot-Sensor-Arrays (PIRA₁, PIRA₂) je 10 Infrarotsensoren (PIR1 bis PIR10) enthalten. Es ergeben sich somit 10·2 Infrarotmesssignale (IM_1,1 bis IM_2,10), was einem 20-dimensionalen Vektorsignal entspricht. Dieses kann natürlich mit den 9 Messwertsignalen der Halios-Sensoren in Form der neun verstärkten Filterausgangssignale (S4₁₁ bis S4₃₃) zu einem 29-dimensionalen Messwertvektor kombiniert werden. Aus der DE 10 2012 024 778 A1 ist beispielsweise ein Verfahren und eine Vorrichtung für reine Halios-Systeme bekannt, wie ein solcher Messwert-Vektor (Bezugszeichen 24 der DE 10 2012 024 778 A1 ) einer Geste oder einer Nicht-Geste zugeordnet werden kann und das Gestenerkennungsergebnis in Form einer erkannten Geste (Bezugszeichen 22 der DE 10 2012 024 778 A1 ) oder Gestenhypothesenliste ausgegeben werden kann. Dort werden weitere Sensorsignale (Bezugszeichen 37 der DE 10 2012 024 778 A1 ) erwähnt. In diesem Fall sind dies die ersten Messwerte der Infrarot-Sensor-Arrays (PIRA₁, PIRA₂).
5 zeigt einen typischen Erkennungsfall: Bei Annäherung der Hand als Gestenerkennungsobjekt (O) an den Bildschirm (DS) näher als ein vorgegebener und/oder eingestellter und/oder programmierter Schwellabstand (d), wird die Gestenerkennung aktiviert. In diesem Beispiel teilt das Gestenerkennungssystem den Raum vor dem Bildschirm nur in zwei Sensor-Bereiche (SB1 und SB2) ein.
6 zeigt das erfindungsgemäße Verfahren zur Gestenerkennung. In einem ersten Schritt (AM) wird eine Abstandsmessung mittels des Halios-Sensorsystems (siehe Beschreibung 2) durchgeführt, um einen ersten Messwert (S4) für den Abstand zwischen Bildschirm (DS) und Gestenerkennungsobjekt (O) vor dem Bildschirm (DS) zu erhalten. Diese löst in der Regel die Finger nicht auf und ermittelt typischerweise einen oder zumindest nur wenige erste Messwerte (S4₁₁ bis S4_N,M). Typischerweise wird gleichzeitig zwar auch eine Messung durch mindestens ein eindimensionales und/oder zweidimensionales Infrarotsensor-Array (PIRA) durchgeführt. Die k Infrarotsensoren (PIR₁ bis PIR_K) des Infrarotsensor-Arrays liefern dabei mindestens k Infrarotmesssignale (IM₁ bis IM_k). Diese werden jedoch in diesem Verfahrensschritt der Abstandsmessung (AM) noch nicht ausgewertet. Eine Auswertevorrichtung (AV) ermittelt mit Hilfe der N×M ersten Messwerte (S4_1,1 bis S4_N,M) zumindest einen Abstand zumindest eines Objektes. Um die Kosten gering zu halten hat es sich als besonders vorteilhaft erwiesen, N = 1 und M = 1 zu wählen. Ggf. wird anhand vorgegebener Kriterien einer der Messwerte (S4_1,1 bis S4_N,M) als relevanter Messwert selektiert und/oder aus den N×M ersten Messwerten (S4_1,1 bis S4_N,M) berechnet. Eine solche Berechnung kann beispielsweise eine Mittelwertbildung sein. Typischerweise verfügt die Auswertevorrichtung (AV) über eine Recheneinheit mit Programm- und Datenspeicher, die diese Berechnung durchführt. Die Auswertevorrichtung (AV) vergleicht nun in einem ersten Prüfschritt (OJI) diesen relevanten Messwert mit einem Schwellwert. Liegt der relevante Messwert auf der wertmäßigen Seite des Schwellwertes, für den eine Gestenerkennung vorgesehen ist – ist also beispielsweise die Feststellung „Objekt in Bereich 1” richtig, so führt die Auswertevorrichtung (AV) den nächsten Schritt (GE) eine Gestenerkennung mittels eines Gestenerkennungsverfahrens auf Basis eines Merkmalsvektors (Bezugszeichen 24 oder 37 der DE 10 2012 024 778 A1 ) bestehend aus den ersten Messwerten (S4) (Bezugszeichen 24 der DE 10 2012 024 778 A1 ) und den Infrarotmesssignalen (IM₁ bis IM_k) (Bezugszeichen 37 der DE 10 2012 024 778 A1 ) durch. Ein solches Verfahren ist, wie bereits erwähnt, aus der DE 10 2012 024 778 A1 bekannt. In diesem Schritt (BG) ermittelt die Auswertevorrichtung (AV) ein Gestenerkennungsergebnis in Form einer bekannten Geste und/oder einer Gestenhypothesenliste (Bezugszeichen 22 der DE 10 2012 024 778 A1 ). Eine Gestenhypothesenliste ist eine Liste von erkannten Gesten, die typischerweise als indizierte Liste von Gestennummern ermittelt wird, wobei in dieser Gestenhypothesenliste jeder somit erkannten und indizierten Geste über ihren Index eine zugehörige Gestenerkennungswahrscheinlichkeit zu geordnet ist. Eine erkannte Geste wird also typischerweise durch eine Gestennummer repräsentiert. Für die Nichterkennung von Gesten wird typischerweise ebenfalls eine Dummy-Gestennummer ermittelt, die diesem Fall einer nicht erkannten Geste oder einer leeren Gestenhypothesenliste zugeordnet ist. In diesem letzten Fall der Nichterkennung einer Geste fährt die Auswertevorrichtung (AV) typischerweise mit der Bestimmung des Abstands (AM) fort. Im anderen Fall einer erkannten Geste als Gestenerkennungsergebnis oder einer nicht leeren Gestenhypothesenliste von erkannten Gesten als Gestenerkennungsergebnis wird diese Geste oder die Gestenhypothesenliste im nächsten Schritt (AG) ausgewertet und ggf. ein Aktor in Abhängigkeit von dem Gestenerkennungsergebnis betätigt und/oder eine Signalisierung in Abhängigkeit von diesem Gestenerkennungsergebnis in Form der erkannten Geste und/oder der Gestenhypothesenliste vorgenommen. Erst nachdem dieser Schritt (AG) abgeschlossen ist, kehrt die Vorrichtung zum ersten Schritt (AM), der Abstandsmessung, zurück.
7 entspricht weitestgehend der 6. Nun jedoch wird nach dem Schritt der Abstandsmessung (AM) nicht nur daraufhin eine Prüfung durchgeführt, ob sich das Gestenerkennungsobjekt (O) im Bereich I befindet (OJI) sondern auch, falls dies nicht der Fall ist, ob sich das Gestenerkennungsobjekt (O) im Bereich II befindet (OJII). Befindet sich das Gestenerkennungsobjekt (O) im Bereich I, d. h. der Prüfungsschritt (OJI) hat ein positives Ergebnis geliefert, so wird in diesem Beispiel eine Gestenerkennung (GE_I) für den Bereich I durchgeführt.
Befindet sich das Gestenerkennungsobjekt (O) im Bereich II, d. h. der Prüfungsschritt (OJI) hat ein negatives Ergebnis geliefert und der der zweite Prüfungsschritt (OJII) hat ein positives Ergebnis geliefert, so wird in diesem Beispiel eine Gestenerkennung (GE_II) für den Bereich II durchgeführt. Dabei können sich die durch die Auswertevorrichtung (AV) erkennbaren Gesten, also beispielsweise das Gestenvokabular, die Einzelgesten und die Gestengrammatik, im Bereich I und Bereich II sowie unabhängig davon auch die Methoden der Erkennung (z. B. Erkennung mittels eines HMM-Verfahrens vs. Erkennung mit Hilfe eines neuronalen Netzes) im Bereich I und Bereich II unterscheiden.
Die Methode der Gestenerkennung hängt somit letztlich in einer Ausprägung der Erfindung von einem oder mehren aus den ermittelten Messwerten (S4) des Näherungssensors (H, D, K) abgeleiteten relevanten Messwert oder relevanten Messwerten oder den Messwerten (S4) selbst ab.
In einer anderen Ausprägung hängen die erkennbaren Gesten, also sozusagen das Gestenvokabular, von einem odermehren aus den ermittelten Messwerten (S4) des Näherungssensors (H, D, K) abgeleiteten relevanten Messwert oder relevanten Messwerten oder den Messwerten (S4) selbst ab.
Bei der Erfindung handelt es sich somit um eine Gestenerkennungsvorrichtung zur vereinfachten Erkennung von Mehrfingergesten bei der Bedienung von Mensch-Maschine-Schnittstellen im Zusammenwirken mit mindestens einem Bildschirm (DS) in einem Kraftfahrzeug. Sie zeichnet sich dadurch aus, dass sie mindestens einen Annäherungssensor (H, D, K) umfasst, der mindestens einen ersten Messwert (S4) misst. Eine Nähungssensorsteuerung (NC) ermittelt oder berechnet einen relevanten Messwert (RM), der ein Abstandswert und/oder ein Reflexionswert und/oder Transmissionswert eines Objektes (O), vorzugsweise des Gestenerkennungsobjektes (O), außerhalb der Gestenerkennungsvorrichtung (GV) ist, aus dem ersten Messwert (S4) oder den ggf. mehreren ersten Messwerten (S4). Des Weiteren umfasst sie mindestens ein eindimensionales und/oder zweidimensionales Infrarotsensor-Array (PIRA) mit mindestens zwei Infrarotsensoren (PIR₁, PIR₂, ... PIR_k) innerhalb des Infrarotsensor-Arrays (PIRA), die jeweils empfindlich für die Wärmestrahlung eines menschlichen Körpers sind und jeweils ein Infrarotmesssignal (IM₁ bis IM_k) liefern. Darüber hinaus umfasst sie mindestens eine optische Projektionsvorrichtung (L). Diese ist erfindungsgemäß dazu vorgesehen und eingerichtet, zumindest zeitweise ein Infrarotbild eines Infrarotstrahles, der vorzugsweise identisch mit dem Gestenerkennungsobjekt (O) ist, außerhalb der Gestenerkennungsvorrichtung (GV) auf das besagte Infrarotsensor-Array (PIRA) und damit auf die Infrarot-Sensoren (PIR₁ bis PIR_k) zu projizieren. Eine Auswertevorrichtung (AV) vergleicht den ersten Messwert (S4) oder einen aus den Messwerten (S4) berechneten oder sonst wie ermittelten relevanten Messwert (RM) mit einer ersten Schwelle. Die Auswertevorrichtung (AV) führt typischerweise immer dann ein Verfahren zur Gestenerkennung auf Basis der besagten k, mindestens jedoch zwei Infrarotmesssignale (IM₁ bis IM_k), die das Infrarotsensor-Array (PIRA) liefert, durch. Dies geschieht jedoch nur dann, wenn der relevante Messwert (RM) entweder a) unterhalb oder b) oberhalb der ersten Schwelle (SW1) liegt. In einer Realisierung gibt die Auswertevorrichtung (AV) nur in genau einem vorbestimmten, eingestellten oder programmierten Fall der beiden vorgenannten Fälle a und b anschließend das Gestenerkennungsergebnis durch ein Signal (32) aus oder bedient in Abhängigkeit von dem Gestenerkennungsergebnis einen Aktor oder ändert sonst wie den Systemzustand der Gestenerkennungsvorrichtung oder den Systemzustand einer Vorrichtung, deren Teil die Gestenerkennungsvorrichtung ist. Alternativ kann die Auswertevorrichtung (AV) in Abhängigkeit von dem Gestenerkennungsergebnis auch den Systemzustand eines Vorrichtungssystems, deren Teil die Gestenerkennungsvorrichtung ist, verändern.
In einer weiteren Ausprägung der Erfindung zeichnet sich diese dadurch aus, dass die Auswertevorrichtung (AV) ein Verfahren zur Gestenerkennung nicht nur auf Basis der mindestens zwei Infrarotmesssignale (IM₁ bis IM_k), die das Infrarotsensor-Arrays (PIRA) durchführt, sondern gleichzeitig auch zumindest einen ersten Messwertes (S4) des mindestens einen Annäherungssensors (H, D, K) oder einen daraus abgeleiteten relevanten Messwert (RM) für diese Gestenerkennung verwertet, um ein Gestenerkennungsergebnis zu erhalten und anschließend über ihren Ausgang (32) zu signalisieren).
In einer weiteren Ausprägung der Erfindung zeichnet sich diese dadurch aus, dass der Näherungssensor (H, D, K) ein Halios-Sensor-System ist. Es umfasst in diesem Fall mindestens einen Sender (H_i) in Form mindestens einer LED, der ein optisches Sendesignal (I1_i) in Abhängigkeit von einem Senderspeisesignal (S5_i) in den Raum vor dem Bildschirm (DS) sendet, und eine Fotodiode (D_j), die ein Empfangssignal (S0_j) in Abhängigkeit von dem an einem Gestenerkennungsobjekt (O) oder sonstigem Objekt (O) reflektierten oder durch dieses transmittierten optischen Sendesignal (I3_j) liefert. Das Gestenerkennungsobjekt (O) oder sonstiges Objekt (O) befindet sich dabei vor dem Bildschirm (DS). Eine Näherungssensorsteuerung (NC) erzeugt das Senderspeisesignal (S5_i) und mindestens ein Ausgangssignal (S4) oder einen Messwert in Abhängigkeit von dem Empfangssignal (S0_j). Das Ausgangssignal (S4) führt die Näherungssensorsteuerung (NC) der besagten Auswertevorrichtung (AV) zu, wobei Auswertevorrichtung (AV) und Näherungssensorsteuerung (NC) eine gemeinsame Vorrichtung bilden können.
In einer weiteren Ausprägung der Erfindung zeichnet sich die Erfindung darüber hinaus dadurch aus, dass der Näherungssensor (H, D, K) mindestens einen Kompensationssender (K_j) in Form mindestens einer LED, der ein optisches Kompensationssendesignal (I2_j) in Abhängigkeit von einem Kompensationsspeisesignal (S3_i) liefert. Die Näherungssensorsteuerung (NC) erzeugt dabei Kompensationsspeisesignal (S3_i), wobei die regelnde Erzeugung des Sendesignals (S5_i) und des Kompensationsspeisesignals (S3_j) so erfolgt, dass das Empfangssignal (S0_j) keine Signalanteile des Kompensationsspeisesignals (S3_i) und des Sendesignals (S5_i) mehr enthält.
In einer weiteren Ausprägung der Erfindung zeichnet sich die se dadurch aus, dass das Infrarotsensor-Array eine ein oder zweidimensionale Anordnung von k passiven Infrarot-Sensoren ist. Dabei und im Folgenden ist k eine positive Zahl größer gleich zwei. Ein passiver Infrarot-Sensor (PIR_l) dieser passiven Infrarot-Sensoren (PIR₁ bis PIR_k) ist im Sinne dieser Offenlegung dadurch gekennzeichnet ist, dass er jeweils zumindest ein pyroelektrisches Element enthält und dass das zugehörige Infrarotmesssignal (IM_l) des betreffenden passiven Infrarotsensors (PIR_l) bei Infrarotbestrahlung des pyroelektrischen Elements des betreffenden passiven Infrarotsensors (PIR_l) sich ändert.
In einer weiteren alternativen Ausprägung der Erfindung zeichnet sich diese dadurch aus, dass das Infrarotsensor-Array ein Thermopile-Sensor-Array (TPA) mit einer ein- oder zweidimensionale Anordnung von Thermopile-Sensoren (TP₁ bis TP_k) ist. Dabei ist ein Thermopile-Sensor (TP_l) dieser Thermopile-Sensoren (TP₁ bis TP_k) im Sinne dieser Offenlegung dadurch gekennzeichnet, dass er zumindest ein Sensorelement als Teilvorrichtung seiner selbst enthält, das dazu vorgesehen und eingerichtet ist, eine elektrische Spannung als Infrarotmesssignal (IM_l) zu erzeugen, deren Spannungswert von der Temperatur des Sensorelementes abhängt. Eine Bestrahlung des Sensorelementes des Thermopile-Sensors (TP_l) mit Infrarotstrahlung ändert die Temperatur des Sensorelements des Thermopile-Sensors (TP_l) dabei in der Art, dass sich die durch den Thermopile-Sensor (TP_l) erzeugte elektrische Spannung und damit das zugehörige Infrarotmesssignal (IM_l) des betreffenden Thermopile-Sensors (TP_l) ändert.
In einer weiteren Ausprägung der Erfindung zeichnet sich die Erfindung dadurch aus, dass das Infrarotsensor-Array ein Bolometerarray (BA) in Form einer ein- oder zweidimensionalen Anordnung von Bolometern (B₁ bis B_k) ist. Dabei ist ein Bolometer (B_l) dieser Bolometer (B₁ bis B_k) im Sinne dieser Offenlegung dadurch gekennzeichnet, dass es zumindest ein Sensorelement enthält, das dazu vorgesehen und eingerichtet ist, einen von seiner Temperatur abhängigen elektrischen Widerstand zu haben, dessen Widerstandswert von der Temperatur des Sensorelementes abhängt. Eine Bestrahlung des Sensorelementes mit Infrarotstrahlung ändert die Temperatur des Sensorelements des betreffenden Bolometers (B_l) in der Art, dass sich der elektrische Widerstandswert des Sensorelementes sich ändert. Ein solches Sensorelement ist typischerweise dazu vorgesehen, elektrisch hinsichtlich des Widerstandswerts vermessen zu werden, um das besagte Infrarotmesssignal (IM_l) des betreffenden Bolometers (B_l) zu erzeugen.
Die Erfindung betrifft somit auch ein Verfahren für die Unterscheidung von Annäherungs- und Zweifingergesten bei der Erkennung von Gesten mittels einer Gestenerkennungsvorrichtung bei der Bedienung von Mensch-Maschine-Schnittstellen im Zusammenwirken mit mindestens einem Bildschirm (DS) in einem Kraftfahrzeug mittels eines Gestenerkennungsobjektes (O). Das erfindungsgemäße Verfahren umfasst die Schritte:

a. Erfassung mindestens eines relevanten Messwertes für (RM) einen Abstand und/oder die Reflexionsamplitude und/oder eine Transmissionsamplitude eines Gestenerkennungsobjekts (O) außerhalb der Gestenerkennungsvorrichtung (GV) mittels mindestens eines Annäherungssensors (H, D, K);
b. Projizieren eines Infrarotbilds eines Infrarotstrahles, der vorzugsweise identisch mit dem Gestenerkennungsobjekt (O) außerhalb der Gestenerkennungsvorrichtung (GV) vor dem Bildschirm (DS) ist, auf ein Infrarotsensor-Array (PIRA) mittels mindestens einer optischen Projektionsvorrichtung (L);
c. Erzeugen von mindestens zwei Infrarotmesssignalen (IM₁ bis IM_k) mittels mindestens eines eindimensionalen und/oder zweidimensionalen Infrarotsensor-Arrays (PIRA) mit mindestens zwei Infrarotsensoren (PIR₁ bis PIR_k) innerhalb des Infrarotsensor-Arrays (PIRA), die jeweils empfindlich für die Wärmestrahlung eines menschlichen Körpers, besser des Gestenerkennungsobjektes (O), sind und jeweils mindestens ein Infrarotmesssignal (IM_l) der Infrarotmesssignale (IM₁ bis IM_k) liefern;
d. Vergleich des relevanten Messwertes (RM) mit einem ersten Schwellwert (SW1) durch eine Auswertevorrichtung (AV);
e. Durchführen eines Verfahrens zu Gestenerkennung zur Ermittlung eines Gestenerkennungsergebnisses auf Basis der mindestens zwei Infrarotmesssignale (IM₁ bis IM_k), die das mindestens eine Infrarotsensor-Arrays (PIRA) liefert, wenn der relevante Messwert (RM) entweder unterhalb oder oberhalb der ersten Schwelle (SW1) liegt; (Hier ist es selbstverständlich nur sinnvoll, wenn ausschließlich eine dieser beiden möglichen Vergleichsergebnisse in dem angewandten Verfahren verwendet werden.)
f. Auswertung des Gestenerkennungsergebnisses durch die Auswertevorrichtung (AV) mittels
i. Ausgabe des zur Ermittlung eines Gestenerkennungsergebnisses durch Signalisierung über ein Ausgangssignal (32) und/oder
ii. Bedienung eines Aktors in Abhängigkeit von dem Gestenerkennungsergebnis und/oder
iii. Veränderung des Systemzustands der Gestenerkennungsvorrichtung, die dieses Verfahren durchführt, in Abhängigkeit von dem Gestenerkennungsergebnis und/oder
iv. Veränderung des Systemzustands der Vorrichtung, deren Teil die Gestenerkennungsvorrichtung ist, die dieses Verfahren durchführt, in Abhängigkeit von dem Gestenerkennungsergebnis und/oder
v. Veränderung des Systemzustands eines Vorrichtungssystems, deren Teil die Gestenerkennungsvorrichtung ist, die dieses Verfahren durchführt, in Abhängigkeit von dem Gestenerkennungsergebnis.

In einer weiteren Ausprägung des Verfahrens umfasst dieses Verfahren zur Ermittlung eines Gestenerkennungsergebnisses zusätzlich das Durchführen eines Teilverfahrens zu Gestenerkennung auf Basis der mindestens zwei Infrarotmesssignale (IM₁ bis IM_k), die das Infrarotsensor-Arrays (PIRA) liefert, bei gleichzeitiger Berücksichtigung zumindest des relevanten Messwertes (RM) für diese Gestenerkennung.
In einer weiteren Ausprägung der Erfindung wird ein Verfahren angewandt, das zusätzlich folgende Schritte umfasst:

a. Erzeugen mindestens eines amplitudeN,Modulierten Senderspeisesignals (S5_i);
b. Erzeugen mindestens eines amplitudeN,Modulierten Kompensationsspeisesignals (S3_i);
c. Erzeugen eines optischen Sendesignals (I1_i), das von dem Senderspeisesignal (S5_i) abhängt;
d. Erzeugen eines optischen Kompensationssendesignals (I2_j), das von dem Kompensationsspeisesignal (S3_j) abhängt;
e. Reflexion des optischen Sendesignals (I1_i) an dem Objekt (O) zur Erzeugung eines reflektierten optischen Sendesignals (I3_j)
f. linear überlagerndes Empfangen des reflektierten optischen Sendesignals (I3_j) und des optischen Kompensationssendesignals (I2_j) in mindestens einer Fotodiode (D_j) zur Erzeugung eines der Fotodiode (D_j) zugeordneten Empfangssignals (S0_j);
g. wobei die Erzeugung des Sendesignals (S5_i) und des Kompensationsspeisesignals (S3_i) so mittels eines Regelwertes erfolgt,
i. dass das Empfangssignal (S0_j) keine Signalanteile des Kompensationsspeisesignals (S3_i) und des Sendesignals (S5_i) mehr enthält und
ii. dass die mittlere Amplitude und/oder die Phase des Senderspeisesignals (S5_i) und/oder Kompensationsspeisesignals (S3_j) proportional von einem Regelwert (S4) abhängt;
h. Verwendung des Regelwerts (S4) als ersten Messwert oder Erzeugen eines relevanten Messwertes (RM) in Abhängigkeit von dem Regelwert (S4);

Eine weitere mögliche Variante des Verfahrens zeichnet sich dadurch aus, dass das Infrarotsensor-Array (PIRA) eine ein- oder zweidimensionale Anordnung von passiven Infrarot-Sensoren (PIR₁ bis PIR_k) ist. Ein passiver Infrarot-Sensor (PIR₁) dieser passiven Infrarotsensoren (PIR₁ bis PIR_k) ist dabei dadurch gekennzeichnet, dass er zumindest ein pyroelektrisches Element enthält und dass das zugehörige Infrarotmesssignal (IM_l) des betreffenden passiven Infrarot-Sensors (PIR_l) bei Infrarotbestrahlung des pyroelektrischen Elements sich ändert.
Eine weitere Variante des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass das Infrarotsensor-Array ein Thermopile-Array (TPA) einer ein- oder zweidimensionale Anordnung von Thermopile-Sensoren (TP₁ bis TP_k) ist. Ein Thermopile-Sensor (TP_l) ist dabei dadurch gekennzeichnet, dass er zumindest ein Sensorelement enthält, das dazu vorgesehen und eingerichtet ist, eine elektrische Spannung als Infrarotmesssignal (IM_l) zu erzeugen, deren Spannungswert von der Temperatur des Sensorelementes abhängt. Eine Bestrahlung des Sensorelementes mit Infrarotstrahlung ändert die die Temperatur des Sensorelements dabei so, dass sich die durch das Thermopile-Sensorelement erzeugte elektrische Spannung und damit das Infrarotmesssignal (IM_l) des betreffenden Thermopilesensors (TP_l) ändert.
Eine weitere Variante des Verfahrens zeichnet sich dadurch aus, dass das Infrarotsensor-Array ein Bolometer-Array (BA) in Form einer ein- oder zweidimensionalen Anordnung von Bolometern (B₁ bis B_k) ist. Ein Bolometer (B_l) ist im Sinne dieser Offenbarung dadurch gekennzeichnet, dass es zumindest ein Sensorelement enthält, das dazu vorgesehen und eingerichtet ist, einen von seiner Temperatur abhängigen elektrischen Widerstand zu haben, dessen Widerstandswert von der Temperatur des Sensorelementes abhängt. Eine Bestrahlung des Sensorelementes mit Infrarotstrahlung ändert die Temperatur des Sensorelementes dabei so, dass sich der elektrische Widerstand des Sensorelementes ändert. Das Sensorelement ist in diesem Fall also dazu vorgesehen, elektrisch hinsichtlich des Widerstandswerts vermessen zu werden, um das besagte betreffende Infrarotmesssignal (IM_l) zu erzeugen.
Vorteile der Erfindung
Durch die Erfindung wird es möglich, mit Hilfe weniger preiswerter Komponenten ein Gestenerkennungssystem aufzubauen, dass zur Erkennung einer Zwei-Finger-Geste in der Lage ist. Der Kostenpunkt liegt dabei unter dem eines vergleichbaren Systems entsprechend der DE 10 2012 024 778 A1 . Auch ist das System kostengünstiger als eine echte 3D-TOF-Kamera oder ein System basierend auf einer Stereo-Kamera.
Bezugszeichenliste

32: Ausgangssignal der Auswertevorrichtung (AV). Es kann sich um ein digitales oder analoges Einzelsignal, aber auch um einen Bus solcher Signale handeln. Mit diesem Signal signalisiert die Auswertevorrichtung das Gestenerkennungsergebnis an nachfolgende Vorrichtungen. Hierbei kann es sich auch um eine Bildschirmdarstellung oder eine andere Darstellung mittels einer anderen Ausgabeeinheit handeln.
A_i,j: i, j-ter Addierer (1 ≤ i ≤ N) (1 ≤ j ≤ M)
AG: Ausführung der Geste. Z. B. Betätigung eines Aktors und/oder Signalisierung nach außen etc.
AM: Abstandsmessung
AV: Auswertevorrichtung
B₁: erstes Teilbolometer des Bolometerarrays BA
B_l: l-tes Teilbolometer des Bolometerarrays BA
B_j: j-tes Teilbolometer des Bolometerarrays BA
B_k: k-tes Teilbolometer des Bolometerarrays BA
BA: Bolometerarray. Dies ist eine Ausführungsform des Infrarotsensorarrays.
B_j: j-ter Offset (1 ≤ j ≤ M)
BG: Prüfungsschritt auf eine bekannte Geste
d: Schwellabstand, der den Bereich I vom Bereich II trennt.
DS: Bildschirm
F: optisches Fenster
F1_i,j: i, j-ter Filter (mit 1 ≤ i ≤ N und 1 ≤ j ≤ M)
GE: Gestenerkennungsschritt
GH: Gehäuse des Bildschirms
GHP: Gehäuse des Infratot-Sensor-Arrays
G_i: i-ter von N Signalgeneratoren. Es kann sich auch nur um einen Signalgenerator handeln, der N verschiedene Sendesignal (S5_i) erzeugt. Zu der Natur der Signale wird auf die im Text erwähnte Literatur verwiesen. (1 ≤ i ≤ N)
GV: Gestenerkennungsvorrichtung
H₁: erster Sender, typischerweise eine Infrarot LED
H_i: i-ter Sender, typischerweise eine Infrarot LED (1 ≤ i ≤ N)
H_N: N-ter Sender, typischerweise eine Infrarot LED
I1₁: erstes optisches Sendesignal, das durch den ersten Sender (H₁) abgestrahlt wird.
I1_i: i-tes optisches Sendesignal, das durch den i-ten Sender (H_i) abgestrahlt wird. (1 ≤ i ≤ N)
I1_N: N-tes optisches Sendesignal, das durch den N-ten Sender (H_N) abgestrahlt wird.
I2₁: erstes optisches Kompensationssendesignal
I2_j: j-tes optisches Kompensationssendesignal (1 ≤ j ≤ M)
I2_M: M-tes optisches Kompensationssendesignal
I3₁: erstes reflektiertes optisches Sendesignal, das die Überlagerung der durch das Objekt (O) durch Reflektion und/oder Transmission modifizierten optischen Sendesignale (S1_l bis S1_N) ist, das auf den ersten Empfänger (D₁) fällt.
I3_j: j-tes reflektiertes optisches Sendesignal, das die Überlagerung der durch das Objekt (O) durch Reflektion und/oder Transmission modifizierten optischen Sendesignale (S1₁ bis S1_N) ist, das auf den j-ten Empfänger (D_j) fällt. (1 ≤ j ≤ M)
I3_M: M-tes reflektiertes optisches Sendesignal, das die Überlagerung der durch das Objekt (O) durch Reflektion und/oder Transmission modifizierten optischen Sendesignale (S1₁ bis S1_N) ist, das auf den M-ten Empfänger (D_M) fällt.
IM₁: erstes Infrarotmesssignal
IM_j: j-tes Infrarotmesssignal (1 ≤ j ≤ k)
IM_l: l-tes Infrarotmesssignal (1 ≤ l ≤ k)
IM_k: k-tes Infrarotmesssignal
K₁: erster Kompensationssender
K_j: j-ter Kompensationssender
K_M: M-ter Kompensationssender
M1_i,j: i, j-ter Multiplizierer
M2_i,j: weiterer i, j-ter Multiplizierer
NC: Näherungssensorsteuerung
O: zu erfassendes Objekt
OJI: Objekt in Bereich I
OJII: Objekt in Bereich II
PIR₁: erster Infrarot-Sensor eines Infrarot-Sensor-Arrays (PIRA)
PIR₂: zweiter Infrarot-Sensor eines Infrarot-Sensor-Arrays (PIRA)
PIR_j: j-ter Infrarot-Sensor eines Infrarot-Sensor-Arrays (PIRA) (1 ≤ j ≤ k)
PIR_l: l-ter Infrarot-Sensor eines Infrarot-Sensor-Arrays (PIRA) (1 ≤ l ≤ k)
PIR_K: k-ter Infrarot-Sensor eines Infrarot-Sensor-Arrays (PIRA)
PIRA: Infrarot-Sensor-Array
PIRA₁: erstes Infrarot-Sensor-Array
PIRA₂: zweites Infrarot-Sensor-Array
RM: Relevanter Messwert. Der relevante Messwert wird durch die Näherungssensorsteuerung (NC) durch Selektion und/oder Berechnung aus den typischerweise N×M Messwerten (S4) des Näherungsensors (H_i, D_j, K_j) (mit 1 ≤ i ≤ N und 1 ≤ j ≤ M) erzeugt.
SdT: Stand der Technik
S0₁: erstes Empfangssignal
S0_j: j-tes Empfangssignal (1 ≤ j ≤ M)
S0_M: M-tes Empfangssignal
S1₁: erstes verstärktes Empfangssignal
S1_j: j-tes Empfangssignal (1 ≤ j ≤ M)
S1_M: M-tes verstärktes Empfangssignal
S3₁: erstes Kompensationsspeisesignal
S3_j: j-tes Kompensationsspeisesignal (1 ≤ j ≤ M)
S3_M: M-tes Kompensationsspeisesignal
S4_i,j: i, j-tes verstärktes Filterausgangssignal (1 ≤ i ≤ N) (1 ≤ j ≤ M)
S5_M: M-tes Sendesignal
S5_i: i-tes Sendesignal (1 ≤ i ≤ N
S5_N: N-tes Sendesignal
S6_i,j: i, j-tes Kompensationsspeisevorsignal (1 ≤ i ≤ N) (1 ≤ j ≤ M)
S6_j: j-tes Kompensationsspeisevorsignal (1 ≤ i ≤ N) (1 ≤ j ≤ M)
S9_i,j: i, j-tes multipliziertes Empfangssignal (1 ≤ i ≤ N) (1 ≤ j ≤ M)
S10_i,j: i, j-tes Filterausgangssignal (1 ≤ i ≤ N) (1 ≤ j ≤ M)
SG: Schutzgas oder Vakuum
SW₁: erste Schwelle, die vorgegeben und/oder eingestellt und/oder programmiert sein kann
TPA: Thermopile-Array als spezielle Form des Infrarotsensor-Arrays
TP₁: erstes Thermopile als Teil des Thermopile-Arrays (TPA)
TP_l: l-tes Thermopile als Teil des Thermopile-Arrays (TPA) (1 ≤ l ≤ k)
TP_k: k-tes Thermopile als Teil des Thermopile-Arrays (TPA)
V₁: erster Vorverstärker
V_j: j-ter Vorverstärker (1 ≤ j ≤ M)
V_M: M-ter Vorverstärker
VN_i,j: i, j-ter Nachverstärker (1 ≤ i ≤ N) (1 ≤ j ≤ M)

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1913420 B1 [0003]
DE 102007005187 B4 [0003]
DE 102005045993 B4 [0003, 0003]
DE 102005045993 A1 [0003]
DE 102012024597 B4 [0003]
DE 102013013664 B3 [0003]
EP 2631674 [0003]
EP 2924466 [0003]
EP 2924459 [0003]
EP 2924460 [0003]
EP 1979764 B8 [0003]
EP 1979764 B1 [0003]
WO 2008092611 A1 [0003]
EP 2679982 A1 [0003, 0003]
EP 2016480 B1 [0003, 0004]
EP 2598908 A1 [0003]
WO 2013113456 A1 [0003]
EP 2653885 A1 [0003]
EP 2405283 B1 [0003]
EP 2602635 B1 [0003]
EP 1671160 B1 [0003]
WO 2013037465 A1 [0003]
EP 1901947 B1 [0003]
EP 1747484 B1 [0003]
EP 2107550 A3 [0003]
EP 1723446 B1 [0003]
EP 1435509 B1 [0003, 0004]
EP 801726 B1 [0003, 0003]
EP 1269629 B1 [0003]
EP 1480015 A1 [0003]
EP 1410507 B1 [0003, 0004]
DE 4339574 C2 [0003]
DE 4411770 C1 [0003]
DE 4411773 C2 [0003]
WO 2013083346 A1 [0003]
WO 2013076079 A1 [0003]
WO 2013156557 A1 [0003]
EP 2594023 A1 [0004]
US 20120326958 A1 [0004]
EP 1258084 B1 [0004]
DE 102006020570 A1 [0004]
DE 10133823 A1 [0004]
DE 102012010627 A1 [0004]
DE 102012024778 A1 [0004, 0016, 0016, 0016, 0016, 0018, 0018, 0018, 0018, 0018, 0036]
DE 102012025564 A1 [0004]
DE 102013019660 A1 [0004]

Claims

Gestenerkennungsvorrichtung (GV) zur vereinfachten Erkennung von Mehrfingergesten bei der Bedienung von Mensch-Maschine-Schnittstellen im Zusammenwirken mit mindestens einem Bildschirm (DS) in einem Kraftfahrzeug mittels eines Gestenerkennungsobjektes (O), gekennzeichnet dadurch, a. dass sie mindestens einen Näherungssensor (H, D, K) umfasst, der mindestens einen ersten Messwert misst und einen relevanten Messwert (RM) aus den ggf. mehreren ersten Messwerten ermittelt oder berechnet, der ein Abstandswert und/oder ein Reflexionswert und/oder ein Transmissionswert des Gestenerkennungsobjektes (O) ist, und b. dass sie mindestens ein eindimensionales und/oder zweidimensionales Infrarotsensor-Array (PIRA) mit mindestens zwei Infrarotsensoren (PIR₁ bis PIR_k) innerhalb des Infrarotsensor-Arrays (PIRA), die jeweils empfindlich für die Wärmestrahlung des Gestenerkennungsobjekts (O) sind und jeweils ein Infrarotmesssignal (IM₁ bis IM_k) liefern, umfasst und c. dass sie mindestens eine optische Projektionsvorrichtung (L) umfasst, die dazu vorgesehen und eingerichtet ist zumindest zeitweise ein Infrarotbild des Gestenerkennungsobjektes (O) auf das besagte Infrarotsensor-Array (PIRA) zu projizieren, und d. dass sie eine Auswertevorrichtung (AV) umfasst, die den relevanten Messwert (RM) mit einer ersten Schwelle (SW1) vergleicht und e. dass die Auswertevorrichtung (AV) ein Verfahren zur Gestenerkennung zur Ermittlung eines Gestenerkennungsergebnisses auf Basis der mindestens zwei Infrarotmesssignale (IM₁ bis IM_k), die das Infrarotsensor-Arrays (PIRA) liefert, durchführt, wenn der in Schritt d vorausgehende Vergleich genau ein erstes vorbestimmtes Ergebnis der beiden folgenden möglichen Ergebnisse ergibt, nämlich dass der relevante Messwert (RM) entweder unterhalb der ersten Schwelle (SW1) liegt oder oberhalb der ersten Schwelle (SW1) liegt, und im Falle des anderen Ergebnisses keine Gestenerkennung durchführt oder erkannte Gesten unterdrückt und f. anschließend an die Auswertevorrichtung (AV) das Gestenerkennungsergebnis durch ein Signal (32) ausgibt und/oder in Abhängigkeit vom dem Gestenerkennungsergebnis einen Aktor bedient und/oder sonst wie den Systemzustand der Gestenerkennungsvorrichtung (GV) und/oder den Systemzustand einer Vorrichtung, deren Teil die Gestenerkennungsvorrichtung (GV) ist, und/oder den Systemzustand eines Vorrichtungssystems, deren Teil die Gestenerkennungsvorrichtung (GV) ist, verändert.
Gestenerkennungsvorrichtung (GV) nach Anspruch 1 dadurch gekennzeichnet, g. dass die Auswertevorrichtung (AV) anstelle von Merkmal e des Anspruchs 1 ein Verfahren zur Gestenerkennung zur Ermittlung eines Gestenerkennungsergebnisses auf Basis der mindestens zwei Infrarotmesssignale (IM₁ bis IM_k), die das Infrarotsensor-Arrays (PIRA) liefert, und gleichzeitig auf Basis zumindest eines relevanten Messwertes (RM) des mindestens einen Näherungssensors (NC) durchführt, wenn der in Schritt d vorausgehende Vergleich genau ein erstes vorbestimmtes Ergebnis der beiden folgenden möglichen Ergebnisse ergibt, nämlich dass der relevante Messwert (RM) entweder unterhalb der ersten Schwelle (SW1) liegt oder oberhalb der ersten Schwelle (SW1) liegt, und im Falle des anderen Ergebnisses keine Gestenerkennung durchführt oder erkannte Gesten unterdrückt.
Gestenerkennungsvorrichtung (GV) nach Anspruch 1 oder 2 dadurch gekennzeichnet, a. dass der Näherungssensor (H, D, K) mindestens einen Sender (H_i) in Form mindestens einer LED, der ein optisches Sendesignal (I1_i) in Abhängigkeit von einem Senderspeisesignal (S5_i) liefert, und eine Fotodiode (D_j), die ein Empfangssignal (S0_j) in Abhängigkeit von dem an einem Objekt (O) reflektierten optischen Sendesignal (I3_j) liefert, und eine Näherungssensorsteuerung (NC) umfasst, die das Senderspeisesignal (S5_i) erzeugt und mindestens ein Ausgangssignal in Form eines Regelsignals (S4_i,j) oder einen Messwert in Abhängigkeit von dem Empfangssignal (S0_j) erzeugt und der Auswertevorrichtung (AV) zuführt, wobei Auswertevorrichtung (AV) und Näherungssensorsteuerung (NC) eine gemeinsame Teilvorrichtung bilden können.
Gestenerkennungsvorrichtung (GV) nach Anspruch 3 dadurch gekennzeichnet, a. dass der Näherungssensor (H, D, K) mindestens einen Kompensationssender (K_j) in Form mindestens einer LED, der ein optisches Kompensationssendesignal (I2_j) in Abhängigkeit von einem Kompensationsspeisesignal (S3_j) liefert, und die Näherungssensorsteuerung (NC) das Kompensationsspeisesignal (S3_j) erzeugt, wobei die regelnde Erzeugung des Sendesignals (S5_i) und des Kompensationsspeisesignals (S3_j) in Abhängigkeit von dem Regelsignal (S4_i,j) so erfolgt, dass das Empfangssignal (S0_j) keine Signalanteile des Kompensationsspeisesignals (S3_j) und des Sendesignals (S5_i) mehr enthält.
Gestenerkennungsvorrichtung (GV) nach einem oder mehreren der Ansprüche 1 bis 4 dadurch gekennzeichnet, a. dass des Infrarotsensor-Array (PIRA) eine ein oder zweidimensionale Anordnung von passiven Infrarot-Sensoren (PIR₁ bis PIR_k) ist, wobei ein passiver Infrarot-Sensor (PIR_l) dieser passiven Infrarot-Sensoren (PIR₁ bis PIR_k) dadurch gekennzeichnet ist, dass er zumindest ein pyroelektrisches Element enthält und dass das zugehörige Infrarotmesssignal (IM_l) dieses passiven Infrarot-Sensors (PIR_l) bei Infrarotbestrahlung des pyroelektrischen Elements dieses passiven Infrarot-Sensors (PIR_l) sich ändert.
Gestenerkennungsvorrichtung (GV) nach einem oder mehreren der Ansprüche 1 bis 4 dadurch gekennzeichnet, a. dass das Infrarotsensor-Array (TPA) eine ein oder zweidimensionale Anordnung von Thermopile-Sensoren (TP₁ bis TP_k) ist, wobei ein Thermopile-Sensor (TP_l) dieser Thermopile-Sensoren (TP₁ bis TP_k) dadurch gekennzeichnet ist, dass er zumindest ein Sensorelement enthält, das dazu vorgesehen und eingerichtet ist, eine elektrische Spannung als Infrarotmesssignal (IM_l) des betreffenden Thermopile-Sensors (TP_l) zu erzeugen, deren Spannungswert von der Temperatur des Sensorelementes abhängt und dass eine Bestrahlung des Sensorelementes des betreffenden Thermopile-Sensors (TP_l) mit Infrarotstrahlung die Temperatur des Sensorelementes des betreffenden Thermopile-Sensors (TP_l) so ändert, dass sich die erzeugte elektrische Spannung des Sensorelementes des betreffenden Thermopile-Sensors (TP_l) und damit das Infrarotmesssignal (IM_l) des Sensorelementes des betreffenden Thermopile-Sensors (TP_l) ändert.
Gestenerkennungsvorrichtung (GV) nach einem oder mehreren der Ansprüche 1 bis 4 dadurch gekennzeichnet, b. dass das Infrarotsensor-Array (BA) eine ein oder zweidimensionale Anordnung von Bolometern (B₁ bis B_k) ist, wobei ein Bolometer (B_l) dieser Bolometern (B₁ bis B_k) dadurch gekennzeichnet ist, dass er zumindest ein Sensorelement enthält, das dazu vorgesehen und eingerichtet ist, einen von seiner Temperatur abhängigen elektrischen Widerstand zu haben, dessen Widerstandswert von der Temperatur des Sensorelementes des betreffenden Bolometers (B_l) abhängt und dass eine Bestrahlung des Sensorelementes des betreffenden Bolometers (B_l) mit Infrarotstrahlung die Temperatur des Sensorelementes des betreffenden Bolometers (B_l) so ändert, dass sich dessen elektrischer Widerstand ändert und dass es dazu vorgesehen ist, elektrisch hinsichtlich des Widerstandswerts vermessen zu werden, um das besagte Infrarotmesssignal (IM_l) des betreffenden Bolometers (B_l) zu erzeugen.