DE10242890A1

DE10242890A1 - Kostenbewusste visuelle Interaktion über ein Distanzsensorenfeld

Info

Publication number: DE10242890A1
Application number: DE10242890A
Authority: DE
Inventors: Michael Geiger
Original assignee: Technische Universitaet Muenchen
Current assignee: GEIGER, MICHAEL, 80807 MUENCHEN, DE
Priority date: 2002-09-16
Filing date: 2002-09-16
Publication date: 2004-03-25

Abstract

Die hier umschriebene Problemlösung zielt darauf ab, visuelle Interaktion mit möglichst einfachen und kostengünstigen Mitteln zu ermöglichen. Vorgeschlagen wird dazu eine Einrichtung zur Erfassung einer Geste eines beweglichen Körperteils (K, H) zur Steuerung eines technischen Geräts (100) oder zur Vermittlung eines Merkmalverlaufs an eine Vergleichereinrichtung (84; 82, 86, 83, 90) zur Erkennung eines Gesteninhalts. Die Einrichtung weist eine Sensoreinrichtung (15, 16) mit mehreren Abstandssensoren (S1, S2, S3, S4) auf, welche jeweils eigenständig ein Meßsignal (a1(t), a2(t)) abgeben. Die mehreren Abstandssensoren stehen in ihrer Anordnung relativ zueinander in einer im wesentlichen festen geometrischen Beziehung und sind an einen Träger (10, 11) fest anbringbar. Es entsteht dadurch ein Sensorfeld (15, 16) von Abstandssensoren und ein vor den Abstandssensoren in Richtung ihrer Abstandsmessung (z) gelegener dreidimensionaler Messraum (5, 6), in welchem Raum die Geste des beweglichen Körperteils stattfindet.

Description

Die Erfindung befasst sich mit dem oben genannten Themengebiet. In Anspruch 1 kommt das in seinen einleitenden Worten zum Ausdruck, ebenso wie im Anspruch 10.
Die natürliche Form eines zwischenmenschlichen Dialogs erfolgt durch Informationsaustausch auf akustischer, visueller und taktiler Ebene. Bei einer Mensch-Maschine-Kommunikation läuft eine Eingabe (als Kommunikation) "traditionell" über die taktile Ebene in Form von in erster Linie haptischer Bedienung (Tastatur, Touchscreen, Maus, Knöpfe, Schalter etc.). Während die automatische Spracherkennung immer häufiger eingesetzt wird, ist die visuelle Eingabeebene erst vor wenigen Jahren in das Interesse der Forschung gerückt – als Gestenerkennung. Die Nutzung der visuellen Ebene (oder: Kanals) hat sich als intuitive Eingabemodalität erwiesen, die den Mensch-Maschine-Dialog entscheidend verbessern kann.
Der Einsatz mehrerer Eingabekanäle (Multimodalität) ist ein Ansatz, der immer mehr an Bedeutung gewinnt. Dabei versucht man, jeweils die modalitäts-spezifischen Vorteile auszunutzen. Die Stärke der Spracheingabe liegt z.B. in der kompakten Übermittlung von komplexen Anweisungen. Auch die Eingabe über Gesten weist spezifische Vorteile auf. Sie kann eingesetzt werden, wo Spracherkennung aufgrund von lauten Störgeräuschen nur unzureichend funktioniert. Bei vielen kurzen Kommandos wie z.B. 'nächsten Menüpunkt auswählen' oder 'Ton stummschalten' (bei Multimedia Anwendungen) erweist sich die "gestische Eingabe" (gestik-veranlasste Eingabe) als schneller und somit effizienter als die Spracheingabe. Sie kann durch richtungsangebende Handgesten intuitiv erfolgen.
Systemrückfragen lassen sich durch einfaches Kopfnicken oder -schütteln beantworten. Analoge Einstellungen, wie z.B. die Regelung der Musiklautstärke, können sehr komfortabel mit kontinuierlichen Handbewegungen getätigt werden. Hier liegt übrigens eine Schwäche der Sprache, welche sich im allgemeinen nur für absolute Angaben eignet. Aktuelle Untersuchungen haben zudem gezeigt, daß gestische Bedienung mit geringeren Ablenkungseffekten einhergeht als die haptische. Dieser Aspekt ist vor allem dort von großer Bedeutung, wo die Aufmerksamkeit des Benutzers bereits auf eine andere Aufgabe gelenkt ist, z.B. das Führen eines Kraftfahrzeugs.
Auf dem heutigen Stand der Forschung wird an die automatische Gestenerkennung – naheliegend – mit Methoden der computergestützten Bildverarbeitung herangegangen. Merkmale (allgemein: charakteristische Datensequenz, welche die Information des zu erkennenden Musters trägt oder technisch objektiv beschreibt), die man für die Mustererkennung heranzieht, werden aus den Bilddaten von Bildgebern (Kameras) gewonnen. Sowohl die Vorverarbeitung der Eingangsdaten und die Berechnung der Merkmale als auch die eigentliche Mustererkennung gestalten sich hierbei als sehr rechenaufwändig. Veränderliche Bildhintergründe und wechselnde Lichtverhältnisse sind dabei Störgrößen, die bislang große Probleme bereiten und meist mit zusätzlichem Rechenaufwand verbunden sind. Somit ist mit dem fehler-robusten und vor allem wirtschaftlichen Einsatz der auf Videosignalen basierenden Gestenerkennung in der nächsten Zukunft nicht zu rechnen.
Eine Erkennung von Gesten durch am Körper befestigte Sensoren oder Sender erfolgt in JP 11-259 206 A (Fujitsu) oder gemäß US 5,714,698 (Tokioka), dort abhängig von einem Distanzsensor 5 (dortige 4), welcher Distanzsensor ein Ultraschallsensor oder ein Magnetsensor sein kann, der aber auch mit Licht arbeiten kann, vgl. dort Spalte 6, Zeile 64 ff. und Spalte 8, Zeile 14 sowie Zeile 55. Die dort beschriebene Verwendung von Beschleunigungssensoren zur Erkennung von Gesten erfordert es, daß diese an dem beweglichen Körperteil angeordnet sind. Erst zusätzlich kann ein Abstandssensor herangezogen werden, der aber nicht alleine und eigenständig in der Lage ist, eine Geste zu erkennen. Es wird sogar vorgeschlagen, den Abstandssensor auch an der Person zu befestigen, dort wo in der bezogenen Schrift die Position 3a in 3 gezeigt ist, vgl. Spalte 6, Zeile 65/66.
Die hier umschriebene Problemlösung (Erfindung) zielt darauf ab, visuelle Interaktion mit möglichst einfachen und kostengünstigen Mitteln zu ermöglichen – technische Problemstellung.
Anstelle einer Kamera werden Distanzsensoren für die Merkmalgewinnung verwendet (Anspruch 1). Die Kombination mehrer Sensoren zu einem Array ermöglicht die Erfassung von 3D-Information eines "beobachteten" Szenarios, beispielsweise durch IR-Sensoren (Anspruch 5).
Sowohl die Anzahl der eingesetzten Sensoren als auch deren Plazierung und Ausrichtung bestimmen dabei den Informationsgehalt (Anspruch 2). Bereits wenige Sensoren reichen für eine robuste Gestenerkennung aus (Anspruch 4). Sie liefern kompakte Daten, die sich mit konventionellen Mustererkennungs-Methoden bei verhältnismäßig geringem Aufwand verarbeiten, insbesondere klassifizieren lassen (Anspruch 9). Die Anordnung der Sensoren erfolgt so, daß die mehreren Sensoren möglichst unterschiedliche Signalverläufe ergeben, wenn das bewegte Körperteil in einer geradlinigen Bewegung über das Sensorfeld herüberbewegt wird.
Beispielsweise eine Bewegung eines Körperteils mit einer Richtung in x-Richtung und senkrecht dazu in y-Richtung bieten eine gute Abschätzungsmöglichkeit für die Qualität der Verteilung der Einzelsensoren in dem Sensorfeld.
Wenn das bewegte Körperteil quer in x-Richtung über das Sensorfeld bewegt wird und keine der Sensoren gleiche oder sehr ähnliche Signalverläufe abgeben, ist eine gute Verteilung der Sensoren erreicht.
In gleicher Weise soll dieses Sensorfeld die unterschiedlichen Signalverläufe aber auch bei einer dazu senkrechten y-Bewegung des beweglichen Körperteils erbringen.
Erst beide Bewegungsrichtungen zusammen lassen den Schluß zu, ob die Sensoren in einer guten geometrischen Beziehung zueinander stehen, oder ob sie so angeordnet sind, daß mehrere Sensoren redundante Signale liefern, die keinen leistungsfähigen Beitrag zur Erkennung einer Geste beisteuern können. Mit anderen Worten ausgedrückt sollen die Sensoren so angeordnet sein, daß mit möglichst wenig Sensoren möglichst viel Abstandsinformation im dreidimensionalen Messraum bereitgestellt werden kann, und das in zumindest zwei zueinander senkrechten Richtungen.
Oberhalb der geometrisch in fester Beziehung angeordneten Abstandssensoren erstreckt sich die dritte Dimension, die in ihrer Höhenerstreckung abhängig von dem gewählten Typ der Abstandssensoren ist.
Werden empfindlichere Sensoren verwendet, können sie stärker den Nahbereich erfassen und haben keine zu hohe Erstreckung in Messachsenrichtung. Werden Sensoren mit einem größeren Unempfindlichkeitsbereich im Nahbereich verwendet, kann die Höhe des dreidimensionalen Messraumes größer werden und Abstandssignale auch für ein stärker beabstandetes, sich bewegendes Körperteil erzeugt werden.
Nach jeder Abtastung der Ausgangssignale des Sensorfeldes wird ein Trendvektor aus den letzten gemessenen Distanzwerten (Abstandswerten) berechnet. Bei einem jeweiligen Trendvektor handelt es sich um einen jeweils für die Mustererkennung verwendeten Merkmalvektor. Ihre Gesamtheit in einem Zeitintervall zwischen einem Beginn und einem Ende der berechneten und aufgezeichneten Trendvektoren sind der Merkmalverlauf und bilden das zu erkennende "Muster" der Geste, deren Beginn und Ende als "diskrete Geste" auch zwischen Beginn und Ende der aufgezeichneten Trendvektoren liegt (Anspruch 13).
Es wird erkannt, wann eine diskrete Geste beginnt, und wann sie endet (Anspruch 6). Diese "zeitliche Segmentierung" kann durch eine Bewegungsdetektion im dreidimensionalen Messraum realisiert sein.
Der Beginn einer Bewegung wird detektiert (Anspruch 6), beispielsweise wenn die Summe aller Komponenten einer vorgegeben Anzahl aufeinanderfolgender Trendvektoren einen vorgegebenen Bewegungs-Schwellenwert überschreitet. Ab diesem Zeitpunkt werden Abstandsvektoren erfaßt und Trendvektoren berechnet und aufgezeichnet, und zwar in einem Set (Pufferspeicher) gespeichert. Eine andere Möglichkeit der Erfassung von Bewegung ist die Erfassung des Zeitpunktes des Eintritts des beweglichen Körperteils in den dreidimensionalen Messraum. Auch dies kann der Beginn der Erfassung einer Geste sein.
Entsprechend endet die Bewegung, wenn ein vorgegebener Pause-Schwellenwert für eine bestimmte Anzahl von Vektoren (Trendvektoren) unterschritten wird. Eine Alternative der Erfassung des Endes einer Bewegung ist der Zeitpunkt des Verlassens des dreidimensionalen Messraums durch das bewegliche Körperteil.
Beginn und Ende der Bewegung, beispielsweise der Hand, müssen also nicht zwingend mit einem Stillstand verbunden sein, sondern können auch mit einem Eintritt und Austritt in das bzw. aus dem dreidimensionalen Messraum gegeben sein. Auch Kombinationen sind möglich zur Festlegung der Zeitspanne der diskreten Geste mit Anfang und Ende. Es entsteht dann symbolisch ein Rechtecksignal zur Kennzeichnung des Vorhandenseins einer Bewegung im 3D-Messraum.
Die in diesem Zeitintervall zwischen Beginn und Ende (Eintritt und Austritt) aufgezeichneten Trendvektoren sind ein Merkmalsverlauf und bilden zusammen das Muster, welches anschließend klassifiziert wird. Es besteht aus n Vektoren, mit jeweils m Komponenten (Skalaren). Dabei ist m die Anzahl der verwendeten Abstandssensoren. Bei n handelt es sich um die Länge des Merkmalverlaufs, d.h. der sich bei der vorgegebenen Abtastfrequenz und der Dauer der Geste ergebenden Anzahl von mdimensionalen Merkmalvektoren. Dies ist das die Geste möglichst eindeutig repräsentierende Muster.
Jeder Sensor liefert als Ausgangssignal eine von der Distanz abhängige Spannung, die mit der Abtastfrequenz in einen Zahlenwert gewandelt wird. Diese Abstandsmesswerte geben die absolute Position des bewegten Körperteils (gegenüber dem jeweiligen Sensor) wieder. Sie werden in Geschwindigkeiten (Relativgeschwindigkeiten) umgerechnet. Dies erfolgt bspw. durch eine Differenzbildung von aufeinanderfolgenden Messwerten. Da die Meßwerte jedoch mit einem gewissen Grundrauschen behaftet sind, wird zur Bestimmung der Relativgeschwindigkeit eine größere Anzahl von Abstandsvektoren (Distanzvektoren) herangezogen um eine höhere Robustheit zu erreichen. Dazu wird jeder gemessene Vektor in einen Puffer (Pufferspeicher oder Set) von bestimmter Länge (Zeitfensterlänge ws) geschrieben, wobei mit jedem Neuzugang der älteste Vektor aus dem Puffer gelöscht wird.
Für die im Puffer befindlichen Distanzvektoren kann komponentenweise die Steigung einer Trendgeraden berechnet. Komponentenweise heißt, daß von einem bestimmten Sensor alle Komponenten (Merkmale) aus dem Puffer zur Bestimmung der Steigung (der Lage der Trendgeraden) herangezogen werden.
Für jeden der beteiligten Sensoren ergibt sich eine gesonderte Trendgerade, so daß nach Abschluß der komponentenweisen Rechnung aus dem Abstands-Vektorpuffer mit den n × m Skalarwerten ein Trendvektor (Merkmal) geworden ist, der für jeden Distanzsensor die Steigung der zugehörigen Trendgeraden in dem jeweiligen Augenblick bereitstellt, also als ein geglätteter Momentanwert, der selbst als Momentanwert erscheint, aber mehrere Einflußgrößen in seinem nahen zeitlichen Umfeld besitzt (Anspruch 23).
Solange sich das Körperteil nicht bewegt, schwankt die Steigung der Trendgeraden um den Wert Null. Nähert sich das Körperteil mindestens einem der mehreren Sensoren, so ergibt sich mindestens eine Trendgerade (für zumindest eine der Komponenten) mit positiver Steigung. Dementsprechend erhält man für die Steigung der Trendgeraden negative Werte, wenn sich das bewegte Körperteil vom Sensor entfernt (bei einer 1/x Kennlinie von Abstand/Spannung der Abstandssensoren).
Die Eingrenzung einer "diskreten Geste", welche Beginn und Ende hat, erlaubt eine Umschaltung des Steuersystems (Anspruch 6 bis 8, Anspruch 11). Nach dem erfaßten Ende oder Abschluß der diskreten Geste, wird nicht mehr die Geschwindigkeit zur Bildung eines Musters (Aneinanderreihung von mehreren Merkmalsvektoren) verwendet, sondern das Abstandssignal dient dann der Steuerung des technischen Gerätes. Hierbei kann eine Analoggröße durch Bewegung beispielsweise der Hand als Körperteil unmittelbar per Geste übertragen werden und das technische Gerät steuern. Wenn der Abstandssensor keine linearisierte Kennlinie besitzt, kann sie linearisiert werden, um ein im wesentlichen lineares Steuersignal durch die jetzt aktiv steuernde "kontinuierliche Geste" zu erhalten. Ein abruptes Ende der kontinuierlichen Geste, beispielsweise ein Wegziehen oder Herausziehen des beweglichen Körperteils aus dem dreidimensionalen Meßraum, beendet diese andere Art der Gestenerkennung. Die Schalteinrichtung schaltet zurück auf eine diskrete Gestenerkennung, bei der zunächst Anfang und Ende festzulegen ist (Anspruch 6).
Im Normalzustand der Erfassungseinrichtung ist sie auf die Erkennung einer diskreten Geste ausgerichtet (Anspruch 8). Das diese diskrete Geste kennzeichnende Zeitintervall enthält einen Merkmalsverlauf von mehreren Merkmalsvektoren, die als Muster einer Auswertung durch eine Vergleicher-Einrichtung zugeführt werden kann (Anspruch 8). Diese Vergleicher-Einrichtung kann eine Mustererkennung enthalten (Anspruch 9).
Mit der Erkennung der Geste (ihres Gesteninhaltes) ist dem technischen Gerät ein eindeutiger Befehl zur Steuerung vermittelbar. Vorgelagert dieser direkten Steuerung ist die Vermittlung des Merkmalsverlaufs (als Muster) an die Vergleichereinrichtung, um nur den Gesteninhalt zu ermitteln, noch ohne das technische Gerät unmittelbar zu steuern.
Die Erkennung der Geste erfolgt damit in drei Stufen. Segmentierung der Geste (zeitliche Bestimmung ihres Stattfindens), Vorverarbeitung der gemessenen Abstandssignale (Anspruch 15), zur Vorbereitung eines Musters (als Merkmalsverlauf) und anschließende Gestenerkennung im Rahmen einer Vergleichereinrichtung, die eine Mustererkennung beinhalten kann. Ist eine diskrete Geste erkannt, kann die Einrichtung über die Umschalteinrichtung auf die Erkennung einer kontinuierlichen Geste umgeschaltet werden, wobei diese kontinuierliche Geste einen direkten Einfluß auf das zu steuernde Gerät nimmt, im Sinne einer analogen Übertragung eines Steuerungswertes durch Abstandsinformation (Anspruch 12). Nach einem Ende der kontinuierlichen Geste (kG) befindet sich die Einrichtung wieder im Ausgangszustand, vorbereitet zur Erkennung einer diskreten Geste (dG).
Die Anwendung dieser Gestenerkennung ist vielschichtig. Beispielsweise zur Steuerung von technischen Geräten, wie Radios, insbesondere Autoradios, als generelle Schnittstelle zwischen Mensch und Maschine (MMI), als Eingabegerät für eine Computereinrichtung oder zur Unterstützung von behinderten Personen, die in ihren Bewegungen von Händen oder Füßen eingeschränkt sind, so daß sie mit Bewegung des Kopfes Steuerungen in ihrem Umfeld vornehmen müssen, alternativ solche Personen, die nicht sprechen können und nur durch Gesten ihre Wünsche und "Steuersignale" vermitteln können.
Bei der Anwendung in einem Fahrzeug als Fahrzeug-MMI kann für eine Handgesten-Erkennung eine Anordnung des Sensorfeldes im Bereich einer Mittelkonsole, am Schalthebel für die Getriebebeeinflussung oder an oder nahe der Instrumententafel angeordnet werden (Anspruch 14). Für eine Kopfgesten-Erkennung kann die Sensorfeld-Einrichtung am Fahrzeughimmel angeordnet sein oder in der Kopfstütze integriert werden, um unmittelbar die Kopfbewegung des Fahrers als Geste erkennen und auswerten zu können. Geste ist insoweit nicht einschränkend zu verstehen auf die Bewegung eines bestimmten Körperteils.
Im folgendem Szenario wird ein Fahrzeug-MMI betrachtet, welches mit Kopf- und Handgestenerkennung ausgestattet ist:

– Das Telefon klingelt. Der Fahrer nimmt das Gespräch mit einem Kopfnicken an bzw. lehnt es mit Kopfschütteln ab.
– Der Fahrer möchte den aktuellen Radiosender wechseln. Dies erfolgt durch einfache Winkbewegungen nach rechts oder links vor dem Sensorfeld, wobei jeweils zum nächsten bzw. vorigen Sender geschaltet wird. Ebenso kann der Fahrer eine automatische "Scan-Funktion" aktivieren. Das System beginnt dann, die vorhandenen Sender nacheinander anzuspielen. Macht der Fahrer nun eine "NEIN-Bewegung" mit dem Kopf, so wird der nächste Sender angespielt. Mit einer "JA-Bewegung" wird der aktuelle Sender akzeptiert und der scan Vorgang beendet.
– Die exakte Einstellung der Musiklautstärke erfolgt durch kontinuierliche vertikale Handbewegungen (kG). Schnelles Stummschalten der Musik wird beispielsweise erreicht, indem die Hand sehr nahe an die Sensoren gehalten wird.
– Bei modernen Fahrzeug MMIs ergibt sich häufig die Situation einer Systemrückfrage. Wurde beispielsweise eine Spracheingabe nicht eindeutig verstanden, so versucht das System die fehlenden Informationen durch Rückfragen zu ergänzen (z.B. "Möchten Sie bei 'Antenne Bayern' anrufen?"). Derartige Ja/Nein-Eingaben lassen sich komfortabel mit Kopfgesten vornehmen.
– Die Information, wohin der Fahrer gerade seine Aufmerksamkeit richtet (nach vorne zum Verkehr oder in den Fahrzeuginnenraum z.B. auf ein Display) kann ausgewertet und genutzt werden. Unter der Annahme, daß der Kopf des Fahrers zumindest grob auf das Ziel gerichtet ist, auf das er gerade blickt, kann diese Information erfindungsgemäß geliefert werden.

Ein erwähnenswerter Vorteil liegt auch in der Tatsache, daß diese Methode ohne zusätzliche Geräte oder Farbmarken auskommt, die der Benutzer am Körper befestigen muß (Anspruch 3).
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen erläutert und ergänzt.
1 veranschaulicht ein Beispiel eines Abstandssensors mit einer zugehörigen nicht-linearen Kennlinie.
2 veranschaulicht eine erste Sensoranordnung als Sensorfeld in einer Kopfstütze 11 eines Fahrzeugsitzes. Als bewegliches Köperteil ist ein Kopf K angedeutet.
3 veranschaulicht ein weiteres Sensorfeld in Aufsicht und Seitenansicht, wobei fünf Sensoreinheiten vorgesehen sind.
4 veranschaulicht einen Vektorpuffer 30, mit dem Meßwerte der Abstandssensoren nach ihrer Messung zwischengespeichert werden, um sie rechnerisch auszuwerten.
5 veranschaulicht eine solche Auswertung der Meßsignale eines der Sensoren zur Bestimmung einer Trendgeraden g1, hier beispielsweise eines Sensors S1 und eines Abstandssignales a₁(t) als zeitabhängiges Abstandssignal bei einem bewegten Körperteil K.
6 veranschaulicht ein erstes Ausführungsbeispiel einer Signalverarbeitung unter Einsatz der schematisch dargestellten Berechnungen der 4 und 5. Außerdem ist als Blockschaltbild eine mögliche Art der Mustererkennung und die Geräteansteuerung 100 dargestellt.
6a ist eine 6 entsprechende Vorverarbeitung mit Gestenerkennung.
7 ist ein Beispiel einer Handgeste H in z-Richtung (senkrecht zur Erstreckung des Sensorfeldes, welches den dreidimensionalen Meßraum aufspannt). Die Meßrichtung der Abstandssensoren ist in z-Richtung orientiert.
8, 9 veranschaulichen Abstandssignale a_i(t) für i = 1 bis 5 von mehreren Abstandssensoren S1 bis S5 eines Sensorfeldes nach 3. Die Signale repräsentieren für die 8 eine Bewegung in positiver x-Richtung und für die 9 eine Bewegung in positiver y-Richtung, bei einem im wesentlichen gleichbleibenden Abstand des bewegten Körperteils von dem Sensorfeld.
10, 11 veranschaulichen eine JA-Geste und eine NEIN-Geste hinsichtlich der aus dem zeitlichen Verlauf von Abstandswerten der mehreren Abstandssensoren S1 bis S4 des Sensorfeldes nach 2 errechneten Geschwindigkeiten m_Ti, bei i = 1 bis 4, aufgetragen über der Zeitachse [t], wobei diese Gesten als Beispiele von diskreten Gesten "dG" angesehen werden können.
1 veranschaulicht ein Beispiel eines Abstandssensors mit seinem mechanischen Aufbau, seinem optischen Eingang und Ausgang und seinen elektrischen Anschlüssen. Solche Sensoren sind käuflich erhältlich, beispielsweise als Typen GP2D12 von Sharp. Eine zugehörige Kennlinie im prinzipiellen Verlauf ist als Spannungskennlinie über den gemessenen Abstand "a" eines Objektes, hier eines beweglichen Körperteils, wie Kopf K oder Hand H aufgetragen, wobei ein minimaler und ein maximaler Abstandswert den Meßbereich des Abstandssensors beschränkt. Ein solcher Sensor Si, im Beispiel i = 1, wird in den folgenden Ausführungsbeispielen für i = 1...5 verwendet, wobei zu 1 die Angaben für S1 gegeben werden. Ein optischer Ausgang s1a ist ein optischer Sender für Infrarot-Strahlung, und ein optischer Eingang s1b ist ein optischer Empfänger für das vom – nicht gezeigten – Objekt reflektierte Signal. Die Sensoren arbeiten nach dem PSD-Prinzip und werten einen Winkel aus. Auch mit Laser-Abstandssensoren wäre eine solche Messung möglich. Intern arbeiten die Sensoren nach dem Triangulationsprinzip und messen dauernd den Abstand des Objekts von der Sensorfläche. Ausgegeben wird eine analoge Spannung, deren Signalverlauf in Abhängigkeit vom Abstand in 1 auch dargestellt ist.
Die im wesentlichen als 1/a-Funktion ersichtliche Kennlinie kann bereits im analogen Bereich linearisiert werden, so daß entweder der Abschnitt f1 mit einer Umkehrfunktion so linearisiert wird, daß im wesentlichen eine Gerade als Kennlinie entsteht, die mit steigendem Abstand eine sinkende Spannung zur Verfügung stellt. Eine zusätzliche Linearisierung kann sich im Bereich unter 10 cm anbieten. Diese Linearisierung kann aber auch digital erfolgen, um keine Unstetigkeit in der Kennlinie entstehen zu lassen. Zwei mögliche Linearisierungen f3, f2 sind dargestellt. Wird diese Linearisierung digital vorgenommen, kann digital auch die Linearisierung des Abstandsbereichs f1 des Sensors realisiert werden. Das zeigt bereits, daß eine Analog/Digital-Wandlung stattfindet, um den Abstandswert eines jeweiligen Sensors, hier S1, als digitalen Binärwert zur Verfügung zu haben.
Werden andere Sensoren eingesetzt, können sie an den Verwendungszweck angepaßt werden. Sensoren mit einem geringeren Fernfeld können im Nahbereich auch unter 10 cm Meßsignale abgeben. Sensoren im Fernfeld können auch bei größeren Abständen genauere Messungen erlauben, sind dafür aber im Nahbereich nicht verwendbar. Für das zu beschreibende Sensorfeld hat es sich als günstig erwiesen, Sensoren mit unterschiedlichen Meßbereichen einzusetzen, beispielsweise Sensoren mit einem Meßwert im Nahbereich für die Erfassung kontinuierlicher Gesten und Sensoren mit einer Messung im Fernbereich für diskrete Gesten. Die Kombination aus beiden Arten von Sensoren bietet eine optimierte Steuermöglichkeit mit dem zu beschreibenden Sensorfeld aus mehreren solcher Abstandssensoren.
Die beschriebenen Abstandssensoren bilden aber nur ein Beispiel mit optischem Prinzip, hier mit Infrarot-Lichtsignalen. Andere Sensoren können für die Abstandsmessung ebenso eingesetzt werden.
Der Aufbau von zwei verschiedenen Sensorfeldern soll anhand der 2 und 3 beschrieben werden.
2 zeigt ein Sensorfeld 16 im Fahrzeugbereich an einer Kopfstütze 11. Die Kopfstütze hat im wesentlichen trapezförmige Gestalt und besitzt vier Seitenabschnitte 11a, 11b, 11c, 11d, an denen vier Sensoren des beschriebenen Typs von 1 als Sensoren Sl,S2,S3 und S4 angeordnet sind. Im dargestellten Beispiel gibt der Sensor S4 ein Abstandssignal a4(t) ab, was auch für die anderen Sensoren mit entsprechendem Index 1, 2 oder 3 gilt. Die Zeitabhängigkeit ergibt sich aus der Bewegung eines schematisch eingezeichneten Körperteils, hier eines Kopfes K nahe der Kopfstütze. Die Kopfstütze selbst ist über zwei Streben 11e, 11f an der Oberseite 12a eines Sitzes 12 einstellbar angeordnet, um sich auf die Höhe des Kopfes von unterschiedlichen Personen justieren zu lassen.
Durch die Justierung ergibt sich gleichzeitig eine Positionierung des Kopfes im Ruhezustand in einem Meßraum, der als dreidimensionaler Meßraum 6 schematisch eingezeichnet ist und von der räumlich/geometrischen Lage der Sensoren S1 bis S4 in den ersten zwei Dimensionen bestimmt wird, während die dritte Dimension von der Meßrichtung (der Abstandsrichtung) der Sensoren bestimmt wird, wie die Aufsicht und die Seitenansicht der 2 veranschaulichen.
Ein Nahbereich 6a und ein Fernbereich 6b des Raumes 6 ist deutlich gemacht. Die hier beschriebenen Signale sind bereits zeitabhängig eingezeichnet und werden der beschriebenen Analog/Digital-Wandlung zugeführt, um einer Vorverarbeitung unterzogen zu werden, wie später erläutert werden wird.
Eine alternative Gestaltung eines Sensorfeldes veranschaulicht die 3. Hier ist eine Aufsicht und eine Seitenansicht gezeigt, wobei der beschriebene Meßraum für das Sensorfeld 15 dieses Ausführungsbeispiels mit 5 bezeichnet ist, oberhalb von den Lichtempfänger-Bereichen s_ib (wobei i = 1...5) und den Licht-Sendebereichen s_ia (i = 1...5). In den beiden Darstellungen ist erkennbar, daß ein flacher Träger 10 fünf Sensoren des Typs nach 1 trägt, wobei die lichtempfindlichen Bereiche und die Licht-Sendebereiche nach oben in z-Richtung zeigen. Die Anordnung der Sensoren S1 bis S4 erfolgt in einer Kreisanordnung, wobei der Kreis gegenüber dem eingezeichneten x-y-Koordinatensystem um etwa 18,5° verdreht angeordnet ist und alle Sensoren im Abstand von jeweils 90°, bezogen auf ihre jeweilige Mitte auf dieser gedachten Kreislinie positioniert und an der Grundplatte 10 fest angeordnet sind. Zu der Sensoranordnung mit den vier auf dem Kreis orientierten Sensoren ist ein weiterer Sensor S5 hinzugetreten, der im Origo des Koordinatensystems bzw. des gedachten Kreises gelegen ist. Dieser Sensor S5 gibt ein Abstandssignal a5(t) ab und ist speziell auf die Messung einer Abstandsinformation im Nahbereich ausgerichtet, während die anderen Sensoren S1 bis S4 in diesem Beispiel auf einen ferneren Bereich orientiert sind.
Die analogen Meßsignale a1(t) bis a5(t) werden jeweils einem Analog/Digital-Wandler zugeführt oder über einen – nicht dargestellten–Analog-Multiplexer einem einzigen Analog/Digital-Wandler.
Die Anordnung der 3 eignet sich bevorzugt für die Anbringung nahe eines – nicht dargestellten – Armaturenbretts, einer Mittelkonsole oder eines Schalthebels. Sie kann aber auch am Fahrzeughimmel oder einer Instrumententafel angeordnet werden. Das jeweilige Koordinatensystem in x-y-Richtung orientiert sich an der Montagefläche, während die Blickrichtung der Sensoren in Meßrichtung jeweils senkrecht zu der Montagefläche 10 ausgerichtet ist. In dieser Richtung spannt sich die dritte Dimension auf, in welcher die Bewegung der Hand stattfindet, für die die 3 ein bevorzugtes Beispiel als Sensorfeld bereitstellt.
Die erwähnten A/D-Wandler finden sich im Blockschaltbild der 6 vor dem Funktionsdiagramm 26 wieder. Sie sind nicht gesondert dargestellt, da allgemein bekannt. Der von ihnen gewandelte Digitalwert wird im Folgenden weiter bearbeitet, was mit der Schaltung nach 6 als Vorverarbeitung der eingelesenen Signale erfolgt. Die gemessenen Signale der mehreren Abstandssensoren von 2 oder 3 werden mehrdimensional eingelesen und bilden einen Distanzvektor mit den Distanzwerten d1 bis dm. Die Größe m ist die Anzahl der verwendeten Sensoren. Im Beispiel der 2 ist m = 4 und im Beispiel der 3 ist m = 5. Der gemessene Distanzvektor wird in einen Vektorpuffer 30 geschrieben, der aus mehreren Vektoren besteht, wie sie die 4 veranschaulicht. Die dort dargestellten zehn Vektoren enthalten die beschriebenen Distanzvektoren, wobei links ein neue Distanzvektor eingespeichert wird und der älteste Distanzvektor aus dem Vektorpuffer mit der Fensterbreite ws herausfällt.
Die von dem Vektorpuffer definierte Zeit entspricht T_ws, was im gegebenen Beispiel der Digitalisierung bei äquidistanten Abtastwerten 10 mal der Abtastzeit entspricht.
Die mit jedem Abtastzeitpunkt neu eingelesenen m Meßwerte der Distanzvektoren werden mit der 6 in einer Schleife eingelesen, die dort als Zyklus erkennbar ist. Der Zyklus umfaßt neben der Aktualisierung des Vektorpuffers auch die Berechnung einer Steigung der Trendgeraden und die Bestimmung eines Trendvektors mit derselben Anzahl von Skalaren, wie die Abstandsvektoren sie besitzen.
Eine Bewegungsdetektion 50 erfaßt für jeden Zyklus eine Abfrage, ob eine Relativgeschwindigkeit eines bewegten Körperteils in dem dreidimensionalen Meßraum 5 oder 6 von 2, 3 vorliegt. Es gibt dabei mehrere Arten der Erkennung des Beginns und des Endes einer diskreten Geste, wobei eine diskrete Geste so zu beschreiben ist, daß sie einen Anfang und ein Ende besitzt. Alternativ kann der Anfang und das Ende auch durch den Eintritt des bewegten Körperteils in den Meßraum und durch den Austritt aus selbigem gebildet werden. Auch eine Mischung aus beidem ist möglich, wenn der Eintritt als Beginn angesehen wird und die beispielsweise Hand als bewegtes Körperteil im Meßraum innehält, bevor sie ihn wieder verläßt. Diese anhaltende Geste wird als das Ende der diskreten Geste bewertet und löst die Signale der Meldeeinrichtung 60 für Bewegungsstart und Bewegungsende aus, die mit 61 an eine Umschaltvorrichtung 65 weitergegeben werden und an die Einlesevorrichtung 26, welche das Einlesen der Distanzwerte in die Distanzvektoren beginnt.
Der zeitliche Abschnitt der diskreten Geste zwischen Anfang und Ende ist mit T1 als Intervall bei der Meldeeinrichtung 60 dargestellt. Zur Ermittlung des Beginns einer Geste kann ein Bewegungs-Schwellenwert bereitgestellt werden, der überschritten sein muß, damit ein Gestenbeginn von der Schaltung 60 detektiert wird. Die bis dahin gemessenen Distanzwerte gehen verloren. Sie können aber Berücksichtigung finden, und die Erkennungsleistung kann gesteigert werden, wenn Merkmale in einem Zwischenspeicher von bestimmter Länge abgelegt werden und nachträglich wieder vor einen erfaßten Beginn der detektierten Geste angefügt werden.
Jede größere Bewegung eines beweglichen Körperteils wird als Geste oder Beginn einer Geste interpretiert, die – wie zu beschreiben ist – an eine Mustererkennung 84 weitergeleitet wird. Als Alternative kann die Bewegungsdetektion auch durch ein Spotting-Verfahren ersetzt werden, bei welchem eintreffende Merkmalsvektoren permanent anaylsiert werden. Ähnelt dabei eine auftretende Sequenz einem bei einem vorhergehenden Training aufgezeichneten Referenzverlauf mit einer vorgegebenen Mindestübereinstimmung, so gilt eine entsprechende Geste als erkannt. Dieses Verfahren ermöglicht eine Gestenerkennung außerhalb kontinuierlicher Bewegung, und die Bewegungsdetektion mit einer vorgeschriebenen Pausenzeit (zur Erkennung des Endes) würde entfallen. Die Pausenzeit entspricht einer Ruhelage des bewegten Körperteils, um die Einrichtung 60 erkennen lassen zu können, daß T1 festgelegt worden ist.
Kann man davon ausgehen, daß der Beginn und das Ende einer Geste gegeben ist, im zeitlichen Verlauf der Merkmale als "Muster" anhand der 8 bis 11 verdeutlicht, kann an die weitergehende Erläuterung der Vorverarbeitung von 6 herangegangen werden. Der in 6 veranschaulichte Zyklus 20 ist ein Endlos-Zyklus, der laufend aktiv ist. Das Einlesen der Distanzwerte in den Distanzvektor im Funktionsglied 26 wird getriggert von der Erkennung einer diskreten Geste mit dem Signal 61, ausgehend von der Start- und Stop-Erkennung 60.
Der mit dem nächsten Abtastzeitpunkt eingelesene Distanzvektor aktualisiert den Vektorpuffer 30 im Funktionsglied 31. Aus den jetzt vorliegenden Distanzvektoren in dem Vektorpuffer wird die Steigung einer Trendgeraden berechnet, was im Funktionsblock 40 geschieht. Diese Berechnung veranschaulicht die 5 und wird anschließend erläutert. Der dann bestehende Trend gibt die Steigung an, die einem Mittelwert einer Steigung entspricht, was einer Glättung gleichkommt. Dieser Trend wird als Signal 42 abgegriffen und einer Schnittstelle 80 mit Speicher 80a über die Verbindung 43 zugeführt. Ebenso wird der Distanzvektor bei 44 abgegriffen und über eine Verbindung 45 einer weiteren Schnittstelle 81 zugeführt.
Es versteht sich, daß die hier dargestellten regelungs- oder steuerungstechnischen Blockschaltbilder schematischer Natur sind und das Verständnis fördern sollen, während die Erfindung und die Ausführungsbeispiele auch in digitaler Form und programmiert ausführbar ist, ohne daß Blockschaltbilder dabei zugegen sind. Die entsprechenden Funktionsverbindungen werden dann durch das Programm realisiert oder durch Abfragen, ebenso wie Funktionen selbst durch Unterprogramme realisierbar sind. Aus dem beschriebenen Blockschaltbild, welches als eine Möglichkeit der Darstellung der Ausführungsbeispiele gewählt wurde, läßt sich ohne weiteres auch ein Flußschaltplan oder ein Flußdiagramm erstellen, das hier aber nicht gesondert erläutert werden soll.
Mit den beiden abgegriffenen Signalen 44, 42 (Distanzsignal und Trendsignal, jeweils als diskreter Vektor mit mehreren Skalaren) arbeitet die Steuerung des hier beispielhaft anzusteuernden technischen Gerätes 100, welches ein Radio, ein Computer, ein PC, ein Telefon, ein Navigationssystem oder ein anderes Steuersystem für den automobilen Bereich sein kann.
Im Rahmen der beschriebenen Schleife gemäß 6 als beispielsweise programmtechnischer Zyklus findet auch die zuvor schon vertieft erläuterte Bewegungsdetektion 50 statt, welche den Trendvektor daraufhin auswertet, ob zumindest eine seiner Komponenten einen von Null abweichenden Wert besitzt. Dann wäre ein bewegliches Körperteil im dreidimensionalen Meßraum anwesend und würde sich darin bewegen, so daß der Beginn des Zeitintervalls T1 festgestellt werden kann. In entsprechender Weise wird auch das Ende einer Bewegung so detektiert, daß keiner der Skalarwerte des Trendvektors mehr einen positiven oder negativen Beitrag besitzt, vielmehr alle im wesentlichen Null sind.
In dem Zeitintervall T1 werden weiterhin Distanzwerte eingelesen, 26, der Vektorpuffer aktualisiert, 30, 31, die Steigung einer Trendgeraden ermittelt, 40, und mit dem nächsten Abtastintervall erneut die Distanzwerte des Sensorfeldes mit den mehreren Distanzsensoren eingelesen, 26. Dieser Zyklus endet erst, wenn das Bewegungsende 60, 61 detektiert wird und das Einlesen der Distanzwerte beendet ist.
Während eines Zyklus wird jeder Trendvektor gesondert abgespeichert, um während des Intervalls T1 einen Verlauf von Merkmalen zu erhalten, wobei jeder Merkmalvektor ein Trendvektor für einen Abtastzeitpunkt ist. Die Aneinanderreihung der Merkmalvektoren ergibt sich beispielsweise aus Figuren 8 bis 11, für jeweils dort beschriebene Gesten. Eine solche Aneinanderreihung von Trendvektoren ist ein Merkmalverlauf, und jeder Merkmalvektor hat eine Anzahl von Merkmalen, die den Steigungswerten des Trendvektors (dem jeweiligen Skalar) entsprechen. Der sich dann ergebende Merkmalverlauf ist das Muster, das (wie später beschrieben wird) mit einer Vergleicherschaltung 84 zur Gestenerkennung zugeführt wird. Dies gilt nur für eine diskrete Geste, die Anfang und Ende besitzt, wie zuvor anhand der Schaltungseinrichtung 60 mit der Steuerleitung 61 beschrieben.
Die Berechnung einer Trendgeraden g_i = g₁ (von 1 bis 4 im Beispiel) soll anhand der 5 erläutert werden. Sie gehört zur Vorverarbeitung und fügt sich in die 6 ein, wo davon ausgegangen wurde, daß der Trendvektor bereits berechnet ist. Die in 5 dargestellte Berechnung findet sich demgemäß in der Funktion 40 wieder, wobei die in 4 dargestellten Distanzvektoren als Berechnungsgrundlage dienen.
Die Auswertung der Meßsignale, also die digitalisierten Abstandswerte der mehreren Distanzsensoren S1 bis S4 von 2 oder derjenigen S1 bis S4 von 3 werden in der Schaltungsanordnung nach 6 verarbeitet. Für eine Merkmalsgewinnung eignen sich die Abstandsmeßwerte alleine noch nicht, da sie eine absolute Position oder Lage des beweglichen Körperteils während seines Befindens im dreidimensionalen Meßraum 5 oder 6 wiedergeben. Eine erhöhte Empfindlichkeit und eine Verbesserung der aus dem Abstandssignal-Verlauf a1(t), a2(t), a3(t) und a4(t) ergibt sich durch Berechnung einer Geschwindigkeit für jeden Signalverlauf gesondert. Die Geschwindigkeit entspricht einer Differenzierung im Zeitlichen, so daß ein den Sensoren überlagertes Grundrauschen verstärkt wird. Zur Behebung des Störeinflusses durch das Rauschen wird eine Filterung eingeführt, die anhand der 5 erklärt werden kann.
Eine größere Anzahl von Abstandsvektoren gemäß 4 erreicht eine höhere Robustheit, wenn im Rahmen der gespeicherten Abstandswerte in einem Set oder dem Pufferspeicher 30, entsprechend dem Puffer-Zeitintervall Tws mehrere Abstandswerte gemeinsam zur Bestimmung eines Geschwindigkeitswerts herangezogen werden. Die Ermittlung eines Geschwindigkeitswerts ergibt sich aus der Steigung der Trendgeraden, deren Steigung für ein jeweiliges Signal mit m_Ti beschrieben werden kann, wobei i = 1...4. Allgemein ist die Steigung der Trendgerade m_T, und die Trendgerade g1 von 5 zeigt mehrere Abstandsmeßwerte, die zeitlich nacheinander digitalisiert und zu den Abtastzeitpunkten in den Puffer 30 eingelesen wurden, wie 4 zeigt. Die Anzahl der hier dargestellten Meßwerte beträgt 10, multipliziert mit der Abtastzeit ergibt sich die Pufferzeit T_ws.
Dieses – als Zeitfenster zu bezeichnende – Pufferintervall wird mit jedem neuen Abtastwert hinsichtlich mehrerer Werte ergänzt, wie das mit den Pfeilen in 4 verdeutlicht ist. Der neue Distanzvektor, bestehend aus abgetasteten Analogwerten von Abständen von allen im Sensorfeld 15, 16 vorhandenen Sensoren tritt an die Stelle des letzten Vektors, und alle Vektoren werden um ein Zeitintervall nach vorne geschoben. Der älteste Abtastwert an der Vektorposition Null fällt heraus. Für die im Vektorpuffer 30 befindlichen Abstandsvektoren Null bis Neun wird komponentenweise die Steigung der Trendgerade g₁ berechnet, wobei alle Werte d1 der 10 Vektoren gemeinsam über der Zeit aufgetragen werden und eine Gerade, beispielsweise eine Regressionsgerade, durch diese Abtastwerte gelegt wird. Es entsteht dadurch die Steigung m_T1 der Geraden g₁. Für alle Distanzwerte d2 (zweite Komponente in allen eindimensionalen Distanzvektoren) wird eine nicht dargestellte Gerade g₂ angenommen und eine zugehörige Steigung m_T2 berechnet, entsprechend der Darstellung der Gerade g1 von 5. Ebenso erfolgt das für die anderen Vektorkomponenten (reihenweise).
Der sich ergebende Trendvektor hat wiederum mehrere Skalare und ist ein eindimensionaler Vektor, wie in 6 nach der Aktualisierung des Vektorpuffers 30 und der Berechnung 40 der Steigung der Trendgeraden erläutert.
Dieser Trendvektor steht als ein Merkmalsvektor zur Verfügung und besteht aus mehreren skalaren Merkmalen. Im Zuge des Zyklus von 6 entsteht mit jedem Abtastschritt ein neuer Trendvektor mit – im Beispiel der 2 oder 3 – vier Skalarwerten, der als neuer Merkmalsvektor entlang des Signalpfades 42 abgegriffen und gesondert in dem Speicher 80a gespeichert werden kann. Der Gesamtverlauf der Trendvektoren ist beispielsweise in den 8, 9, 10 oder 11 dargestellt, jeweils für eine Komponente getrennt. Diese komponentenweise Darstellung kann den einzelnen Sensoren zugeordnet werden, so daß sich pro Sensor eine Funktion für eine Bewegungsgeste ergibt. Alle Funktionen gemeinsam ergeben einen Merkmalsverlauf und damit ein Muster, das eindeutig einer bestimmten Geste zugeordnet sein muß, wenn diese Geste erkannt werden soll.
Solange sich das bewegliche Körperteil nicht bewegt, also im dreidimensionalen Meßraum 5, 6 im wesentlichen in Ruhe befindlich ist, schwankt der zugehörige Steigungswert der Trendgerade von jedem der Abstandssensoren um den Wert Null. Nähert sich das bewegliche Körperteil einem der Sensoren im Sensorfeld, so ergibt sich eine Trendgerade mit positiver Steigung, wie sie in 5 dargestellt ist. Das liegt an der Kennlinie, die in 1 für den spezifischen Sensor dargestellt worden ist. Ist diese Kennlinie linearisiert worden, beispielsweise im Abschnitt f1, ergibt sich für die Steigung der Trendgeraden näherungsweise Proportionalität zur Relativgeschwindigkeit des beweglichen Körperteils gegenüber dem jeweiligen Sensor. Dies gilt für alle Sensoren gleichzeitig, da alle Sensoren zeitlich gleichzeitig verarbeitet werden, wenn die "Gleichzeitigkeit" auf ein jeweiliges Abtastintervall bezogen ist.
Mit jedem Abtastintervall wird ein neuer Trendvektor ermittelt, obwohl ein Großteil der Abstandsvektoren in dem Vektorpuffer der 4 noch den alten Wert besitzen. Es ergibt sich dennoch die Möglichkeit, für jeden zeitlichen Abtastwert einen Trendvektor mit mehreren Skalaren zu errechnen, der dann in dem Merkmalsverlauf (oder dem Muster) als jeweils vier Punkte von vier Verläufen zu einem Zeitpunkt abgebildet wird.
Neben der Abspeicherung 80a der Trendvektoren zu den einzelnen Zeitpunkten gemäß 6, kann auch zu denselben Zeitpunkten der jeweilige Distanzvektor aus dem Signalpfad 44 abgespeichert werden. Es kann dann ein Merkmalsverlauf mit mehr Funktionen Einsatz finden, wenn zu den Trendvektoren auch Distanzvektoren hinzutreten oder in weiteren Reihen des eindimensionalen Vektors ergänzt werden. Die Erkennungsgenauigkeit läßt sich dann steigern. Eine Erkennung nur aufgrund von Verläufen von Distanzvektoren als Muster ergibt keine so zuverlässigen Ergebnisse, wie die Verwendung von Trendvektoren, aber letztere Art der Erkennung läßt sich verbessern, wenn Distanzen als Merkmale noch hinzugenommen werden.
Im Blockschaltbild der 6 ist das Funktionsglied 50 als Bewegungserkennung oder solche Meldung bezeichnet, die eingangs beschrieben war. Die Rückführung zum Eingang des Funktionsblocks 26 kennzeichnet den Beginn des nächsten Abtastintervalls, zu dem die neuen Abstandswerte von den Sensoren S1 bis S4 eingelesen und in einem neuen Distanzvektor gespeichert werden, der dann als aktueller Wert in den Vektorpuffer 30 übernommen wird, wie zuvor beschrieben. Die Bewegungsdetektion 50 sorgt dennoch dafür, daß der Beginn der für die Festlegung des Merkmalsverlauf aufgezeichneten Distanzvektoren und berechneten Trendvektoren erkannt wird. Solange die Bewegungsdetektion 50 keine Bewegung im dreidimensionalen Meßraum erfaßt, werden die Distanzvektoren zwar eingelesen und die Trendvektoren berechnet, aber nicht so in 80a gespeichert, daß sie für die Bestimmung des Merkmalsverlaufes über die Signalpfade 42, 44 nochmals gesondert verfügbar sind.
Selbstverständlich ist es möglich, bestimmte kurze Pufferzonen für abgetastete Meßwerte einzurichten, so daß beider Erkennung einer Bewegung mit der Bewegungsdetektion 50 ein Teil der Distanzvektoren oder Trendvektoren, die in der Vergangenheit liegen, noch zu dem Merkmalsverlauf hinzugenommen werden, um den Beginn der Bewegung genauer festlegen zu können.
Die Dauer der Bewegung ist mit T1 bezeichnet und endet zum Zeitpunkt des Endes der Bewegung oder zum Zeitpunkt des Verlassens des dreidimensionalen Meßraumes durch das bewegliche Körperteil. Das zugehörige Signal 61 kann ein Rechtecksignal sein, das entsprechend der zeitlichen Länge des Merkmalsverlaufs der 8 bis 11 eine Sprungfunktion zu Beginn und zum Ende einer diskreten Geste ist. Die diskrete Geste und die kontinuierliche Geste werden von dem Umschalter 65 unterschieden, dem das Signal 61 zugeführt wird. Besteht ein Zeitpunkt des Anhaltens während einer Geste im dreidimensionalen Meßraum, so wird auf eine diskrete Geste geschlossen, die einen Anfang und ein Ende besitzt. Nach Erkennen des Endes der diskreten Geste veranlaßt der Umschalter 65 eine Veränderung der Merkmalserkennung in den Funktionsgliedern 80 und 81. Dazu können entweder zwei Signale, die mit dG und kG bezeichnet sind, verwendet werden und von denen nur jeweils eines aktiv ist. Es kann auch ein binäres Signal eingesetzt werden, das mit seinem einen binären Wert eine diskrete Geste kennzeichnet und mit seinem anderen binären Wert eine kontinuierliche Geste. Eine kontinuierliche Geste ist eine solche, die sich stetig im dreidimensionalen Meßraum bewegt. Während eine diskrete Geste, beispielsweise eine Winkbewegung nach rechts oder eine solche Bewegung nach links ist, die jeweils nur zum Teil in dem dreidimensionalen Meßraum liegt, kann die kontinuierliche Geste eine langsame Aufwärtsbewegung oder eine langsame Abwärtsbewegung sein, wie sie in 7 symbolisiert ist. Die dort gezeigten Sensoren S4, S5, S2 des Sensorfeldes der 3 erfassen in Richtung z1 und Abwärtsrichtung-z1 ein analoges Signal, das mit dem Distanzvektor der 6 an dem Signalpfad 44 ausgekoppelt wird. Dabei hält sich die Hand H kontinuierlich im Erfassungsbereich auf. Wird die Hand abrupt aus dem Erfassungsbereich herausgenommen, schließt man auf das Ende einer kontinuierlichen Geste. Auch ein längeres Verweilen an einem festen Ort kann das Ende einer kontinuierlichen Geste andeuten, so daß der Umschalter 65 wieder auf die Erkennung einer diskreten Geste dG zurückschaltet.
Diese Umschaltung ist nach einem Toggle-Prinzip verwirklicht. Der Grundzustand ist die Einrichtung des Erkennungssystems nach 6 so, daß eine diskrete Geste nach ihrer Art erkannt wird, beispielsweise Winken nach rechts, links, oben oder unten sowie vorne oder auch nach rückwärts. Ebenfalls als diskrete Geste "dG" wird eine horizontale Wischbewegung oder ein Ziehen an einem virtuellen Griff, wie auch das imitierte Abheben eines Telefonhörers oder ebensolches Auflegen angesehen. Diese Gesten haben eine Richtung und werden über die Trendvektoren grundlegend erkannt. Zur Erkennung wird bei Steuerung des Systems über den Umschalter 65 der Verlauf des Trendvektors gemäß den 8 bis 11 der Schnittstelle 80 über den Weg 43 zugeführt, der dann aktiv geschaltet ist oder freigegeben wird, wenn der Umschalter 65 über das Steuersignal dG eine Freisteuerung veranlaßt. Die Weiterreichung des Musters nach einer der 8 bis 11 über die Schnittstelle 80, 80a erfolgt zu einer Vergleicherschaltung, die im hier dargestellten Beispiel als ein Dynamic Time Warping (DTW) ausgebildet ist, mit einem solchen Funktionsglied 82 im Zentrum des Merkmalsvergleichs.
Aus einer Datenbank 86 werden Referenzmuster zugespielt, die zuvor aufgezeichnete Signalverläufe sind und bekannte Gesten repräsentieren. Mit diesen bekannten Gesten wird mit dem DTW-Verfahren ein Abstandswert ermittelt, der über den Signalpfad 83 einer Auswahlschaltung 90 zugeführt wird. Die zuvor aufgezeichneten (eingelernten) Testmuster aus der Datenbank 86 werden mit dem unbekannten Merkmalsverlauf (dem Muster) verglichen, und zwar durch Veränderung der Zeitbasis und/oder der Amplitude. Das DTW-Verfahren hat die Fähigkeit, den zu klassifizierenden Merkmalsverlauf zeitlich zu verändern, so daß zu jedem Referenzmuster ein optimales Abstandsmaß berechnet werden kann. Dies kompensiert eine zeitlich veränderliche Dynamik, die auch bei einer Bedienung durch dieselbe Person nicht ausgeschlossen werden kann. Das DTW-Verfahren berechnet dabei für jedes Referenzmuster, das aus der Datenbank 86 zugespielt wird, den "Abstand" zum Testmuster bei einer bestmöglichen zeitlichen Koordinierung bzw. Zuordnung. Die Entscheidung fällt auf eines der angebotenen Referenzmuster, namentlich dasjenige mit dem geringsten Abstand, so daß die Auswahlschaltung 90 eine eindeutige Zuordnung des Gestentyps zu einem Muster gemäß 8 bis 11 vornehmen kann.
Es bietet sich an, einige Plausibilitätsabfragen einzubauen, um Randwerte und Fehlfunktionen zu vermeiden. So kann beispielsweise eine Klasse definiert werden, in welche all diejenigen Muster eingelernt werden, die nicht erkannt werden sollen, oder diejenigen Muster, die einen zu großen Abstandswert haben, dorthin klassifiziert werden. Damit kann vermieden werden, daß mit Zwang eine der verfügbaren Gesten einem angebotenen Muster zugeordnet wird, obwohl eigentlich keines der in der Datenbank 86 verfügbaren Muster wirklich passen würde.
Ist eine Geste bestimmt, kann über die Steuerleitung 102 das technische Gerät 100, beispielsweise ein Radio, ein Computer, ein PC, ein Telefon oder ein Navigationssystem oder eine sonstige technische Einrichtung mit einem ersten Befehl angesteuert werden. Dieser Befehl kann beispielsweise heißen "Lautstärke erhöhen" für ein Radio oder "Aufrufen des Hauptmenüs" für einen PC. Aufgrund der Erkennung des Endes der diskreten Geste mit der Einrichtung 60 und der jetzt erfolgten Gestenerkennung durch die Vergleichereinrichtung 84 mit Klassifikator, ist das technische Gerät 100 in einen Betriebszustand versetzt, in dem es weitere Steuerungen annimmt, aber mit einem anderen Befehlssatz oder einer anderen Steuerfunktion. Diese wird von der Schnittstelle 81 vorgenommen, die von dem Umschalter 65 dann über kG freigegeben wird, wenn das Ende der diskreten Geste erkannt wurde. Eine kontinuierliche Geste kG kann jetzt über das direkte Abstandssignal und den Distanzvektor entlang des Signalpfades 44 (über die Verbindung 45) und die Schnittstelle 81 direkt das technische Gerät 100 stetig oder analog ansteuern. Diese Ansteuerung erfolgt über die Steuerleitung 101.
6a ist eine zu 6 ähnliche Vorverarbeitung mit Gestenerkennung. Die in 6 erläuterten Bezugszeichen für die einzelnen Funktionsglieder finden sich in 6a wieder, nur in anderer schematischer Darstellung als reines Blockschaltbild ohne die in 6 symbolisierte Schleife der Abtastung und Bestimmung von Distanzvektor und Trendvektor. Der Distanzvektor findet sich in der 6a am Ausgang der Distanzmessung 26 und am Ausgang einer digitalen Linearisierung 26b wieder, die zuvor angesprochen aber bislang nicht abgebildet war. Sie wandelt die Kennlinie beispielsweise der 1 in eine linear fallende Kennlinie um. Der Trendvektor wird am Ausgang der Berechnung 40 bereitgestellt. An dem Eingang dieser Berechnungsfunktion 40 steht der gemessene, linearisierte Distanzvektor an. Beide Meßgrößen werden einem symbolisch dargestellten Umschalter zugeführt, der in der
6 durch die Funktionsblöcke 65 und die Freigaben 80 bzw. 81 dargestellt war. Die Umschalteinrichtung 65 steuert auch in 6a die symbolischen Schalter 43a, 45a, um entweder den Trendvektor zum Mustervergleich freizuschalten, oder den linearisierten Distanzvektor zur kontinuierlichen Steuerung des technischen Gerätes freizuschalten.
Die Schalter 43a, 45a sind nicht gleichzeitig geschlossen. Ist der Schalter 45a geschlossen, wird über die Funktion 81b eine "Regeldistanz" ermittelt, die aus Differenzen von benachbarten Distanzvektoren besteht. Die entsprechende Veränderung des Weges steuert über die kontinuierliche Geste als Distanz D das zu steuernde technische Gerät in dem zweiten Modus kM, dessen Einschaltung das Ende einer diskreten Geste war. Nach einem Zurückschalten des Schalters 45a schließt erneut Schalter 43a und das System ist bereit, eine neue diskrete Geste im sogenannten diskreten Modus dM hinsichtlich des Beginns und des Endes, also der Länge der nächsten diskreten Geste festzulegen.
Statt dem Sensorfeld 5 mit den Abstandssensoren S1 bis S5 sind bei 6a mehr solche Sensoren Sn vorgesehen, mit einer Laufvariablen n. Jeder Sensor stellt ein Abstandssignal bereit, das in der beschriebenen Weise zur Erfassung der Bewegung des beweglichen Körperteils herangezogen wird.
Eine Verbesserung der Erkennung eines analogen Signals im Abstandsbereich ergibt sich dann, wenn zu den vier Sensoren S1 bis S4 von 3 ein fünfter Sensor S5 im wesentlichen im Zentrum des dort dargestellten Kreises, auf dem die anderen Sensoren angeordnet sind, hinzugenommen wird. Dieser Sensor S5 ist bevorzugt ein Sensor mit einer Kennlinie im Nahbereich, um die meist über der Mitte des Sensorfeldes stattfindende kontinuierliche Geste bis praktisch herab zum Anbringungsort des Sensorfeldes 15 messen zu können. Wird der zusätzliche Sensor S5, der für die diskrete Gestenerkennung nicht zwingend herangezogen werden muß, nicht verwendet, kann auch eines der Signale der anderen Distanzsensoren S1 bis S4 für die Abtastung der kontinuierlichen Geste herangezogen werden. Es wird dann von einer Schaltlogik – die nicht gesondert dargestellt ist – ausgewählt, welches der Abstandssignale der mehreren Sensoren im Sensorfeld 15 das beste Abstandssignal zur Steuerung des technischen Gerätes über den Kanal 101 liefert.
Auch eine Kombination aus mehreren Abstandssignalen ist möglich, beispielsweise die Zusammenstellung der Ausgangssignale von zwei Abstandssensoren.
War bisher beschrieben worden, daß Handgesten mit dem Sensorfeld der 3 zusammenarbeiten, so soll ergänzt werden, daß die zuvor gegebene Beschreibung auch für das Sensorfeld der 2 ebenso gilt, nur hier das bewegliche Körperteil ein Kopf ist. Eine Wischbewegung ist hier nicht möglich. Hier werden Kopfnicken, Kopfschütteln oder Bewegungen des Kopfes (beispielsweise beim Einsteigen und Setzen eines Fahrers in den Sitz eines Fahrzeugs) erkannt und als Geste bzw. Gestentyp in der Vergleicherschaltung 84 erkannt. Mit dem Befinden des Kopfes K in dem dreidimensionalen Meßfeld 6 (Bereiche 6a, 6b) ist es auch möglich, einen Kontrollblick zu einer Instrumententafel als "Geste" zu erfassen, um weitergehende Funktionen veranlassen zu können, beispielsweise festzulegen, auf welchen Teil des Fahrzeugs oder des Innenraums der Benutzer gerade seine Aufmerksamkeit ausgerichtet hat. Kopfgesten und Handgesten können auch vorteilhaft kombiniert werden, wobei es sich als günstig erwiesen hat, wenn unterschiedliche Arten von Sensorfeldern für die jeweiligen Gesten unterschiedlicher Körperteile Anwendung finden. Das Sensorfeld der 3 ist beispielsweise sehr eben aufgebaut, während das Sensorfeld der 2 nicht vollständig eben ist, sondern sich an der Form der Kopfstütze und dessen trapezförmige Ausbildung an den Seitenkanten ausrichtet.
Für eine Handgeste läßt sich vorteilhaft eine Kombination einer dynamischen Geste und einer kontinuierlichen Geste als komplexes Steuersignal verwenden. Die beiden verschiedenen Arten von Gesten können in unterschiedliche räumliche Richtungen laufen. So kann die diskrete Geste in x-y-Richtung gemäß 3 orientiert sein, also vor den optischen Elementen s_ia und s_ib (für i = 1 bis 4) der Sensoren. Je nach Anbringung des Sensorfeldes ist das oberhalb oder neben den Sensoren, aber jedenfalls vor ihren optisch empfindlichen Bereichen. Nach dem Ende einer diskreten Geste kann sich die kontinuierliche Geste anschließen und in Meßrichtung z der optischen Sensoren verlaufen, wie das 7 für eine kontinuierliche Geste zur Steuerung beispielsweise der Lautstärke eines Radios zeigt. Die kontinuierliche Geste hat einen wesentlich genaueren Einstellcharakter, als es Spracheingabe oder diskrete Gestenangaben ermöglichen. Die zuvor angesprochene Lautstärke kann analog beispielsweise sehr fein eingestellt werden, ohne spürbare Raster.
Die Anbringungen der Sensorfelder sind beschrieben worden an Armaturen oder Kopfstützen. Sie können auch an Schaltknauf oder Mittelkonsole eines Fahrzeugs, an Vorderseiten von Geräten oder an Hilfseinrichtungen für körperlich behinderte Personen angebracht werden. Diese Einrichtungen sind nicht gesondert dargestellt, aber für den verständigen Leser ohne weiteres ersichtlich.
Waren zuvor Kopfgesten nur im Rahmen von diskreten Gesten beschrieben worden, kann für behinderte Personen eine Kopfgeste auch so steuernd erfaßt werden, wie das mit dem Umschalter 65 für die Trennung von diskreten Gesten und kontinuierlichen Gesten gezeigt worden ist.
Ein Nicken des Kopfes kann beispielsweise die diskrete Geste darstellen, die nach ihrem Ende (Erkennung des Merkmalverlaufs in der Vergleicherschaltung 84 und erstes Ansteuern 102 des Gerätes 100) ein Wechseln in die Auswertung des Signalverlaufs im Rahmen der kontinuierlichen Geste veranlaßt. Eine Seitwärtsbewegung des Kopfes würde dann als eine Veränderung des Abstandes von beispielsweise dem Sensor S5 interpretiert werden und steuert stetig den anderen Signaleingang 101 des technischen Gerätes 100 mit einem zweiten Signal.
In allen beschriebenen Ausführungen werden keine Sensoren an Personen oder Körperteilen befestigt, deren Bewegung oder Geste erkannt wird oder zur Steuerung des technischen Gerätes eingesetzt wird. Die beschriebenen Ausführungsbeispiele sind deshalb hervorragend auch an solchen Stellen geeignet, an denen der Benutzer häufig seinen Platz wechselt oder aufgrund von anderen Umständen sich nicht mit einem Sensor oder einer sonstigen Erfassungseinrichtung körperlich verbinden lassen möchte.
Zu den Sensorverläufen der 8 bis 11 braucht nicht viel gesagt zu werden. Diese Signale veranschaulichen den Erkennungsbetrieb der Signalverarbeitung nach 4, 5 und 6 (oder 6a) sowie der Sensorfelder nach den 2 oder 3 zur Vorgabe der von der Signalverarbeitung verarbeiteten Meßsignale.
Zu erwähnen wäre allenfalls, daß die 8 eine einfache Bewegung einer flach ausgestreckten Hand in x-Richtung von 3 zeigt. 9 ist eine einfache Vorwärts-Bewegung einer ebensolchen Hand in y-Richtung bei einem Sensorfeld nach 3. Aufgezeichnet sind die Abstandswerte.
Die Werte 400mm als Distanz entsprechen jeweils einem Fehlen des bewegten Körperteils im 3D-Meßraum 5. Anhand des Signalverlaufs der Signale a1(t) bis a4(t) ist zu ersehen, daß keines der Signale redundant ist und die Anordnung so gewählt ist, daß möglichst unterschiedliche Signale von allen zur Bewegungserkennung verwendeten Sensoren geliefert werden. Gleiches gilt auch für 9, bei der die Sensoranordnung. identisch ist, nur die Bewegungsrichtung der flachen, ausgestreckten Hand um 90° geändert wurde. Auch hier finden sich keine gleichen Meßsignale, so daß sich der Schluß rechtfertigt, daß die Anordnung der Sensoren für eine komplexere Geste gut geeignet ist. Das vom Sensor S5 zusätzlich gelieferte Abstandssignal a₅(t) wird nicht für die Merkmalsgewinnung bei der diskreten Geste verwendet, sondern kann bevorzugt für die Abstandsinformation des Funktionsgliedes 81b herangezogen werden, nachdem dieser Sensor im wesentlichen in der Mitte der anderen Sensoren angeordnet ist.
Der zeitliche Beginn dieses Sensors S5 zeigt auch die Richtung der Bewegung. So ist die Flanke eines Abstandssignals in der Reihenfolge S4, S1, S5 bei einer +x-Bewegung und die Reihenfolge S3, S4, S5 bei einer +y-Bewegung zu erkennen.
In den 10 und 11 sind zwei komplexere Gesten dargestellt, namentlich eine erste diskrete Geste in 10 und eine zweite diskrete Geste in 11, aber mit ihren Trendvektoren m_Ti bei i = 1 bis 4. Der Verlauf der Abstandssignale der Sensoren S1 bis S4 stammt bei dieser Darstellung aus der 2. Daran kann ermessen werden, daß bei einem Kopfnicken, das nicht symmetrisch im Blickfeld der Sensoren S1, S3 stattfindet, beide Geschwindigkeiten m_T1, m_T3 nicht in Gegenphase, sondern im wesentlichen in Gleichphase liegen, aber mit unterschiedlichen Amplituden, nachdem der Kopf bei der Nickbewegung an den Meßpunkten der beiden Sensoren S1, S3 unterschiedliche Wege in derselben Zeit zurücklegt. Daraus ergeben sich unterschiedliche Geschwindigkeiten als Steigung der Trendgerade der Meßwerte von S1 und der Meßwerte von S3. Bei einer verneinenden Bewegung reagieren hauptsächlich die anderen Sensoren S2, S4, diese aber in Gegenphase, was die Signale m_T2, m_T4 auch bestätigen. Die anderen beiden Verläufe der Trendsignale zeigen kaum einen Ausschlag, nachdem hier keine Veränderung der Geschwindigkeit bei im wesentlichen gleichbleibendem Meßpunkt für die Sensoren S1, S3 vorliegt.
Die sich möglicherweise anschließende kontinuierliche Geste war symbolisch bereits an der 7 erläutert worden und braucht hinsichtlich des Signalverlaufs nicht gesondert dargestellt zu werden. Es handelt sich um ein Abstandssignal, das abhängig von der Bewegung der Hand H und einer eventuell vorgesehenen Linearisierung der Kennlinie nach 1 Einfluß auf das zu steuernde Gerät 100 mit dem jeweiligen Abstandswert über die Erfassung der Distanz D von Funktionsglied 81b nimmt.
Es versteht sich, daß die in der Datenbank 86 vorliegenden Vergleichsmuster für bekannte Gesten, die zuvor trainiert worden sind, mit derselben Anordnung von Sensoren und vor einem gleichen Sensorfeld aufgezeichnet wurden, um die Vergleichbarkeit sicherzustellen.

Claims

Einrichtung zur Erfassung einer Geste eines beweglichen Körperteils (K, H) zur Steuerung eines technischen Geräts (100) oder zur Vermittlung eines Merkmalverlaufs an eine Vergleichereinrichtung (84; 82, 86, 83, 90) zur Erkennung eines Gesteninhalts; (a) bei welcher Einrichtung eine Sensoreinrichtung (15, 16) mehrere Abstandssensoren (S1, S2, S3, S4) aufweist, welche jeweils eigenständig ein Meßsignal (a1(t), a2(t)) abgeben; (b) die mehreren Abstandssensoren in ihrer Anordnung in einer relativ zueinander im wesentlichen festen geometrischen Beziehung stehen und an einen Träger (10, 11) fest anbringbar sind, zur Ausbildung eines Sensorfeldes (15, 16) von Abstandssensoren und eines vor den Abstandssensoren in Richtung ihrer Abstandsmessung (z) gelegenen dreidimensionalen Messraums (5, 6), in welchem Raum die Geste des beweglichen Körperteils stattfindet.
Einrichtung nach Anspruch 1, wobei die Sensoren im Wesentlichen in einer Ebene (10) angeordnet sind.
Einrichtung nach Anspruch 1, wobei die Sensoren nicht an einem Körperteil, sondern gegenüber dem bewegten Körperteil fest und im Abstand davon angeordnet sind.
Einrichtung nach Anspruch 1 oder 2, wobei mehr als zwei Sensoren, insbesondere vier oder fünf Sensoren (Sl, S2, S3, S4, S5) vorgesehen sind, bevorzugt auf einen Kreis oder an den Seiten eines Mehrecks.
Einrichtung nach Anspruch 1 oder 4, wobei die Sensoren optische Sensoren sind, insbesondere jeweils über einen Sender (s1a, s2a, ...) und einen Empfänger (s1b, s2b, ...) von Infrarot-Lichtstrahlen arbeiten.
Einrichtung nach Anspruch 1, wobei eine Signaleinrichtung (50,60) vorgesehen ist, welche – eine im dreidimensionalen Messraum stattfindende diskrete Geste (dG) nach ihrem Beginn und ihrem Ende festlegt; – eine Schaltereinrichtung (65) ansteuert, welche nach dem Ende der diskreten Geste zumindest eines der mehreren eigenständigen Abstandssignale (a1(t)) zur (direkten) Steuerung des technischen Gerätes (100, 101) über eine kontinuierliche Geste freigibt (81, 45).
Einrichtung nach Anspruch 6, wobei die Schalteinrichtung (65) eine Umschalteinrichtung ist, welche nach dem Ende der kontinuierlichen Geste (kG), insbesondere nach einem abrupten Herausbewegen des beweglichen Körperteils aus dem dreidimensionalen Messraum (5, 6), zurückschaltet und dabei die (direkte) Steuerung des technischen Gerätes über die kontinuierliche Geste sperrt.
Einrichtung nach Anspruch 6 oder 7, wobei die Schalteinrichtung im Normalzustand so geschaltet ist (80, 43), daß der Merkmalsverlauf (10, 11) einer diskreten Geste (dG) nach einem Zeitintervall (T1) des Stattfindens dieser diskreten Geste einer Vergleichereinrichtung (84) zur Auswertung zugeführt wird, wobei ein Ausgangssignal (102) der Vergleichereinrichtung eine erkannte Geste ist, und diese erkannte Geste zur Steuerung des technischen Gerätes (100) freigeschaltet ist (43, 80, 102).
Einrichtung nach Anspruch 1 oder 8, wobei die Vergleichereinrichtung eine Mustererkennung mit einer Klassifizierung (82, 86) ist.
Verfahren zur Erfassung einer Geste eines beweglichen Körperteils (K,H) zur Steuerung eines technischen Geräts (100) oder zur Vermittlung eines Merkmalverlaufs an eine Vergleichereinrichtung (84; 82, 86, 83, 90) zur Erkennung eines Gesteninhalts; (a) wobei Signale von mehreren Abstandssensoren (Sl, S2, S3) während des Stattfindens einer ersten Geste oder Bewegung eines beweglichen Körperteils (K, H) in einem dreidimensionalen Messraum ausgewertet werden (20, 84), um die Art der Geste zu erkennen; (b) abhängig von der Art der erkannten Geste ein technisches Gerät (100) entsprechend dem Gesteninhalt angesteuert wird (101, 102).
Verfahren zur Erfassung einer Geste eines beweglichen Körperteils (K,H) zur Steuerung eines technischen Geräts (100) oder zur Vermittlung eines Merkmalverlaufs an eine Vergleichereinrichtung (84; 82, 86, 83, 90) zur Erkennung eines Gesteninhalts; (a) wobei Signale von mehreren Abstandssensoren (S1, S2, S3) während des Stattfindens einer ersten Geste oder Bewegung eines beweglichen Körperteils (K, H) in einem dreidimensionalen Messraum (5, 6) ausgewertet werden (20, 84), um die Art der Geste zu erkennen; (b) eine Bewegung des bewegten Körperteils in dem dreidimensionalen Messraum (5, 6) erfasst wird und eine Dauer (T1) oder zumindest ein Ende der ersten Geste festgelegt wird (60), wobei nach dem Ende in eine andere Art der Gestenerkennung umgeschaltet wird (65, 81, 45), zur anschließenden Auswertung einer zweiten Geste desselben Körperteils (K, H).
Verfahren nach Anspruch 11, wobei die andere Art der Gestenerkennung eine Abstandserfassung ist (45, 44) und die zweite Geste ohne eine Merkmalserkennung (84) stetig, insbesondere proportional auf zumindest eine Steuerfunktion des technischen Gerätes einwirkt (101, 100).
Verfahren zur Signalverarbeitung für eine Einrichtung nach Anspruch 1 zur Erfassung einer Geste eines beweglichen Körperteils (K, H) und zur Steuerung eines technischen Geräts (100) oder zur Vermittlung eines Merkmalverlaufs an eine Vergleichereinrichtung (84; 82, 86, 83, 90) zur Erkennung eines Gesteninhalts; wobei Geschwindigkeitsgrößen (m_Ti) mehrerer Distanzsensoren (S1 bis S4) aufeinanderfolgend in einem Pufferspeicher (80a) gespeichert werden; wobei der Inhalt des Pufferspeichers aktualisiert wird; wobei bei oder nach jeder Aktualisierung des Pufferspeichers sein Inhalt der Vergleichereinrichtung (84) zugeführt wird; um eine Geste zu erkennen, für welche der Inhalt des Pufferspeichers repräsentativ ist.
Einrichtung nach Anspruch 1, wobei der Träger ein Fahrzeugteil ist, insbesondere ein Innenraumteil, wie Mittelkonsole, Schalthebel, Himmel, Instrumententafel, Kopfstütze.
Signal-Verarbeitungseinrichtung für eine Einrichtung nach Anspruch 1 zur Erfassung einer Geste eines beweglichen Körperteils (K, H) und zur Steuerung eines technischen Geräts (100) oder zur Vermittlung eines Merkmalverlaufs an eine Vergleichereinrichtung (84; 82, 86, 83, 90) zur Erkennung eines Gesteninhalts; wobei eine erste Anzahl von Abstandsmeßwerten (a1(t), a2(t),...) aufeinanderfolgend in einen Pufferspeicher (30) speicherbar sind (26); der Pufferspeicher mit weiteren Abstandsmeßwerten zeitdiskret aktualisierbar ist (30); aus mehreren der gespeicherten Meßwerte des Pufferspeichers (30) eine Geschwindigkeitsgröße (m_Ti;i = 1...4) für einen jeweiligen Zeitpunkt berechenbar ist (40; 5); die berechnete Geschwindigkeitsgröße (m_Ti) in einem weiteren Speicher (80, 80a) als ein Merkmal einer Merkmalsfolge (10, 11) speicherbar ist und mit den anderen Merkmalen in der gespeicherten Merkmalsfolge zusammen einer Vergleichereinrichtung (84) zuführbar ist, um eine Geste zu erkennen (90, 102), für welche die Merkmalsfolge repräsentativ ist.
Signal-Verarbeitung nach Anspruch 15, wobei für einen Abtastzeitpunkt mehrere Abstandsmeßwerte von mehreren Distanzsensoren (S1, S2, S3, S4) in dem Pufferspeicher (30) gespeichert werden und für jeden Distanzsensor eine eigene Geschwindigkeitsgröße berechenbar ist.
Signal-Verarbeitung nach Anspruch 15, wobei Geschwindigkeitsgrößen mehrerer Distanzsensoren (S1 bis S4) aufeinanderfolgend in einem Pufferspeicher (80a) gespeichert werden; und wobei der Inhalt des Pufferspeichers aktualisiert wird und bei oder nach jeder Aktualisierung des Pufferspeichers sein Inhalt der Vergleichereinrichtung (84) zugeführt wird, um eine Geste zu erkennen, für welche der Inhalt des Pufferspeichers repräsentativ ist.