DE102015002811A1

DE102015002811A1 - Verfahren zur verbesserten Gestensteuerung mittels optischer, nicht Kamera basierter Gestenerkennungssysteme

Info

Publication number: DE102015002811A1
Application number: DE102015002811.1A
Authority: DE
Inventors: Michael Hase
Original assignee: Elmos Semiconductor SE
Current assignee: Elmos Semiconductor SE
Priority date: 2014-05-30
Filing date: 2015-02-25
Publication date: 2015-12-03
Also published as: DE102015002813A1

Abstract

Die Erfindung betrifft ein Verfahren zur Gestenerkennung mittels eines optischen Gestenerkennungssystems auf Basis von zumindest zwei Ausgangssignalen (La, Lb) einer Auswerteeinheit innerhalb eines optischen Empfänger- und/oder optischen Sendersystems. Das optische Empfänger- bzw. Sendersystem umfasst dabei einen ersten Empfänger oder einen ersten Sender und mindestens einen zweiten Empfänger und/oder einen zweiten Sender, auf der ersten Seite und Sender auf der zweiten Seite im Falle von Empfängern auf der ersten Seite und/oder Empfänger auf der zweiten Seite im Falle von Sendern auf der ersten Seite. Die optischen Sender und Empfänger auf der ersten Seite sind dabei vorzugsweise eindimensional längs einer mit einem Parameter (X) parametrisierten Verbindungslinie, die diese verbinden, angeordnet. In einem ersten Schritt senden die Sender jeweils ein optisches Sendesignal aus. Die Empfänger empfangen die durch ein Objekt reflektierten optischen Sendesignale der Sender. Es folgt die Wandlung in jeweils mindestens ein dem jeweiligen Empfänger bzw. Sender der ersten Seite zugehöriges Ausgangssignal (La, Lb). Die Auswerteeinheit erzeugt dann ein erstes Signal, das von der Differenz dieser beiden Ausgangssignale (La, Lb) geteilt durch ihre Summe abhängt und ein Maß für eine Koordinate der Position des Objekts darstellt. Dabei entspricht dieses Maß in einem Auswertebereich (mf) längs der parametrisierten Verbindungslinie zwischen den Empfängern und/oder Sendern der ersten Seite einer streng monoton fallende oder streng monoton steigende Funktion eines Parametrisierungsparameters (X) im Falle einer eindimensionalen Verbindungslinie zwischen den Empfängern bzw. Sendern.

Description

Einleitung
Mittels optischen Sendern und Empfängern, deren Anzahl typischerweise anwendungsspezifisch ist und mindestens zwei beträgt, wird eine Geste bzw. die Bewegung eines Objektes in einem Abstand zu dem Gestenerkennungssystem detektiert. Das durch den Sender erzeugte Strahlungsfeld wird dabei durch ein Objekt, das die Geste ausführt, modifiziert. Dies kann durch Reflektion und/oder Transmission geschehen. Die durch das Objekt, das die Geste ausführt, also beispielsweise eine Hand, hervorgerufene Strahlungsfeldänderung wird durch den Empfänger erfasst und ausgewertet. Ein typischer Empfänger misst dabei beispielsweise die Amplitude des rückgestrahlten Lichts und/oder dessen Laufzeit seit Aussendung durch den Sender. Das Objekt, das die Geste ausführt, also beispielsweise eine Hand, wird in dieser Offenbarung auch als Gestenerkennungsobjekt bezeichnet.
Die erfindungsgemäße Vorrichtung soll dabei über mindestens zwei Sender verfügen, die längs einer ersten geraden Verbindungslinie mit zumindest einem Abstand d zwischen diesen zumindest zwei Sendern angeordnet sind.
Jeder dieser mindestens zwei Sender erzeugt für sich ein Strahlungsfeld, das durch eine das durch die jeweilige Geste eine zeitliche Veränderung erfährt. Diese wird durch das Empfängersystem erfasst und als zeitliches Ausgangssignal (L₁) für die Auswertung verwendet. Zunächst wird der Fall zweier Empfangssysteme betrachtet, die ebenfalls längs einer zweiten geraden Verbindungslinie angeordnet sind, wobei diese zweite Verbindungslinie typischerweise parallel oder gleich der ersten Verbindungslinie ist. Diese Empfangssysteme werden hier zunächst mit den Indizes a und b unterschieden. Die beiden Ausgangssignale der beiden beispielhaften Empfangssysteme seien dann L_a und L_b.
Aus der Ultraschalltechnik ist ein Verfahren zur Richtstrahlbildung aus der DE19648327A1 bekannt, bei der zwei Ultraschallkeulen durch Bildung eines Signals
in ihrer Richtwirkung im Ultraschallfernfeld maximiert werden. Dabei werden die beiden Ausgangssignale der beiden beispielhaften Empfangssysteme, die Signal L_a und L_b als komplexe Größen behandelt. Dem Fachmann ist offensichtlich, dass für die Verwendung der in der DE19648327A1 offenbarten Technik im optischen Anwendungsfall es eines kohärenten Lichtstrahls, mithin eines Lasers bedarf. Bei der beabsichtigten Gestenerkennung sollen jedoch gerade einfache, nicht koherente Lichtquellen zum Einsatz nkommen. Außerdem soll der Abstand des Gestenerkennungsobjektes, mit dem die Geste ausgeführt wird, also beispielsweise eine Hand, in einer vergleichbaren Größenordnung wie der Abstand d der beiden Empfänger liegen. Im Gegensatz zur Richtstrahlbildung entsprechend der aus der DE19648327A1 bekannten Richtstrahlausbildung ist im Falle der Gestenerkennung genau der gegenteilige Wunsch nach einem möglichst breiten Erkennungsfeld längs der Verbindungslinie der beiden optischen Sender der Fall. Die Anwendung der obigen Formel auf ein optisches Gestenerkennungssystem würde jedoch zu einer sehr schmalen Empfindlichkeitskeule führen, was aufgrund des daraus folgenden kleinen Detektionsbereiches keine Gestenerkennung mittels der typischerweise relativ weitausholenden Gesten erlauben würde. Außerdem basiert die obige Formel auf der Auswertung der Phaseninformation, die bei einem nicht kohärenten System nicht zur Verfügung steht.
Für eine Gestenerkennung ist jedoch die Aufgabe zu lösen, dass eine Koordinate zu bestimmen ist, wobei diese Koordinate einem Parameter (X) einer parametrisierten Verbindungslinie zwischen mindestens zwei Empfängern entspricht. Diese Aufgabe ist mit der Technik der DE19648327A1 nicht lösbar, da es sich nur um eine Strahlfokussierung auf Basis kohärenter Schallwellen handelt, die das im Folgenden beschriebene erfindungsgemäße Problem nicht löst.
Ein Problem der Gestenerkennung ist nun, dass die eindeutige Entscheidung hinsichtlich der erkannten Geste erst nach dem kompletten Ausführen der Geste getroffen werden kann. Erst dann liegen alle Daten vor und die Wahrscheinlichkeit einer fehlerhaften Annahme einer nicht ausgeführten Geste und/oder der fehlerhaften Rückweisung einer richtig ausgeführten Geste ist erst zu diesem Zeitpunkt minimiert. Dies resultiert aus der Tatsache dass die Änderung, die nur von einem Empfänger in seinem Empfangsbereich, dem Feld (f1, f2), detektiert wird, nicht genügend aussagekräftig für die sichere Erkennung der Geste ist. Dieser Mangel an Informationen kann durch die bereits erwähnte Verwendung mehrerer Empfänger und/oder Sender vermindert werden. Beispielsweise ist die Erfassung einer Annäherung schon mit nur einem Sender/Empfänger-Paar möglich. In dem Fall ist die Signalamplitude aber nicht nur von dem zu messenden Abstand abhängig, sondern auch von anderen Größen, wie beispielsweise der Objektgröße und/oder der Objektreflektivität.
Dass eine Auswertung der Geste erst erfolgen kann, wenn die Geste vollständig dargestellt wurde, ist für eine intuitive Benutzeroberfläche äußerst hinderlich und senkt den Bedienkomfort. Sie stört die Realisierung einer benutzerintuitiven Interaktionsmöglichkeit.
Aufgabe der Erfindung
Ziel ist es, dem Bediener, also dem Gestensprecher, eine sofortige Rückmeldung zu der gerade in Ausführung befindlichen Geste zu geben, noch bevor diese abgeschlossen ist. Die Möglichkeit einer sofortigen Rückmeldung zu der gerade in Ausführung befindlichen Geste soll dem Bediener noch eine Korrektur seiner Bewegungen während der Ausführung der Gestenbewegung ermöglichen. Außerdem soll die Gestenerkennungsvorrichtung ein Ergebnis unabhängig von der Größe und dem Reflexionsgrad des Objekts liefern.
Diese Aufgabe wird mit Hilfe eines Verfahrens nach Anspruch 1 gelöst.
Beschreibung der Erfindung
Die Erfindung wird anhand der Figuren erläutert, ohne diese auf diese Figuren zu beschränken.
Maßgeblich sind die Ansprüche.
Ein wesentlicher Grundgedanke der Erfindung ist es, die benachbarten Strahlungsfelder benachbarter Sender und die Empfangskeulen benachbarter Empfänger sich überlappen zu lassen. Hierdurch entstehen zwischen jeweils zwei Empfängern drei eindeutig detektierbare Bereiche. Hierdurch kann eine Vorerkennung einer Geste, im Folgenden auch Prädetektion oder Gestenhypothesenbildung genannt, erfolgen. Diese Vorerkennung ermittelt die wahrscheinlich bis zu dem jeweiligen Zeitpunkt erkannte Geste als Gestenhypothese und stellt diese Gestenhypothese geeignet dar. Eine Rückmeldung kann beispielsweise so aussehen, dass bei der beabsichtigten Selektion eines von mehreren Objekten auf einem Bildschirm, das Objekt mit der höchsten Selektionswahrscheinlichkeit am größten dargestellt wird und die Objekte mit niedriger Selektionswahrscheinlichkeit entsprechend ihrer jeweiligen Selektionswahrscheinlichkeit proportional kleiner dargestellt werden. Gleichzeitig kann das Objekt mit der höchsten Selektionswahrscheinlichkeit beispielsweise noch in einer ersten Farbe umrahmt und damit markiert werden, während es nach der erfolgten Selektion durch eine zweite Farbe markiert wird. Es ist somit erwähnenswert, dass die unterschiedlichen Markierungsmöglichkeiten, die für die Darstellung der Selektionswahrscheinlichkeit verwendet werden können in gleicher Weise für die Markierung der selektierten Objekte selbst und derer Eigenschaften verwendet werden können. Es ist jedoch äußerst zu empfehlen, dass diese Markierungen sich jeweils unterscheiden.
Ein anderes Beispiel ist das Blättern in einer Text- oder Bild-Datei mittels Gestensteuerung. In der mittleren Zone wird dabei die Richtung des Umblätterns angezeigt und der Anwender kann die Geste stoppen, bevor die Seite Umgeblättert wird.
Für eine bessere Handhabbarkeit sind mehr als drei Zonen und damit mehr als zwei Empfänger erforderlich. Eine solche Konstruktion kann mittels schmal strahlender Sender und Empfänger mit schmalen Empfängerkeulen realisiert werden. Allerdings erhöht sich die Komplexität eines derartigen Systems dadurch stark. Man formt und überlagert dabei die Felder, d. h. der Überlagerung der Sende- und Empfangskeulen, in der Art, dass eine kontinuierliche Gestenerfassung gegeben ist.
In 1 sind die Empfindlichkeitskurven zweier beispielhafter Felder (f1, f2), d. h. der jeweiligen Überlagerung der Sende- und Empfangskeulen, für einen eindimensionalen Gestenerkenner in Abhängigkeit von einer eindimensionalen Koordinate (X) angegeben, die eine Koordinate der Objektposition, also beispielsweise der Position der Hand, darstellen soll. Als Ordinate sind die beiden Ausgangssignale L_a und L_b zweier Empfangssysteme angegeben.
Die Abzisse ist die Position des Objekts bei einer Bewegung längs der Verbindungslinie zwischen den beiden Empfängern an den Positionen X₁ und X₂ im Abstand d.
Das Messergebnis X' wird nun dadurch erhalten, dass die Differenz der beiden Ausgangssignale durch ihre Summe geteilt wird.
Das Ergebnis dieser Operation ist in 2 als Funktion dargestellt. Als Ergebnis ergibt sich ein vorzugsweise linearisierter Bereich, in dem die Position und die Bewegungsrichtungen des Objekts eindeutig feststellbar sind und die Auswertung der Geste kontinuierlich stattfinden kann. In dem Auswertebereich (mf) ist die erreichte Position des Objekts eindeutig und von anderen Eigenschaften des Objekts wie Reflexionsgrad, Größe etc. unabhängig, was der wesentliche Unterschied zum Stand der Technik ist. Erfindungsgemäß wurde erkannt, dass nicht der naheliegende Euklidische Abstand, der einer Triangulation entspricht, zu bestimmen ist, sondern die normierte Differenz.
Der Auswertebereich (mf) ist dabei dadurch charakterisiert, dass in diesem Bereich die Funktion monoton fallend oder alternativ monoton steigend ist.
Wird ein ausgedehnterer Erkennungsbereich benötigt, so können mehre Sender und/oder Empfänger in der Art verwendet werden, dass sich mehrere überlappende Felder (f₁ bis f_n) ergeben. Im Falle einer eindimensionalen Erkennungsaufgabe können die mehreren überlappenden Felder (f₁ bis f_n) mittels einer Gewichtung der Ausgangssignale (L₁ bis L_n) durch Gewichtungsfaktoren (g₁ bis g_n) zu einer ersten Zwischensumme und einer zweiten Zwischensumme gewichtet summiert werden.
Die erste Zwischensumme (ZS₁) wird dabei wie folgt gebildet:
Die zweite Zwischensumme (ZS₂) wird dabei wie folgt gebildet:
Das Messergebnis X' wird nun dadurch erhalten, dass die Differenz der ersten und zweiten Zwischensumme durch ihre Summe geteilt wird.
Erfahrungsgemäß sollten die Randbereiche nicht in den Auswertebereich (mf) einbezogen werden, da in diesen eine Mehrdeutigkeit besteht.
Dieses Verfahren kann auf eine zweidimensionale Erkennung erweitert werden:
Wird ein ausgedehnterer zweidimensionaler Erkennungsbereich benötigt, so können mehre Sender und/oder Empfänger in der Art verwendet werden, dass sich mehrere überlappende Felder (f_1,1 bis f_n,m) ergeben. Im Falle einer zweidimensionalen Erkennungsaufgabe können die mehreren überlappenden Felder (f_1,1 bis f_n,m) wieder mittels einer Gewichtung der entsprechenden Ausgangssignale (L_1,1 bis L_n.m) durch Gewichtungsfaktoren (g_1,1 bis g_n,m) zu einer ersten Zwischensumme, einer zweiten Zwischensumme, einer dritten Zwischensumme und einer vierten Zwischensumme gewichtet summiert werden.
Die erste Zwischensumme (ZS₁) wird dabei wie folgt gebildet:
Die zweite Zwischensumme (ZS₂) wird dabei wie folgt gebildet:
Die dritte Zwischensumme (ZS₃) wird dabei wie folgt gebildet:
Die vierte Zwischensumme (ZS₄) wird dabei wie folgt gebildet:
Das erste Zwischenmessergebnis X'₁ wird nun dadurch erhalten, dass die Differenz der ersten und zweiten Zwischensumme durch ihre Summe geteilt wird. X'₁ = ZS₁-ZS₂ / ZS₁+ZS₂
Das zweite Zwischenmessergebnis X'₂ wird nun dadurch erhalten, dass die Differenz der dritten und vierten Zwischensumme durch ihre Summe geteilt wird. X'₂ = ZS₃-ZS₄ / ZS₃+ZS₄
Der Messwert in Y-Richtung ergibt sich dann durch Subtraktion des zweite Zwischenmessergebnis X'₂ vom ersten Zwischenmessergebnis X'₁: Y' = X'₁ – X'₂ = 1 / 2[ ZS₁-ZS₂ / ZS₁+ZS₂ – ZS₃-ZS₄ / ZS₃+ZS₄]
Der Messwert in X-Richtung ergibt sich dann durch Mittelwertbildung aus dem zweiten Zwischenmessergebnis X'₂ und dem ersten Zwischenmessergebnis X'₁: X' = X'₁ – X'₂ = 1 / 2[ ZS₁-ZS₂ / ZS₁+ZS₂ + ZS₃-ZS₄ / ZS₃+ZS₄]
Erfahrungsgemäß sollten die Randbereiche nicht in den Auswertebereich (mf) einbezogen werden, da in diesen eine Mehrdeutigkeit besteht.
Beispielhaft wird im Folgenden eine Realisierung des erfindungsgemäßen Verfahrens durch eine konkrete Systemrealisierung anhand der 4 bis 6 beschrieben.
4 stellt dabei die nicht beanspruchte Kombination zweier Halios-Systeme gemäß dem Stand der Technik dar. Diese vermessen den Abstand zwischen den jeweiligen Systemen und dem Objekt (O). Die Messresultate liegen dabei in Form der Verstärkerausgangssignale (S4) vor. Jeweils ein Signalgenerator (G1a, G1b) erzeugt je ein Sendesignal (S5a, S5b), dass durch jeweils einen Sender (Ha, Hb) in jeweils eine optische Übertragungsstrecke (I1, I4) eingestrahlt wird. Am Ende dieser Übertragungsstrecken (I1, I4) befindet sich das Objekt (O), beispielsweise eine die Geste ausführende Hand, das das optische Signal aus jeder der beiden Übertragungsstrecken (I1, I2) durch jeweils eine weitere Übertragungsstrecke (I2, I3) zu jeweils einem Empfänger (Da, Db) reflektiert. Gleichzeitig strahlt jeweils ein Kompensationssender (Ka, Kb) ebenfalls über eine jeweils bekannte Übertragungsstrecke in den jeweiligen Empfänger (Da, Db) linear überlagernd ein. Der jeweilige Empfänger (Da, Db) wandelt das derartig empfangene, modifizierte und überlagerte Summensignal zu einem jeweiligen Empfängerausgangssignal (S0a) um. Dieses wird jeweils in einem jeweiligen optionalen ersten Verstärker (V1a, V1b) zu einem modifizierten Empfängerausgangssignal (S1a, S1b) verstärkt. Das jeweilige modifizierte Empfängerausgangssignal (S1a, S1b) bzw. das Empfängerausgangssignal (S0a, S0b) wird in jeweils einem ersten Multiplizierer (M1a, M1b) mit dem jeweiligen Sendesignal (S5a, S5b) zum jeweiligen Filtereingangssignal (S10a, S10b) multipliziert. Die jeweiligen Filter (Fa, Fb) filtern das jeweilige Filtereingangssignal (S10a, S10b) zum jeweiligen Filterausgangssignal (S9a, S9b). Typischerweise wird die Filtercharakteristik hierbei für die Filter (Fa, Fb) identisch gewählt. Die Multiplikation in dem jeweiligen ersten Multiplizierer (M1a, M1b) und die anschließende Filterung in dem jeweiligen Filter (Fa, Fb) entsprechen einer Skalar-Produktbildung des jeweiligen modifizierten Empfängerausgangssignals (S1a, S1b) auf der einen Seite mit dem jeweiligen Sendesignal (S5a, S5b) auf der anderen Seite. Werden die Sendesignale (S5a, S5b) bezüglich dieses Skalar-Produkts orthogonal gewählt, so werden die Signalanteile des jeweils einen Sendesignals (S5a, S5b) im jeweils anderen Filterausgangssignal (S9b, S9a) unterdrückt. Die jeweiligen Filterausgangssignale (S9a, S9b) werden durch jeweils einen zweiten Verstärker (V2a, V2b) zum Verstärkerausgangssignal (S4a, S4b) verstärkt, das auch das jeweilige Messergebnis darstellt. Das Vorzeichen wird dabei so gewählt, dass sich Stabilität im Regelkreis einstellt. Jeweils in einem zweiten Multiplizierer (M2a, M2b) wird das jeweilige Sendesignal (S5a) mit dem jeweiligen Verstärkerausgangssignal (S4a, S4b) zum jeweiligen Kompensationsvorsignal (S6a, S6b) multipliziert. Das durch Addition mit einem konstanten Wert (B1a, B1b) aus dem jeweiligen Kompensationsvorsignal S6a, S6b) erhaltene jeweilige Kompensationssendesignal (S3a, S3b) steuert, wie bereits erwähnt, den jeweiligen Kompensationssender (Ka, Kb). Hierdurch werden die beiden Regelschleifen geschlossen. Sobald sich Stabilität einstellt enthalten die jeweiligen Empfängerausgangssignale (S0a, S0b) bis auf einen Regelfehler und das Systemrauschen keine Signalanteile des jeweiligen Sendesignals (S5a, S5b) mehr.
Erfindungsgemäß können die beiden so ermittelten Messwerte in Form zweier Ausgangssignale (L_a, L_b) je eines Empfängersystems zur Durchführung eines Verfahrens zur Gestenerkennung mittels dieses optischen Gestenerkennungssystems verwendet werden. Hierbei entsprechen die besagten Ausgangssignale (L_a, L_b) den beiden Verstärkerausgangssignalen (S4a, S4b).
Die Empfänger (Da, Db) werden hierbei vorzugsweise voneinander beabstandet angeordnet.
In 5 wird dargestellt, wie die Differenz dieser beiden Ausgangssignale (La, Lb) durch ihre Summe geteilt wird und als Ausgangssignal (out) und damit als Maß für eine Koordinate der Position eines Gestenerkennungsobjektes verwendet wird. Hierzu bildet ein Subtrahierer (Sub1) die Differenz (S4m) der beiden Verstärkerausgangssignale (S4a, S4b). Gleichzeitig bildet ein zweiter Addierer (A2p) die Summe (S4p) der beiden Verstärkerausgangssignale (S4a, S4b). Die Verstärkung des dritten Verstärkers (V3) wird nun so durch die Summe (S4p) der beiden Verstärkerausgangssignale (S4a, S4b) gesteuert, das dessen Verstärkung zumindest in gewissen Arbeitspunkten mit dem Kehrwert der Summe (S4p) der beiden Verstärkerausgangssignale (S4a, S4b) korreliert.
Da dieser Verstärker nur schwierig in analoger Schaltungstechnik zu realisieren ist, ist in 6 eine alternative Methodik angegeben, die zum gleichen Ergebnis führt.
Hinter den ersten Verstärkern (V1a, V1b) wird durch einen zweiten Subtrahierer (Sub2) das Empfängereingangsdifferenzsignal (S1m) als Differenz der Empfängerausgangssignale (S1a, S1b) gebildet.
Gleichzeitig wird hinter den ersten Verstärkern (V1a, V1b) wird durch einen dritten Addierer (A3) das Empfängereingangssummensignal (S1p) als Summe der Empfängerausgangssignale (S1a, S1b) gebildet.
Aus dem Sendesignalen (S5a, S5b) wird durch einen vierten Subtrahierer (Sub4) ein Differenzsendesignal (S5m) durch Differenzbildung aus diesen Signalen gebildet.
Gleichzeitig wird aus den Sendesignalen (S5a, S5b) durch einen vierten Addierer (A4) ein Summensendesignal (S5p) durch Summierung dieser Signale gebildet.
Diese Signale (S5m, S5p, S1m, S1p) werde nun an Stelle der Sendesignale (S5a, S5b) und der modifizierten Empfängerausgangssignale (S1a, S1b) für die Multiplikation in einem jeweiligen ersten Multiplizierer (M1m, M1p) zu einem jeweiligen Filtereingangssignal (S10m, S10p) verwendet. Die jeweiligen Filter (Fm, Fp) filtern nun wieder das jeweilige Filtereingangssignal (S10m S10p) zu einem jeweiligen Filterausgangssignal (S9m, S9p). Diese werden jeweils durch einen jeweiligen zweiten Verstärker (V2m, V2p) wieder zu einem jeweiligen Verstärkerausgangssignal (S4m, S4p) verstärkt, das jeweils eines von zwei Messsignalen darstellt.
Durch Multiplikation des Differenzsendesignals (S5m), bzw. des Summensendesignals (S5p) in jeweils einem zweiten Multiplizierer (M2m, M2p) mit dem jeweiligen Verstärkerausgangssignal (S4m, S4p) erhält man nun jeweils ein Kompensationsvorsignal (S6m, S6p).
Durch Addition der beiden Kompensationsvorsignale (S6m, S6p) erhält man das zweite Kompensationsvorsignal (S6b) aus dem wie in 5 das zweite Kompensationssendesignal (S3b) erzeugt wird.
Für die Erzeugung des ersten Kompensationssendesignals (S3a) wird das Kompensationsvorsignal (S6m), das eine zweite Multiplikationseinheit (M2m) aus dem Differenzsendesignal (S5m) erzeugt hat, durch einen dritten Verstärker (V3m) verstärkt, wobei dessen Verstärkung vorzugsweise proportional zum anderen Verstärkerausgangssignal (S4p) ist. Dessen Verstärkerausgangssignal (S6v) wird von dem anderen Kompensationsvorsignal (S6p) in einem fünften Subtrahierer (Sub5) abgezogen. Das Subtraktionsergebnis (S6a) wird dann wie bei 5 erläutert weiter behandelt.
7 zeigt schematisch eine typische Nutzungssituation. Es ist die in 7 dargestellte Aufgabe der Erfindung einen Parameter X' zu bestimmen, der einer Position längs der Verbindungslinie zwischen den beiden Empfänger (Da, Db) entspricht. Diese Verbindungslinie kann auch über die beiden Empfänger (Da, Db) nach links und rechts über die direkte Verbindungsstrecke zwischen diesen beiden Empfängern (Da, Db) hinausgehen. Der umgekehrte Fall mit mehreren Sendern und einem Empfänger ist in 8 gezeichnet.
Wichtig ist nun, dass durch das zuvor beschriebene Verfahren ein Messwert (X') ermittelt wird, der dem Parameter (X), mit dem die Verbindungslinie, auf der die beiden Empfänger (Da, Db) liegen, parametrisiert ist, eindeutig zugeordnet werden kann. Dabei sollte diese Zuordnungsfunktion vorzugsweise stark monoton fallend oder steigend sein. Das entsprechende gilt für 8.
Dieses Prinzip kann auf n Empfänger und/oder m Sender erweitert werden. Dies ist in 9 für den Fall mehrerer Empfänger dargestellt.
Statt einer eindimensionalen Verbindungslinie kann auch eine zweidimensionale Verbindungslinie genutzt werden. In dem Fall wird die Verbindungsebene durch zwei Parameter (X, Y) parametrisiert. In dem Fall sollte die Vorrichtung mindestens drei Empfänger (Da, Db, Dc) und einen Sender (Ha) und oder mindestens drei Sender (Ha, Hb, Hc) und einen Empfänger (Da) aufweisen. Dieser Fall ist in 10 für drei Sender (Ha, Hb, Hc) dargestellt.
Da das System auf diese Weise nun sehr kurzfristig eine Koordinate zur Verfügung stellen kann, Kann das System nunmehr bereits während der Ausführung der Geste eine Rückmeldung während eines Gestenerkennungsvorgangs geben. Dabei beginnt eine Geste beispielsweise zu einem Zeitpunkt t₀ und dauert einen Zeitraum T. Zu einem Zeitpunkt t₀ + t₁ vor Beendigung der Geste zum Zeitpunkt t₀ + T kann nun dem Gestensprecher oder Nutzer eine Rückmeldung über das wahrscheinliche Gestenerkennungsergebnis gegeben werden. Dieser erhält dadurch die Möglichkeit, seine Gesteneingabe zu korrigieren. Die Bedienung wird hierdurch wesentlich intuitiver und für einen Kunden attraktiver. Für die Zeiten gilt also als wesentliches Merkmal: t₁ < T.
Typischerweise erfolgt die besagte Rückmeldung dabei über einen Bildschirm. Ist es die Aufgabe des Gestenerkennungssystems, die Selektion einzelner virtueller Objekte zu ermöglichen, so werden auf diesem Bildschirm ein Teil dieser virtuellen Objekte vorzugsweise dargestellt. Das Gestenerkennungssystem bestimmt nun aufgrund des Messergebnisses, beispielsweise einer gemessenen X- oder Y-Koordinate des Gesteneingabeobjektes die Wahrscheinlichkeit der Selektion durch das Gestenerkennungssystem für die dargestellten virtuellen Objekte. Typischerweise wird das Objekt, das am wahrscheinlichsten durch das Gestenerkennungssystem selektiert werden wird, besonders durch das Gestenerkennungssystem gekennzeichnet. Dabei sollte die Wahrscheinlichkeit für diese Selektion über einem vorgegebenen Schwellwert liegen. Typischerweise überprüft das Gestenerkennungssystem, ob die berechnete Wahrscheinlichkeit sich über oder unter diesem Schwellwert befindet. Wir er überschritten so erfolgt die besagte Markierung des virtuellen Objekts auf dem Bildschirm durch das Gestenerkennungssystem. Es ist zweckmäßig, wenn das Gestenerkennungssystem nicht nur das virtuelle Objekt, dass die höchste Selektionswahrscheinlichkeit hat, markiert, sondern auch andere Objekte, deren Selektionswahrscheinlichkeiten typischerweise zusätzlich über dem besagten Schwellwert liegen. Um das wahrscheinlichster Objekt trotzdem zu identifizieren, ist es sinnvoll, wenn die virtuellen Objekte entsprechend der Wahrscheinlichkeit einer Selektion bereits vor dem Ende der Geste oder Gestensequenz unterschiedlich markiert werden. Beispielsweise könnte jedes dieser Objekte durch das Gestenerkennungssystem bei der Darstellung auf dem Bildschirm mit einer Umrandung versehen werden, deren Größe und/oder Struktur und/oder Farbe und/oder Muster von der Wahrscheinlichkeit der Selektion abhängt. Stattdessen kann auch die Größe, Form und Ausrichtung des Objekts selbst in dieser Weise geändert werden. Ganz besonders wichtig und somit bevorzugt ist es dabei, wenn die besagte Markierung auch bei schon erfolgter Markierung noch ändert, wenn vor dem Ende der Geste oder Gestensequenz sich eine Änderung der Wahrscheinlichkeit einer Selektion ergibt.
Ganz allgemein kann daher durch das Gestenerkennungssystem die Form der Markierung während der Durchführung der Geste selbst und damit während des Gestenerkennungsvorgangs von der Wahrscheinlichkeit einer Selektion abhängen.
Der Begriff Form ist im Sinne dieser Offenbarung dabei sehr weit gefasst. Er betrifft alle Änderungen des Objektes, die durch einen Menschen wahrnehmbar sind. Dies sind insbesondere, aber nicht nur,

• die äußere Form und zwar hier die Umrandung des virtuellen Objekts auf dem Bildschirm,
• die äußere Form und zwar hier die der zweidimensionalen Bildschirmprojektion zugrundeliegende dreidimensionale Gestalt des virtuellen Objekts auf dem Bildschirm,
• die Größe des virtuellen Objekts auf dem Bildschirm,
• die Farbe und/oder Einfärbung des virtuellen Objekts auf dem Bildschirm,
• die Transparenz des virtuellen Objekts auf dem Bildschirm,
• eine für die Darstellung des virtuellen Objekts verwendete Farbpalette,
• die Ausrichtung des virtuellen Objekts auf dem Bildschirm,
• die Einfärbung und/oder Parkettierung eines Bildschirmbereichs in der Nähe des virtuellen Objekts auf dem Bildschirm,
• die Größe und/oder Form eines eingefärbten Bildschirmbereichs in der Nähe des virtuellen Objekts auf dem Bildschirm.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 19648327 A1 [0004, 0005]

Claims

Verfahren zur Gestenerkennung mittels eines optischen Gestenerkennungssystems auf Basis von zumindest zwei Ausgangssignalen (L_a, L_b) eines Empfängersystems mit mindestens zwei Empfängern, einem ersten Empfänger und mindestens einem zweiten Empfänger, und Sendern, insbesondere einem ersten Sender und einem zweiten Sender, längs einer mit einem Parameter (X) parametrisierten Verbindungslinie, die diese mindestens zwei Empfänger verbindet, a. Aussenden eines optischen Sendesignals durch mindestens einen optischen Sender, b. Reflektion des optischen Sendesignals des Senders an einem optionalen Objekt, c. Empfang des durch das Objekt reflektieren optischen Sendesignals des Senders durch die mindestens zwei optisch empfindliche Empfänger und Wandlung in jeweils mindestens ein dem jeweiligen Empfänger zugehöriges Ausgangssignal (L_a, L_b), d. Erzeugung eines Signals durch eine Auswerteeinheit, das von der Differenz dieser beiden Ausgangssignale (L_a, L_b) der mindestens zwei Empfänger geteilt durch ihre Summe abhängt und ein Maß für eine Koordinate der Position eines Gestenerkennungsobjektes darstellt, e. wobei dieses Maß in einem Auswertebereich (mf) längs der parametrisierten Verbindungslinie zwischen den mindestens zwei Empfängern einer streng monoton fallenden oder streng monoton steigenden Funktion des Parameters (X) der parametrisierten Verbindungslinie zwischen den mindestens zwei Empfängern entspricht.
Verfahren zur Gestenerkennung mittels eines optischen Gestenerkennungssystems auf Basis von zumindest zwei Ausgangssignalen (L_a, L_b) eines Sendersystems mit mindestens zwei Sendern, einem ersten Sender und mindestens einem zweiten Sender längs einer mit einem Parameter (X) parametrisierten Verbindungslinie, die diese mindestens zwei Sender verbindet, und Empfängern, insbesondere einem ersten Empfänger und einem zweiten Empfänger, a. Aussenden eines optischen Sendesignals durch jeden der mindestens zwei Sender, b. Reflektion des optischen Sendesignals der Senders an einem optionalen Objekt, c. Empfang des durch das Objekt reflektieren optischen Sendesignals der Sender durch einen optisch empfindlichen Empfänger und Wandlung in jeweils mindestens ein dem jeweiligen Sender zugeordnetes Ausgangssignal (L_a, L_b) durch den Empfänger oder eine Auswerteeinheit, d. Erzeugung eines Signals durch die Auswerteeinheit, das von der Differenz dieser beiden Ausgangssignale (L_a, L_b) geteilt durch ihre Summe abhängt und ein Maß für eine Koordinate der Position eines Gestenerkennungsobjektes darstellt, e. wobei dieses Maß in einem Auswertebereich (mf) längs der parametrisierten Verbindungslinie zwischen den mindestens zwei Sendern einer streng monoton fallenden oder streng monoton steigenden Funktion des Parameters (X) der parametrisierten Verbindungslinie zwischen den mindestens zwei Sendern entspricht.
Verfahren zur Gestenerkennung mittels eines optischen Gestenerkennungssystems auf Basis von zumindest n Ausgangssignalen (L₁ bis L_n) je eines Empfängersystems, mit n Empfängern (n ∊
), die längs einer mit einem Parameter (X) parametrisierten kreuzungsfreien Verbindungslinie, die diese n Empfänger verbindet, umfassend folgende Schritte: a. Aussenden eines optischen Sendesignals durch mindestens einen optischen Sender, b. Reflektion des optischen Sendesignals des Senders an einem optionalen Objekt, c. Empfang des durch das Objekt reflektieren optischen Sendesignals des Senders durch die n Empfänger und Wandlung in jeweils mindestens ein, dem jeweiligen Empfänger zugehöriges, Ausgangssignal (L₁) (i ∊
1 ≤ i ≤ n), d. Bilden einer ersten gewichtete Zwischensumme (ZS₁) durch eine Auswerteeinheit in Form eines ersten Zwischensummensignals aus den besagten n Ausgangssignalen (L₁ bis L_n) der n Empfänger und den zugehörigen n Gewichtungsfaktoren (g₁ bis g_n) durch die Auswerteeinheit gemäß der Formel
und e. Bilden einer zweiten gewichteten Zwischensumme (ZS₂) durch die Auswerteeinheit in Form eines zweiten Zwischensummensignals aus den besagten n Ausgangssignalen (L₁ bis L_n) der n Empfänger und den gleichen zugehörigen n Gewichtungsfaktoren (g₁ bis g_n) durch die Auswerteeinheit gemäß der Formel
und f. wobei zur Bildung des ersten Zwischenmessergebnisses durch die Auswerteeinheit die Differenz der ersten Zwischensumme (ZS₁) in Form des ersten Zwischensummensignals und der zweiten Zwischensumme (ZS₂) in Form des zweiten Zwischensummensignals durch ihre Summe geteilt wird und ein Maß (X') für eine Koordinate der Position eines Gestenerkennungsobjektes darstellt und g. wobei dieses Maß (X') in einem Auswertebereich (mf) längs der parametrisierten Verbindungslinie zwischen den n Empfängern einer streng monoton fallenden oder streng monoton steigenden Funktion des Parameters (X) der parametrisierten Verbindungslinie, die die n Empfänger verbindet, entspricht.
Verfahren zur Gestenerkennung mittels eines optischen Gestenerkennungssystems auf Basis von zumindest n Ausgangssignalen (L₁ bis L_n) je eines Sendersystems, mit n Sendern (n ∊
), die längs einer mit einem Parameter (X) parametrisierten kreuzungsfreien Verbindungslinie, die diese n Sender verbindet, umfassend folgende Schritte: a. Aussenden eines optischen Sendesignals durch die n optischen Sender, b. Reflektion der optischen Sendesignale der n Sender an einem optionalen Objekt, c. Empfang des durch das Objekt reflektieren optischen Sendesignale der n Sender durch einen Empfänger und Wandlung in jeweils mindestens ein, dem jeweiligen Sender zugehöriges, Ausgangssignal (L₁) (i ∊
, 1 ≤ i ≤ n) durch den Empfänger und/oder eine Auswerteeinheit, d. Bilden einer ersten gewichtete Zwischensumme (ZS₁) durch die Auswerteeinheit in Form eines ersten Zwischensummensignals aus den besagten n Ausgangssignalen (L₁ bis L_n) und den zugehörigen n Gewichtungsfaktoren (g₁ bis g_n) durch die Auswerteeinheit gemäß der Formel
und e. Bilden einer zweiten gewichteten Zwischensumme (ZS₂) durch die Auswerteeinheit in Form eines zweiten Zwischensummensignals aus den besagten n Ausgangssignalen (L₁ bis L_n) und den gleichen zugehörigen n Gewichtungsfaktoren (g₁ bis g_n) durch die Auswerteeinheit gemäß der Formel
und f. wobei zur Bildung des ersten Zwischenmessergebnisses durch die Auswerteeinheit die Differenz der ersten Zwischensumme (ZS₁) in Form des ersten Zwischensummensignals und der zweiten Zwischensumme (ZS₂) in Form des zweiten Zwischensummensignals durch ihre Summe geteilt wird und ein Maß (X') für eine Koordinate der Position eines Gestenerkennungsobjektes darstellt und g. wobei dieses Maß (X') in einem Auswertebereich (mf) längs der parametrisierten Verbindungslinie zwischen den n Sendern einer streng monoton fallenden oder streng monoton steigenden Funktion des Parameters (X) der parametrisierten Verbindungslinie, die die n Sender verbindet, entspricht.
Verfahren zur Gestenerkennung mittels eines optischen Gestenerkennungssystems auf Basis von zumindest n ×m Ausgangssignalen (L_1,1 bis L_n,m) (n ∊
m ∊
) je eines Empfängersystems, mit n × m Empfängern, von die längs einer mit einem ersten Parameter (X) und einem zweiten Parameter (Y) parametrisierten kreuzungsfreien Verbindungsfläche angeordnet sind, die diese mindestens n × m Empfänger verbindet, umfassend die folgenden Schritte, a. Aussenden eines optischen Sendesignals durch mindestens einen optischen Sender, b. Reflektion des optischen Sendesignals des Senders an einem optionalen Objekt, c. Empfang des durch das Objekt reflektieren optischen Sendesignals des Senders durch die n × m Empfänger und Wandlung in jeweils mindestens ein, dem jeweiligen Empfänger zugehöriges, Ausgangssignal (L_i,j) (i ∊
j ∊
1 ≤ i ≤ n, 1 ≤ j ≤ m), d. Bilden einer ersten gewichteten Zwischensumme (ZS₁) durch eine Auswerteeinheit in Form eines ersten Zwischensummensignals aus den besagten n × m Ausgangssignalen (L_1,1 bis L_n,m) der n × m Empfänger und den zugehörigen n × m Gewichtungsfaktoren (g_1,1 bis g_n,m) gemäß der Formel
und e. Bilden einer zweiten gewichteten Zwischensumme (ZS₂) durch die Auswerteeinheit in Form eines zweiten Zwischensummensignals aus den besagten n × m Ausgangssignalen (L_1,1 bis L_n,m) der n × m Empfänger und den zugehörigen n × m Gewichtungsfaktoren (g_1,1 bis g_n,m) gemäß der Formel
und f. bilden einer dritten gewichteten Zwischensumme (ZS₃) durch die Auswerteeinheit in Form eines dritten Zwischensummensignals aus den besagten n × m Ausgangssignalen (L_1,1 bis L_n,m) der n × m Empfänger und den zugehörigen n × m Gewichtungsfaktoren (g_1,1 bis g_n,m) gemäß der Formel
und g. bilden einer vierten gewichteten Zwischensumme (ZS₁) durch die Auswerteeinheit in Form eines vierten Zwischensummensignals aus den besagten n × m Ausgangssignalen (L_1,1 bis L_n,m) und den zugehörigen n × m Gewichtungsfaktoren (g_1,1 bis g_n,m) gemäß der Formel
und h. Bilden eines y-Messwertsignals durch die Auswerteeinheit entsprechend einem Messwert (Y') aus diesen Zwischenwertsignalen, der mit der y-Koordinate des Gesteneingabeobjektes korreliert, gemäß der Formel Y' = 1 / 2[ ZS₁-ZS₂ / ZS₁+ZS₂ – ZS₃-ZS₄ / ZS₃+ZS₄] und Bilden eines x-Messwertsignals durch die Auswerteeinheit entsprechend einem Messwert (X') aus diesen Zwischenwertsignalen, der mit der x-Koordinate des Gesteneingabeobjektes korreliert, gemäß der Formel X' = 1 / 2[ ZS₁-ZS₂ / ZS₁+ZS₂ + ZS₃-ZS₄ / ZS₃+ZS₄] j. wobei diese Maße (X', Y') in einem Auswertebereich (mf) parallel zu der parametrisierten Verbindungsfläche zwischen den mindestens n × m Empfängern einer streng monoton fallenden oder streng monoton steigenden zweidimensionalen Funktion der Parameter (X, Y) der parametrisierten Verbindungsfläche, die die mindestens n × m Empfänger verbindet, entspricht.
Verfahren zur Gestenerkennung mittels eines optischen Gestenerkennungssystems auf Basis von zumindest n × m Ausgangssignalen (L_1,1 bis L_n,m) (n ∊
m ∊
) je eines Sendersystems, mit n × m Sendern, von die längs einer mit einem ersten Parameter (X) und einem zweiten Parameter (Y) parametrisierten kreuzungsfreien Verbindungsfläche angeordnet sind, die diese mindestens n × m Sender verbindet, umfassend die folgenden Schritte, a. Aussenden von optischen Sendesignalen durch die n × m optischen Sender, b. Reflektion der optischen Sendesignale der n × m optischen Sender an einem optionalen Objekt, c. Empfang der durch das Objekt reflektieren optischen Sendesignale der n × m optischen Sender durch mindestens einen Empfänger und Wandlung in jeweils mindestens ein, dem jeweiligen Sender zugehöriges, Ausgangssignal (L_i,j) (i ∊
j ∊
1 ≤ i ≤ n, 1 ≤ j ≤ m) durch den mindestens einen Empfänger und/oder eine Auswerteeinheit, d. Bilden einer ersten gewichteten Zwischensumme (ZS₁) durch die Auswerteeinheit in Form eines ersten Zwischensummensignals aus den besagten n × m Ausgangssignalen (L_1,1 bis L_n,m) und den zugehörigen n × m Gewichtungsfaktoren (g_1,1 bis g_n,m) gemäß der Formel
und e. Bilden einer zweiten gewichteten Zwischensumme (ZS₂) durch die Auswerteeinheit in Form eines zweiten Zwischensummensignals aus den besagten n × m Ausgangssignalen (L_1,1 bis L_n,m) und den zugehörigen n × m Gewichtungsfaktoren (g_1,1 bis g_n,m) gemäß der Formel
und f. bilden einer dritten gewichteten Zwischensumme (ZS₃) durch die Auswerteeinheit in Form eines dritten Zwischensummensignals aus den besagten n × m Ausgangssignalen (L_1,1 bis L_n,m) und den zugehörigen n × m Gewichtungsfaktoren (g_1,1 bis g_n,m) gemäß der Formel
und g. bilden einer vierten gewichteten Zwischensumme (ZS₁) durch die Auswerteeinheit in Form eines vierten Zwischensummensignals aus den besagten n × m Ausgangssignalen (L_1,1 bis L_n,m) und den zugehörigen n × m Gewichtungsfaktoren (g_1,1 bis g_n,m) gemäß der Formel
und h. Bilden eines y-Messwertsignals durch die Auswerteeinheit entsprechend einem Messwert (Y') aus diesen Zwischenwertsignalen, der mit der y-Koordinate des Gesteneingabeobjektes korreliert, gemäß der Formel Y' = 1 / 2[ ZS₁-ZS₂ / ZS₁+ZS₂ – ZS₃-ZS₄ / ZS₃+ZS₄] und i. Bilden eines x-Messwertsignals durch die Auswerteeinheit entsprechend einem Messwert (X') aus diesen Zwischenwertsignalen, der mit der x-Koordinate des Gesteneingabeobjektes korreliert, gemäß der Formel X' = 1 / 2[ ZS₁-ZS₂ / ZS₁+ZS₂ + ZS₃-ZS₄ / ZS₃+ZS₄] j. wobei diese Maße (X', Y') in einem Auswertebereich (mf) parallel zu der parametrisierten Verbindungsfläche zwischen den mindestens n × m Sendern einer streng monoton fallenden oder streng monoton steigenden zweidimensionalen Funktion der Parameter (X, Y) der parametrisierten Verbindungsfläche, die die mindestens n × m Sender verbindet, entspricht.