AT518427B1 - Verfahren zum Erfassen von Gesten unter Verwendung einer Multisegment-Photodiode und einer oder weniger Beleuchtungsquellen - Google Patents

Verfahren zum Erfassen von Gesten unter Verwendung einer Multisegment-Photodiode und einer oder weniger Beleuchtungsquellen Download PDF

Info

Publication number
AT518427B1
AT518427B1 ATA9196/2012A AT91962012A AT518427B1 AT 518427 B1 AT518427 B1 AT 518427B1 AT 91962012 A AT91962012 A AT 91962012A AT 518427 B1 AT518427 B1 AT 518427B1
Authority
AT
Austria
Prior art keywords
target
light
movement
maximum value
segment
Prior art date
Application number
ATA9196/2012A
Other languages
English (en)
Other versions
AT518427A5 (de
Original Assignee
Maxim Integrated Products
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxim Integrated Products filed Critical Maxim Integrated Products
Priority claimed from PCT/US2012/036351 external-priority patent/WO2012151417A2/en
Application granted granted Critical
Publication of AT518427B1 publication Critical patent/AT518427B1/de
Publication of AT518427A5 publication Critical patent/AT518427A5/de

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Abstract

Eine Gestenerfassungsvorrichtung enthält einen mehrfach segmentierten Photosensor und eine Steuerschaltung zum Verarbeiten von erfassten Spannungen, die vom Sensor ausgegeben werden. Die Steuerschaltung verarbeitet die erfassten Spannungssignale zur Bestimmung einer Zielbewegung relativ zu dem segmentierten Photosensor. Die Steuerschaltung enthält eine Algorithmus, der zum Berechnen eines von mehreren differentiellen analogen Signalen konfiguriert ist, unter Verwendung der erfassten Spannungssignale, die von den segmentierten Photosensoren ausgegeben werden. Es wird ein Vektor gemäß den berechneten differentiellen analogen Signalen bestimmt und der Vektor wird zum Bestimmten einer Richtung und/oder Geschwindigkeit der Zielbewegung verwendet.

Description

Beschreibung [0001] Verfahren zum Erfassen von Gesten unter Verwendung einer Multisegment-Photodiode und einer oder weniger Beleuchtungsquellen
VERWANDTE ANMELDUNGEN
[0002] Diese Patentanmeldung ist eine Teilfortsetzung von US Patentanmeldung Seriennummer 13/304,603, eingereicht am 25. November 2011, mit dem Titel "Optical Gesture Sensor Using A Single Illumination Source". US Patentanmeldung Seriennummer 13/304,603 beansprucht Priorität von der vorläufigen US Anmeldung, Seriennummer 61/483,034, eingereicht am 5. Mai 2011 mit dem Titel "Optical Gesture Sensor Using A Single Illumination Source", von denselben Erfindern. Diese Anmeldung zitiert die vorläufige US Anmeldung, Seriennummer 61/483,034 und US Patentanmeldung Seriennummer 13/304,603 in ihrer Gesamtheit zum Zwecke der Bezugnahme.
GEBIET DER ERFINDUNG
[0003] Diese Erfindung betrifft Anzeigen für elektronische Vorrichtungen. Insbesondere betrifft diese Erfindung eine Vorrichtung, die körperliche Gesten erfasst und bestimmt.
HINTERGRUND DER ERFINDUNG
[0004] Ein Gestensensor ist eine menschliche Schnittstellenvorrichtung, die ein Erfassen einer körperlichen Bewegung ermöglicht, ohne dass der Anwender die Vorrichtung tatsächlich berührt, in der sich der Gestensensor befindet. Die erfassten Bewegungen können anschließend als Eingabebefehle für die Vorrichtung verwendet werden. In einigen Anwendungen ist die Vorrichtung so programmiert, dass sie unterschiedliche kontaktlose Handbewegungen erkennt, wie Handbewegungen von links nach rechts, von rechts nach links, von oben nach unten, von unten nach oben, von innen nach außen, von außen nach innen. Gestensensoren sind in von Hand gehaltenen Vorrichtungen, wie Tablet-Rechnervorrichtungen und Smartphones und anderen tragbaren Vorrichtungen wie Laptops sehr beliebt geworden. Gestensensoren werden auch in Video- Spielkonsolen implementiert, die die Bewegung eines Spielers eines Videospiels erfassen.
[0005] Viele herkömmliche Implementierungen von Gestensensoren verwenden drei oder mehr Beleuchtungsquellen, wie Leuchtdioden (LEDs), und einen Lichtsensor, wie einen Photodetektor. Die Beleuchtungsquellen werden der Reihe nach ein- und ausgeschaltet oder zum Aufleuchten gebracht, damit der Sensor räumliche Informationen aus der Reflexion des aufblitzenden Lichts erhält. Figur 1 zeigt ein vereinfachtes Block-Schaltbild eines herkömmlichen Gestensensors. Ein Photosensor 4 ist nahe LED 1, LED 2 und LED 3 positioniert. Eine Steuerschaltung 5 ist so programmiert, dass die LEDs 1-3 der Reihe nach ein- und ausgeschaltet werden und die erhaltenen Messungen, die vom Photosensor 4 erfasst werden, analysiert werden. Daten, die vom Photosensor 4 erfasst werden, werden separat für jede LED gespeichert. Beispielsweise werden die erfassten Daten, die jedem Aufleuchten von LED 1 entsprechen, in einem LED 1-Register gespeichert, die erfassten Daten, die jedem Aufleuchten von LED 2 entsprechen, werden in einem LED 2- Register gespeichert und die erfassten Daten, die jedem Aufleuchten von LED 3 entsprechen, werden in einem LED 3- Register gespeichert. Das Ergebnis ist ein Zeitdomänensignal für jede LED. Figur 2 zeigt ein beispielhaftes Verfahren zum Erfassen eines sich bewegenden Ziels unter Verwendung des Gestensensors von Figur 1. Die Bewegung wird durch Beobachten der relativen Verzögerung zwischen erfassten Signalen aus LEDs auf derselben Achse erfasst. Zum Beispiel werden zum Erfassen einer Bewegung von links nach rechts oder rechts nach links die Signale, die von den LEDs 1 und 2 erfasst werden, verglichen, wie in Figur 2 dargestellt. LED 1 leuchtet zu einem anderen Zeitpunkt auf als LED 2. Die LEDs 1 und 2 sind an bekannten Stellen positioniert und werden in einer bekannten Abfolge ein- und ausgeschaltet. Wenn das Licht von den LEDs auf ein Ziel trifft, das sich über den LEDs bewegt, wird Licht von dem sich bewegenden Ziel zum Photosensor 4 zurück reflektiert. Das erfasste reflektierte Licht wird in ein Spannungssignal umgewandelt, das zur Steuerschaltung 5 gesendet wird. Die Steuerschaltung 5 enthält einen Algorithmus, der die LED-Positionen, die LED- Einschaltsequenzen und die empfangenen erfassten Daten zur Bestimmung der relativen Bewegung des Ziels verwendet. Der zeitliche Abstand zwischen dem Aufleuchten aufeinander folgender LEDs ist im Vergleich zu der Geschwindigkeit des sich bewegenden Ziels ziemlich klein und ist daher vernachlässigbar, wenn die Zeitdomänensignale von einer LED mit einer anderen verglichen werden.
[0006] Figur 2 zeigt die Zeitdomäne-erfassten Spannungssignale sowohl für den Fall einer Bewegung von links nach rechts wie auch einer Bewegung von rechts nach links. Die Kurven, die mit "Signal von LED 1" bezeichnet sind, zeigen die erfasste Spannung, die sich aus dem wiederholten Aufleuchten der LED 1 ergibt. Der untere Teil jeder Kurve zeigt, dass das Ziel sich nicht über oder in der Nähe der LED 1 bewegt. Mit anderen Worten, das Ziel befindet sich nicht im "Gesichtsfeld" oder Abdeckungsbereich des Photosensors 4, wodurch Licht, das von der LED 1 ausgestrahlt wird, vom Ziel weg und auf den Photosensor 4 reflektiert werden kann. Wenn das Ziel nicht im Gesichtsfeld des Photosensors 4 in Bezug auf die LED 1 liegt, erfasst der Photosensor 4 keine Reflexionen von Licht, das von LED 1 ausgestrahlt wird. Der hohe Abschnitt der Kurve zeigt, dass sich das Ziel im Gesichtsfeld in Bezug auf LED 1 befindet, was anzeigt, dass sich das Ziel über oder nahe der LED 1 bewegt. Die Kurve, die mit "Signal von LED 2" markiert ist, zeigt die erfasste Spannung, die sich aus dem wiederholten Aufleuchten der LED 2 ergibt. LED 1 und LED 2 leuchten abwechselnd auf, so dass, während LED 1 eingeschaltet ist, LED 2 ausgeschaltet ist, und umgekehrt. Während das Ziel im Gesichtsfeld positioniert ist, das LED 1 entspricht, nicht aber im Gesichtsfeld, das LED 2 entspricht, ist die erfasste Spannung im Zusammenhang mit dem Aufleuchten von LED 1 hoch, aber die erfasste Spannung im Zusammenhang mit dem Aufleuchten der LED 2 ist gering. Vereinfacht ausgedrückt entspricht dies einem Ziel, das über oder nahe der LED 1 positioniert ist. Während das Ziel in der Mitte, zwischen den zwei LEDs 1 und 2 positioniert ist, erfasst der Photosensor 4 reflektiertes Licht aus dem Aufleuchten beider LED 1 und LED 2, was zu hohen erfassten Spannungspegeln führt, die sowohl LED 1 wie auch LED 2 entsprechen. Während das Ziel über oder nahe der LED2 positioniert ist, ist die erfasste Spannung im Zusammenhang mit dem Aufleuchten von LED 2 hoch, aber die erfasste Spannung im Zusammenhang mit dem Aufleuchten der LED
1 ist gering. Wenn das Ziel weder über LED 1 noch über LED 2 oder zwischen LED 1 und LED 2 positioniert ist, erfasst der Photosensor 4 kein reflektiertes Licht in Verbindung mit einer von ihnen und die entsprechenden erfassten Spannungspegel sind gering.
[0007] Für eine Bewegung von links nach rechts geht der erfasste Spannungspegel für "Signal von LED 1" vor dem erfassten Spannungspegel für "Signal von LED 2" auf hoch, wie in den Links-nach Rechts-Bewegungssignalen von Figur 2 dargestellt ist. Mit anderen Worten, die Kurve der Spannung über der Zeit von "Signal von LED 2" ist relativ zur Kurve der Spannung über Zeit von "Signal von LED 1" verzögert, wenn sich das Ziel von links nach rechts bewegt.
[0008] Figur 2 zeigt auch die erfassten Spannungssignale für den Fall einer Bewegung von rechts nach links. Für eine Bewegung von rechts nach links wird der erfasste Spannungspegel für "Signal von LED 2" vor dem erfassten Spannungspegel für "Signal von LED 1" hoch, wie in den Rechts-nach-Links-Bewegungssignalen von Figur 2 dargestellt ist. Mit anderen Worten, die Kurve von Spannung gegenüber Zeit von "Signal von LED 1" ist relativ zur Kurve von Spannung gegenüber Zeit von "Signal von LED 2" verzögert, wenn sich das Ziel von rechts nach links bewegt.
[0009] Eine Auf- und Abwärtsbewegung, wobei aufwärts und abwärts als eine Bewegung in der y-Achse angesehen werden, wird ähnlich unter Verwendung der LEDs 2 und 3 und der entsprechenden Spannungs-/Zeit-Daten bestimmt. Die Steuerschaltung 5 empfängt die erfasste Spannung vom Photosensor 4 und bestimmt die relative Bewegung des Ziels in der y-Achse auf ähnliche Weise wie zuvor in Bezug auf die x-Achse beschrieben.
[0010] E in Nachteil der Konfiguration mit mehreren Beleuchtungsquellen ist die Vielzahl von Beleuchtungsquellenkomponenten, die in der Vorrichtung enthalten sein muss. Mit zunehmen
der Verringerung der Vorrichtungsgröße sind zusätzliche Komponenten unerwünscht. KURZDARSTELLUNG DER ERFINDUNG
[0011] Ausführungsformen einer Gesten erfassenden Vorrichtung enthalten eine einzige Lichtquelle und einen mehrfach segmentierten einzelnen Photosensor oder eine Gruppe von Photosensoren, die gemeinsam hierin als segmentierte Photosensoren bezeichnet werden. Eine Lichtmodifizierungsstruktur leitet reflektiertes Licht von der Lichtquelle auf verschiedene Segmente der segmentierten Photosensoren, abhängig von einer Position eines Ziels, wie einer Hand oder eines Fingers. Die Lichtmodifizierungsstruktur kann eine optische Linsenstruktur oder eine mechanische Struktur sein. Die verschiedenen Segmente des Photosensors erfassen reflektiertes Licht und geben entsprechende erfasste Spannungssignale aus. Eine Steuerschaltung empfängt und verarbeitet die erfassten Spannungssignale zur Bestimmung der Bewegung des Ziels relativ zum segmentierten Photosensor. Die Steuerschaltung enthält einen Algorithmus, der zum Berechnen eines oder mehrerer differentieller analoger Signale unter Verwendung der erfassten Spannungssignale konfiguriert ist, die von den segmentierten Photosensoren ausgegeben werden. In einigen Ausführungsformen wird ein Vektor gemäß den berechneten differentiellen analogen Signalen bestimmt, wobei der Vektor zum Bestimmen einer Richtung und/oder Geschwindigkeit der Bewegung des Ziels verwendet wird.
[0012] In einem Aspekt ist ein Verfahren zum Erfassen einer Geste offenbart. Das Verfahren enthält das Konfigurieren eines segmentierten Sensors mit mehreren Segmenten, die jeweils ein Segmentsignal entsprechend dem Licht ausgeben, das von dem Segment erfasst wird; das Berechnen eines oder mehrerer Differentialsignale gemäß den Segmentsignalen, die von den mehreren Segmenten ausgegeben werden; und das Bestimmen einer Zielbewegungsrichtung eines Ziels, das sich an dem segmentierten Sensor vorbei bewegt, durch Anwenden einer Vektoranalyse an dem einen oder den mehreren Differentialsignalen.
[0013] Das Verfahren kann auch das Bestimmen eines proportionalen Wertes einer Zielbewegungsgeschwindigkeit des Ziels, das sich an dem segmentierten Sensor vorbei bewegt, durch Anwenden einer Vektoranalyse an dem einen oder den mehreren Differentialsignalen enthalten. In einigen Ausführungsformen enthält das Licht, das vom Segment erfasst wird, Licht, das von einer Beleuchtungsquelle kommt und vom Ziel reflektiert wird. In anderen Ausführungsformen enthält das Licht, das vom Segment erfasst wird, Umgebungslicht. In einigen Ausführungsformen enthalten das eine oder die mehreren Differentialsignale ein oder mehrere zusammengesetzte Differentialsignale, wobei ein zusammengesetztes Signal ein Signal ist, das durch Addition von zwei oder mehr Segmentsignalen gebildet wird.
[0014] Die Berechnung eines oder mehrerer Differentialsignale kann das Berechnen eines ersten Differentialsignals enthalten, das die Bewegungsrichtung des Ziels entlang einer x-Achse angibt. In einigen Ausführungsformen enthält das erste Differentialsignal einen positiven Maximalwert und einen negativen Maximalwert. Die Bewegungsrichtung des Ziels kann als eine in eine positive x-Richtung verlaufende bestimmt werden, wenn der positive Maximalwert dem negativen Maximalwert zeitlich vorangeht, und die Bewegungsrichtung des Ziels kann als eine in eine negative x-Richtung verlaufende bestimmt werden, wenn der negative Maximalwert dem positiven Maximalwert zeitlich vorangeht. Die Berechnung eines oder mehrerer Differentialsignale kann das Berechnen eines zweiten Differentialsignals enthalten, das die Bewegungsrichtung des Ziels entlang einer y-Achse angibt. In einigen Ausführungsformen enthält das zweite Differentialsignal einen positiven Maximalwert und einen negativen Maximalwert. Die Bewegungsrichtung des Ziels kann als eine in eine positive y-Richtung verlaufende bestimmt werden, wenn der positive Maximalwert dem negativen Maximalwert zeitlich vorangeht, und die Bewegungsrichtung des Ziels kann als eine in eine negative y-Richtung verlaufende bestimmt werden, wenn der negative Maximalwert dem positiven Maximalwert zeitlich vorangeht.
[0015] Das Verfahren kann auch das Berechnen eines proportionalen Wertes einer Bewegungsgeschwindigkeit des Ziels entlang der x-Achse unter Verwendung einer Zeitdifferenz zwischen aufeinander folgenden Nulldurchgängen des ersten Differentialsignals und das Be rechnen eines proportionalen Wertes einer Bewegungsgeschwindigkeit des Ziels entlang der y-Achse unter Verwendung einer Zeitdifferenz zwischen aufeinander folgenden Nulldurchgängen des zweiten Differentialsignals enthalten. Das Verfahren kann auch das Überlagern des proportionalen Wertes der Bewegungsgeschwindigkeit des Ziels entlang der x-Achse und des proportionalen Wertes der Bewegungsgeschwindigkeit des Ziels entlang der y-Achse zur Bildung eines Zielvektors enthalten. Das Verfahren kann auch das Bestimmen eines vordefinierten Satzes von Richtungen gemäß dem Zielvektor enthalten. Der vordefinierte Satz von Richtungen kann eine positive x-Richtung, eine negative x-Richtung, eine positive y-Richtung und eine negative y-Richtung enthalten. In einigen Ausführungsformen hat der Zielvektor einen Zielvektorwinkel, und das Bestimmen eines vordefinierten Satzes von Richtungen beinhaltet das Vergleichen des Zielvektorwinkels mit einem Satz von definierten Schwellenwertwinkeln. In anderen Ausführungsformen enthält das Bestimmen eines vordefinierten Satzes von Richtungen das Vergleichen des Zielvektors mit einem Satz von vordefinierten Verteilungsmustern, wobei jedes Verteilungsmuster einer der Richtungen in dem vordefinierten Satz von Richtungen entspricht. In dieser alternativen Ausführungsform kann das Vergleichen des Zielvektors das Bestimmen eines Vertrauenswertes enthalten, der mit einem Vergleich des Zielvektors mit jedem Verteilungsmuster verknüpft ist, sowie das Auswählen des vordefinierten Satzes von Richtungen gemäß dem höchsten Vertrauenswert.
[0016] In einem anderen Aspekt wird ein Apparat offenbart, der einen segmentierten Sensor mit mehreren Segmenten, die jeweils ein Segmentsignal entsprechend Licht ausgeben, das vom Segment erfasst wird; einen Speicher, der zum Speichern der Segmentsignale konfiguriert ist; und einen Prozessor, der mit dem Speicher verbunden ist, enthält. Der Prozessor enthält Programmanweisungen, die konfiguriert sind zum: Berechnen eines oder mehrerer Differentialsignale gemäß den Segmentsignalen, die von den mehreren Segmenten ausgegeben werden; und Bestimmen einer Zielbewegungsrichtung eines Ziels, das sich an dem segmentierten Sensor vorbei bewegt, durch Anwenden einer Vektoranalyse an dem einen oder den mehreren Differentialsignalen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
[0017] Figur 1 zeigt ein vereinfachtes Blockschaltbild eines herkömmlichen Gesten sensors.
[0018] Figur 2 zeigt ein beispielhaftes Verfahren zum Erfassen eines sich bewegen den Ziels unter Verwendung des Gestensensors von Figur 1.
[0019] Figur 3 zeigt ein konzeptionelles Diagramm der Gestenerfassungsvorrichtung gemäß einer Ausführungsform.
[0020] Figuren 4 und 5 zeigen beispielhafte zusammengesetzte Signale, die aus Signalen erzeugt werden, die aus dem segmentierten Photosensor als Reaktion auf ein Ziel ausgegeben werden, das sich in verschiedene Richtungen bewegt.
[0021] Figur 6 zeigt eine Querschnittsansicht einer Sonnenuhrkonfiguration gemäß einer Ausführungsform.
[0022] Figur 7 zeigt eine Ansicht von oben nach unten der Zelle von Figur 6.
[0023] Figur 8 zeigt die Zelle von Figur 7 um 90 Grad gedreht.
[0024] Figur 9 zeigt eine Ansicht von oben nach unten von mehreren Zellen, die zur
Bildung von vier Segmenten konfiguriert sind.
[0025] Figur 10 zeigt eine Querschnittsansicht einer Sonnenuhrkonfiguration gemäß einer alternativen Ausführungsform.
[0026] Figur 11 zeigt eine Querschnittsansicht einer Sonnenuhrkonfiguration gemäß einerweiteren alternativen Ausführungsform.
[0027] Figur 12 zeigt eine Querschnittsansicht einer Nadellochkonfiguration gemäß einer Ausführungsform.
[0028] Figur 13 zeigt eine Draufsicht von oben nach unten der Zelle von Figur 12.
[0029] Figur 14 zeigt eine Querschnittsansicht einer Dachkonfiguration gemäß einer
Ausführungsform.
[0030] Figur 15 zeigt eine Ansicht von oben nach unten einer Vierfacheckenkonfigura tion gemäß einer Ausführungsform.
[0031] Figur 16 zeigt eine Querschnittsansicht der Vierfacheckenkonfiguration von
Figur 15.
[0032] Figur 17 zeigt eine beispielhafte Implementierung der winkeligen Wände, die in der Jalousienkonfiguration verwendet werden.
[0033] Figur 18 zeigt benachbarte Zellen in der Jalousienkonfiguration.
[0034] Figur 19 zeigt eine Ansicht von oben nach unten einer Mikro-Vierfachzellenkon figuration gemäß einer Ausführungsform.
[0035] Figur 20 zeigt eine beispielhafte Wellenform entsprechend der Bildbewegung von links nach rechts über den segmentierten Sensor von Figur 3.
[0036] Figur 21 zeigt eine beispielhafte Wellenform entsprechend der Auf/Abwärts-
Bildbewegung über den segmentierten Sensor, während die Zielbewegung von rechts nach links verläuft, wie in Figur 20.
[0037] Figur 22 zeigt eine beispielhafte Wellenform entsprechend einer Bildbewegung von links nach rechts über den segmentierten Sensor, während die Zielbewegung von unten nach oben verläuft, wie in Figur 23.
[0038] Figur 23 zeigt eine beispielhafte Wellenform entsprechend einer Auf/Abwärts-
Bildbewegung überden segmentierten Sensor von Figur 3.
[0039] Figuren 24-27 zeigen Wellenformen ähnlich den Wellenformen der entsprechenden von Figuren 20-23, mit der Ausnahme, dass die Zielbewegung entsprechend den Wellenformen in Figuren 24-27 schneller ist als die Zielbewegung entsprechend den Wellenformen in Figuren 20-23.
[0040] Figur 28 zeigt vier Gauß'sche Verteilungen entsprechend den erkannten Rich tungen links, rechts, aufwärts und abwärts.
[0041] Figur 29 zeigt eine beispielhafte 4x4 Anordnung von Photodiodensegmenten.
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
[0042] Ausführungsformen der vorliegenden Anmeldung betreffen eine Gestenerfassungsvorrichtung und einen entsprechenden Algorithmus zum Erfassen von Gesten. Ein Durchschnittsfachmann wird erkennen, dass die folgende ausführliche Beschreibung der Vorrichtung und des Algorithmus nur der Veranschaulichung dient und in keiner Weise einschränkend sein soll. Andere Ausführungsformen der Vorrichtung und des Algorithmus sind für Fachleute angesichts dieser Offenbarung sofort erkennbar.
[0043] Es wird nun ausführlich auf Implementierungen der Vorrichtung und des Algorithmus Bezug genommen, die in den beiliegenden Zeichnungen dargestellt sind. In allen Zeichnungen und der folgenden ausführlichen Beschreibung werden dieselben Bezugszeichen zur Bezeichnung derselben oder ähnlicher Teile verwendet. Der Deutlichkeit wegen sind nicht alle der üblichen Merkmale der Implementierungen hier gezeigt und beschrieben. Es ist natürlich klar, dass in der Entwicklung einer beliebigen tatsächlichen Implementierung wahrscheinlich zahlreiche Entscheidungen, die für eine Implementierung spezifisch sind, getroffen werden, um die spezifischen Ziele des Entwicklers zu erreichen, wie Vereinbarkeit mit anwendungs- und ge schäftsbezogenen Einschränkungen, und dass diese spezifischen Ziele unter Implementierungen und unter Entwicklern variieren können. Ferner ist offensichtlich, dass ein derartiger Entwicklungsaufwand komplex und zeitaufwändig sein kann, aber dennoch eine technische Routinearbeit für einen Durchschnittsfachmann angesichts dieser Offenbarung ist.
[0044] Ausführungsformen einer Gestenerfassungsvorrichtung enthalten eine einzige Lichtquelle und einen mehrfach segmentierten einzelnen Photosensor oder eine Gruppe von Photosensoren. Durch Hinzufügen einer Lichtmodifizierungsstruktur, wie einer optischen Linsenstruktur oder einer mechanischen Struktur, kann Licht, das von einem nahen Ziel, wie einer Hand oder einem Finger, reflektiert wird, auf verschiedene Segmente des Photosensors abhängig von der Zielposition relativ zum segmentierten Photosensor fokussiert und/oder gerichtet werden. Die verschiedenen Segmente des Photosensors erfassen das reflektierte Licht gleichzeitig und die relative Amplitude von jedem Segment gibt die Bewegung des Ziels an. Eine Steuerschaltung empfängt und verarbeitet die vom segmentierten Photosensor erfassten Daten zur Bestimmung der Zielbewegung relativ zum segmentierten Photosensor. Die Ein-Lichtsensor-Konfiguration ist kompakter und weniger teuer als Konfigurationen mit mehreren Quellen. Ein weiterer Vorteil der Gestenerfassungsvorrichtung ist, dass ein Anwender einen Vorrichtungsbefehl durch Gestikulieren weiterleiten kann, ohne einen Berührungsbildschirmsteuerung aktivieren oder mechanische Tasten betätigen zu müssen. Dies bietet signifikante Leistungs- und Kostenersparnisse.
[0045] Figur 3 zeigt ein konzeptionelles Diagramm der Gestenerfassungsvorrichtung gemäß einer Ausführungsform. Die Gestenerfassungsvorrichtung 10 enthält eine einzige Beleuchtungsquelle, dargestellt als LED 11, und einen segmentierten Photosensor 12. In einigen Ausführungsformen ist der segmentierte Photosensor 12 zum Erfassen nur einer spezifischen Wellenlänge oder spezifischer Wellenlängen von Licht konfiguriert, wie der Wellenlängen, die von der Beleuchtungsquelle 11 ausgestrahlt werden. Eine solche Konfiguration kann durch die Verwendung eines Filters implementiert werden. Der segmentierte Photosensor 12 kann entweder ein einzelner Sensor sein, der funktionell in mehrere Segmente unterteilt ist, oder eine Gruppe von einzelnen Photosensoren. Zum Beispiel ist ein in vier Teilen segmentierter Photosensor funktionell vier einzelnen Photosensoren äquivalent, die in einem Vierfach-Layout angeordnet sind. Wie hierin verwendet, bezieht sich eine Bezugnahme auf ein "Segment" entweder auf ein geteiltes Segment innerhalb eines einzelnen Sensors oder auf einen einzelnen Sensor in einer Gruppe von Sensoren. Figur 3 zeigt den segmentierten Photosensor 12 sowohl in einer Hochkant-Ansicht (das obere Element, mit 12 bezeichnet) wie auch in einer Draufsicht, um die verschiedenen Segmente zu zeigen (das untere Element, mit 12 bezeichnet).
[0046] In der beispielhaften Konfiguration von Figur 3 enthält der segmentierte Photosensor 12 vier Segmente, Segment A, Segment B, Segment C und Segment D. Obwohl ein Vier- Segment-Detektor die einfachste Implementierung ist, ist klar, dass die Anzahl von Segmenten erhöht werden kann, um die Auflösung des Systems zu erhöhen. Die Signalverarbeitungselektronik wird mit einer Erhöhung der Anzahl von Segmenten zunehmend komplexer. Die Segmente sind jeweils voneinander isoliert. Die LED 11 ist nahe dem segmentierten Photosensor 12 positioniert. Wenn sich ein Ziel nahe der LED 11 und in ein entsprechendes Gesichtsfeld des segmentierten Photosensors 12 bewegt, wird Licht, das von der LED 11 ausgegeben wird, von dem sich bewegenden Ziel weg und zum segmentierten Photosensor 12 reflektiert. Die Gestenerfassungsvorrichtung 10 enthält auch eine optische Linsenstruktur 13, um Licht auf den segmentierten Photosensor 12 zu fokussieren. Die fokussierende Linse fokussiert reflektiertes Licht von einem sich bewegenden Ziel, wie einer Handgeste, im Raum über dem segmentierten Photosensor 12. Es ist klar, dass nur reflektiertes Licht, das im "Gesichtsfeld" ist, auf den segmentierten Photosensor 12 fokussiert wird. Obwohl die optische Linsenstruktur 13 als einzelnes Element 13 in Figur 3 dargestellt ist, stellt sie eine beliebige Anzahl von Linsen und/oder optischen Elementen dar, die Licht auf den segmentierten Photosensor 12 lenken. Eine beispielhafte Implementierung einer optischen Linsenstruktur und/oder eines Lichtsensors ist in der in gemeinschaftlichem Besitz befindlichen und gleichzeitig anhängigen vorläufigen US Patentanmeldung Seriennr. 61/490,568, eingereicht am 26. Mai 2011 mit dem Titel "Light Sensor Having
Glass Substrate With Lens Formed Therein" und der in gemeinschaftlichem Besitz befindlichen und gleichzeitig anhängigen vorläufigen US Patentanmeldung Seriennr. 61/491,805, eingereicht am 31. Mai 2011, mit dem Titel "Light Sensor Having Glass Substrate With Lens Formed Therein", beschrieben, die beide in ihrer Gesamtheit zum Zwecke der Bezugnahme zitiert werden. Jedes Segment des segmentierten Photosensors 12 gibt ein Segmentsignal an eine Steuerschaltung 14 aus, wo die Segmentsignale verarbeitet werden.
[0047] Die LED 11 wird kontinuierlich oder periodisch erregt, um das Ziel zu beleuchten. Das vom Ziel reflektierte Licht löst das Segmentsignal an jedem der segmentierten Photosensoren aus. Diese Segmentsignale werden verarbeitet und in einem Zwischenspeicher gespeichert, wobei der Zwischenspeicher mit der Steuerschaltung 14 integriert oder getrennt von dieser vorgesehen ist. Die Steuerschaltung 14 analysiert die gespeicherten Daten und bestimmt, ob eine gültige Geste erfasst wurde. Dieselben Daten können auch so verwendet werden, dass der segmentierte Photosensor 12 als Näherungsdetektor arbeitet. Dieselbe Photosensorstruktur kann mit einer anderen Signalverarbeitungsschaltung verwendet werden, so dass die Gestenerfassungsvorrichtung auch als Umgebungslichtsensor dient.
[0048] Wenn die LED 11 eingeschaltet wird oder aufleuchtet, wird das Ziel beleuchtet, wenn sich das Ziel in einem nahen Raum über dem segmentierten Photosensor 12 befindet. Das sich bewegende Ziel ist konzeptionell in Figur 3 als ein flacher Reflektor dargestellt. Die Reflexion des Ziels wird von der optischen Linsenstruktur 13 auf den segmentierten Photosensor 12 abgebildet. Das Beispiel von Figur 3 zeigt eine Bewegung des Ziels von rechts nach links. Während sich der Rand des Ziels durch die Mitte der Bildgebungszone bewegt, bewegt sich das fokussierte Bild des Zielrandes über den segmentierten Photosensor 12. Die Segmente A und C sprechen als erste auf das sich bewegende Bild an, gefolgt von den Segmenten B und D. Die Steuerschaltung 14 ist zum Erfassen dieser Abfolge von Ereignissen programmiert und erkennt eine Zielbewegung von rechts nach links. Ebenso kann eine Zielbewegung von links nach rechts durch eine entgegengesetzte Abfolge erkannt werden, und sowohl von oben nach unten wie auch von unten nach oben verlaufende Zielbewegungen können unter Verwendung des orthogonalen Satzes von Signalen erkannt werden. Eine Zielbewegung von innen nach außen kann durch Erfassen der absoluten Amplitude der Summe der vier Segmente A-D erkannt werden, die auch die Näherungsmessung ist.
[0049] Figuren 4 und 5 zeigen beispielhafte zusammengesetzte Signale, die aus Signalen erzeugt werden, die vom segmentierten Photosensor 12 als Reaktion auf ein Ziel ausgegeben werden, das sich in verschiedene Richtungen bewegt. Ein zusammengesetztes Signal ist ein zusammengesetztes aus zwei oder mehreren Segmentsignalen, wobei jedes Segmentsignal Daten, über die erfasste Spannung über der Zeit liefert. Die zusammengesetzten Signalen und Verfahren zur Analyse der zusammengesetzten Signale, die in Figuren 4 und 5 dargestellt sind, zeigen ein beispielhaftes Verfahren zur Analyse der Segmentsignale zum Bestimmen einer Zielbewegung. Es ist klar, dass alternative Analyseverfahren bei den Segmentsignalen zur Bestimmung der relativen Zielbewegung angewendet werden können.
[0050] Unter Bezugnahme auf Figur 4 werden zur Bestimmung, ob sich ein Ziel von rechts nach links oder von links nach rechts bewegt, die Segmentsignale aus Segment A und Segment C addiert, um ein zusammengesetztes Signal A+C zu bilden, und die Segmentsignale aus Segment B und Segment D werden addiert, um ein zusammengesetztes Signal B+D zu bilden. Figur 4 zeigt beispielhafte zusammengesetzte Signale entsprechend der Bestimmung einer Bewegung von rechts nach links oder von links nach rechts des Ziels. Das zusammengesetzte Signal B+D wird von dem zusammengesetzten Signal A+C subtrahiert, um ein differentielles zusammengesetztes Signal (A+C)-(B+D) zu bilden. Wenn die Bewegung von rechts nach links verläuft, hat das differentielle zusammengesetzte Signal (A+C)-(B+D) eine positive Spitze, gefolgt von einer negativen Spitze, wie in der unteren linken Kurve von Figur 4 dargestellt. Wenn die Bewegung von links nach rechts verläuft, hat das differentielle zusammengesetzte Signal (A+C)-(B+D) eine negative Spitze, gefolgt von einer positiven Spitze, wie in der unteren rechten Kurve von Figur 4 dargestellt.
[0051] In Figur 3 ist zu erkennen, dass die Bewegungsrichtung des Ziels der Bewegungsrichtung des Bildes auf dem segmentierten Photosensor 12 entgegengesetzt ist. Die Bildumkehr ist ein Ergebnis der optischen Linsenstruktur 13. In alternativen Ausführungsformen, die in der Folge ausführlich beschrieben, ist die optische Linsenstruktur durch eine aus einer Reihe mechanischer Strukturen ersetzt. In einigen Ausführungsformen dieser alternativen Konfigurationen bewegt sich das Bild auf dem segmentierten Photosensor 12 in dieselbe Richtung wie das Ziel und die zusammengesetzten Signale (A+C) und (B+D), die in Figur 4 dargestellt sind, werden getauscht und das differentielle zusammengesetzte Signal (A+C)-(B+D) wird umgekehrt. Wenn sich das Ziel von rechts nach links bewegt, wie in Figur 3 dargestellt, bewegt sich das Bild auf dem segmentierten Photosensor 12 von links nach rechts. Wenn sich das Ziel von rechts nach links bewegt, wie in Figur 4, erscheint das Bild zunächst auf Segmenten A und C, da sich das Ziel auf der rechten Seite befindet, aber das Bild erscheint noch nicht auf den Segmenten B und D und das erhaltene zusammengesetzte Signal A+C beginnt zuzunehmen, wie in der oberen linken Kurve von Figur 4 dargestellt, während aber das zusammengesetzte Signal B+D bei null bleibt. Während sich das Ziel nach links bewegt, beginnt das Bild auf Segmenten B+D zu erscheinen, während es noch auf Segmenten A+C erscheint, und das erhaltene zusammengesetzte Signal B+D beginnt zuzunehmen, wie in der mittleren linken Kurve von Figur 4 dargestellt. Schließlich erscheint das Bild vollständig auf allen Segmenten A-D. Wenn sich der nachlaufende Rand des Zielbildes von den Segmenten A und C weg bewegt, kehrt das zusammengesetzte Signal A+C zu null zurück und die negative Spitze des differentiellen zusammengesetzten Signals (A+C)-(B+D) wird gebildet.
[0052] Wenn sich das Ziel von links nach rechts bewegt, erscheint in ähnlicher Weise das Bild anfänglich auf den Segmenten B und D, während sich das Ziel an der linken Seite befindet, aber das Bild erscheint noch nicht auf den Segmenten A und C, und das erhaltene zusammengesetzte Signal B+D beginnt zuzunehmen, wie in der oberen rechten Kurve von Figur 4 dargestellt, aber das zusammengesetzte Signal A+C bleibt bei null. Wenn sich das Ziel nach rechts bewegt, beginnt das Bild auf den Segmenten B+D zu erscheinen und das erhaltene zusammengesetzte Signal A+C beginnt zuzunehmen, wie in der mittleren rechten Kurve von Figur 4 dargestellt. Schließlich erscheint das Bild vollständig auf allen Segmenten A-D. Wenn sich der nachlaufende Rand des Zielbildes von den Segmenten B und D weg bewegt, kehrt das zusammengesetzte Signal B+D zu null zurück und die positive Spitze des differentiellen zusammengesetzten Signals (A+C)- (B+D) wird gebildet.
[0053] Eine Auf- und Abwärtsbewegung wird ähnlich bestimmt. Zur Bestimmung, ob sich ein Ziel von oben nach unten oder von unten nach oben bewegt, werden die Segmentsignale aus Segment A und Segment B addiert, um ein zusammengesetztes Signal A+B zu bilden, und die Segmentsignale aus Segment C und Segment D werden addiert, um ein zusammengesetztes Signal C+D zu bilden. Figur 5 zeigt beispielhafte zusammengesetzte Signale, die der Bestimmung einer Bewegung des Ziels von oben nach unten oder von unten nach oben entsprechen. Das zusammengesetzte Signal C+D wird vom zusammengesetzten Signal A+B subtrahiert, um ein differentielles zusammengesetztes Signal (A+B)-(C+D) zu bilden. Bei einer Bewegung von unten nach oben hat das differentielle zusammengesetzte Signal (A+B)-(C+D) eine positive Spitze, gefolgt von einer negativen Spitze, wie in der unteren linken Kurve von Figur 5 dargestellt. Bei einer Bewegung von oben nach unten hat das differentielle zusammengesetzte Signal (A+B)-(C+D) eine negative Spitze, gefolgt von einer positiven Spitze, wie in der unteren rechten Kurve von Figur 5 dargestellt.
[0054] Wenn sich das Ziel von oben nach unten bewegt, erscheint das Bild zunächst auf den Segmenten A und B, aber das Bild erscheint noch nicht auf den Segmenten C und D. Das erhaltene zusammengesetzte Signal A+B beginnt zuzunehmen, wie in der oberen linken Kurve von Figur 5 dargestellt, aber das zusammengesetzte Signal C+D bleibt bei null. Wenn sich das Ziel nach unten bewegt, beginnt das Bild auf Segment C+D zu erscheinen, während es noch auf den Segmenten A+B erscheint, und das erhaltene zusammengesetzte Signal C+D beginnt zuzunehmen, wie in der mittleren linken Kurve von Figur 5 dargestellt. Schließlich erscheint das Bild vollständig auf allen Segmenten A-D. Wie bei der Bewegung von rechts nach links weist bei der Bewegung von unten nach oben das differentielle zusammengesetzte Signal (A+B)-(C+D) eine positive Spitze auf, gefolgt von einer negativen Spitze, wie in der unteren linken Kurve von Figur 5 dargestellt. Wie leicht erkennbar ist, bildet die entgegengesetzte Bewegung, von oben nach unten, ein ähnliches differentielles zusammengesetztes Signal (A+B)- (C+D), aber mit der entgegengesetzten Phase, wie in der unteren rechten Kurve von Figur 5 dargestellt.
[0055] Eine zusätzliche Verarbeitung wird durchgeführt, um eine Bewegung zum segmentierten Photosensor hin und von diesem weg zu bestimmen, die als Bewegung von innen nach außen bezeichnet wird. Zur Bestimmung der Bewegung von innen nach außen werden alle vier Segmente A, B, C, D addiert, um ein zusammengesetztes Signal A+B+C+D zu bilden. Wenn das zusammengesetzte Signal A+B+C+D über eine bestimmte Zeitperiode zunimmt, wird bestimmt, dass eine Bewegung zum segmentierten Photosensor hin oder nach innen erfolgt. Wenn das zusammengesetztes Signal A+B+C+D über eine bestimmte Zeitperiode abnimmt, wird bestimmt, dass eine Bewegung vom segmentierten Photosensor weg oder nach außen erfolgt. Allgemein werden die Segmente gemessen und die Segmentsignale geeignet verarbeitet, um Änderungen in der Größe der zusammengesetzten Signale zu bestimmen. Diese Änderungen, wenn sie zeitlich mit Änderungen in der Größe anderer zusammengesetzter Signale verglichen werden, bestimmen die relative Bewegung eines Ziels, das Licht zum segmentierten Photosensor zurück reflektiert.
[0056] In alternativen Ausführungsformen werden mechanische Strukturen anstelle der optischen Linsenstruktur verwendet. Mechanische Strukturen werden verwendet, um zu beeinflussen, wie das reflektierte Licht auf den segmentierten Photosensor gerichtet wird. Eine erste mechanische Struktur wird als eine Sonnenuhrkonfiguration bezeichnet. Die Sonnenuhrkonfiguration implementiert eine physische "Wand", die von einer Sensoroberfläche des segmentierten Photosensors vorragt. Die Wand wirft effektiv einen "Schatten" auf verschiedene Sensorsegmente, während sich das Ziel durch den Raum über dem segmentierten Photosensor bewegt. Dieser Schatten wird verfolgt und die Zielbewegung wird entsprechend bestimmt.
[0057] Figur 6 zeigt eine Querschnittsansicht einer Sonnenuhrkonfiguration gemäß einer Ausführungsform. Die Sonnenuhrkonfiguration sieht ein mechanisches Mittel vor, um reflektiertes Licht auf einen Photosensor, in diesem Fall eine Photodiode zu lenken. Die zentrale Struktur ist die physische Sonnenuhrwand, die zum Blockieren von reflektiertem Licht verwendet wird. Die zwei N-EPI zu P- SUBSTRAT-Übergänge an jeder Seite der Wand bilden zwei Photodioden. Die Wand ist eine Reihe von Metallschichten, die zur Trennung der zwei Photodioden errichtet sind. In der beispielhaften Konfiguration von Figur 6 enthält die Wand eine erste Metallschicht M1, eine zweite Metallschicht M2, eine dritte Metallschicht M3 und eine obere Metallschicht TM. Jede Metallschicht ist durch eine Passivierungsschicht, wie Siliziumdioxid getrennt, in der Kontaktlöcher (Vias) gebildet sind. Die Metallschichten, Passivierungsschichten und Kontaktlöcher sind mittels herkömmlicher Halbleiterverarbeitungstechniken gebildet. Die Wand ist auf einem Substrat gebildet, das zur Bildung der Photodioden dotiert ist, die auch als eine Zelle bezeichnet werden. Die erste Photodiode, oder Photodiodenzelle A, ist durch einen N-EPI zu P-SUBSTRAT Übergang gebildet. Ein Metallkontakt M1 ist an die N-EPI Region gekoppelt, um einen Kontakt mit der Kathode der Photodiodenzelle A herzustellen. Das P-SUBSTRAT dient als Photodiodenanode und ist beiden Photodiodenzellen, A- und B-Zellen, gemein. Es gibt eine zusätzliche Photodiode, die durch Hinzugefügen einer P-WANNE Schicht an der Oberseite der N-EPI Schicht der Photodiodenzelle A gebildet wird. Ein Kontakt für P-WANNE wird am Ende der P-WANNE gebildet, in Figur 6 nicht dargestellt. In einigen Ausführungsformen wird die P-WANNE-Photodiode zum Messen von Umgebungslicht verwendet, wenn die Gestenfunktion nicht verwendet wird. Eine solche Konfiguration und Funktionalität ist in der in gemeinschaftlichen Besitz befindlichen US Patentanmeldung Seriennummer 12/889,335, eingereicht am 23. September 2010, mit dem Titel "Double Layer Photodiodes in Ambient Light Sensors and Pro-ximity Detectors", beschrieben, das hierin in seiner Gesamtheit zum Zwecke der Bezugnahme zitiert wird. Die zweite Photodiode, oder Photodiodenzelle B, ist auf identische Weise wie die Photodiodenzelle A gebildet. Die zwei Photodiodenzellen A und B sind durch zwei P+-Diffusio- nen getrennt, die sich durch die N-EPI Region erstrecken und mit dem P-SUBSTRAT in Kontakt stehen. Eine Insel aus N-EPI ist zwischen den zwei P+-lsolationsdiffusionen gebildet. Diese Insel bildet eine zusätzliche Diode, die jeden gestreuten Photostrom sammelt, der von unter der Photodiodenzelle A wandern könnte und andernfalls von der Photodiodenzelle B gesammelt wird. Die zusätzliche Diode sammelt auch jeglichen gestreuten Photostrom, der von unter der Photodiodenzelle B wandern könnte und andernfalls von der Photodiodenzelle A gesammelt wird. Gemeinsam bilden die zwei P+-lsolationsdiffusionen und die N-EPI-lnsel dazwischen den A/B-Isolationsbereich. Die drei Elemente des A/B-Isolationsbereichs werden alle durch die erste Metallschicht M1 kurzgeschlossen, die mit Erde an der oberen Metallschicht TM verbunden ist. Jeder Photostrom, der im zusammengesetzten A/B-Isolationsbereich gesammelt wird, wird zur Erde abgeleitet, wodurch eine Überlagerung zwischen der Photodiodenzelle A und der Photodiodenzelle B verhindert wird.
[0058] Die Struktur in Figur 6 ist eine Zelle, die die Photodiodenzelle A, die Photodiodenzelle B, den Isolationsbereich und die Wand enthält. Figur 7 zeigt eine Ansicht von oben nach unten der Zelle von Figur 6. Diese Zelle ist zum Bestimmen einer Links-Rechts-Bewegung konfiguriert, da die Wand senkrecht zur Links-Rechts- Bewegungsrichtung ausgerichtet ist, die bestimmt werden soll. Zur Bestimmung einer Auf-/Abwärtsbewegung wird die Zelle 90 Grad gedreht, wie in Figur 8 dargestellt. In der Zellenkonfiguration von Figur 8 ist die Wandstruktur senkrecht zur Auf-/Abwärtsbewegung ausgerichtet, die bestimmt werden soll. Ein Grund zur Schaffung von Zellen ist, dass die Größe der Photodiodenzellen begrenzt ist, insbesondere die Breite der Photodiodenzelle, die sich von der Wandstruktur weg erstreckt. Dies begrenzt die Oberfläche, die zur Messung des reflektierten Lichts verwendet werden kann. Figur 9 zeigt eine Ansicht von oben nach unten von mehreren Zellen, die zur Bildung von vier Blöcken gemäß einer Ausführungsform konfiguriert sind. Jede Zelle ist von einer benachbarten Zelle durch einen Isolationsbereich I isoliert. In Figur 9 besteht Block 1 aus einer Gruppe abwechselnder Photodiodenzellen A und B. Block 1 ist mit Block 4 identisch, der auch eine Gruppe abwechselnder Photodiodenzellen A und B enthält. Alle Photodiodenzellen A in den beiden Blöcken 1 und 4 sind kurzgeschlossen, um einen aggregierten A-Knoten zu bilden.
[0059] Das Aggregieren der Gruppe von Zellen erhöht die Signalstärke. Ebenso sind alle Photodiodenzellen B in beiden Blöcken 1 und 4 aggregiert, um einen einzigen B- Knoten zu bilden. Dasselbe Verbindungsschema wird zur Bildung eines C-Knotens und eines D-Knotens aus der Gruppe abwechselnder Photodiodenzellen C und D in Blöcken 2 und 3 verwendet. Die Photodiodenzellen in den Blöcken 2 und 3 sind relativ zu den Photodiodenzellen in den Blöcken 1 und 4 um 90 Grad gedreht. Auf diese Weise gibt es vier separate Signale, eines von jedem der Knoten A, B, C und D.
[0060] Die Bewegung des Ziels in die Links-Rechts- und Auf- /Abwärtsrichtungen wird wieder durch Analyse der Differentialsignale bestimmt. Zur Bestimmung der Zielbewegung in die Links-Rechts-Richtung wird das Differentialsignal A-B gebildet. Das Differentialsignal A-B wird auf gleiche Weise wie das differentielle zusammengesetzte Signal (A+C)-(B+D) analysiert, das sich auf die Vierfachzellkonfiguration von Figur 3 bezieht. Zur Bestimmung der Zielbewegung in der Auf-/Abwärtsrichtung wird das Differentialsignal C-D gebildet. Das Differentialsignal C-D wird auf gleiche Weise wie das differentielle zusammengesetzte Signal (A+B)-(C+D) analysiert, das sich auf die Vierfachzellkonfiguration von Figur 3 bezieht.
[0061] Die Zellstruktur, die in Figur 6 dargestellt ist, ist eine beispielhafte Sonnenuhrkonfiguration und alternative Strukturen werden auch in Betracht gezogen. Figur 10 zeigt eine Querschnittsansicht einer Sonnenuhrkonfiguration gemäß einer alternativen Ausführungsform. In der alternativen Konfiguration von Figur 10 ist die Wand alternativ gebildet und das darunter liegende Substrat ist alternativ dotiert. In dieser Ausführungsform besteht der Isolationsbereich zwischen den zwei Photodiodenzellen A und B aus einer einzigen P+-Diffusion. Der kleinere Isolationsbereich von Figur 10 ermöglicht im Vergleich zu jenem von Figur 6 eine erhöhte Packungsdichte. Kontakte der P-WANNE und der N-EPI-Regionen sind am Ende der Gruppe gebildet, in Figur 10 nicht dargestellt. Die P+ Region in dem Substrat ist an der oberen Metallschicht TM an Erde angeschlossen.
[0062] Figur 11 zeigt eine Querschnittsansicht einer Sonnenuhrkonfiguration gemäß einer anderen alternativen Ausführungsform. In der alternativen Konfiguration von Figur 11 ist die Wand alternativ gebildet und das darunter liegende Substrat ist alternativ dotiert. Die Photodiodenzellen enthalten in dieser Konfiguration keine P-WANNE. Die Kontakte der N-EPI Region sind am Ende der Gruppe gebildet, in Figur 11 nicht dargestellt. Der P+ Isolationsbereich zwischen den Photodiodenzellen A und B ist an der oberen Metallschicht TM an die Erde angeschlossen. In dieser Ausführungsform ermöglicht das Fehlen der P-WANNE-Schicht die Herstellung schmälerer Photodiodenzellen A und B im Vergleich zu jenen von Figur 6. Diese Struktur bietet im Vergleich zu jener von Figur 6 eine höhere Packungsdichte.
[0063] Eine zweite mechanische Struktur wird als Nadelstreifenkonfiguration bezeichnet. Figur 12 zeigt eine Querschnittsansicht einer Nadelstreifenkonfiguration gemäß einer Ausführungs-form. Die Nadelstreifenkonfiguration sieht ein mechanisches Mittel zum Lenken eines reflektierten Lichts auf einen Photosensor, in diesem Fall eine Photodiode, vor. Die Nadelstreifenkonfiguration ist analog zu einer Lochkamera, wo das Loch zu einem Streifen oder einem Schlitz verlängert wurde. Die zwei N-EPI Abschnitte im Substrat bilden die Kathoden der Photodiodenzellen A und B, wobei das P-SUBSTRAT die gemeinsame Anode bildet. Eine Metallschicht M3 ist über der Zelle gebildet und ein offener Schlitz ist in der Metallschicht gebildet. Die Metallschicht ist über einem Zwischenschichtdielektrikum, wie Siliziumdioxid, gebildet, das optisch transparent ist. Die Metallschicht und der offene Schlitz werden mit Hilfe herkömmlicher Halbleiterherstellungsprozesse gebildet. In einigen Ausführungsformen wird die Zellstruktur mittels herkömmlicher digitaler CMOS-Halbleiterherstellungsprozesse gebildet. Figur 13 zeigt eine Draufsicht von oben nach unten der Zelle von Figur 12. Wie in Figur 13 dargestellt, ist der offene Schlitz entlang einer Länge der Zelle ausgerichtet. Der offene Schlitz kann über die gesamte Länge oder eine Teillänge der Zelle verlaufen.
[0064] In Betrieb geht reflektiertes Licht durch den offenen Schlitz und fällt auf die Photodioden, die N-EPI- Abschnitte. Wenn eine Zielposition an der rechten Seite des offenen Schlitzes ist, geht Licht, das vom Ziel reflektiert wird, durch den offenen Schlitz und fällt auf die Photodiodenzelle A an der linken Seite. Wenn sich das Ziel von rechts nach links bewegt, fällt mehr reflektiertes Licht auf die Photodiodenzelle A an der linken Seite, bis das Ziel einen kritischen Winkel durchläuft, wo weniger reflektiertes Licht auf die linke Photodiodenzelle A fällt und stattdessen reflektiertes Licht beginnt, auf die Photodiodenzelle B an der rechte Seite zu fallen. Wenn das Ziel direkt über dem Schlitz an einem Kreuzungspunkt ist, sind die Signale, die von den Photodiodenzellen A und B empfangen werden, dieselben. Dies ist die Position der höchsten Gesamtsignalstärke und ist auch der Punkt, wo die Differenz zwischen den zwei Signalen A-B null ist. Während sich das Ziel weiter nach links bewegt, fällt mehr reflektiertes Licht auf die Photodiodenzelle B an der rechte Seite und das Differenzsignal A-B ändert das Vorzeichen und wird negativ. Nach einer weiteren Bewegung des Ziels nach links fällt null reflektiertes Licht auf die Photodiodenzelle A an der linken Seite. Ähnlich wie bei den Sonnenuhrkonfigurationen sind mehrere Zellen der Nadellochkonfiguration nebeneinander positioniert, um einen Block zu bilden, und die Signale von den einzelnen Photodiodenzellen A werden aggregiert, um den gemeinsamen A-Knoten zu bilden. Dieselbe Art von Signalaggregation wird für die Signale B bis D verwendet. Die Ausrichtung des offenen Schlitzes bestimmt die Richtung der Zielbewegung, die bestimmt werden soll. Zum Beispiel wird die horizontale Ausrichtung des offenen Schlitzes in Figur 13 zur Bestimmung der Auf-/Abwärtsbewegung verwendet. Mehrere Zellen, die wie die Zelle in Figur 13 ausgerichtet sind, bilden ein Segment, das zur Messung der Auf-/Abwärtsbewegung konfiguriert ist. Die vertikale Ausrichtung des offenen Schlitzes wird zur Bestimmung der Links-Rechts-Bewegung verwendet. In einer beispielhaften Konfiguration sind die Segmente mit der Nadelstreifenkonfiguration auf ähnliche Weise ausgerichtet wie die Segmente mit der Sonnenuhrkonfiguration, wie in Figur 9 dargestellt, wo die Segmente A und D zur Bestimmung einer Links-Rechts-Bewegung konfiguriert sind und Segmente B und C zur Bestimmung einer Auf-/Abwärtsbewegung konfiguriert sind. Die Zielbewegung in den Links-Rechts- und Auf-/Abwärts-Richtungen wird unter Verwendung der Differenzsignale in gleicher Weise wie bei der oben beschriebenen Sonnenuhrkonfiguration bestimmt.
[0065] In alternativen Konfigurationen können die Metallschicht und der offene Schlitz durch jede Art von lichtverdeckendem Element ersetzt werden, das ermöglicht, dass Licht durch eine definierte Fläche eintritt, und an anderen Stellen Licht blockiert, wie eine MEMS-(mikro-elektro-mechanische Systeme) Vorrichtung oder ein anderes gehebeltes oder teilweise schwebendes Element, wobei das verdeckende Element von einem optisch transparenten Material getragen wird oder über Luft nahe dem offenen Schlitz hängt. Eine MEMS-Vorrichtung ist eine sehr kleine mechanische Vorrichtung, die durch Elektrizität angesteuert wird.
[0066] Eine andere Ausführungsform ist die Anwendung des Nadelstreifenkonzepts bei dem Vierfachzellendesign zur Herstellung einer Mikro-Vierfachzelle. Figur 19 zeigt eine Ansicht von oben nach unten einer Mikro-Vierfachzellenkonfiguration gemäß einer Ausführungsform. Die Mikro-Vierfachzelle besteht aus einer Gruppe kleiner Vierfachzellen. Alle einzelnen A-Segmente sind aggregiert, um ein einziges A-Signal zu bilden, und dasselbe gilt für die B, C und D-Segmente. Die Gruppe von Vierfachzellen ist von einer Metallschicht bedeckt, die quadratische oder runde Öffnungen hat, die Licht durchlassen. Die Metallschicht wird unter Verwendung eines Halbleiterprozesses auf eine Weise ähnlich jener gebildet, die für das Nadelstreifenkonzept beschrieben wurde. Die Dimensionen der Vierfachzellen A bis D, der Metallschichtabstand und die Dimension der Öffnung in der Metallschicht stimmen mit den Dimensionen überein, die üblicherweise in Halbleiterprozessen erhältlich sind. Die Öffnungen in der Metallschicht sind so positioniert, dass, wenn sich Licht direkt über der Öffnung befindet, alle Zellen gleich, aber teilweise beleuchtet sind. Wenn sich der Lichtwinkel ändert, wird die relative Beleuchtung der vier Zellen unausgewogen. Die vier Signale A bis D werden auf gleiche Weise, wie zuvor für Figur 3 beschrieben, verarbeitet.
[0067] Eine dritte mechanische Struktur wird als Dachkonfiguration bezeichnet. Die Dachkonfiguration arbeitet ähnlich wie die Nadelstreifenkonfiguration, mit der Ausnahme, dass reflektiertes Licht nicht durch einen offenen Schlitz in der Mitte der Zellstruktur in die Photodioden einer Zelle eintritt, wie bei der Nadellochkonfiguration, sondern dass die Mitte der Zellstruktur von einem "Dach" bedeckt ist und die peripheren Seiten der Struktur offen sind, so dass reflektiertes Licht zu den Photodioden der Zelle gelangt. Figur 14 zeigt eine Guerschnittsansicht einer Dachkonfiguration gemäß einer Ausführungsform. Die Dachkonfiguration sieht ein mechanisches Mittel vor, um reflektiertes Licht auf einen Photosensor zu lenken, in diesem Fall eine Photodiode. Die zwei N-EPI Abschnitte bilden die Photodiodenzellen A und B. Eine obere Metallschicht TM bildet ein Dach über der Mitte der Zellstruktur, wodurch ein innerer Abschnitt der Photodioden bedeckt wird, nicht aber ein äußerer Abschnitt bedeckt wird. Die obere Metallschicht ist eine obere Schicht einer Wand, die als eine Reihe von Metallschichten gebildet ist, die die zwei Photodiodenzellen A und B trennen. Die Wandstruktur wird auf ähnliche Weise wie die Wandstrukturen der Sonnenuhrkonfigurationen gebildet, mit der Ausnahme, dass sich die obere Metallschicht TM der Dachkonfiguration über Abschnitte der zwei Photodiodenzellen A und B erstreckt. Der Abschnitt der oberen Metallschicht TM, der sich über die zwei Photodiodenzellen A und B erstreckt, ist über einem Zwischenschichtdielektrikum (nicht dargestellt), wie Siliziumdioxid, gebildet, das optisch transparent ist. Ähnlich wie bei der Nadelstreifenkonfiguration und den Sonnenuhrkonfigurationen sind mehrere Zellen der Dachkonfiguration zur Bildung eines Segments nebeneinander positioniert und mehrere Segmente sind zur Bestimmung der Links-Rechts- und Auf-/Ab-Bewegung konfiguriert und orientiert. Reflektiertes Licht wird von den Photodiodenzellen A und B erfasst und die erfasste Spannung wird gesammelt und ähnlich wie bei der oben beschriebenen Nadelstreifenkonfiguration und Sonnenuhrkonfiguration verarbeitet.
[0068] Eine vierte mechanische Struktur ist als eine Vierfacheckenkonfiguration bezeichnet. Die Vierfacheckenkonfiguration ist konzeptionell der Sonnenuhrkonfiguration ähnlich, da sie eine physische Wand verwendet, die zwischen Lichterfassungselementen angeordnet ist, aber anstelle einer Implementierung der Wand auf der Siliziumebene und Vorsehen mehrerer Zellen für jedes Segment, wie in der Sonnenuhrkonfiguration, ist die Vierfacheckenkonfiguration auf der Chip-Packungsebene implementiert, wo eine Wand zwischen den Segmenten gebildet ist. Figur 15 zeigt eine Ansicht von oben einer Vierfacheckenkonfiguration gemäß einer Ausführungsform.
[0069] Figur 16 zeigt eine Querschnittsansicht der Vierfacheckenkonfiguration von Figur 15. In der beispielhaften Konfiguration, die in Figuren 15 und 16 dargestellt ist, sind Photosensorsegmente A-D als vier Photodioden auf einem integrierten Schaltungs-Chip gebildet. Die vier Photodioden können als identisch mit den vier Photodioden von Figur 3 angesehen werden, mit der Ausnahme, dass anstelle der Verwendung der eng beabstandeten Vierfach-Geometrie von Figur 3 die Photodioden stattdessen beabstandet und in den vier Ecken des Substrats angeordnet sind. Der integrierte Schaltungschip ist in eine Chip-Packung gepackt, die eine Wand enthält, die aus optisch opakem Material gebildet ist, das Licht blockiert, wie das Licht, das von einem sich bewegendem Ziel reflektiert wird. Der Abschnitt der Chip- Packung über den Photodioden besteht aus einem optisch transparenten Material. Die Höhe der Wand in der Vierfacheckenkonfiguration ist hoch genug, so dass jedes Segment ein einziges Sensorelement ist, im Gegensatz zu mehreren Zellen, wie in den Sonnenuhr- und Dachkonfigurationen. Die Bestimmung der Bewegung des Ziels wird auf ähnliche Weise wie bei der Sonnenuhrkonfiguration vorgenommen, ohne die einzelnen Zellenspannungen für ein bestimmtes Segment zusammensetzen zu müssen. Die Vierfacheckenkonfiguration enthält eine Wand, die eine Chip-Packungs-Größenordnung gegenüber der Sonnenuhrkonfiguration aufweist, die eine Wand enthält, die eine Transistorgrößenordnung hat.
[0070] Eine fünfte mechanische Struktur wird als Jalousienkonfiguration bezeichnet. Die Jalousienkonfiguration ist ähnlich der Sonnenuhrkonfiguration mit der Ausnahme, dass die Wandstruktur in jeder Zelle in einem nicht senkrechten Winkel zu der (den) Photodiodenzelle(n) gebildet ist, im Gegensatz zu dem senkrechten Winkel wie in der Sonnenuhrkonfiguration. Die winkeligen Wände werden durch Bilden von Metallschichten und Kontaktlöchern in einer Stufenkonfiguration hergestellt, wie in Figur 17 dargestellt. Zusätzlich enthält jede Zelle in der Jalousienkonfiguration eine einzige Photodiodenzelle, die an einer Seite der winkeligen Wand angeordnet ist, wie in Figur 18 dargestellt. In der Jalousienkonfiguration weist jedes der vier Segmente in eine andere 90-Grad-Richtung. Zum Beispiel ist Segment A mit Wänden konfiguriert, die nach links abgewinkelt sind, Segment B ist mit Wänden konfiguriert, die nach oben abgewinkelt sind, Segment C ist mit Wänden konfiguriert, die nach unten abgewinkelt sind, und Segment D ist mit Wänden konfiguriert, die nach rechts abgewinkelt sind. Mit anderen Worten, jedes Segment hat ein anderes Gesichtsfeld. Unter Verwendung dieser Ausrichtungen wird eine Zielbewegung in die Links-Rechts- und Auf-/Abwärtsrichtungen unter Verwendung der Differentialsignale auf die gleiche Weise wie bei der oben beschriebenen Sonnenuhrkonfiguration bestimmt. Es ist klar, dass andere Ausrichtungen verwendet werden können.
[0071] In einigen Ausführungsformen werden Filter auf der Oberseite der Photosensoren zum Herausfiltern von Licht mit Wellenlängen verwendet, die anders als jene der Beleuchtungsquelle sind.
[0072] Die beispielhaften Ausführungsformen beschrieben eine Gestenerfassungsvorrichtung mit vier symmetrisch konfigurierten Segmenten oder Photosensoren. Es ist klar, dass die hierin beschriebenen Konzepte auf mehr als vier Segmente erweitert werden können, die symmetrisch oder asymmetrisch konfiguriert sind, wie in einer NxN, NxM, kreisförmigen oder anders geformten Gruppe von Photosegmenten oder Sensoren. Wie zuvor beschrieben, bezieht sich ein "Segment" entweder auf ein geteiltes Segment in einem einzigen Sensor oder auf einen separaten Sensor, oder eine Photodiode, in einer Gruppe von Sensoren.
[0073] Wie zuvor beschrieben ist die Steuerschaltung zum Verarbeiten der Segmentsignale konfiguriert, die vom segmentierten Photosensor empfangen werden. Insbesondere enthält die Steuerschaltung einen Algorithmus, der zum Erkennen sowohl der Richtung wie auch der Geschwindigkeit einer Geste in zwei Dimensionen bestimmt ist, zum Beispiel einer Kombination aus links, rechts, aufwärts und abwärts, um einen "Gestenvektor" zu erhalten. Dies kann auf größere Gruppen von Photodioden erweitert werden, um die Bildung von Vektorfeldern zu ermöglich, wodurch die Genauigkeit des Algorithmus weiter erhöht wird. Ein Vektor kann für eine Befehlsidentifizierung, anschließende Verarbeitung oder andere anwendungsspezifische Verwendungen benützt werden. Durch die Möglichkeit, die Geschwindigkeit zu verfolgen, kann die effektive Anzahl erkennbarer Gesten um einen Faktor von zwei erhöht werden, wenn nur "langsam" und "schnell" verwendet werden, oder mehr, wodurch eine erhöhte Funktionalität vorgesehen ist. Die rohen Vektordaten können zum Definieren vorbestimmter Gesten verwendet werden oder die rohen Vektordaten können zu einer Wahrscheinlichkeit umgewandelt werden, dass der Vektor einer der vier Himmelsrichtungen oder einem anderen definierten Satz von Grundrichtungen entspricht.
[0074] Der Algorithmus enthält auch eine Gestenerkennung entlang der Z-Achse, zum Beispiel zum segmentierten Photosensor oder von diesem weg. In einigen Ausführungsformen enthält der Algorithmus auch eine Fingerverfolgung.
[0075] Der Algorithmus wird im Zusammenhang mit der Gestenerfassungsvorrichtung von Figur 3 erklärt. Die LED 11 beleuchtet das Ziel, das sich über den segmentierten Sensor 12 bewegt, was dazu führt, dass Licht, das vom Ziel reflektiert wird, auf den segmentierten Sensor fällt. Die Lichtmodifizierungsstruktur 13 stellt konzeptionell jedes Mittel dar, das reflektiertes Licht auf den segmentierten Sensor 12 lenkt, wobei das Mittel zum Lenken, ohne aber darauf beschränkt zu sein, das optische Mittel und mechanische Mittel, wie zuvor beschrieben, enthält. Das Bild, das auf dem segmentierten Sensor gebildet wird, bewegt sich in einer Verschiebung in Bezug auf die Zielbewegung. Aus den segmentierten Signalen, die aus den vier Segmenten A, B, C, D ausgegeben werden, werden zusammengesetzte Signale abgeleitet. Die Bewegung wird durch Addition und Subtraktion der Segmentsignale bestimmt, die in verschiedenen Kombinationen für die zwei Achsen X und Y genommen werden, wobei die x-Achse der Links- und Rechts-Bewegung entspricht und die y-Achse der Auf- und Bewegung entspricht. Die Bewegung in die Links- und Rechts- Richtung wird gemäß X = (A+C) - (B+D) bestimmt und die Bewegung in die Auf- und Abwärtsrichtung wird gemäß Y = (A+B) - (C+D) bestimmt. Die Bewegung in der Z-Achse zum segmentierten Sensor hin oder von diesem weg ist die Gesamtmenge an Licht, die auf alle Segmente fällt und wird gemäß Z = A+B+C+D bestimmt.
[0076] Wenn sich ein Bild von links nach rechts über den segmentierten Sensor bewegt, nimmt das zusammengesetzte Signal X zunächst von null auf einen gewissen positiven Wert zu, nimmt dann unter null auf einen gewissen negativen Wert ab, bevor es schließlich zu null zurückkehrt. Wenn die Bewegung ausschließlich in x-Richtung verläuft, ändert sich das zusammengesetzte Signal Y nicht sehr, und wenn doch, bewegt es sich nur in eine Richtung, da die Segmente von der Beleuchtungsquelle asymmetrisch beleuchtet werden. Das zusammengesetzte Signal Z nimmt mit der Beleuchtung zu, unabhängig von der Bewegungsrichtung entlang der x-Achse oder y-Achse.
[0077] Es ist klar, dass das Verhältnis zwischen der Richtung der Zielbewegung und der entsprechenden Richtung der Bildbewegung auf dem Sensor von dem Lichtlenkmechanismus abhängig ist, der verwendet wird, um reflektiertes Licht auf den segmentierten Sensor zu lenken. Figur 3 zeigt eine beispielhafte Zielbewegung von rechts nach links. Wie zuvor beschrieben, wird die Zielbewegung umgekehrt als Bildbewegung auf dem segmentierten Sensor 12 ausgeführt. Für eine Zielbewegung von rechts nach links gibt es eine entsprechende Bildbewegung von links nach rechts und umgekehrt. Ebenso gibt es für eine Zielbewegung von oben nach unten eine entsprechende Bildbewegung von unten nach oben und umgekehrt. In den oben beschriebenen Beispielen gibt es ein entgegengesetztes Verhältnis, wobei die Bewegungsrichtung des Ziels der Bildbewegungsrichtung entgegengesetzt ist. Alternative Verhältnisse werden ebenso in Betracht gezogen.
[0078] Figur 20 zeigt eine beispielhafte Wellenform entsprechend der Bildbewegung von links nach rechts über den segmentierten Sensor 12 von Figur 3. Eine Bildbewegung von links nach rechts entspricht einer Zielbewegung von rechts nach links. Während sich das Ziel von ganz rechts zum segmentierten Sensor 12 bewegt, beginnt schließlich ein Bild auf den Segmenten A und C zu erscheinen. Während sich das Ziel weiter von rechts nach links bewegt, wird immer mehr von dem Ziel auf den Segmenten A und C abgebildet, was zu einem steigenden X-Wert führt. An einem gewissen Punkt wird ein Maximalbild auf den Segmenten A und C erfasst, das dem Punkt unmittelbar, bevor das Bild auf die Segmente B und D trifft, entspricht. Dieser Punkt entspricht einem maximalen X-Wert, der als Beispiel in Figur 20 als die positive Spitze der sinusförmigen Wellenform dargestellt ist. Wenn sich das Ziel weiter nach links bewegt, bewegt sich das Bild weiter nach rechts und beginnt auf die Segmente B und D zu fallen. In der Formel zur Berechnung des Wertes X wird ein positiver Wert für B+D von A+C subtrahiert, was zu einem abnehmenden Wert von X führt. Schließlich bewegt sich das Ziel nach links zu einem Punkt, wo das halbe Bild auf die Segmente A und C trifft und das halbe Bild auf die Segmente B und D trifft, was dem mittleren Nulldurchgang in Figur 20 entspricht. Während sich das Ziel weiter nach links bewegt, bewegt sich das Bild weiter nach rechts und fällt immer mehr auf die Segmente B und D und immer weniger auf die Segmente A und C, was zu einem immer größeren negativen Wert von X führt. Schließlich erreicht der Wert von X ein negatives Maximum, das der Position des Ziels entspricht, wo das Bild nicht mehr auf die Segmente A und C fällt und in einen maximalen Ausmaß auf die Segmente B und D fällt. Während sich das Ziel immer weiter nach links bewegt, fällt immer weniger Bild auf die Segmente B und D, bis das Ziel eine Position erreicht, wo kein entsprechendes reflektiertes Licht mehr auf eines der Segmente fällt, was dem ganz rechten Nulldurchgang in Figur 20 entspricht.
[0079] Figur 21 zeigt eine beispielhafte Wellenform, die einer Auf-/Ab-Bildbewegung über den segmentierten Sensor 12 entspricht, während die Zielbewegung von rechts nach links verläuft, wie in Figur 20. Die beispielhaften Wellenformen, die in Figuren 20 und 21 dargestellt sind, entsprechen der Zielbewegung ausschließlich in die x-Richtung. Idealerweise ist der Y-Wert für eine Zielbewegung ausschließlich in die x-Richtung gleich null. In der Praxis jedoch wird für gewöhnlich ein gewisser Wert ungleich null bestimmt, da der segmentierte Sensor von der LED 11 asymmetrisch beleuchtet wird. Die in Figur 21 dargestellte Wellenform zeigt einen positiven Wert ungleich null, soll aber einen trivialen Wert ungleich null darstellen, der positiv, negativ, null oder eine Kombination im Laufe derzeit sein kann.
[0080] Figur 23 zeigt eine beispielhafte Wellenform entsprechend einer Auf-/Ab-Bildbewegung über den segmentierten Sensor 12 von Figur 3. Eine Bildbewegung von oben nach unten entspricht einer Zielbewegung von unten nach oben. Die in Figur 23 dargestellte Wellenform entspricht dem zusammengesetzten Signal Y und wird ähnlich wie die Wellenform bestimmt, die dem zusammengesetzten Signal X entspricht, das in Figur 20 dargestellt ist. Die positiven Werte von Y entsprechen dem reflektierten Licht, das ausschließlich oder vorwiegend auf die Segmente A und B fällt, und die negativen Werte von Y entsprechen dem reflektierten Licht, das ausschließlich oder vorwiegend auf die Segmente C und D fällt. Die Nulldurchgänge entsprechen entweder einem Nullbild, das auf die Segmente A, B, C und D fällt, oder einem gleichen Ausmaß eines Bildes, das auf die Segmente A+B wie auf die Segmente C+D fällt.
[0081] Figur 22 zeigt eine beispielhafte Wellenform entsprechend einer Bildbewegung von links nach rechts über den segmentierten Sensor, während die Zielbewegung von unten nach oben verläuft, wie in Figur 23. Die beispielhaften Wellenformen, die in Figuren 22 und 23 dargestellt sind, entsprechen einer Zielbewegung ausschließlich in der y- Richtung. Idealerweise ist der X-Wert für eine Zielbewegung ausschließlich in y-Richtung gleich null. In der Praxis jedoch wird für gewöhnlich ein gewisser Wert ungleich null bestimmt, da der segmentierte Sensor von der LED 11 asymmetrisch beleuchtet wird. Die in Figur 22 dargestellte Wellenform zeigt einen positiven Wert ungleich null, soll aber einen trivialen Wert ungleich null darstellen, der positiv, negativ, null odereine Kombination im Laufe derzeit sein kann.
[0082] Zur Bestimmung einer Geste in die z-Richtung muss nach einem ausreichenden Anstieg im Z-, oder VSUM-, Signal (A+B+C+D) gesucht werden, ohne dass es einen Vektor gibt, der in der x- oder y-Richtung erfasst wird.
[0083] Gemäß den Figuren 20 und 23 stimmen der positive und negative Nulldurchgang mit dem Bild überein, das sich von einer Seite des segmentierten Sensors zur anderen bewegt. Je schneller sich das Ziel bewegt, umso schneller kreuzt daher das Bild von einer Seite des segmentierten Sensors zur anderen und bewirkt daher, dass die Nulldurchgänge der Wellenform zeitlich enger beabstandet sind. Dies korreliert exakt mit der Geschwindigkeit. Figuren 24-27 zeigen Wellenformen ähnlich den jeweiligen Wellenformen von Figuren 20-23, mit der Ausnahme, dass die Zielbewegung, die den Wellenformen in Figuren 24-27 entspricht, schneller ist als die Zielbewegung, die den Wellenformen in Figuren 20- 23 entspricht. Die Wellenformen in Figuren 24-27 haben ein analoges Verhältnis zu den Wellenformen in den jeweiligen Figuren 20-23. Die Wellenformen, die einer schnelleren Zielbewegung entsprechen, wie die Wellenformen, die in Figuren 24-27 dargestellt sind, haben eine kürzere Periode oder sind im Vergleich zu den Wellenformen komprimiert, die einer ähnlichen aber langsameren Zielbewegung entsprechen, wie die Wellenformen, die in Figuren 20-23 dargestellt sind.
[0084] Das reflektierte Licht wird mit einer vorbestimmten Rate abgetastet, zum Beispiel einmal jede Millisekunde. Zum Zeitpunkt null beginnt der X-Wert positiv zu werden, wie in Figur 20 dargestellt. Zu einem späteren Zeitpunkt, wie zum Zeitpunkt gleich 30 Millisekunden, kreuzt der X-Wert null und wird negativ. Ein Dividieren der Abtastrate durch die Zeit zwischen Nulldurchgängen ergibt einen Wert, der zur Geschwindigkeit proportional ist. Dies ist eine Rohschätzung der Zielgeschwindigkeit, da es andere beitragende Faktoren gibt, wie den Abstand des Ziels vom Sensor, aber diese Schätzung liefert eine exakte relative Geschwindigkeit im Vergleich zu der anderen Richtung, zum Beispiel eine relative Geschwindigkeit in die x-Richtung im Vergleich zur y-Richtung, da die geschätzte Geschwindigkeit sowohl in der x- wie auch in der y-Richtung unter Verwendung der jeweiligen Nulldurchgänge berechnet und dann anschließend verglichen werden kann. Eine beispielhafte Anwendung ist die Verwendung der geschätzten Geschwindigkeitsbestimmung als Kurslevel-Befehl, wo verschiedene Befehle auf der Basis einer unterschiedlichen geschätzten Geschwindigkeit bestimmt werden. Zum Beispiel kann eine Rotation eines angezeigten Objekts bei einer schnelleren Rate befohlen werden, wenn die bestimmte geschätzte Geschwindigkeit größer als ein Schwellenwert ist, bei einer mittleren Rate, wenn die bestimmte geschätzte Geschwindigkeit zwischen dem hohen Schwellenwert und einem niederen Schwellenwert liegt, oder bei einer langsamen Rate, wenn die bestimmte geschätzte Geschwindigkeit geringer als der untere Schwellenwert ist.
[0085] Die oben stehenden sind Beispiele für Wellenformen, die sich aus Gesten oder einer Zielbewegung ausschließlich in der x- oder y Richtung ergeben. Viele Gesten könnten jedoch Komponenten beider Richtungen enthalten, wie eine diagonale Zielbewegung, und Wellenformamplituden der Gesten können von Fall zu Fall variieren. Daher ist es vernünftig, auf eine relative Änderung zwischen positiv und negativ, insbesondere auf Nulldurchgänge zu achten, und dass ganz besonders sowohl für die Links-Rechts- wie auch Auf- /Abwärtskanäle gleichzeitig. Wenn die Zielbewegung nicht ausschließlich eine Links-Rechts- oder Auf-/Ab-Bewegung ist, können die resultierenden Wellenformen des X- und Y-Signals sowohl in der Amplitude wie auch in der Periode variieren.
[0086] Unter Verwendung der Informationen, die in dem zusammengesetzten Signal X und dem zusammengesetzten Signal Y erhalten wurden, kann ein zweidimensionaler Vektor bestimmt werden. Wenn spezifiziert ist, dass auf einen Nulldurchgang ein Nulldurchgang in die entgegengesetzte Richtung folgen muss, um eine Geste auf entweder den Links- Rechts- oder Auf-/Abwärtskanälen zu identifizieren, und der erste Nulldurchgang zu einem Zeitpunkt t1 erfolgt und der zweite Nulldurchgang zu einem Zeitpunkt t2 erfolgt, ist die Geschwindigkeit entlang entweder der x- oder y-Richtung proportional zu 1/ (t2-t1). Die Richtung wird abhängig davon bestimmt, ob der erste Nulldurchgang negativ oder positiv ist. Wenn dies für sowohl Links-Rechts- wie auch Auf- /Abwärtskanäle durchgeführt wird, können die Geschwindigkeit in x-Richtung, Vx, und die Geschwindigkeit in y-Richtung, Vy, zu einem zweidimensionalen Vektor in der Form Vxi + Vyj unter Verwendung Kartesischer Koordinaten überlagert werden. Die Kartesischen Koordinaten werden sofort in polare Koordinaten umgewandelt, die einen Vektorwinkel enthalten. Das Ergebnis ist, dass die Zielbewegung entlang jedem Winkel und bei jeder Geschwindigkeit in der x,y-Ebene erfasst werden kann, nur durch die Abtastrate begrenzt. Je größer die Abtastrate ist, umso feiner ist die Auflösung des Vektorwinkels. Wenn zum Beispiel die bestimmte Geschwindigkeit Vx größer ist als die Geschwindigkeit Vy, kann bestimmt werden, dass sich das Ziel stärker in einer Links-Rechts-Richtung als einer Auf-/Abwärtsrichtung bewegt.
[0087] In einigen Ausführungsformen können verschiedene Winkelschwellenwerte definiert werden und der Vektorwinkel wird mit den Winkelschwellenwerten verglichen. Zum Beispiel wird ein Vektorwinkel zwischen +45 Grad und +135 Grad als eine Aufwärtsbewegung des Ziels bestimmt und ein Vektorwinkel zwischen +45 Grad und -45 Grad wird als eine Zielbewegung nach rechts bestimmt. Der Algorithmus kann auch asymmetrisch gewichtet sein. Zum Beispiel kann ein Vektorwinkel von 60 Grad noch immer als eine Zielbewegung nach rechts bestimmt werden, obwohl der Vektor mehr zu 90 Grad zeigt, was der Aufwärtsbewegung des Ziels entspricht. Ein solches Beispiel zeigt das allgemeine Konzept, dass der Algorithmus so programmiert werden kann, dass er frühere Gestenverteilungen berücksichtigt, die gleichförmig oder ungleichförmig sein können.
[0088] Dieses Konzept kann unter Verwendung von Vektoren mit einem Satz von probabilistischen Wahrscheinlichkeitsfunktionen erweitert werden, um das Vertrauen darzustellen, dass eine Zielbewegung in eine bestimmte definierte Richtung erfolgt. Auf diese Weise muss der Anwender keine so exakte Geste ausführen, dass die Geste als eine der definierten Bewegungsrichtungen des Ziels erkannt wird, wie links, rechts, aufwärts und abwärts. Dies kann auch ein gewisses Rauschen ausgleichen, das eingeführt worden sein könnte. Wenn der Anwender zum Beispiel nur Richtungen von links nach rechts, von oben nach unten, von rechts nach links und von unten nach oben erkennen möchte, können vier Wahrscheinlichkeitsfunktionen, wie Gauß'sche Verteilungen, definiert werden, wobei Maxima an jedem gewünschten Vektor zentriert sind und ein Halbmaximum exakt auf halbem (radialen) Weg zwischen den benachbarten gewünschten Vektoren liegt. Figur 28 zeigt vier Gauß'sche Verteilungen, die den erkannten Richtungen links, rechts, aufwärts und abwärts entsprechen. In diesem Beispiel erscheinen die Maxima bei 0 Grad (rechts), +90 Grad (aufwärts), -90 Grad (abwärts) und 180 Grad (links) und die Halbmaxima erscheinen bei ±45 und ±135 Grad. In diesem Beispiel ist ein Eintreten jeder Richtung in gleichem Maße wahrscheinlich. Bei einem bestimmten Vektor wird der Vektorwinkel in Bezug auf 0 Grad (positive x-Richtung) bestimmt und die Wahrscheinlichkeit, dass der Vektor allen vier Wahrscheinlichkeitsverteilungen entspricht, wird berechnet. Der größte dieser Werte ist dadurch der "am wahrscheinlichste" und wird als die Zielbewegung bestimmt. Zwei Beispielsvektoren sind in Figur 28 dargestellt und jeder Vektor entspricht einer gemessenen Zielbewegung. Vektor 1 wird als eine Bewegung von links nach rechts mit 90% Vertrauen bestimmt. Vektor 2 wird als zweideutig von den nach unten und von rechts nach links bestimmt, da der Vektor mit gleicher Wahrscheinlichkeit im Linkskreis und im Abwärtskreis verläuft. In einigen Ausführungsformen ist der Algorithmus so programmiert, dass ein vordefiniertes Ergebnis im Falle jeder solchen Zweideutigkeit erhalten wird. In anderen Ausführungsformen ist der Algorithmus so programmiert, dass er nicht auf ein zweideutiges Ergebnis reagiert oder eine Fehlernachricht oder -anzeige erzeugt.
[0089] Wie oben beschrieben wird der Algorithmus bei einem Vier- Segmentsensor angewendet. Der segmentierte Sensor und der Algorithmus sind zur Verwendung mit einem Sensor mit mehr als vier Segmenten anpassbar, zum Beispiel einer NxN oder NxM Gruppe von Segmenten. Figur 29 zeigt eine beispielhafte 4x4 Gruppe von Photodiodensegmenten. Ein Vektor kann für jede von neun verschiedenen Vier-Segmente-Anordnungen bestimmt werden. Zum Beispiel enthält eine erste Vier-Segmente-Anordnung Segmente 1, 2, 5 und 6, eine zweite Vier-Segmente-Anordnung enthält Segmente 6, 7, 10 und 11, eine dritte Vier-Segmente-Anordnung enthält Segmente 11, 12, 15 und 16, und so weiter. Durch Anwenden des Algorithmus für jede der neun Vier-Segmente-Anordnungen kann ein Vektorfeld zusammengefügt werden, das zum Erlangen komplexerer Zielbewegungsinformationen verwendet werden kann.
[0090] Die Gestenerfassungsvorrichtung ist mit der Verwendung einer einzigen Beleuchtungsquelle, wie die LED 11 in Figur 3, beschrieben. In einigen Ausführungsformen jedoch soll die einzelne Beleuchtungsquelle eine oder mehrere Beleuchtungsquellen darstellen, die gleichzeitig gepulst werden, im Gegensatz zu mehreren Beleuchtungsquellen, die seriell gepulst werden, wie in der herkömmlichen Vorrichtung von Figur 1. Durch Verwendung mehrerer Beleuchtungsquellen, die gleichzeitig gepulst werden, kann ein breiterer Abdeckungsbereich erzielt werden. Der Abdeckungsbereich einer bestimmten Beleuchtungsquelle ist als die Fläche über der Beleuchtungsquelle definiert, wo Licht, das von einem Ziel weg reflektiert wird, das innerhalb des Abdeckungsbereichs liegt, auf den Sensor trifft. Der Abdeckungsbereich stimmt mit dem Ge sichtsfeld des segmentierten Sensors überein. Obwohl Licht von der Beleuchtungsquelle auf das Ziel an Flächen außerhalb des Abdeckungsbereichs auftreffen kann, wird das reflektierte Licht nur abgewinkelt, während sich das Ziel innerhalb des Abdeckungsbereichs befindet, so dass es auf den segmentierten Sensor fällt. Außerhalb des Abdeckungsbereichs wird reflektiertes Licht nicht richtig abgewinkelt, um auf den segmentierten Sensor zu fallen. Mehr als eine Beleuchtungsquelle, die gleichzeitig gepulst werden, dienen zur Vergrößerung des Abdeckungsbereichs.
[0091] Mehr als eine Beleuchtungsquelle können auch mit dem segmentierten Sensor verwendet werden, wo die Beleuchtungsquellen nicht gleichzeitig gepulst werden. Auf diese Weise können mehrere x-Kanäle und mehrere y-Kanäle implementiert werden, ein erster x-Kanal und ein erster y- Kanal, die einer ersten Beleuchtungsquelle entsprechen, und so weiter.
[0092] Die Gestenerfassungsvorrichtung und der Algorithmus können auch zur Verwendung ohne Beleuchtungsquelle angepasst werden. Anstelle des Erfassens des Bildes, das dem reflektierten Licht entspricht, das von einer Beleuchtungsquelle stammt, wird das Umgebungslicht erfasst und eine Abnahme im Umgebungslicht, die sich aus einem sich vorbei bewegenden Ziel ergibt, wird bestimmt. Auf diese Weise wirft ein sich vorbei bewegendes Ziel einen Schatten über den segmentierten Sensor, wobei der Schatten als eine Abnahme im Umgebungslicht gemessen wird. Der Schatten in einer Umgebungslichtkonfiguration ist umgekehrt analog zu einem Bild in einer Beleuchtungsquellenkonfiguration. In der Umgebungslichtkonfiguration ist eine Polarität der drei zusammengesetzten Signale X, Y und Z umgekehrt.
[0093] Die Gestenerfassungsvorrichtung und der Algorithmus können auch als Fingerverfolgungsapplikation verwendet werden. Durch Analyse der Momentanwerte der zusammengesetzten Signale X und Y kann eine aktuelle Position des Ziels, wie eines Fingers, bestimmt werden. Wenn zum Beispiel der Wert des zusammengesetzten Signals X positiv oder einen gewissen Betrag größer als ein gewisser vorbestimmter positiver X- Schwellenwert ist und der Wert des zusammengesetzten Signals Y null oder ein gewisser Wert annähernd null ist, der einen gewissen Y-Schwellenwert annähernd null nicht überschreitet, wird bestimmt, dass ein Finger eines Anwenders an der linken Seite des segmentierten Sensors positioniert ist. In ähnlicher Weise wird, wenn der Wert des zusammengesetzten Signals X null oder ein gewisser Wert annähernd null ist, der einen gewissen X-Schwellenwert annähernd null überschreitet, und der Wert des zusammengesetzten Signals Y negativ oder ein gewisser Wert größer als einen gewissen vordefinierter Y negativer Schwellenwert ist, bestimmt, dass der Finger des Anwenders unter dem Sensor positioniert ist. Wenn der Wert des zusammengesetzten Signals X positiv ist und der Wert des zusammengesetzten Signals Y negativ ist, wird bestimmt, dass der Finger des Anwenders nahe der unteren linken Ecke des Sensors positioniert ist. Auf diese Weise können 9 Positionen bestimmt werden. Acht der Positionen liegen um den Umfang, die die vier Ecken, links, rechts, aufwärts und abwärts, sind. Die neunte Position ist die Mitte des segmentierten Sensors, die dem Fall entspricht, dass der Wert des zusammengesetzten Signals X und der Wert des zusammengesetzten Signals Y beide null sind, aber das Z-, oder VSUM-, Signal (A+B+C+D) nicht null ist. Die Verfolgung aufeinanderfolgender Fingerpositionen bestimmt auch einen Vektor. Zum Beispiel geben drei aufeinanderfolgende Fingerpositionen, die links vom Sensor, der Mitte des Sensors und rechts vom Sensor entsprechen, eine Zielbewegung von rechts nach links an. Auf diese Weise ist eine Fingerverfolgung, die zu einer Vektorbestimmung führt, ein komplexeres Verfahren zum Bestimmen eines Zielbewegungsvektors. Die Fingerverfolgung kann auch für einfachere Anwendungen verwendet werden, wie eine einzelne Fingerposition, anstelle einer Abfolge von aufeinanderfolgenden Fingerpositionen, die einen Befehl angibt.
[0094] Die vorliegende Anmeldung wurde im Sinne spezifischer Ausführungsformen beschrieben, die Einzelheiten für ein besseres Verständnis der Konstruktions- und Betriebsprinzipien der Gestenerfassungsvorrichtung und des Verfahrens zum Erfassen von Gesten enthalten. Viele der Komponenten, die in den verschiedenen Figuren dargestellt und beschrieben sind, können untereinander getauscht werden, um die notwendigen Ergebnisse zu erhalten, und diese Beschreibung sollte so verstanden werden, dass sie solche Änderungen ebenso beinhal tet. Als solches sollten Bezugnahmen hierin auf spezifische Ausführungsformen und Einzelheiten derselben den Umfang der beiliegenden Ansprüche nicht einschränken. Für einen Fachmann ist offensichtlich, dass Modifizierungen an den zur Veranschaulichung ausgewählten Ausführungsformen vorgenommen werden können, ohne vom Wesen und Umfang der Anmeldung abzuweichen.

Claims (32)

  1. Patentansprüche
    1. Verfahren zum Erfassen einer Geste, umfassend das Konfigurieren eines segmentierten Sensors (12) mit mehreren Segmenten (A, B, C, D), die jeweils ein Segmentsignal ausgeben, das dem Licht entspricht, das vom Segment erfasst wird; und das Berechnen eines oder mehrerer Differentialsignale gemäß den Segmentsignalen, die von den mehreren Segmenten ausgegeben werden; gekennzeichnet durch das Bestimmen einer Zielbewegungsrichtung eines Ziels, das sich an dem segmentierten Sensor (12) vorbei bewegt, durch Anwenden einer Vektoranalyse an dem einen oder den mehreren Differentialsignalen, sowie durch das Bestimmen eines proportionalen Wertes einer Zielbewegungsgeschwindigkeit des Ziels, das sich an dem segmentierten Sensor vorbei bewegt, durch Anwenden einer Vektoranalyse an dem einen oder den mehreren Differentialsignalen.
  2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Licht, das vom Segment (A, B, C, D) erfasst wird, Licht umfasst, das von einer Beleuchtungsquelle (11) kommt und vom Ziel reflektiert wird.
  3. 3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Licht, das vom Segment (A, B, C, D) erfasst wird, Umgebungslicht umfasst.
  4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das eine oder die mehreren Differentialsignale ein oder mehrere differentielle zusammengesetzte Signale enthalten, wobei ein zusammengesetztes Signal ein Signal ist, das durch Addition von zwei oder mehr Segmentsignalen gebildet wird.
  5. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein erstes Differentialsignal berechnet wird, das die Bewegungsrichtung des Ziels entlang einer x-Achse angibt.
  6. 6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das erste Differentialsignal einen positiven Maximalwert und einen negativen Maximalwert enthält, wobei ferner die Bewegungsrichtung des Ziels als in eine positive x-Richtung verlaufend bestimmt wird, wenn der positive Maximalwert dem negativen Maximalwert zeitlich vorangeht.
  7. 7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass das erste Differentialsignal einen positiven Maximalwert und einen negativen Maximalwert enthält, wobei ferner die Bewegungsrichtung des Ziels als in eine negative x- Richtung verlaufend bestimmt wird, wenn der negative Maximalwert dem positiven Maximalwert zeitlich vorangeht.
  8. 8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass ein zweites Differentialsignal berechnet wird, das die Bewegungsrichtung des Ziels entlang einer y-Achse angibt.
  9. 9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das zweite Differentialsignal einen positiven Maximalwert und einen negativen Maximalwert enthält, wobei ferner die Bewegungsrichtung des Ziels als in eine positive y-Richtung verlaufend bestimmt wird, wenn der positive Maximalwert dem negativen Maximalwert zeitlich vorangeht.
  10. 10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass das zweite Differentialsignal einen positiven Maximalwert und einen negativen Maximalwert enthält, wobei ferner die Bewegungsrichtung des Ziels als in eine negative y- Richtung verlaufend bestimmt wird, wenn der negative Maximalwert dem positiven Maximalwert zeitlich vorangeht.
  11. 11. Verfahren nach einem der Ansprüche 8 bis 10, gekennzeichnet durch das Berechnen eines proportionalen Wertes einer Zielbewegungsgeschwindigkeit entlang der x-Achse unter Verwendung einer Zeitdifferenz zwischen aufeinanderfolgenden Nulldurchgängen des ersten Differentialsignals, und das Berechnen eines proportionalen Wertes einer Zielbewegungsgeschwindigkeit entlang der y-Achse unter Verwendung einer Zeitdifferenz zwischen aufeinanderfolgenden Nulldurchgängen des zweiten Differentialsignals.
  12. 12. Verfahren nach Anspruch 11, gekennzeichnet durch das Überlagern des proportionalen Wertes der Zielbewegungsgeschwindigkeit entlang der x-Achse und des proportionalen Wertes der Zielbewegungsgeschwindigkeit entlang der y-Achse, um einen Zielvektor zu bilden.
  13. 13. Verfahren nach Anspruch 12, gekennzeichnet durch das Bestimmen einer Richtung aus einem vordefinierten Satz von Richtungen gemäß dem Zielvektor.
  14. 14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass der vordefinierte Satz von Richtungen eine positive x-Richtung, eine negative x-Richtung, eine positive y-Richtung und eine negative y-Richtung enthält.
  15. 15. Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass der Zielvektor einen Zielvektorwinkel hat und das Bestimmen einer Richtung des vordefinierten Satzes von Richtungen das Vergleichen des Zielvektorwinkels mit einem Satz von definierten Schwellenwertwinkeln enthält.
  16. 16. Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass das Bestimmen einer Richtung des vordefinierten Satzes von Richtungen das Vergleichen des Zielvektors mit einem Satz von vordefinierten Verteilungsmustern enthält, wobei jedes Verteilungsmuster einer der Richtungen in dem vordefinierten Satz von Richtungen entspricht.
  17. 17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass das Vergleichen des Zielvektors das Bestimmen eines Vertrauenswertes, der dem Vergleichen des Zielvektors mit jedem Verteilungsmuster zugeordnet ist, und das Auswählen einer Richtung des vordefinierten Satzes von Richtungen gemäß dem höchsten Vertrauenswert enthält.
  18. 18. Vorrichtung zum Bestimmen einer körperlichen Geste, mit einer einzigen Beleuchtungsquelle (11), mit Lichtsensoren (12; A, B, C, D), und mit einer Lichtmodifizierungsstruktur zum Weiterleiten von reflektiertem Licht zu den Lichtsensoren (12; A, B, C, D), wobei das reflektierte Licht Licht von der einzelnen Beleuchtungsquelle (11) ist, das von einem Zielobjekt reflektiert wird, dadurch gekennzeichnet, dass eine Verarbeitungsschaltung mit den Lichtsensoren (12; A, B, C, D) zur Analyse zeitabhängiger Signale, die von den Lichtsensoren (12; A, B, C, D) empfangen werden, sowie zum Bestimmen der Bewegungsrichtung des Zielobjekts nahe der Vorrichtung verbunden ist, dass die Lichtmodifizierungsstruktur eine mechanische Struktur aufweist, die zum selektiven Blockieren eines Teils des Lichts, abhängig von der Position des Zielobjekts relativ zu den Lichtsensoren (12; A, B, C, D) konfiguriert ist, dass jeder Lichtsensor (12; A, B, C, D) Zellstrukturen enthält, wobei jede Zellstruktur Photodioden enthält, und dass die mechanische Struktur mehrere Wandstrukturen enthält, eine Wandstruktur pro Zelle, wobei die Wandstruktur zwischen zwei Photodioden positioniert ist.
  19. 19. Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, dass die Beleuchtungsquelle (11) eine Leuchtdiode aufweist.
  20. 20. Vorrichtung nach Anspruch 18 oder 19, dadurch gekennzeichnet, dass jeder Lichtsensor (12; A, B, C, D) eine Photodiode aufweist.
  21. 21. Vorrichtung nach einem der Ansprüche 18 bis 20, gekennzeichnet durch ein Array von einzelnen Lichtsensoren (A, B, C, D) enthalten.
  22. 22. Vorrichtung nach einem der Ansprüche 18 bis 20, gekennzeichnet durch einen einzigen Lichtsensor (12), der in mehrere Segmente (A, B, C, D) geteilt ist.
  23. 23. Vorrichtung nach einem der Ansprüche 18 bis 22, dadurch gekennzeichnet, dass die Lichtmodifizierungsstruktur eine optische Linsenstruktur (13) enthält.
  24. 24. Vorrichtung nach einem der Ansprüche 18 bis 23, dadurch gekennzeichnet, dass eine obere Schicht jeder Wandstruktur einen äußeren Umfang hat, der keine der zwei Photodioden überlappt.
  25. 25. Vorrichtung nach einem der Ansprüche 18 bis 23, dadurch gekennzeichnet, dass eine obere Schicht jeder Wandstruktur einen äußeren Umfang hat, der teilweise jede der Photodioden bedeckt.
  26. 26. Vorrichtung nach einem der Ansprüche 18 bis 25, dadurch gekennzeichnet, dass jede Wandstruktur mehrere Metallschichten und mehrere dielektrische Schichten enthält, wobei eine dielektrische Schicht jede Metallschicht trennt, und wobei jede dielektrische Schicht mehrere Metallkontaktlöcher (Vias) enthält, die mit Metallschichten an jeder Seite der dielektrischen Schicht verbunden sind.
  27. 27. Vorrichtung nach einem der Ansprüche 18 bis 26, dadurch gekennzeichnet, dass jede Wandstruktur senkrecht zu einer oberen Oberfläche der Lichtsensoren (A, B, C, D) liegt.
  28. 28. Vorrichtung nach einem der Ansprüche 18 bis 26, dadurch gekennzeichnet, dass die Wandstruktur in einem nicht senkrechten Winkel zu einer oberen Fläche der Lichtsensoren (A, B, C, D) verläuft.
  29. 29. Vorrichtung nach Anspruch 28, dadurch gekennzeichnet, dass jede Wandstruktur mehrere Metallschichten und mehrere Kontaktlöcher (Vias) enthält, die in einer stufenförmigen Struktur konfiguriert sind.
  30. 30. Vorrichtung nach einem der Ansprüche 20 bis 29, dadurch gekennzeichnet, dass die mechanische Struktur mehrere geschlitzte Metallschichten enthält, eine geschlitzte Metallschicht pro Zelle, wobei die geschlitzte Metallschicht über den Photodioden positioniert ist und ein offener Schlitz der geschlitzten Metallschicht mit einem Mittelpunkt zwischen den Photodioden ausgerichtet ist.
  31. 31. Vorrichtung nach Anspruch 30, dadurch gekennzeichnet, dass jede Zelle ferner eine dielektrische Schicht enthält, die zwischen den Photodioden und der geschlitzten Metallschicht positioniert ist, wobei die dielektrische Schicht optisch transparent ist.
  32. 32. Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, dass die Lichtsensoren auf einem integrierten Schaltungs-Chip gebildet sind und jeder Lichtsensor (A, B, C, D) eine Photodiode ist, wobei ferner die mechanische Struktur eine Chip-Packung enthält, die mit dem integrierten Schaltungs-Chip verbunden ist, wobei die Chip-Packung eine Wandstruktur enthält, die zwischen jeder der Photodioden positioniert ist. Hierzu 14 Blatt Zeichnungen
ATA9196/2012A 2011-05-05 2012-05-03 Verfahren zum Erfassen von Gesten unter Verwendung einer Multisegment-Photodiode und einer oder weniger Beleuchtungsquellen AT518427B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161483034P 2011-05-05 2011-05-05
PCT/US2012/036351 WO2012151417A2 (en) 2011-05-05 2012-05-03 Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources

Publications (2)

Publication Number Publication Date
AT518427B1 true AT518427B1 (de) 2017-10-15
AT518427A5 AT518427A5 (de) 2017-10-15

Family

ID=47089609

Family Applications (2)

Application Number Title Priority Date Filing Date
ATGM50195/2015U AT15499U1 (de) 2011-05-05 2012-05-03 Verfahren zum Erfassen von Gesten unter Verwendung einer Multisegment-Photodiode und einer oder weniger Beleuchtungsquellen
ATA9196/2012A AT518427B1 (de) 2011-05-05 2012-05-03 Verfahren zum Erfassen von Gesten unter Verwendung einer Multisegment-Photodiode und einer oder weniger Beleuchtungsquellen

Family Applications Before (1)

Application Number Title Priority Date Filing Date
ATGM50195/2015U AT15499U1 (de) 2011-05-05 2012-05-03 Verfahren zum Erfassen von Gesten unter Verwendung einer Multisegment-Photodiode und einer oder weniger Beleuchtungsquellen

Country Status (3)

Country Link
US (2) US8716649B2 (de)
CN (1) CN102880286B (de)
AT (2) AT15499U1 (de)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9285459B2 (en) 2008-05-09 2016-03-15 Analog Devices, Inc. Method of locating an object in 3D
US9746544B2 (en) 2008-12-03 2017-08-29 Analog Devices, Inc. Position measurement systems using position sensitive detectors
WO2010138385A1 (en) 2009-05-27 2010-12-02 Analog Devices, Inc. Multiuse optical sensor
US9229581B2 (en) 2011-05-05 2016-01-05 Maxim Integrated Products, Inc. Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources
US9702690B2 (en) * 2011-12-19 2017-07-11 Analog Devices, Inc. Lens-less optical position measuring sensor
JP5869156B2 (ja) * 2013-01-31 2016-02-24 シャープ株式会社 光センサおよび電子機器
US9431440B2 (en) * 2013-03-14 2016-08-30 Maxim Integrated Products, Inc. Optical sensor
US9582078B1 (en) 2013-06-28 2017-02-28 Maxim Integrated Products, Inc. Integrated touchless joystick-type controller
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9891099B2 (en) * 2013-07-30 2018-02-13 Elbit Systems Of America, Llc Optical detector and system therefor
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
US9383434B2 (en) 2013-10-01 2016-07-05 Heptagon Micro Optics Pte. Ltd. Compact opto-electronic sensor modules for detecting gestures or other movements by a user
EP2860612B1 (de) 2013-10-04 2019-04-24 ams AG Optische Sensoranordnung und Verfahren zur Gestenerfassung
KR102098400B1 (ko) * 2013-10-28 2020-04-08 매그나칩 반도체 유한회사 제스처 셀 및 이를 포함하는 제스처 센서
JP6223779B2 (ja) * 2013-10-28 2017-11-01 シャープ株式会社 光検知装置および電子機器
CN104700603A (zh) * 2015-03-11 2015-06-10 四川和芯微电子股份有限公司 远程控制智能移动终端的系统
GB2529567B (en) 2015-09-22 2016-11-23 X-Fab Semiconductor Foundries Ag Light shield for light sensitive elements
US11385336B2 (en) 2018-07-31 2022-07-12 Maxim Integrated Products, Inc. Time of flight sensors and sensing methods
US11674797B2 (en) 2020-03-22 2023-06-13 Analog Devices, Inc. Self-aligned light angle sensor using thin metal silicide anodes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5103085A (en) * 1990-09-05 1992-04-07 Zimmerman Thomas G Photoelectric proximity detector and switch
WO2005088435A1 (en) * 2004-03-11 2005-09-22 Mobisol Inc. Pointing device with an integrated optical structure
US20080006762A1 (en) * 2005-09-30 2008-01-10 Fadell Anthony M Integrated proximity sensor and light sensor
WO2009067103A1 (en) * 2007-11-20 2009-05-28 Hewlett-Packard Development Company, L.P. Liquid handling device
US20100102230A1 (en) * 2008-10-22 2010-04-29 Tom Chang Light detection circuit for ambient light and proximity sensor

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19911419A1 (de) 1998-03-16 1999-10-14 Cyberoptics Corp Digitales Bereichssensorsystem
US6351576B1 (en) 1999-12-23 2002-02-26 Intel Corporation Optical clocking distribution using diffractive metal mirrors and metal via waveguides
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US6618038B1 (en) * 2000-06-02 2003-09-09 Hewlett-Packard Development Company, Lp. Pointing device having rotational sensing mechanisms
JP4040825B2 (ja) 2000-06-12 2008-01-30 富士フイルム株式会社 画像撮像装置及び距離測定方法
US6870152B2 (en) * 2002-02-01 2005-03-22 Georgia Tech Research Corporation Segmented photodetectors for detection and compensation of modal dispersion in optical waveguides
US6838715B1 (en) 2002-04-30 2005-01-04 Ess Technology, Inc. CMOS image sensor arrangement with reduced pixel light shadowing
JP4093971B2 (ja) * 2004-02-12 2008-06-04 シャープ株式会社 光学式移動情報検出装置および移動情報検出システムおよび電子機器およびエンコーダ
EP1622200A1 (de) 2004-07-26 2006-02-01 CSEM Centre Suisse d'Electronique et de Microtechnique SA Festkörper-Fotodetektor-Pixel und Fotodetektionsverfahren
US7214920B2 (en) 2005-05-06 2007-05-08 Micron Technology, Inc. Pixel with spatially varying metal route positions
US7683407B2 (en) * 2005-08-01 2010-03-23 Aptina Imaging Corporation Structure and method for building a light tunnel for use with imaging devices
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
CN101558367A (zh) * 2006-12-05 2009-10-14 索尼爱立信移动通讯有限公司 用于检测物体移动的方法和系统
KR20090025818A (ko) * 2007-09-07 2009-03-11 주식회사 동부하이텍 이미지 센서 및 그의 제조방법
US8432372B2 (en) * 2007-11-30 2013-04-30 Microsoft Corporation User input using proximity sensing
US8187097B1 (en) 2008-06-04 2012-05-29 Zhang Evan Y W Measurement and segment of participant's motion in game play
US8146020B2 (en) 2008-07-24 2012-03-27 Qualcomm Incorporated Enhanced detection of circular engagement gesture
TW201007531A (en) 2008-08-01 2010-02-16 Yu-Hsiang Huang Gesture detecting method of capacitive touch pad is disclosed
TW201008698A (en) 2008-08-20 2010-03-01 Co Matic Machinery Co Ltd Feeder stand capable of measurement
US8093545B2 (en) * 2008-09-26 2012-01-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Lensless user input device with optical interference based on diffraction with a small aperture
US8344325B2 (en) 2009-05-22 2013-01-01 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting basic gestures
US20100320552A1 (en) 2009-06-19 2010-12-23 Pixart Imaging Inc. CMOS Image Sensor
TW201106614A (en) 2009-08-10 2011-02-16 Holtek Semiconductor Inc Low-frequency amplifier and PIR detector
US8072442B2 (en) * 2010-02-09 2011-12-06 Sharp Kabushiki Kaisha Electrically switchable field of view for embedded light sensor
US20110310005A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
US8461513B2 (en) 2010-09-28 2013-06-11 Texas Advanced Optoelectronic Solutions, Inc. Method and apparatus for device with minimized optical cross-talk
US9229581B2 (en) 2011-05-05 2016-01-05 Maxim Integrated Products, Inc. Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources
US20140035812A1 (en) 2011-05-05 2014-02-06 Maxim Integrated Products, Inc. Gesture sensing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5103085A (en) * 1990-09-05 1992-04-07 Zimmerman Thomas G Photoelectric proximity detector and switch
WO2005088435A1 (en) * 2004-03-11 2005-09-22 Mobisol Inc. Pointing device with an integrated optical structure
US20080006762A1 (en) * 2005-09-30 2008-01-10 Fadell Anthony M Integrated proximity sensor and light sensor
WO2009067103A1 (en) * 2007-11-20 2009-05-28 Hewlett-Packard Development Company, L.P. Liquid handling device
US20100102230A1 (en) * 2008-10-22 2010-04-29 Tom Chang Light detection circuit for ambient light and proximity sensor

Also Published As

Publication number Publication date
CN102880286A (zh) 2013-01-16
CN102880286B (zh) 2018-02-06
US20140284462A1 (en) 2014-09-25
US10429236B2 (en) 2019-10-01
US20120280107A1 (en) 2012-11-08
AT518427A5 (de) 2017-10-15
AT15499U1 (de) 2017-10-15
US8716649B2 (en) 2014-05-06

Similar Documents

Publication Publication Date Title
AT518427B1 (de) Verfahren zum Erfassen von Gesten unter Verwendung einer Multisegment-Photodiode und einer oder weniger Beleuchtungsquellen
DE102012008954A1 (de) Verfahren zum Erfassen von Gesten unter Verwendung einer Mehrfachsegment-Photodiode und einer oder weniger Beleuchtungsquellen
DE112012005324B4 (de) Integrierte Schaltung und Verfahren zum Detektieren eines Winkels von einfallendem Licht
US7437243B2 (en) Detecting device and method to detect an object based on a road boundary
CN102496157B (zh) 基于高斯多尺度变换及颜色复杂度的图像检测方法
CN102509088B (zh) 一种手部运动检测的方法、装置及人机交互系统
DE10241392A1 (de) Vorrichtung und Verfahren zum Erfassen einer dreidimensionalen Relativbewegung
DE112015004407T5 (de) Hintergrundlicht-Detektion für optische Navigationssysteme
DE112013000590T5 (de) Verbesserter Konstrast zur Objekterfassung und Charaktersierung durch optisches Abbilden
DE102014108310B4 (de) Optisches Laufzeitsystem
WO2013116883A1 (de) Vorrichtung für die eingabe von informationen an eine datenverarbeitungsanlage
US9759549B2 (en) Distance detecting device
KR101765771B1 (ko) 다중 세그먼트 포토다이오드 및 하나 또는 소수의 조명 소스를 이용하는 제스처 검출 방법
DE102018119376A1 (de) Display zur Darstellung einer optischen Information
CN106017328A (zh) 一种多类型线宽测量方法及装置
CN110245610A (zh) 显示背板及其制作方法和全面屏指纹识别显示装置
Beuth et al. Improving automated visual fault detection by combining a biologically plausible model of visual attention with deep learning
DE112020001591T5 (de) Optischer sensor mit gerichteter empfindlichkeit
DE102016217573A1 (de) Werkstückträgersystem
Kyogoku et al. A method for dynamic placement of overlay measurement area cursors using segmentation technique
JP6584898B2 (ja) 三次元空間内位置検出機能付きディスプレイ
WO2016162406A1 (de) Vorrichtung zum detektieren von elektronischen defekten im randbereich von halbleitern auf silizium-basis
JPH10105896A (ja) 車両の走行路区画線の検出方法
DE202005015973U1 (de) Optoelektronischer Sensor
CH706307A2 (de) Verfahren und Vorrichtung zur Messung von Distanzen.