DE102006010797A1

DE102006010797A1 - Vorrichtung und Verfahren zur Steuerung eines elektronischen Apparates durch Gesten, insbesondere von Kopf und Oberkörper

Info

Publication number: DE102006010797A1
Application number: DE102006010797A
Authority: DE
Inventors: Holger Linde
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-03-07
Filing date: 2006-03-07
Publication date: 2007-09-13

Abstract

Technisches Problem der Erfindung Die Erkennung von Gesten von Kopf und Oberkörper eines menschlichen Benutzers ermöglicht eine Alternative zur traditionellen Mensch-Maschine-Interaktion durch die Bedienung von Tastern, Schaltern und speziellen Eingabegeräten mittels Händen und Füßen. Gängige Lösungen zur Erfassung dieser Gesten basieren z. B. auf einer Kamera mit nachgeschalteter, aufwendiger Bildverarbeitung. Lösung des Problems bzw. der technischen Aufgabe Es wird eine Vorrichtung, im Folgenden "Tracker" genannt, die die Steuerung eines elektronischen Gerätes durch Gesten, insbesondere von Kopf und oberkörper, erlaubt, vorgeschlagen. Diese umfaßt einen Infrarotsensor, eine Verarbeitungs- sowie eine Kommunikationseinheit. Der Sensor erfaßt die vom Menschen auf natürliche Weise abgegebene Wärmestrahlung. Erfindungsgemäß ist ein Verfahren vorgesehen, welches vermag, aus dem Sensorsignal die ausgeführten Bewegungen des Benutzers zu erfassen. Anwendungsgebiet Die Erfindung läßt sich für die Steuerung jeglicher Art elektronischer Geräte verwenden, z. B. zur Interaktion von Werbeinstallationen oder zur Bedienung von Unterhaltungssoftware auf einem PC.

Description

1. Stand der Technik

Eine Vorrichtung zum Erfassen der Position und der Orientierung des Kopfes läßt sich beispielsweise mit einer Kamera realisieren. Dazu wird die direkte Umgebung des Benutzers bildlich abgetastet und die Position und Orientierung mit geeigneten Algorithmen aus dem Bild extrahiert.

Ein weiteres gängiges Verfahren, um die Position und Orientierung des Kopfes zu erfassen, verwendet eine Strahlungsquelle im nahen Infrarotbereich (z.B. eine Infrarotleuchtdiode), mit dem die beobachtete Szene bestrahlt wird. Ein Teil der emittierten Strahlung wird durch Reflektoren, die am Kopf des Benutzers angebracht sind, reflektiert, und von einem bildgebenden Sensor (z.B. ein CCD-Bildsensor) aufgenommen. Anhand der Position, Größe und Form der erfassten Reflektoren kann dann die Position und Orientierung des Kopfes bestimmt werden.

In DE10058244A1 wird ein Meßverfahren und eine Vorrichtung zur Ermittlung der Position eines Objektes vor einem Bildschirm beschrieben, welches) eine Zeile von Infrarotlichtquellen und Fototransistoren vorsieht. Die Infrarottransmitter senden aufeinanderfolgend Pulse aus, welche vom Kopf des Benutzers reflektiert und durch die Empfänger detektiert werden.

In US5373857A ist eine ähnliche Vorrichtung beschrieben, die die Orientierung des Kopfes über Magnetsensoren zu bestimmen vermag, wobei die Sensoren, die am Kopf getragen werden, die Neigung des Kopfes gegenüber dem Erdmagnetfeld erfassen. Die in JP2002081904A beschriebene Anordnung beruht auf einem ähnlichen Prinzip, jedoch wird hier ein magnetisches Wechselfeld auf künstliche Weise erzeugt.

2. Vorteile der Erfindung

Die Erfindung erlaubt das Erkennen von Gesten auf passive Weise, d.h., es müssen keinerlei Komponenten wie aktive Signalemitter oder Reflektoren vom Benutzer getragen werden. Das Tragen solcher Elemente begrenzt den Einsatz entsprechender existierender Geräte auf einen kleinen Personenkreis, welcher mit entsprechenden Komponenten ausgestattet ist. Ferner wird das Tragen der erwähnten Komponenten oft als lästig empfunden.

Ein weiterer Nachteil, den das Tragen von aktiven oder passiven Komponenten durch den Benutzer nach sich zieht, ist die Tatsache, daß eine regelmäßige Kalibrierung entsprechender Systeme erforderlich ist. Beispielsweise ist beim Tragen von Reflektoren am Kopf häufig nicht sichergestellt, daß beim Ab- und Wiederaufsetzen entsprechender Tragevorrichtungen der Reflektor stets dieselbe Ausrichtung und Position am Kopf erhält. Da bei der vorgestellten Erfindung keinerlei Komponenten getragen werden müssen, sinkt der Kalibrierungsaufwand in erheblichem Maße.

Darüberhinaus zeichnet sich die Erfindung dadurch aus, daß sie unabhängig von der momentanen Beleuchtungssituation ist. Im Gegensatz dazu sind kamerabasierte Systeme stark vom Umgebungslicht abhängig und versagen zudem bei stark unterschiedlichen Lichtverhältnissen innerhalb einer aufgenommenen Szene. Ebenso ist eine Mindesthelligkeit für eine zuverlässige Aufnahme erforderlich. Außerdem werfen bildgebende kamerabasierte Lösungen rechtliche Probleme beim Einsatz an öffentlichen Orten auf. Schließlich ist auch im privaten Umfeld eine Beobachtung durch ein Kamerasystem von den Nutzern oft nicht gewünscht. Die erfindungsgemäße Vorrichtung bzw. das erfindungsgemäße Verfahren ist prinzipbedingt in der Lage, die Gesten des Benutzers ohne einen bildgebenden Sensor zu erkennen.

Ein weiterer Nachteil von kamerabasierten Lösungen ist die relativ aufwendige Bildverarbeitung, die erforderlich ist, um aus den aufgenommenen Bitdaten Informationen über die Position oder Bewegung des Benutzers zu gewinnen. Dieser intensive Rechenaufwand erfordert eine leistungsfähige Signalverarbeitungshardware. In bestehenden Implementierungen wird diese Berechnung typischerweise auf das gesteuerte elektronische Gerät ausgelagert, welches zumeist ein elektronischer Rechner ist. Dadurch wird dieser Rechner unnötigerweise zu Ungunsten anderer Applikationen, wie etwa rechenintensiven Echtzeitanwendungen im Bereich der virtuellen Realität, belastet. Die Erfindung dagegen zeichnet sich durch einen vergleichsweise geringen Rechenaufwand aus, so daß nicht notwendigerweise Berechnungen auf das gesteuerte elektronische Gerät ausgelagert werden müssen oder kostspielige Verarbeitungshardware hinzugezogen werden muß.

Existierende optische Lösungen auf Basis modulierter Infrarotsignale im nahen Infrarotbereich (NIR) sind anfällig für Störungen durch Infrarotkommunikationssysteme, wie Fernbedienungen oder schnurlose Infrarotkopfhörer. In gleichem Umfange stören oder verhindern sie die einwandfreie Funktion dieser Kommunikationssysteme. Die hier genutzte natürliche Wärmestrahlung, die vom Kopf und Oberkörper des Benutzers abgegeben wird, ist langwelliger. Die oben genannten Störquellen beeinträchtigen die eingesetzten Sensoren daher nicht.

Entsprechende Vorrichtungen zur Erfassung von Position und/oder Orientierung des Kopfes, die auf dem Einsatz von Magnetfeldern basieren, sind stark anfällig gegen externe Störungen durch Kathodenstrahlröhren und Lautsprecher und unterliegen damit einem aufwendigen Kalibrierprozeß.

Das in der vorgeschlagenen Vorrichtung verwendete Verfahren beruht auf dem Einsatz mehrerer Sensorelemente. Vorteilhaft ist dabei die Tatsache, daß Abweichungen dieser Sensorelemente von einem Idealwert durch eine geeignete Kalibrierung des Systems eliminiert werden können.

3. Ausführungsbeispiel
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt 1 eine typische Anwendung der Erfindung. 2 zeigt den prinzipiellen Aufbau der Vorrichtung. 3 und 4 illustrieren den Aufbau des verwendeten Sensors sowie dessen Empfangscharakteristik. 5 schließlich erläutern das vorgestellte Meßverfahren.
1a und 1b stellen die Erfindung in ihrer Ausführung als Mensch-Maschine-Schnittstelle dar. Der Benutzer (1) führt mit seinem Körper oder Teilen seines Körpers, z.B. dem Kopf, Gesten aus, welche vom Tracker (2) erfaßt werden und entsprechende Aktionen auslösen. In der hier dargestellten Ausführung betreffen diese Aktionen eine Veränderung des auf einer elektronischen Anzeige (3) dargestellten Bildinhaltes. Es können aber auch andere Aktionen ausgelöst werden. Erfindungsgemäß vermag der Tracker, sowohl Bewegungen als auch die Position des Benutzers in x- als auch z-Richtung zu erfassen, wobei in Bezug auf die Position und Orientierung des Trackers die x-Koordinate eine Position rechts oder links vom Tracker, und die z-Koordinate die Entfernung vom Tracker angibt. Die entsprechenden Gesten des Benutzers sind ebenfalls in 1a (Links-Rechts-Bewegung) und 1b (Vor-Zurück-Bewegung) dargestellt.
2a zeigt das Blockschaltbild des Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung zur Steuerung eines elektronischen Apparates. Die Vorrichtung (Tracker) (2) besteht im Kern aus einem Satz von Punktsensoren (4a) und einer Sensordatenverarbeitungseinheit (8). Die Signale der Punktsensoren werden durch Verstärker (6) verstärkt, durch Analog-Digital-Wandler (7) digitalisiert und schließlich der Sensordatenverarbeitungseinheit (8) zugeführt. Über eine Kommunikationsvorrichtung (9) ist der Tracker (2) mit einem elektronischen Datenverarbeitungsgerät (10) verbunden, welches auf die Aktionen des Benutzers, die der Tracker erfaßt, reagiert. Die vom Datenverarbeitungsgerät (10) ausgelösten Aktionen werden dem Benutzer über eine elektronische Anzeige (3) zugänglich gemacht.
Die in 2b dargestellte Variante unterscheidet sich von dem in 2a gezeigten Aufbau insofern, daß statt des Satzes von Punktsensoren ein Multielementdetektor (4b) zum Einsatz kommt, der mehrere Sensorelemente in einem Bauelement integriert. Die Ausgänge der einzelnen Elemente werden über einen Analogmultiplexer (5) selektiert. Anschließend erfolgt wiederum die Verstärkung (6) und die Digitalisierung (7).
3 zeigt eine Ausführung eines Punktsensors (4a) (3a) bzw. eines Multielementdetektors (4b) (3b). Erfindungsgemäß handelt es sich bei diesen Sensoren um Thermosäulen oder Bolometer, welche im ersteren Fall aus einem einzelnen und im zweiten Fall aus mehreren Einzelelementen (11) bestehen. Die in 3b dargestellte Ausführung verfügt über 8 Sensorelemente (11).
In 4 ist der relative Sensitivitätsverlauf d(ϕ) eines einzelnen Sensorelements in Abhängigkeit vom Einfallswinkel der Strahlung dargestellt. Die Anordnung der Einzelelemente in einer geordneten Struktur, wie etwa in 3b, ist vorteilhaft, jedoch nicht zwingend erforderlich. Ebensowenig ist eine identische Kennlinie der einzelnen Sensorelemente erforderlich. Unbedingte Voraussetzung für die Anordnung der Sensorelemente ist lediglich eine Winkelverschiebung zwischen zwei Elementen. D.h., die einzelnen Sensorelemente müssen gegeneinander versetzt ausgerichtet sein. Dies kann durch eine Drehung der Sensorelemente oder durch optische Maßnahmen wie Linsen erfolgen.
4. Arbeitsweise des Systems
Das hier vorgestellte System basiert auf einem Verfahren, welches es erlaubt, eine Zeile (also einen linienförmigen Ausschnitt) einer festgelegten Umgebung abzutasten und für den abgetasteten Bereich ein Intensitätsprofil der aufgenommenen Strahlungsleistung zu erstellen. In der in 5a dargestellten Szene ist die Vorrichtung (2) auf einen menschlichen Benutzer (1) gerichtet. Die betrachtete Zeile (12) der Umgebung ist auf den Erfassungsbereich (13) begrenzt. Der Öffnungswinkel dieses Bereichs ist abhängig von den optischen Eigenschaften des Sensors. Das System verfügt über keinerlei bewegliche Komponenten wie etwa drehbare Spiegel, wie sie in Laserscannern häufig eingesetzt werden. Das Verfahren arbeitet passiv. D.h., es verfügt über keinerlei aktive Komponenten, welche Signale emittieren, sondern nimmt lediglich Wärmestrahlung auf. Dies geschieht mit thermalen Sensoren wie beispielsweise Thermosäulen oder Bolometern. Bei dem aufgenommenen Zeilenprofil (14) handelt es sich demnach um ein Wärmerprofil. Das Zeilenprofil wird im Folgenden mit b(ϕ) bezeichnet.
Das System nutzt die Winkelabhängigkeit der in 4 dargestellten Sensitivitätscharakteristik der Sensorelemente aus. Abhängig vom Bauteiletyp fällt hierbei die Sensitivität von der Mittelachse aus gesehen rasch ab. Während oft mit technischen Mitteln versucht wird, diese Winkelabhängigkeit zu eliminieren, nutzt das hier vorgestellte Verfahren genau diese Eigenschaft aus, um aus dem einfallenden Signal Richtungsinformationen zu extrahieren. Der genaue Verlauf der Empfangscharakteristik ist dabei von untergeordneter Bedeutung.
Der Tracker (2) verfügt über eine Anzahl von L Sensorelementen (L ≥ 1), die in einer Zeile angeordnet sind. Der Abstand zweier benachbarter Elemente voneinander ist hierbei sehr klein im Vergleich zum minimalen Abstand zwischen den Sensorelementen und einer zu erfassenden Person. Alle L Sensorelemente sind gegeneinander verdreht ausgerichtet, wobei keine zwei Elemente in dieselbe Richtung weisen. Das bedeutet, daß die maximale Sensitivität eines Sensorelements in einer anderen Richtung liegt als die irgendeines anderen Sensorelements. In einer typischen Anordnung sind benachbarte Sensoren um einen konstanten Winkel zueinander verdreht. Die Ausrichtung der Sensorelemente kann auf verschiedene Arten erfolgen. Zum Einen kann jedes Element selbst in eine bestimmte Richtung gedreht werden, zum Anderen ist es möglich, die Sensorelemente nebeneinander in einer Ebene anzuordnen und die unterschiedliche Ausrichtung mittels einer gemeinsamen Optik, z.B. einer Linse, zu realisieren. Die letztere Variante erlaubt den Einsatz integrierter Multielementdetektoren. Unabhängig davon, wie die Verdrehung der Sensorelemente realisiert ist, gilt, daß die Sensorcharakteristik aller L Elemente nicht gleich sein muß, sondern unterschiedliche Kurvenverläufe als den in 4 gezeigten aufweisen kann.
Wie oben erwähnt, hat das Verfahren zum Ziel, das Intensitätsprofil der vom Sensor abgetasteten Szene zu rekonstruieren. Diese Rekonstruktion des Zeilenprofils gliedert sich in zwei Schritte. Zunächst wird mit Hilfe der Sensormeßwerte und eines Satzes von während der Kalibrierung des Systems bestimmten Parametern ein Satz von virtuellen Abtastwerten des Profils berechnet. Danach kann anhand der virtuellen Abtastwerte der eigentliche angenäherte Verlauf des Zeilenprofils bestimmt werden. Der Maximalwert des rekonstruierten Zeilenprofils schließlich gibt den Winkel der Strahlungsquelle, also des Benutzers, an. Die Form des Zeilenprofils, insbesondere die Breite der Kurve unterhalb des Maximalwertes, erlaubt die Berechnung der Entfernung des Benutzers vom Tracker.
Der individuelle Sensitivitätsverlauf eines einzelnen Sensorelements l wird im Folgenden mit d_l(ϕ) bezeichnet, wobei l den Index eines Sensorelements angibt und 1 ≤ l ≤ L gilt. ϕ ist der Winkel, der von zwei Linien aufgespannt wird, die von der Vorrichtung ausgehen und einmal die Mitte der betrachteten Zeile treffen und einmal einen beliebigen anderen Punkt auf der Zeile (siehe dazu auch 5b).
Das Berechnungsverfahren beruht darauf, dass mit Hilfe der Sensitivitätsverläufe der einzelnen Sensorelemente d_l(ϕ) sehr feinstufig der Sensitivitätsverlauf h₀(ϕ – i·Δr) eines virtuellen, schwenkbaren Sensors nachgebildet wird. i·Δr bezeichnet die Drehung des virtuellen Sensitivitätsverlaufs, Δr ist ein konstanter Winkelschritt mit γ_FOV > Δr > 0, wobei γ_FOV den halben Erfassungsbereich (13) der Vorrichtung angibt (siehe 5b). i ist eine ganze Zahl, wobei –N ≤ i ≤ N mit N = ⌊γ_FOV/Δr⌋ gilt. Von dem virtuellen Sensor wird die Szene schrittweise in alle Richtungen hin abgetastet werden. 2N + 1 entspricht dabei der Gesamtzahl an Stellungen, in die der virtuelle Sensor gedreht wird. Die Drehung erfolgt jedoch nicht mechanisch, sondern algorithmisch.
Für ein konstantes Δr und ein beliebiges ganzzahliges i aus dem Wertebereich –N ≤ i ≤ N wird h₀(ϕ – i·Δr) durch die Funktion
approximiert, wobei L die Anzahl der Sensorelemente ist. Die konstanten Koeffizienten ω (i) / l werden während der Kalibrierung des Systems bestimmt. Sie werden z.B. so gewählt, dass die Summe der Abweichungsquadrate zwischen ĥ_i(ϕ) und h₀(ϕ – i·Δr) an den Stellen ϕ = j·Δr minimal ist:
Dieses Minimierungsproblem läßt sich direkt in ein lineares Gleichungssystem überführen, so dass für jedes i ein entsprechender Satz von L Parametern ω (i) / l bestimmt werden kann. Die Verläufe der Sensitivitätsfunktionen d_l(ϕ) müssen hierbei nicht verschiebungssymmetrisch sein. Vielmehr werden etwaige Variationen vom Minimierungsverfahren mit berücksichtigt. Die Approximation von ĥ_i(j·Δr) an die verschobene virtuelle Sensitivitätskennlinie h₀(j·Δr – i·Δr) muß nich zwingenderweise, wie in Gl. (2) gezeigt, über die Methode der kleinsten Fehlerquadrate erfolgen. Auch andere gängige Approximationsmethoden sind hier einsetzbar.
Jeder Messvorgang liefert einen Satz von L Sensorwerten x_l. Aus den Werten x_l wird eine Sequenz z von virtuellen Abtastwerten für das Zeilenprofil berechnet: z = {z_-N, z_-N+1, ... z₀, ..., z_N-1, z_N} mit
Die (reelle) Sequenz z kann nun z.B. mit Hilfe einer diskreten Fourier-Transformation (z.B. Fast Fourier Transformation) in ein in der Regel komplexwertiges Spektrum Z = {Z_-N, Z_-N+1, ..., Z₀, Z_N-1, Z_N} überführt werden. Für den nächsten Schritt ist eine Betrachtung des zunächst kontinuierlich angenommenen virtuellen Sensitivitätsverlaufs h₀(ϕ) in diskreten Winkelschritten notwendig. Dazu wird der Bezeichner g = {g_-N, g_-N+1, ..., g₀, g_N-1 g_N} mit g_i = h₀(i·Δr) eingeführt. Das diskrete Spektrum von g wird mit G = {G_-N, G_-N+1, ..., G₀, G_N-1, G_N} bezeichnet, wobei dieselbe Transformationsvorschrift wie bei Z verwendet wird. Wird nun die Sequenz Z komponentenweise durch die Sequenz G dividiert, so läßt sich die virtuelle Sensitivitätskurve wieder herausrechnen:
Die resultierende Sequenz S = {S_-N, S_-N+1, ..., S₀, S_N-1, S_N} wird nun mit Hilfe einer inversen diskreten Fourier-Transformation, also entsprechend oben etwa der Inverse Fast Fourier Transformation (IFFT), zurück in den Winkelbereich transformiert: s = IFFT(S), (5)wobei für die resultierende Sequenz s = {s_-N, s_-N+1, ..., s₀, s_N-1, s_N} gilt.
Die resultierende Sequenz entspricht nun einer diskreten Approximation für das in 5a dargestellte Zeilenprofil b(ϕ), d.h. es gilt si ≈ b (i·Δr) (6)
Die Position von Kopf und Oberkörper des beobachteten Benutzers läßt sich nun über die Bestimmung des Index desjenigen Elements von s bestimmen, welches den Maximalwert der Sequenz s angibt. Wird dieses Element mit i_max indiziert, so ergibt sich die vom Tracker aus gesehene Richtung ϕ_max des Maximums also zu ϕmax = imax·Δr. (7)
Die Entfernung des Benutzers vom Tracker kann z.B. über den Absolutwert des Maximums der Sequenz s bestimmt werden. Ebenso kann die Breite der rekonstruierten Kurve unmittelbar unter dem ermittelten Maximum Auskunft über die Entfernung geben.

Claims

Vorrichtung zur Steuerung eines elektronischen Gerätes (10) mit Hilfe von Gesten eines menschlichen Benutzers (1), insbesondere von Kopf und Oberkörper, dadurch gekennzeichnet, daß mehrere Infrarotpunktsensoren (4a) bzw. ein integrierter Infrarotmultielementdetektor (4b), bestehend aus mehreren Sensorelementen (11), wobei die Sensoren wahlweise als Thermosäule oder Bolometer ausgeführt sind, Verwendung findet.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Infrarotsensoren auf den Benutzer ausgerichtet sind.
Vorrichtung nach Anspruch 1 und 2, dadurch gekennzeichnet, daß die Ausrichtung der einzelnen Sensorelemente gegeneinander verdreht ist.
Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, daß die Verdrehung optisch, etwa mittels einer Linse, oder durch Ausrichten jedes einzelnen Sensorelements realisiert ist.
Vorrichtung nach einem der vorigen Ansprüche, dadurch gekennzeichnet, daß sie die von ihr aufgenommenen Sensordaten selbst verarbeitet oder die Verarbeitung an das gesteuerte Gerät auslagert.
Vorrichtung nach einem der vorigen Ansprüche, dadurch gekennzeichnet, daß diese über eine Kommunikationsschnittstelle an das gesteuerte elektronische Gerät anschließbar ist.
Verfahren zur Steuerung einer Vorrichtung nach Anspruch 1, bei dem von jedem Sensorelement ein Meßwert aufgenommen wird, welcher ein Maß für die Bestrahlungsstärke dieses Elements ist, wobei die winkelabhängige Sensitivitätscharakteristik jedes Sensorelements ausgenutzt wird, und schließlich die beobachtete Szene im Profil abgetastet und mit Methoden der digitalen Signalverarbeitung rekonstruiert wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß aus dem rekonstruierten Zeilenprofil die Position von Kopf und Oberkörper bestimmt wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß mit Hilfe der individuellen winkelabhängigen Sensitivitätscharakteristika der Sensorelemente ein virtueller, algorithmisch schwenkbarer Punktsensor nachgebildet wird, der schrittweise die betrachtete Szene in der Zeile abtastet.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß die Kennlinie des virtuellen Sensors in jeder Drehstellung an einen um einen bestimmten Winkel verschobenen Kurvenverlauf approximiert wird, wobei dieser Winkel des verschobenen Kurvenverlaufs genau dem Winkel der Drehstellung, gemessen von der Grundausrichtung der Vorrichtung, entspricht.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß der zu approximierende Kurvenverlauf frei wählbar ist.