DE102011002577A1 - Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung - Google Patents

Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung

Info

Publication number
DE102011002577A1
DE102011002577A1 DE102011002577A DE102011002577A DE102011002577A1 DE 102011002577 A1 DE102011002577 A1 DE 102011002577A1 DE 102011002577 A DE102011002577 A DE 102011002577A DE 102011002577 A DE102011002577 A DE 102011002577A DE 102011002577 A1 DE102011002577 A1 DE 102011002577A1
Authority
DE
Germany
Prior art keywords
module
remote control
control device
camera
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102011002577A
Other languages
English (en)
Inventor
Friedrich Schick
Dr. Ing. Schick Jens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MYESTRO INTERACTIVE GMBH, DE
Original Assignee
3VI GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3VI GmbH filed Critical 3VI GmbH
Priority to DE102011002577A priority Critical patent/DE102011002577A1/de
Publication of DE102011002577A1 publication Critical patent/DE102011002577A1/de
Application status is Ceased legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Abstract

Eine Fernsteuerungseinrichtung (1) dient zur Steuerung einer zu steuernden Vorrichtung (2) anhand eines Bewegungsmusters und/oder eines Entfernungsmusters mindestens eines bewegten Objektes (3). Die Fernsteuerungseinrichtung (1) hat ein Kamera-Modul (4) zum Empfang eines Stereobildes und zur Erfassung des bewegten Objektes (3). Ein Bildauswertemodul (8) hat ein Bewegungs-Auswerte-Untermodul (14) und ein Entfernungs-Auswerte-Untermodul (15). Diese Untermodule ermitteln Bewegungs- und Entfernungswerte zum erfassten Objekt (3) aus erfassten Kamera-Signaldaten. Ein Steuerungs- und Kommunikationsmodul (24) der Fernsteuerungseinrichtung (1) generiert abhängig von den ermittelten Bewegungs- bzw. Entfernungswerten mindestens ein Vorrichtungs-Steuersignal und sendet dieses an die zu steuernde Vorrichtung (2). Zur Kommunikation zwischen den Modulen der Fernsteuerungseinrichtung (1) oder zwischen zumindest einem der Module der Fernsteuerungseinrichtung (1) und der externen Vorrichtung (2) kann ein Schnittstellen-Modul genutzt werden. Letzteres hat einen Datenspeicher, ein Komparator-Untermodul, in dem zugeleitete Ist-Bewegungsparameter mit Soll-Bewegungsparametern aus im Datenspeicher abgelegten Bewegungsparameter-Sets verglichen werden, und ein Kommunikations-Untermodul. Dieses sendet bei hinreichender Übereinstimmung zwischen dem jeweiligen Ist-Parameter und einem der Soll-Bewegungsparameter das in der Tabelle zugeordnete Steuersignal an das Modul der Fernsteuerungseinrichtung oder an die externe Vorrichtung.

Description

  • Die Erfindung betrifft eine Fernsteuerungseinrichtung zur Steuerung einer zu steuernden Vorrichtung anhand eines Bewegungsmusters und/oder eines Entfernungsmusters mindestens einen bewegten Objektes. Ferner betrifft die Erfindung ein Schnittstellen-Modul zur Kommunikation zwischen den Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen zumindest einem der Module der Fernsteuerungseinrichtung und einer externen Vorrichtung.
  • Fernsteuerungseinrichtungen sind bekannt aus der US 2010/0199228 A1 und der WO 2008/058783 A1 .
  • Es ist eine Aufgabe der vorliegenden Erfindung, eine Fernsteuerungseinrichtung der eingangs genannten Art derart weiterzubilden, dass eine Steuerung der Vorrichtung anhand des bewegten Objektes besonders auch bei ungünstigen Umgebungsbedingungen ermöglicht ist.
  • Diese Aufgabe ist erfindungsgemäß gelöst durch eine Fernsteuerungseinrichtung mit den im Anspruch 1 angegebenen Merkmalen.
  • Das Kamera-Modul kann mindestens zwei Kameras zum Empfang des Stereobildes aufweisen. Die Kameras des Kamera-Moduls können als Webcams gestaltet sein. Die Kameras des Kamera-Moduls können Farben erfassen. Die Kameras des Kamera-Moduls können asynchron arbeiten. Eine räumliche Zuordnung der Kameras zueinander ist nicht kritisch. Auch eine einzige Kamera-Einheit, die zwei oder mehr Bilder generiert, ist möglich, beispielsweise ein Sensor mit einer Aufspalt-Optik. Eine derartige Kamera-Einheit kann zur Vermessung einer räumlichen Bilddimension mehrere Optiken oder auch eine Spiegeloptik aufweisen. Bei dem bewegten Objekt kann es sich um ein Körperteil eines Benutzers handeln. Die Fernsteuerungseinrichtung kann dann zu einer Gestiksteuerung herangezogen werden, bei der das Bildauswertemodul aus den erfassten Bewegungs- und Entfernungswerten Bewegungsmuster und/oder Entfernungsmuster ableitet, die einer Steuergestik zugeordnet werden, der wiederum ein Vorrichtungs-Steuersignal zugeordnet ist. Im Rahmen der Gestiksteuerung kann die Fernsteuerungseinrichtung Bewegungen der Finger, der Faust, der Gliedmaßen, des Kopfes, der Mimik, des Rumpfes und allgemein von Körperteilen des Benutzers erfassen. Erfasst werden können insbesondere ein Deuten oder ein Kreisen von Körperteilen, geradlinige Bewegungen in den verschiedenen Raumrichtungen, eine Kombination dieser Bewegungen, die auch von mehreren Körperteilen simultan durchgeführt werden können. Bei den Bewegungswerten kann es sich um die Geschwindigkeit und die Beschleunigung sowie um höhere Ableitungen einer gemessenen Ortsänderung des bewegten Objektes handeln. Die Bildauswertung durch die erfindungsgemäße Fernsteuerungseinrichtung setzt keine Bewegungs-Modelle, Entfernungs-Modelle oder Gestalt-Modelle voraus. Die Bildauswertung kann ausschließlich anhand der Bewegung, also des Flusses, und der Entfernung des bewegten Objektes geschehen. Sich aus den Bewegungswerten bzw. Entfernungswerten ergebende Bewegungs- bzw. Entfernungsmuster werden im Bildauswertemodul anhand einer statistischen Bewegungsstrategie charakterisiert. Dabei kann zusätzlich ein Kalman-Filter zum Einsatz kommen. Hierüber können beispielsweise physiologisch „unmögliche” Gesten ausgeschlossen werden. Die Charakterisierung der Bewegungs- bzw. Entfernungsmuster kann über die zeitliche Häufung bestimmter Bewegungs-, Geschwindigkeits- oder Entfernungswerte von über das Kamera-Modul erfassten Punktewolken oder von identifizierten Stützstellen geschehen. Ein Bewegungsmuster kann durch die zeitliche Verfolgung des Objektes gewonnen werden, z. B. durch Bestimmung einer Bewegungsrichtung, eines Richtungswechsels, eines Verharrens in der Bewegung, also z. B. einer Pause in der Gestik, einer Bewegungsabfolge, einer Bewegungsgeschwindigkeit oder einer Kombination dieser Bewegungswerte. Entsprechend kann ein Entfernungsmuster gewonnen werden. Die Bildauswertung kann einen Teach in-Prozess beinhalten, d. h. eine Stabilisierung einer Zuordnung erfasster Bewegungswerte und/oder Entfernungswerte durch ein während der Erfassung im Laufe der Zeit adaptiertes räumliches und/oder zeitliches Bewegungsmodell. Ein derartiger Teach in-Prozess ist jedoch keine Voraussetzung für die Funktion der Fernsteuerungseinrichtung, sondern stellt eine Möglichkeit einer Funktionsstabilisierung dar. Ein erfasstes Objekt kann durch ein hinreichendes Maß an Übereinstimmung von Bewegungsparametern bzw. Entfernungsparametern identifiziert werden, die aus der Auswertung der Bewegungs- bzw. Entfernungsmuster gewonnen werden und auch als Signaturen bezeichnet werden. Diese Bewegungs- bzw. Entfernungsparameter werden im Bildauswertemodul durch Bewertung der vom Kamera-Modul erfassten Einzelbilder generiert. Eine Entfernungs-Auswertung, also eine Bestimmung von Entfernungswerten aus den Kamera-Signaldaten, kann durch Triangulation erfolgen. Die Auswertung der Bewegung und der Entfernung des Objektes mit dem Bildauswertemodul muss nicht zwingend in Echtzeit erfolgen. Es ist ausreichend, wenn diese Auswertung zeitnah geschieht. Eine Zeitverzögerung zwischen einer Erfassung einer Objektbewegung und der Auswertung kann bis zu 200 ms betragen.
  • Die Fernsteuerungseinrichtung kann als Eingabegerät zur Steuerung eines Computers ausgebildet sein. Über die Fernsteuerungseinrichtung kann z. B. eine Navigation im Internet erfolgen oder es können Browserspiele gespielt werden. Die Fernsteuerungseinrichtung kann im Haushalt gebräuchliche Fernsteuerungen, beispielsweise für Fernseher, Videogeräte oder DVD-Player, Stereoanlagen oder Haussteuerungen, z. B. zur Steuerung einer Verdunklung, einer Beleuchtung oder einer Heizung oder von Computern, ersetzen. Die Fernsteuerungseinrichtung kann Bestandteil einer Systemumgebung zur Nutzung erweiterter Realität (augmented reality) sein. Hierbei kann die Fernsteuerungseinrichtung an eine Systemsteuerungsumgebung über eine entsprechende Schnittstelle angebunden sein. Da die Fernsteuerungseinrichtung unabhängig von Modellen, also unabhängig von vorverarbeiteten Kamera-Signaldaten, arbeiten kann, spielt es beispielsweise keine Rolle, wenn das bewegte Objekt im Erfassungsbereich des Kamera-Moduls durch statische Gegenstände, beispielsweise durch einen Blumenstrauß, zwischen den Kameras des Kamera-Moduls und dem Benutzer teilverdeckt wird.
  • Mindestens drei Kameras nach Anspruch 2 ermöglichen eine erhöhte Entfernungsauflösung in einem erweiterten Entfernungsbereich. Zudem können mindestens drei Kameras eine Auswertung von Objektbereichen ermöglichen, die bei Verwendung eines Kamera-Moduls mit geringerer Anzahl von Kameras beispielsweise durch stationäre Drittobjekte verdeckt werden. Die Kameras können in einer Reihe nebeneinander im Kamera-Modul angeordnet sein.
  • Ein Bildauswertemodul nach Anspruch 3 kann so ausgebildet sein, dass eine Änderung von Kontrastwerten bzw. eine Änderung von Farbwerten erfasst werden kann. Eine Erfassung räumlicher oder zeitlicher Änderungen dieser Kontrast- bzw. Farbwerte ist möglich. Die erfassten Kontrast- bzw. Farbwerte können auch zur Ermittlung von Bewegungs- oder Entfernungswerten herangezogen werden.
  • Ein Ausschnittsvorgabe-Untermodul nach Anspruch 4 erhöht die Genauigkeit bei der Bilderfassung. In dem ausgewählten Bildausschnitt kann eine intensivere Berechnung der Signaldaten erfolgen. Mehrere zu steuernde Vorrichtungen können gleichzeitig bedient werden. Auch mehrere Bildausschnitte können für mehrere Bediener zur Bedienung ein und derselben zu steuernden Vorrichtung vorgegeben werden. In diesem Fall beinhaltet die Fernsteuerungseinrichtung eine zusätzliche Prioritätssteuerung, über die vorgegeben werden kann, welcher der Bediener bzw. Benutzer Vorrang gegenüber dem oder den anderen Bedienern bzw. Benutzern hat oder ob einer der Bediener den oder die anderen Bediener ersetzen kann. Eine dynamische Anpassung des vorgegebenen Bildausschnitts ist möglich. Die Bildausschnittsdaten, also eine Höhe und/oder eine Breite und/oder eine Tiefe des Bildausschnitts, bei dem es sich um ein Flächen- oder um ein Volumenelement handeln kann, können in einem Datenspeicher des Bildauswertemoduls abgelegt sein. Eine horizontale Richtung, die der Breite des Bildausschnitts zugeordnet wird, kann über eine Lage der zu steuernden Vorrichtung oder über eine Lage des Kamera-Moduls, insbesondere über eine Lage der mindestens zwei Kameras zueinander, vorgegeben werden. Mit dem Ausschnittsvorgabe-Untermodul kann ein Time-out-Untermodul zusammenarbeiten, über welches ein vorgegebener Bildausschnitt nach einer vorgegebenen Untätigkeits-Zeitspanne, z. B. nach Ablauf einiger Sekunden, wieder gelöscht wird, sodass im Anschluss wieder eine Erfassung über das gesamte erfassbare Bild erfolgt oder ein neuer Bildausschnitt vorgegeben werden kann. Das Ausschnittsvorgabe-Untermodul kann mit einem Deaktivierungs-Untermodul zusammenarbeiten, über welches ein vorgegebener Bildausschnitt nach Erkennen einer Deaktivierungs-Signatur wieder gelöscht wird. Ein durch das Kamera-Modul erfassbares Volumen im Objektraum kann in verschiedene Zonen unterteilt werden, in denen Objektbewegungen vom Bildauswertemodul unterschiedlich ausgewertet werden.
  • Ein Bildfehler-Auswerte-Untermodul nach Anspruch 5 kann intrinsische Bildfehler des Kamera-Moduls oder kann während des Betriebs der Fernsteuerungseinrichtung entstandene oder entstehende extrinsische Fehler erfassen. Dies kann zur Korrektur der Bildauswertung im Bildauswertemodul genutzt werden.
  • Ein Textur-Auswerte-Untermodul nach Anspruch 6 erweitert die Möglichkeiten der Fernsteuerungseinrichtung. Texturen sind weitere, detailliertere Objektdaten, die über eine abstrakte Objektcharakterisierung anhand der Bewegung und der Entfernung beispielsweise weniger Objekt-Stützstellen hinausgeht. Die Stützstellen-Charakterisierung kann über Polygone erfolgen. Sowohl die Stützstellen-Daten als auch die Texturdaten, also alle Signaldaten, die vom Bildauswertemodul ausgewertet werden, können von ein und demselben Kamera-Modul und insbesondere von ein und derselben Kamera generiert werden.
  • Ein Aktivierungs-Auswerte-Untermodul nach Anspruch 7 kann eine Aktivierungs-Signatur auswerten, beispielsweise eine Zeigegeste des Benutzers auf die zu steuernde Vorrichtung oder auf das Kamera-Modul. Alternativ kann eine Aktivierung der zu steuernden Vorrichtung auch über einen Bewegungssensor, beispielsweise über einen Infrarot-Bewegungssensor, gestartet werden, der dann ebenfalls Bestandteil der Fernsteuerungseinrichtung ist. Die Erfassung und Auswertung einer Bestätigungs-Signatur des bewegten Objektes kann zur Vorraussetzung einer Aktivierung der zu steuernden Vorrichtung gemacht werden. Das Aktivierungs-Auswerte-Untermodul kann so gestaltet sein, dass ein Aktivierungssignal an die zu steuernde Vorrichtung erst nach einer Auswertung und Validierung der Bestätigungs-Signatur durch das Bildauswertemodul gesendet wird.
  • Ein Rückmelde-Modul nach Anspruch 8 kann als Display, als eine oder mehrere Lichtquellen, z. B. eine oder mehrere LEDs, als Audiorückmeldung, als Mauszeiger oder auch als sonstige Markierung auf einem Bildschirm, z. B. als eine Hervorhebung eines Bildschirmausschnitts durch eine Lupenfunktion oder eine virtuelle Wölbung gestaltet sein. Ein Rückmeldesignal der zu steuernden Vorrichtung zeigt dem Benutzer, inwieweit die Vorrichtung wie gewünscht arbeitet, bzw. ob ein vorhergehendes Steuersignal korrekt interpretiert wurde. Eine Anzeige eines Rückmeldesignals des bewegten Objektes zeigt dem Benutzer, inwieweit seine Gestik in gewünschter Weise von der Fernsteuerungseinrichtung erfasst wird.
  • Ein Kamera-Ansteuermodul nach Anspruch 9 kann zusätzlich mit dem Bildauswertemodul in Signalverbindung stehen. Das Kamera-Ansteuermodul kann eine Empfindlichkeitssteuerung und eine Fokussteuerung des Kamera-Moduls herbeiführen, sodass beispielsweise auch ein bewegtes Objektes scharf gestellt und dieses mit angepasster Empfindlichkeit erfasst wird.
  • Ein Eingabe-Modul nach Anspruch 10 kann als Maus auf einem Display, kann als räumlicher Zeiger oder kann als Tastatur auf einem Display gestaltet sein. Eine Eingabe auf dem Eingabe-Modul kann insbesondere durch eine Fingergestik erfolgen. Hierdurch kann ein Gamecontroller auf einem Display realisiert werden. Das Eingabe-Modul kann als „virtuelles” eingespiegeltes Modul gestaltet sein. Ein Gerät zur Realisierung eines derartigen Moduls ist unter dem Handelsnamen „AirscouterTM” bekannt. In einem benutzerseitigen Bauteil, das ein solches Eingabe-Modul aufweist, kann auch das Kamera-Modul integriert sein. Das Eingabe-Modul kann auch in eine Brille des Benutzers eingespiegelt werden, wie dies bei Kraftfahrzeugen in eine Windschutzscheibe bekannt ist. Das Eingabe-Modul kann auf einer virtuellen Ebene dargestellt sein. Dem Benutzer kann hierbei der Eindruck vermittelt werden, als würde die Eingabeebene vor ihm im Raum schweben. Es können als Eingabe-Modul auch verschiedene derartiger Eingabeebenen bereitgestellt und nach Wahl aktiviert werden, die z. B. als nach Art von Orgelmanualen gestaffelte Tastaturen ausgebildet sind.
  • Ein Beleuchtungsmodul nach Anspruch 11 kann eine Lichtquelle in Form z. B. einer LED aufweisen. Eine Helligkeitsregelung kann durch eine sensorgesteuerte Rückkopplung erfolgen. Das Beleuchtungs-Modul kann einen Helligkeitssensor aufweisen. Der Helligkeitssensor kann als Fotodiode gestaltet sein. Über eine Beleuchtung des Beleuchtungs-Moduls kann eine Kontrastvariation und/oder eine Kontrastverschiebung herbeigeführt werden.
  • Eine Mehrfarben-Lichtquelle nach Anspruch 12 kann als RGB-Lichtquelle oder als VIS/NIR/MFR-Lichtquelle mit zwei, drei, vier oder mehr Farben ausgestaltet sein. Die Lichtquelle des Beleuchtungs-Moduls kann als Tageslichtquelle gestaltet sein.
  • Rohsignaturen, die in einer Fernsteuerungseinrichtung nach Anspruch 13 im Rohsignatur-Speicher-Modul abgelegt sind, können einzelnen vorgegebenen Bedienergesten entsprechen. Die Rohsignaturen können im Rohsignatur-Speicher-Modul mit allen Freiheitsgraden der Rotation und Translation sowie in verschiedener Skalierung abgelegt sein.
  • Eine weitere Aufgabe der Erfindung ist es, ein Schnittstellen-Modul der eingangs genannten Art derart weiterzubilden, dass hierüber Objektbewegungen sicher in Steuersignale umgewandelt werden können.
  • Diese Aufgabe ist erfindungsgemäß gelöst durch ein Schnittstellen-Modul mit den im Anspruch 14 angegebenen Merkmalen.
  • Ein derartiges Schnittstellen-Modul kann universell Objektbewegungen in Steuersignale umwandeln. Das Schnittstellen-Modul kann Teil einer Computerimplementierung eines Browsers sein. Das Komparator-Untermodul des Schnittstellen-Moduls kann eine statistische Auswertung betreiben analog zu dem, was vorstehend zum Bildauswertemodul der Fernsteuerungseinrichtung ausgeführt wurde.
  • Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung näher erläutert. In dieser zeigen:
  • 1 in einer schematischen Blockdarstellung eine Fernsteuerungseinrichtung zur Steuerung einer zu steuernden Vorrichtung anhand eines Bewegungsmusters und/oder eines Entfernungsmusters mindestes eines bewegten Objektes; und
  • 2 ein Schnittstellen-Modul zur Kommunikation zwischen Modulen einer Fernsteuerungseinrichtung nach 1 oder zwischen zumindest einem der Module der Fernsteuerungseinrichtung nach 1 und einer externen Vorrichtung.
  • Eine Fernsteuerungseinrichtung 1 dient zur Steuerung einer zu steuernden Vorrichtung 2 anhand eines Bewegungsmusters und/oder eines Entfernungsmusters mindestens eines bewegten Objektes 3. Bei der zu steuernden Vorrichtung kann es sich um eine Vorrichtung der Unterhaltungselektronik, z. B. um einen Fernseher oder um eine Stereoanlage handeln. Bei der zu steuernden Vorrichtung 2 kann es sich um einen Computer oder um eine sonstige Datenverarbeitungsvorrichtung handeln. Die Fernsteuerungseinrichtung 1 kann in die zu steuernde Vorrichtung 2 integriert sein.
  • Bei dem bewegten Objekt 3 handelt es sich um den Benutzer der Fernsteuerungseinrichtung 1. Bei den bewegten Objekten handelt es sich dann um den oder die Finger, die Hand, die Faust, um einen oder beide Arme, um den Kopf, um den Rumpf oder um sonstige Gliedmaßen des Benutzers. Bei dem bewegten Objekt 3 kann es sich auch um ein vom Benutzer geführtes Objekt, beispielsweise um eine Zeigeeinrichtung in Form eines Zeigestocks oder eines sonstigen Zeigegeräts handeln.
  • Die Fernsteuerungseinrichtung 1 hat ein Kamera-Modul 4 mit zwei Kameras 5, 6 zum Empfang eines Stereobildes und zur Erfassung des bewegten Objekts 3. Diese Signalerfassung ist in der 1 durch einen Signalweg SW dargestellt. Bei einer alternativen Ausführung kann das Kamera-Modul 4 auch drei Kameras aufweisen. Eine dritte Kamera 7 des Kamera-Moduls 4 ist in der 1 gestrichelt dargestellt. Die Kameras 5 bis 7 können als Webcams ausgestaltet sein. Die Kameras 5, 6 bzw. 5 bis 7 des Kamera-Moduls 4 können verschiedene Farben erfassen und unterscheiden. Bei einer weiteren Variante kann das Kamera-Modul 4 eine einzige Kamera-Einheit aufweisen, die zwei oder mehr Bilder generiert. Eine solche Kamera-Einheit kann zur Vermessung einer räumlichen Bilddimension, also zur Erfassung einer Raumtiefe, mehrere Optiken oder auch eine Spiegeloptik aufweisen. Ein Beispiel für eine solche Kamera-Einheit ist das Produkt LoreoTM 3D Lens in a CapTM, welches beschrieben ist auf der Internetseite www.loreo.com. Das Kamera-Modul kann statisch in einem Raum angeordnet sein, in dem der Benutzer sich aushält, kann alternativ aber auch vom Benutzer selbst mitgeführt werden.
  • Die Fernsteuerungseinrichtung 1 hat weiterhin ein Bildauswertemodul 8, das über eine Signalverbindung 9 mit einem Kamera-Ansteuermodul 10 und über eine weitere Signalverbindung mit Signalleitungen 11, 12 mit den Kameras 5, 6 des Kamera-Moduls 4 in Signalverbindung steht. Eine entsprechende Signalleitung 13 verbindet die optionale dritte Kamera 7 mit dem Kamera-Ansteuermodul 10, sodass auch eine Signalverbindung zwischen dem Bildauswertemodul 8 und der optionalen dritten Kamera 7 gegeben ist.
  • Das Bildauswertemodul 8 hat ein Bewegungs-Auswerte-Untermodul 14, das aus erfassten Kamera-Signaldaten Bewegungswerte zum erfassten Objekt 3 ermittelt. Bei den Bewegungswerten handelt es sich um die Geschwindigkeit und die Beschleunigung des Objekts 3.
  • Das Bildauswertemodul 8 hat weiterhin ein Entfernungs-Auswerte-Untermodul 15, welches aus den erfassten Kamera-Signaldaten Entfernungswerte zum erfassten Objekt 3 ermittelt. Die Entfernungswerte werden beispielsweise durch Vergleich der Ausdehnung erfasster Objektstrukturen mit der Ausdehnung statischer Objekte mit bekannter Größe im erfassten Objektfeld oder durch vergleichende Auswertung mit den Kamera-Signaldaten der verschiedenen Kameras 5, 6 bzw. 5 bis 7 ermittelt. Soweit die drei Kameras 5 bis 7 zum Einsatz kommen, ist eine genauere Bestimmung der Position von Objektstrukturen aufgrund der zusätzlichen Kamerainformationen möglich. Es ist dann eine Vermessung von Objektstrukturen möglich, die beispielsweise mit der dritten Kamera 7 und einer der beiden Kameras 5, 6, nicht aber mit der anderen Kamera 6, 5 sichtbar ist.
  • Die Bewegungswerte und die Entfernungswerte zum erfassten Objekt 3 werden durch Auswertung aufeinanderfolgender Bilder des Kamera-Moduls 4 durch Vergleich der Positionen von identifizierten Objektstrukturen ermittelt.
  • Das Bildauswertemodul 8 erzeugt aus den erfassten Bewegungs- und Entfernungswerten Bewegungs- und Entfernungsmuster, die anhand einer statistischen Bewertungsstrategie charakterisiert werden. Dies kann über die zeitliche Häufung von Bewegungswerten von über das Kamera-Modul 4 erfassten Punktewolken geschehen. Das Bewegungsmuster kann aus den Bewegungswerten durch zeitliche Verfolgung des Objektes gewonnen werden. Entsprechendes gilt für das Entfernungsmuster. Das Objekt 3 bzw. relevante Teile hiervon, wird durch ein hinreichendes Maß an Übereinstimmung von Bewegungsparametern, sogenannten Signaturen, identifiziert, die durch Bewertung von über das Kamera-Modul erfassten Einzelbildern durch das Bildauswertemodul 8 generiert werden. Entfernungswerte können durch Triangulation ermittelt werden.
  • Bei der Auswertung der Kamera-Signaldaten kann ein digitales Filter, z. B. ein Kalman-Filter, zum Einsatz kommen.
  • Das Bildauswertemodul 8 beinhaltet weiterhin ein Helligkeits-Auswerte-Untermodul 16. Dieses ermittelt aus den erfassten Kamera-Signaldaten Kontrastwerte und/oder Farbwerte zum erfassten, bewegten Objekt 3. Das Bildauswertemodul 8 ist so ausgebildet, dass eine Änderung der vom Helligkeits-Auswerte-Untermodul 16 ermittelten Kontrast- bzw. Farbwerte berechnet werden kann. Über das Helligkeits-Auswerte-Untermodul 16 ist eine Erfassung räumlicher oder zeitlicher Änderungen der Kontrast- bzw. Farbwerte durch das Bildauswertemodul 8 möglich. Die ermittelten Kontrast- bzw. Farbwerte können auch zur Ermittlung der Bewegungs- und der Entfernungswerte herangezogen werden.
  • Das Bilddauswertemodul 8 hat weiterhin ein Ausschnittsvorgabe-Untermodul 17. Dieses wählt aus erfassten Roh-Kamera-Signaldaten einen Ausschnitt des vom Kamera-Modul 4 insgesamt erfassbaren Bild- bzw. Erfassungsbereichs aus und gibt diesen ausgewählten Ausschnitt als Bildausschnitt vor, wobei die Kamera-Signaldaten aus diesem Bildausschnitt dann einer weiteren Auswertung unterzogen werden. Über das Ausschnitts-Vorgabe-Untermodul 17 ist auch die Auswahl und Vorgabe mehrerer Bildausschnitte möglich, die voneinander getrennt im erfassbaren Gesamtausschnitt oder auch einander im erfassbaren Gesamtausschnitt des Kamera-Moduls 4 überlappend angeordnet sein können. Im Falle der Vorgabe mehrerer Bildausschnitte gibt das Bildauswertemodul 8 eine Prioritätszuordnung vor, stellt also sicher, dass einander widersprechende Objektbewegungen in den verschiedenen vorgegebenen Bildausschnitten nicht zu einer unerwünschten Funktion der zu steuernden Vorrichtung 2 führen. Über das Ausschnitts-Vorgabe-Untermodul 17 kann ein durch das Kamera-Modul 4 insgesamt erfassbares Volumen auch in verschiedene Volumenzonen unterteilt werden.
  • Das Bildauswertemodul 8 hat weiterhin einen Datenspeicher 18, in dem Bildausschnittsdaten, beispielsweise zur Höhe, zur Breite und zur Tiefe eines über das Ausschnitts-Vorgabe-Untermodul 17 ausgewählten flächenhaften oder volumenhaften Bildausschnitt abgelegt sind. Eine horizontale Richtung zur Definition der Höhe-, Breite- und Tiefedimension kann über eine Lage der zu steuernden Vorrichtung 2 oder über eine Lage der mindestens zwei Kameras 5, 6 bzw. 5 bis 7 des Kamera-Moduls 4 zueinander vorgegeben werden.
  • Das Bildausschnittemodul 8 hat ferner ein Deaktivierungs-Untermodul bzw. Time out-Untermodul 19. Letzteres beinhaltet einen Zähler oder eine Uhr, sodass ein über das Ausschnitts-Vorgabe-Untermodul 17 vorgegebener Bildausschnitt nach einer vorgegebenen Untätigkeits-Zeitspanne, in der keine Bewegung des Objekts 3 erfasst wird, wieder gelöscht wird.
  • Über das Deaktivierungs-Untermodul 19 kann ein vom Ausschnittsvorgabe-Untermodul 17 vorgegebener Bildausschnitt nach Erkennen einer Deaktivierungs-Signatur, also einer entsprechenden Bewegungssequenz bzw. Gestik des Objekts 3 wieder gelöscht werden.
  • Das Bildauswertemodul 8 hat weiterhin ein Bildfehler-Auswerte-Untermodul 20. Dieses ermittelt aus den erfassten Kamera-Signaldaten Abbildungsfehler, z. B. intrinsische Abbildungsfehler oder solche Abbildungsfehler, die durch Verschiebung oder Verdrehung der Kameras zueinander während des Betriebs entstehen oder bereits vorher entstanden sind, also extrinsische Abbildungsfehler. Bei der Auswertung der Kamera-Signaldaten können die ermittelten Abbildungsfehler dann zur Datenkorrektur herangezogen werden.
  • Das Bildauswertemodul 8 hat weiterhin ein Textur-Auswerte-Untermodul 21. Dieses ermittelt aus den erfassten Kamera-Signaldaten Texturen. Hierzu werden weitere Objektdaten, die Texturen, zu zunächst einem abstrakt über Bewegungswerte und Entfernungswerte beispielsweise weniger Stützstellen, beispielsweise über Polygone, charakterisierten Objekt zugeordnet. Alle Signaldaten, die vom Bildauswertemodul 8 ausgewertet werden, also sowohl die Stützstellen-Daten als auch die Textur-Daten, können von jeweils denselben Kameras 5, 6 bzw. 5 bis 7 des Kameramoduls 4 generiert werden.
  • Das Bildauswertemodul 8 hat weiterhin ein Aktivierungs-Auswerte-Untermodul 22 mit einem Datenspeicher 23. Das Aktivierungs-Auswerte-Untermodul 22 ermittelt aus den erfassten Kamera-Signaldaten, solange die zu steuernde Vorrichtung 2 noch in einem Stand by-Betrieb läuft, eine Objekt-Signatur und vergleicht diese mit einer im Datenspeicher 23 gespeicherten Aktivierungs-Signatur. Bei hinreichender Übereinstimmung der ermittelten Objekt-Signatur mit der gespeicherten Aktivierungs-Signatur sendet das Aktivierungs-Auswerte-Untermodul 22 ein Aktivierungssignal zur Aktivierung der zu steuernden Vorrichtung 2 aus. Bei der Aktivierungs-Signatur kann es sich um eine Zeigegeste auf die zu steuernde Vorrichtung 2 oder um eine Zeigegeste auf das Kamera-Modul 4 handeln. Alternativ kann eine Aktivierung der zu steuernden Vorrichtung 2 auch über einen Bewegungssensor gestartet werden, der als Infrarot-Bewegungssensor ausgebildet sein kann. Ein solcher Bewegungssensor ist bei dieser alternativen Ausführung ebenfalls Bestandteil der Fernsteuerungseinrichtung 1. Im Datenspeicher 23 des Aktivierungs-Auswerte-Untermoduls kann auch eine Bestätigungs-Signatur abgelegt sein, die zur Bestätigung einer Aktivierungs-Signatur dienen kann. In diesem Fall wird ein Aktivierungssignal vom Aktivierungs-Auswerte-Untermodul 22 erst dann ausgesandt, wenn der erkannten Aktivierungs-Signatur eine valide Bestätigungs-Signatur zugeordnet werden konnte, wenn der Benutzer also nach einer Aktivierungsgeste auch noch eine Bestätigungsgeste macht.
  • Die Fernsteuerungseinrichtung 1 hat weiterhin ein Steuer- und Kommunikationsmodul 24. Dieses kommuniziert mit dem Bildauswertemodul 8 über eine Signalverbindung 25. Das Steuerungs- und Kommunikationsmodul 24 generiert abhängig von den ermittelten und ausgewerteten Bewegungswerten und/oder abhängig von den ermittelten und ausgewerteten Entfernungswerten mindestens ein Vorrichtungs-Steuersignal. Über eine Schnittstelle 26 steht das Steuerungs- und Kommunikationsmodul 24 mit der zu steuernden Vorrichtung 2 in Datenverbindung.
  • Die Fernsteuerungseinrichtung 1 hat weiterhin ein Rückmelde-Modul 27. Dieses kommuniziert mit dem Steuerungs- und Kommunikationsmodul 24 über eine Signalverbindung 28. Das Rückmelde-Modul 27 dient zur Anzeige eines Rückmeldesignals der zu steuernden Vorrichtung 2 an die Fernsteuerungseinrichtung 1. Das Rückmeldemodul 27 hat ein Rechner-Untermodul 29, welches aus den von der zu steuernden Vorrichtung 2 erhaltenen Antwortdaten eine Systemrückmeldung berechnet. Weiterhin hat das Rückmelde-Modul 27 eine Rückmeldeeinrichtung 30, bei der es sich um ein Display, um eine oder mehrere Lichtquellen, z. B. in Form einer LED, um eine Lautsprechereinrichtung zur Audiorückmeldung, handeln kann. Auf dem Display kann zusätzlich noch eine Markierung die Rückmeldung spezifizieren, die als Mauszeiger oder als sonstige Markierung, beispielsweise durch Hervorhebung eines Displayausschnitts durch eine Linsenfunktion oder durch eine virtuelle Wölbung ausgeführt sein kann.
  • Ein Signalaustausch zwischen dem Objekt 3 und dem Rückmelde-Modul 27 ist in der 1 durch einen weiteren Signalweg SW2 dargestellt.
  • Die Fernsteuerungseinrichtung 1 hat weiterhin ein Eingabe-Modul 31. Dieses steht über das Rückmelde-Modul 27 mit dem Steuerungs- und Kommunikationsmodul 24 in Signalverbindung. Mit dem Rückmelde-Modul 27 bzw. der Rückmeldeeinrichtung 30 kommuniziert das Eingabe-Modul 31 über eine Signalverbindung 32. Das Eingabe-Modul 31 dient zur Eingabe von Vorrichtungs-Steuersignalen durch den Benutzer. Bei dem Eingabe-Modul 31 kann es sich um ein interaktives Display mit einem räumlichen Zeiger, mit einer Maus oder mit einer Tastatur handeln. Das Eingabe-Modul 31 kann auch virtuell in ein Gesichtsfeld des Benutzers eingespiegelt sein. Ein entsprechendes Produkt des Unternehmens brother® ist unter der Bezeichnung „AirscouterTM” bekannt. Ausführungsbeispiele, die sich für das Eingabe-Modul 31 eignen können, sind beschrieben in der US 2009/0002791 A1 .
  • Das Eingabe-Modul 31 kann verschiedene Eingabeebenen zur Verfügung stellen, die vom Benutzer nach Wahl durch entsprechende Aktivierungs-Signaturen aktiviert werden können. Diese verschiedenen Eingabeebenen mit entsprechenden Eingabehilfen, beispielsweise in Form von Tastaturen, können nach Art von Orgelmanualen im Raum gestaffelt angeordnet sein.
  • Die Fernsteuerungseinrichtung 1 hat weiterhin ein Beleuchtungs-Modul 33 zur Beleuchtung eines Erfassungsbereiches, in dem das Objekt 3 durch das Kamera-Modul 4 erfassbar ist. Das Beleuchtungs-Modul 33 kommuniziert mit dem Kamera-Ansteuermodul 10 über eine Signalverbindung 33a. Das Beleuchtungs-Modul 33 umfasst eine Lichtquelle 34 z. B. in Form einer LED. Das Beleuchtungs-Modul 33 umfasst weiterhin einen Helligkeitssensor 35. Das Beleuchtungs-Modul 33 bewirkt eine Regelung einer Helligkeit des erfassbaren Objektfeldes oder, soweit eine Kommunikation mit dem Ausschnittsvorgabe-Untermodul 17 erfolgt, des vorgegebenen Bildausschnitts. Die Helligkeitsregelung erfolgt durch eine über den Helligkeitssensor 35 gesteuerte rückgekoppelte Ansteuerung der Lichtquelle 34. Der Helligkeitssensor 35 kann als Fotodiode ausgeführt sein. Das Beleuchtungs-Modul 33 kann durch entsprechende Kommunikation mit dem Bildauswertemodul 8 eine gewünschte Kontrastvariation oder auch Kontrastverschiebung durch entsprechende Ansteuerung der Lichtquelle 34 herbeiführen. Die Lichtquelle 34 kann eine Beleuchtung mit einer Mehrzahl von Farben herbeiführen. Als Farbe wird dabei ein Lichtanteil mit einem Wellenlängen-Schwerpunkt bezeichnet. Die Wellenlängen dieser Schwerpunkte sind bei verschiedenen Farben voneinander deutlich verschieden. Bei der Lichtquelle 34 kann es sich um eine RGB-Lichtquelle, aber auch um eine Lichtquelle handeln, die Farben aus dem optischen Spektralbereich (VIS) und/oder dem Nahinfrarot-Spektralbereich (NIR) und/oder dem mittleren Infrarotbereich (MIR) emittiert. Die Lichtquelle 34 kann zwei, drei, vier oder noch mehr Farben emittieren. Bei der Lichtquelle 34 kann es sich um eine Tageslichtquelle handeln.
  • Die Fernsteuerungseinrichtung 1 hat weiterhin ein Rohsignatur-Speicher-Modul 36. In diesem sind Bewegungsparameter-Sets bzw. Signatur-Sets aus zugeordneten Bewegungswerten und/oder Entfernungswerten und diesen Sets zugeordnete Steuersignale in einer Tabelle abgelegt. Das Rohsignatur-Speicher-Modul 36 kommuniziert über eine Signalverbindung 37 mit dem Bildauswertemodul 8 und über eine Signalverbindung 38 mit dem Steuerungs- und Kommunikationsmodul 24.
  • Die Fernsteuerungseinrichtung 1 hat weiterhin ein Komparator-Modul 39, das mit dem Rohsignatur-Speicher-Modul 36 über eine Signalverbindung 40 kommuniziert. Im Komparator-Modul 39 werden Ist-Bewegungsparameter, die mit dem Kamera-Modul 4 erfasst und mit dem Bildauswertemodul 8 ausgewertet werden, mit Soll-Parametern aus dem Rohsignatur-Speicher-Modul 36 verglichen. Bei hinreichender Übereinstimmung zwischen den Ist-Bewegungsparametern bzw. den Ist-Signaturen und einem der Soll-Bewegungsparameter bzw. einer Soll-Signatur sendet das Steuerungs- und Kommunikationsmodul 24 ein zugeordnetes Steuersignal über die Schnittstelle 26 an die zu steuernde Vorrichtung 2. Die Rohsignaturen, also die Soll-Bewegungsparameter bzw. die Soll-Signaturen, können einzelnen Bedienergesten entsprechen. Im Rohsignatur-Speicher-Modul 36 sind diese Rohsignaturen abgelegt mit allen Freiheitsgraden der Rotation und Translation sowie in verschiedener Größenskalierung.
  • Eine Gestiksteuerung mit der Fernsteuerungseinrichtung 1 geschieht folgendermaßen: Der Benutzer, also das bewegte Objekt 3, stellt sich in den Erfassungsbereich des Kamera-Moduls 4 und aktiviert zunächst die zu steuernde Vorrichtung 2 über eine Bewegung bzw. über eine Aktivierungsgeste, was über das Aktivierungs-Untermodul 22 erkannt wird. Anschließend setzt der Benutzer vorher trainierte oder intuitive Gesten ein, um die Vorrichtung 2 zu steuern. Die Bewegungswerte und die Entfernungswerte dieser Gesten werden vom Kamera-Modul 4 erfasst und vom Bildauswertemodul 8 ausgewertet, wie vorstehend bereits erläutert. Das Kamera-Ansteuermodul 10 sorgt neben einer Steuerung der einzelnen Kameras 5, 6 bzw. 5 bis 7 noch für einen Helligkeitsabgleich und kann durch Kommunikation mit dem Ausschnittsvorgabe-Untermodul 17 die Kameras 5, 6 bzw. 5 bis 7 auf mindestens einen vorgegebenen Bildausschnitt scharfstellen oder dessen Beleuchtung optimieren.
  • Neben einer direkten Gestiksteuerung, beispielsweise einem Programmumschalten bei einem Fernseher oder einem Regeln der Lautstärke oder der Bildhelligkeit ist auch eine interaktive Steuerung über das Rückmelde-Modul 27 möglich. Hierzu kann der Benutzer durch seine Gestik eine Eingabehilfe, die vom Rückmelde-Modul 27 oder vom Eingabe-Modul 31 bereitgestellt wird, mit seiner Gestik steuern, beispielsweise durch entsprechende Fingerzeige Buchstaben anwählen, die auf einer vor ihm in den Raum eingespiegelten Tastatur oder auf einem Bildschirm an der Fernsteuerungseinrichtung 1 oder an der Vorrichtung 2 angegeben sind.
  • Die Fernsteuerungseinrichtung 1 kann zur Steuerung eines Computers, z. B. zur Internetnavigation oder zur Durchführung von Browserspielen genutzt werden. Die Fernsteuerungseinrichtung 1 kann Bestandteil einer Systemumgebung zur Nutzung erweiterter Realität (augmented reality) sein. Hierzu wird die Fernsteuerungseinrichtung 1 an eine Systemsteuerungsumgebung über eine entsprechende Schnittstelle angebunden. Eine Internetseite kann per HTML/Javascript oder Browser-Plugins, z. B. Java, auf 3D-Steuereingaben, wie Position, Mittelgeschwindigkeit bzw. Drehrate und Beschleunigung, sowie auf fest definierte Gestiken reagieren. Hierzu werden HTML, Javascript oder die Browser-Plugins um Gestikelemente neben den bereits vorhandenen Sprachelementen zur Eingabe durch Maus und Tastatur erweitert.
  • Ein vom Kamera-Modul 4 erfassbares Bildvolumen kann vom Rückmelde-Modul 27 und/oder vom Eingabe-Modul 31 in verschiedene Volumenzonen unterteilt werden, z. B, in eine Off-Zone, in eine Pre-Zone, in eine Move-Zone, in eine Klick-Zone oder in eine Post-Zone.
  • Die Off-Zone beschreibt einen Bereich beispielsweise vor einer Eingabeebene einer vom Eingabe-Modul 31 eingespiegelten Eingabehilfe in Form einer Tastatur. Alle erfassten Bewegungswerte oder Entfernungswerte in der Off-Zone werden von der Fernsteuereinrichtung 1 automatisch ignoriert. Die Off-Zone kann der Bereich sein, der am weitesten von der Eingabeebene entfernt ist, die vom Eingabe-Modul 31 definiert sein kann.
  • An die Off-Zone grenzt die Pre-Zone. Hier können erfasste Bewegungswerte und/oder Entfernungswerte in Volumenabschnitten gesammelt werden, die nach Art eines tiefengestaffelten Schachbrettes als Würfel aneinandergrenzen. Aus der Verteilung einer Häufung von Bewegungswerten bzw. Entfernungswerten können Muster mit dem Bildauswertemodul 8 berechnet werden, die zur Orientierung der Position von Teilen des Objekts 3, also beispielsweise von Körperteilen, als dunkler werdende „Schatten” über das eingespiegelte Monitorbild überlagert werden.
  • An die Pre-Zone grenzt die Move-Zone. Die der Eingabeebene lokal am nächsten kommenden sich bewegenden Objekte, beispielsweise der ausgestreckte Finger des Benutzers, werden als in seiner Ausprägung variierender Zeiger in der Eingabeebene gekennzeichnet, z. B. als ein mit abnehmendem Abstand zur Eingabeebene kleiner werdender Kreis mit einem im Mittelpunkt befindlichen Pfeil. In dieser Zone wird der Zeiger bewegt, ohne eine Funktion auszulösen. Die Größe des Kreises dient zur Rückkopplung und damit zur Kontrolle der die Gestiken ausführenden Körperteile durch den Benutzer.
  • An die Move-Zone grenzt die Klick-Zone. Sie liegt im Bereich der virtuellen Eingabeebene. Aus dem kleiner gewordenen Kreis kann beim Eintreten in die Klick-Zone z. B. ein Stern mit begleitetem Klick-Geräusch werden, um das Auslösen eines Steuerbefehls anzuzeigen.
  • Durch Variation von Bewegungsparametern können unterschiedliche Steuerbefehle ausgelöst werden, die beispielsweise mit den verschiedenen Menübefehlen eines Programmmenüs vergleichbar sind. Wird die Klick-Zone erreicht und nach einer vorgegeben kurzen Zeitspanne wieder verlassen, wobei zudem nur ein vorgegebener kurzer Weg in der Eingabeebene vom bewegten Teil des Objekts 3 zurückgelegt wird, wird ein entsprechender Steuerbefehl ausgelöst und mit einem Klick-Geräusch bestätigt. Bei längerem Verharren in der Eingabeebene kann ein anderer Steuerbefehl ausgelöst werden, was auch mit einer Überwachung der Move-Zone kombiniert werden kann.
  • Werden mehrere, die Gestik ausführende Körperteile in der Eingabeebene erfasst, können die erfassten Kombinationen der Bewegungen dieser Körperteile weitere Steuerbefehle auslösen, beispielsweise ein Zoomen, ein Drehen eines dargestellten Objekts oder ein vertikales oder horizontales Scrollen.
  • Hinter der Klick-Zone, also von der Move-Zone abgewandt, befindet sich die Post-Zone. Diese kann erfasst werden, um weitere Steuerbefehle durch die entsprechende Auswertung durch das Bildauswertemodul 8 auszulösen. Es kann beispielsweise zwischen horizontalem und vertikalem Scrollen unterschieden werden.
  • Die vorstehend erläuterte Zonenstaffelung definiert sich ausgehend vom Kamera-Modul 4. Wenn das Kamera-Modul 4 nicht dem Benutzer gegenüberliegend angeordnet, sondern benutzerseitig angeordnet ist und von diesem mitgeführt wird, ergibt sich eine entsprechende Zonenstaffelung.
  • 2 zeigt ein Schnittstellen-Modul 41 zur Kommunikation zwischen den verschiedenen Modulen der Fernsteuerungseinrichtung 1, beispielsweise zur Kommunikation zwischen dem Bildauswertemodul 8 und dem Steuerungs- und Kommunikationsmodul 24 oder zwischen dem Steuerungs- und Kommunikationsmodul 24 und dem Rückmelde-Modul 27, oder zumindest zwischen einem der Module der Fernsteuerungseinrichtung 1 und einer externen Vorrichtung, beispielsweise der Vorrichtung 2. Komponenten, die denjenigen entsprechen, die vorstehend unter Bezugnahme auf die 1 bereits erläutert wurden, tragen die gleichen Bezugsziffern und werden nicht nochmals im Einzelnen diskutiert. Dargestellt ist in der 2 das Schnittstellen-Modul zur Kommunikation zwischen dem Bildauswerte-Modul 8 und dem Steuerungs- und Kommunikationsmodul 24. Anstelle des Bildauswerte-Moduls 8 kann auch die zu steuernde Vorrichtung 2 treten. Das Schnittstellen-Modul 41 kann beispielsweise anstelle der Schnittstelle 26 der Fernsteuerungseinrichtung 1 zum Einsatz kommen.
  • Das Schnittstellen-Modul 41 kommuniziert über eine Signalverbindung 42 mit dem Bildauswertemodul 8 und über eine Signalverbindung 43 mit dem Steuerungs- und Kommunikationsmodul 24.
  • Das Schnittstellen-Modul 41 hat einen Datenspeicher 44. In diesem sind Bewegungsparameter-Sets aus zugeordneten Bewegungswerten und/oder Entfernungswerten abgelegt. Weiterhin sind im Datenspeicher 44 diesen Sets zugeordnete Steuersignale abgelegt. Die Zuordnung der Sets und der Steuerungssignale erfolgt durch Ablage in einer Tabelle.
  • Das Schnittstellen-Modul 41 hat weiterhin ein Komparator-Untermodul 45. Letzteres kommuniziert mit dem Datenspeicher 44 über eine Signalverbindung 46. Im Komparator-Untermodul 45 werden Ist-Bewegungsparameter, die dem Schnittstellen-Modul 41 über die Signalverbindung 42 zugeleitet werden, mit Soll-Bewegungsparametern aus dem Datenspeicher 44 verglichen.
  • Das Schnittstellen-Modul 41 hat weiterhin ein Kommunikations-Untermodul 47. Dieses kommuniziert mit dem Komparator-Untermodul 45 über eine Signalverbindung 48. Das Kommunikations-Untermodul 47 sendet bei hinreichender Übereinstimmung zwischen dem Ist-Bewegungsparameter und einem der Soll-Bewegungsparameter das im Datenspeicher 44 zugeordnete Steuersignal über die Signalverbindung 43 an das Steuerungs- und Kommunikationsmodul 24 der Fernsteuerungseinrichtung 1 oder an die zu steuernde Vorrichtung 2.
  • Das Schnittstellen-Modul 41 kann in die Softwareumgebung eines Browsers integriert sein. Das Komparator-Untermodul 45 kann eine statistische Auswertung betreiben, wie dies vorstehend im Zusammenhang mit der Fernsteuerungseinrichtung 1 nach 1 bereits erläutert wurde.
  • Das Schnittstellen-Modul 41 kann mit einem standardisierten Bewegungsparameter-Set universell eingesetzt werden und eine Gestik-Kommunikation mit verschiedenen Endgeräten ermöglichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2010/0199228 A1 [0002]
    • WO 2008/058783 A1 [0002]
    • US 2009/0002791 A1 [0045]
  • Zitierte Nicht-Patentliteratur
    • www.loreo.com [0027]

Claims (14)

  1. Fernsteuerungseinrichtung (1) zur Steuerung einer zu steuernden Vorrichtung (2) anhand eines Bewegungsmusters und/oder eines Entfernungsmusters mindestens eines bewegten Objektes (3), – mit einem Kamera-Modul (4) zum Empfang eines Stereobildes und zur Erfassung des bewegten Objektes; – mit einem Bildauswertemodul (8), welches mit dem Kamera-Modul (4) in Signalverbindung steht; – mit einem Bewegungs-Auswerte-Untermodul (14), welches aus erfassten Kamera-Signaldaten Bewegungswerte zum erfassten Objekt (3) ermittelt; – mit einem Entfernungs-Auswerte-Untermodul (15), welches aus den erfassten Kamera-Signaldaten Entfernungswerte zum erfassten Objekt (3) ermittelt, – mit einem Steuerungs- und Kommunikationsmodul (24), welches mit dem Bildauswertemodul (8) in Signalverbindung steht und abhängig von den ermittelten Bewegungswerten und/oder abhängig von den ermittelten Entfernungswerten mindestens ein Vorrichtungs-Steuersignal generiert und an die zu steuernde Vorrichtung (2) sendet.
  2. Fernsteuerungseinrichtung nach Anspruch 1, gekennzeichnet durch ein Kamera-Modul (4) mit mindestens drei Kameras (5 bis 7).
  3. Fernsteuerungseinrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bildauswertemodul (8) ein Helligkeits-Auswerte-Untermodul (16) aufweist, welches aus den erfassten Kamera-Signaldaten Kontrastwerte und/oder Farbwerte zu dem erfassten Objekt (3) ermittelt.
  4. Fernsteuerungseinrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Bildauswertemodul (8) ein Ausschnittsvorgabe-Untermodul (17) aufweist, welches aus erfassten Roh-Kamera-Signaldaten einen Bildausschnitt eines vom Kamera-Modul (4) insgesamt erfassbaren Bildbereiches auswählt und vorgibt, dessen Kamera-Signaldaten einer weiteren Auswertung unterzogen werden.
  5. Fernsteuerungseinrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Bildauswertemodul (8) ein Bildfehler-Auswerte-Untermodul (20) aufweist, welches aus den erfassten Kamera-Signaldaten Abbildungsfehler ermittelt.
  6. Fernsteuerungseinrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Bildauswertemodul (8) ein Textur-Auswerte-Untermodul (21) aufweist, welches aus den erfassten Kamera-Signaldaten Texturen ermittelt.
  7. Fernsteuerungseinrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Bildauswertemodul (8) ein Aktivierungs-Auswerte-Untermodul (22) mit einem Datenspeicher (23) aufweist, welches aus den erfassten Kamera-Signaldaten eine Objekt-Signatur ermittelt und diese mit einer im Datenspeicher (23) gespeicherten Aktivierungs-Signatur vergleicht, wobei bei hinreichender Übereinstimmung der ermittelten Objekt-Signatur mit der Aktivierungs-Signatur ein Aktivierungs-Signal an das Steuerungs- und Kommunikationsmodul (24) zur Aktivierung der zu steuernden Vorrichtung (2) gesendet wird.
  8. Fernsteuerungseinrichtung nach einem der Ansprüche 1 bis 7, gekennzeichnet durch ein Rückmelde-Modul (27), welches mit dem Steuerungs- und Kommunikationsmodul (24) in Signalverbindung steht, zur Anzeige eines Rückmeldesignals der zu steuernden Vorrichtung (2) und/oder des bewegten Objektes (3) an die Fernsteuerungseinrichtung (1).
  9. Fernsteuerungseinrichtung nach einem der 1 bis 8, gekennzeichnet durch ein Kamera-Ansteuerungsmodul (10), welches mit dem Kamera-Modul (4) und dem Steuerungs- und Kommunikationsmodul (24) in Signalverbindung steht, wobei das Steuerungs- und Kommunikationsmodul (24) abhängig von den ermittelten Bewegungswerten und/oder anhängig von den ermittelten Entfernungswerten mindestens ein Kamera-Steuersignal generiert und an das Kamera-Modul (4) sendet.
  10. Fernsteuerungseinrichtung nach einem der Ansprüche 1 bis 9, gekennzeichnet durch ein anhand des Bewegungsmusters und/oder des Entfernungsmusters des bewegten Objektes (3) betätigbares Eingabe-Modul (31), welches mit dem Steuerungs- und Kommunikationsmodul (24) in Signalverbindung steht, zur Eingabe von Vorrichtungs-Steuersignalen über eine Bewegung des Objektes (3).
  11. Fernsteuerungseinrichtung nach einem der Ansprüche 1 bis 9, gekennzeichnet durch ein Beleuchtungs-Modul (33) zur Beleuchtung eines Erfassungsbereiches, in dem das bewegte Objekt (3) durch das Kamera-Modul (4) erfassbar ist.
  12. Fernsteuerungseinrichtung nach Anspruch 11, dadurch gekennzeichnet, dass das Beleuchtungs-Modul (33) eine Lichtquelle (34) mit einer Mehrzahl emittierter Farben aufweist.
  13. Fernsteuerungseinrichtung nach einem der Ansprüche 1 bis 12, gekennzeichnet durch ein Rohsignatur-Speicher-Modul (36), in dem Bewegungsparameter-Sets aus zugeordneten Bewegungswerten und/oder Entfernungswerten und diesen Sets zugeordnete Steuersignale in einer Tabelle abgelegt sind, – mit einem Komparator-Modul (39), in dem Ist-Bewegungsparameter, die mit dem Kamera-Modul (4) und dem Bildauswertemodul (8) erfasst werden, mit Soll-Bewegungsparametern aus dem abgelegten Rohsignatur-Speicher-Modul (36) verglichen werden, – wobei das Steuerungs- und Kommunikationsmodul (24) bei hinreichender Übereinstimmung zwischen dem Ist-Bewegungsparameter und einem der Soll-Bewegungsparameter das zugeordnete Steuersignal an die zu steuernde Vorrichtung (2) sendet.
  14. Schnittstellen-Modul (41) zur Kommunikation zwischen den Modulen einer Fernsteuerungseinrichtung (1) nach einem der Ansprüche 1 bis 13 oder zwischen zumindest einem der Module der Fernsteuerungseinrichtung (1) und einer externen Vorrichtung (2), – mit einem Datenspeicher (44), in dem – Bewegungsparameter-Sets aus zugeordneten Bewegungswerten und/oder Entfernungswerten und – diesen Sets zugeordnete Steuersignale – in einer Tabelle abgelegt sind, – mit einem Komparator-Untermodul (45), in dem Ist-Bewegungsparameter, die dem Schnittstellen-Modul (41) zugeleitet werden, mit Soll-Bewegungsparametern aus den im Datenspeicher (44) abgelegten Bewegungsparameter-Sets verglichen werden, - mit einem Kommunikations-Untermodul (47), welches bei hinreichender Übereinstimmung zwischen dem jeweiligen Ist-Bewegungsparameter und einem der Soll-Bewegungsparameter das in der Tabelle zugeordnete Steuersignal an das Modul (8; 24) der Fernsteuerungseinrichtung (1) oder an die externe Vorrichtung (2) sendet.
DE102011002577A 2011-01-12 2011-01-12 Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung Ceased DE102011002577A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011002577A DE102011002577A1 (de) 2011-01-12 2011-01-12 Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
DE102011002577A DE102011002577A1 (de) 2011-01-12 2011-01-12 Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung
KR1020137021158A KR20140027931A (ko) 2011-01-12 2011-12-23 움직일 수 있는 물체의 도움으로 기구를 제어하기 위한 원격 제어 장치 및 이러한 종류의 원격 제어 장치의 모듈들 간의 통신 또는 그 모듈들 중의 하나와 외부 기구 간의 통신을 위한 인터페이스 모듈
JP2013548774A JP2014509103A (ja) 2011-01-12 2011-12-23 移動する物体をもとにして機構を制御する遠隔制御装置及びインタフェースモジュール
US13/979,535 US9451237B2 (en) 2011-01-12 2011-12-23 Remote control device for controlling a mechanism with the aid of a movable object and an interface module based on movement and distance of the movable object with respect to a camera
EP11811028.7A EP2663909A1 (de) 2011-01-12 2011-12-23 Fernsteuerungseinrichtung und schnittstellen-modul zur steuerung einer vorrichtung anhand eines beweglichen objektes
PCT/EP2011/073990 WO2012095258A1 (de) 2011-01-12 2011-12-23 Fernsteuerungseinrichtung und schnittstellen-modul zur steuerung einer vorrichtung anhand eines beweglichen objektes

Publications (1)

Publication Number Publication Date
DE102011002577A1 true DE102011002577A1 (de) 2012-07-12

Family

ID=45509425

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011002577A Ceased DE102011002577A1 (de) 2011-01-12 2011-01-12 Fernsteuerungseinrichtung zur Steuerung einer Vorrichtung anhand eines beweglichen Objektes sowie Schnittstellen-Modul zur Kommunikation zwischen Modulen einer derartigen Fernsteuerungseinrichtung oder zwischen einem der Module und einer externen Vorrichtung

Country Status (6)

Country Link
US (1) US9451237B2 (de)
EP (1) EP2663909A1 (de)
JP (1) JP2014509103A (de)
KR (1) KR20140027931A (de)
DE (1) DE102011002577A1 (de)
WO (1) WO2012095258A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202013101825U1 (de) * 2013-04-26 2014-07-29 Zumtobel Lighting Gmbh Bediengerät zur Ansteuerung von Leuchten, Jalousien und/oder Klimageräten
JP5800249B2 (ja) * 2013-06-21 2015-10-28 カシオ計算機株式会社 撮像装置、撮影条件設定方法、及びプログラム
DE102014201313A1 (de) 2014-01-24 2015-07-30 Myestro Interactive Gmbh Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens
KR20160146037A (ko) * 2015-06-11 2016-12-21 삼성전자주식회사 카메라의 초점을 변경하는 방법 및 장치
DE102018213976A1 (de) 2017-08-22 2019-02-28 Myestro Interactive Gmbh Vorrichtung zur Messung einer Entfernung eines Objektes zu einem Sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1637985A2 (de) * 2004-09-16 2006-03-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eingabesteuerung für Geräte
US20060168523A1 (en) * 2002-12-18 2006-07-27 National Institute Of Adv. Industrial Sci. & Tech. Interface system
WO2008058783A1 (de) 2006-11-14 2008-05-22 Robert Bosch Gmbh Integrierter schaltkreis zur erkennung von bewegungen von personen
US20090002791A1 (en) 2005-08-26 2009-01-01 Brother Kogyo Kabushiki Kaisha Optical scanning device, imaging display device, and retinal scanning display
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3522317B2 (ja) 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
US6204852B1 (en) 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface
JP2000331170A (ja) * 1999-05-21 2000-11-30 Atr Media Integration & Communications Res Lab 手振り認識装置
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
JP2003316510A (ja) 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
DE10229336A1 (de) 2002-06-29 2004-01-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung von Bildsensorsystemen
JP2004187125A (ja) * 2002-12-05 2004-07-02 Sumitomo Osaka Cement Co Ltd 監視装置および監視方法
EP1645944B1 (de) 2004-10-05 2012-08-15 Sony France S.A. Eine Inhalt-Verwaltungsschnittstelle
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
WO2010030822A1 (en) * 2008-09-10 2010-03-18 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
JP2007264832A (ja) * 2006-03-27 2007-10-11 Toshiba Corp 移動ロボットおよび移動ロボットにおける画像補正方法
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
WO2008126069A2 (en) * 2007-04-15 2008-10-23 Xtr - Extreme Reality An apparatus system and method for human-machine-interface
EP2153377A4 (de) 2007-05-04 2017-05-31 Qualcomm Incorporated Auf kamera basierende benutzereingabe für kompakte einrichtungen
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
DE102008001451A1 (de) 2008-04-29 2009-11-05 Robert Bosch Gmbh Kamera und Verfahren zum Steuern einer Kamera
DE102009012758A1 (de) 2009-03-12 2010-09-16 Hella Kgaa Hueck & Co. Vorrichtung und Verfahren zur Detektion mindestens eines Objektes
JP5187280B2 (ja) 2009-06-22 2013-04-24 ソニー株式会社 操作制御装置および操作制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060168523A1 (en) * 2002-12-18 2006-07-27 National Institute Of Adv. Industrial Sci. & Tech. Interface system
EP1637985A2 (de) * 2004-09-16 2006-03-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eingabesteuerung für Geräte
US20090002791A1 (en) 2005-08-26 2009-01-01 Brother Kogyo Kabushiki Kaisha Optical scanning device, imaging display device, and retinal scanning display
WO2008058783A1 (de) 2006-11-14 2008-05-22 Robert Bosch Gmbh Integrierter schaltkreis zur erkennung von bewegungen von personen
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
www.loreo.com

Also Published As

Publication number Publication date
US20130293685A1 (en) 2013-11-07
KR20140027931A (ko) 2014-03-07
WO2012095258A1 (de) 2012-07-19
JP2014509103A (ja) 2014-04-10
EP2663909A1 (de) 2013-11-20
US9451237B2 (en) 2016-09-20

Similar Documents

Publication Publication Date Title
CN102057347B (zh) 图像识别装置、操作判断方法及程序
EP2480955B1 (de) Fernsteuerung von computern
EP2243066B1 (de) 3d-zeigesystem
US20090116742A1 (en) Calibration of a Gesture Recognition Interface System
EP1879129B1 (de) Simulationssystem und -verfahren zur Gestenerkennung
JP2009250772A (ja) 位置検出システム、位置検出方法、プログラム、物体判断システム、および物体判断方法
US20190235636A1 (en) Systems and Methods of Creating a Realistic Displacement of a Virtual Object in Virtual Reality/Augmented Reality Environments
WO2010073928A1 (ja) ヘッドマウントディスプレイ
US6414672B2 (en) Information input apparatus
US8643598B2 (en) Image processing apparatus and method, and program therefor
US20160026239A1 (en) External user interface for head worn computing
KR101554082B1 (ko) 자연스러운 제스처 기반 사용자 인터페이스 방법 및 시스템
US20130235347A1 (en) System and Method for Interacting with and Analyzing Media on a Display Using Eye Gaze Tracking
JP2012033183A (ja) 対話式ディスプレイ・システムの較正
US20140125813A1 (en) Object detection and tracking with variable-field illumination devices
US8693732B2 (en) Computer vision gesture based control of a device
CN204537054U (zh) 可嵌入运动感测控制设备
US8854433B1 (en) Method and system enabling natural user interface gestures with an electronic system
US8023698B2 (en) Information device operation apparatus
US20020085097A1 (en) Computer vision-based wireless pointing system
CA2457090C (en) Eye tracking systems
US9430698B2 (en) Information input apparatus, information input method, and computer program
DE112012004714T5 (de) Lichtsteuerverfahren und dieses verwendende Beleuchtungseinrichtung
US8842096B2 (en) Interactive projection system
US20010030668A1 (en) Method and system for interacting with a display

Legal Events

Date Code Title Description
R081 Change of applicant/patentee

Owner name: MYESTRO INTERACTIVE GMBH, DE

Free format text: FORMER OWNER: 3VI GMBH, 71083 HERRENBERG, DE

Effective date: 20131121

R082 Change of representative

Representative=s name: RAU, SCHNECK & HUEBNER PATENTANWAELTE RECHTSAN, DE

Effective date: 20131121

R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final