EP2663909A1 - Remote-control device and interface module for controlling an apparatus on the basis of a moving object - Google Patents

Remote-control device and interface module for controlling an apparatus on the basis of a moving object

Info

Publication number
EP2663909A1
EP2663909A1 EP11811028.7A EP11811028A EP2663909A1 EP 2663909 A1 EP2663909 A1 EP 2663909A1 EP 11811028 A EP11811028 A EP 11811028A EP 2663909 A1 EP2663909 A1 EP 2663909A1
Authority
EP
European Patent Office
Prior art keywords
module
camera
signal
control
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP11811028.7A
Other languages
German (de)
French (fr)
Inventor
Friedrich SCHICK
Jens Schick
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MYESTRO INTERACTIVE GmbH
Original Assignee
MYESTRO INTERACTIVE GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to DE102011002577A priority Critical patent/DE102011002577A1/en
Application filed by MYESTRO INTERACTIVE GmbH filed Critical MYESTRO INTERACTIVE GmbH
Priority to PCT/EP2011/073990 priority patent/WO2012095258A1/en
Publication of EP2663909A1 publication Critical patent/EP2663909A1/en
Application status is Withdrawn legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Abstract

A remote control device is used to control a mechanism with the aid of a movement pattern and/or a distance pattern of at least one moved object. The remote control device has a camera module to receive a stereo image and to detect the moved object. An image evaluation module has a movement evaluation sub-module and a distance evaluation sub-module. A control and communication module of the remote control device, depending on the movement or distance values determined, generates at least one mechanism control signal and sends it to the mechanism to be controlled. An interface module has a data memory, a comparator sub-module and a communication sub-module. The latter, with adequate agreement between the respective actual parameter and one of the desired movement parameters, sends the control signal assigned in the table to the module of the remote control device or to the mechanism.

Description

FERNSTEUERUNGSEINRICHTUNG UND SCHNITTSTELLEN-MODUL ZUR STEUERUNG EINER VORRICHTUNG ANHAND EINES BEWEGLICHEN OBJEKTES REMOTE CONTROL DEVICE AND INTERFACE MODULE FOR CONTROLLING A DEVICE ON THE BASIS OF A MOVING OBJECT

5 5

Die Erfindung betrifft eine Fernsteuerungseinrichtung zur Steuerung einer zu steuernden Vorrichtung anhand eines Bewegungsmusters und/oder eines Entfernungsmusters mindestens einen bewegten Objektes. The invention relates to a remote control device for controlling a device to be controlled on the basis of a movement pattern and / or a distance pattern at least one moving object. Ferner betrifft die Erfindung ein Schnittstellen-Modul zur Kommunikation zwischen den 10 Modulen einer derartigen Femsteuerangseinrichtung oder zwischen zumindest einem der Module der Fernsteuerungseimichtung und einer externen Vorrichtung. Further, the invention relates to an interface module for communication between the modules 10 such Femsteuerangseinrichtung or between at least one of the modules of Fernsteuerungseimichtung and an external device.

Fernsteuerungseimichtungen sind bekannt aus der US 2010/0199228 AI 15 und der WO 2008/058 783 AI. Fernsteuerungseimichtungen are known from US 2010/0199228 Al 15 and WO 2008/058 783 Al. Eine Fernsteuerungseimichtung zur Steuerung einer zu steuernden externen Vorrichtung, zum Beispiel einer Klimaanlage oder eines Fernsehers anhand von Armzeige-Gesten einer Person ist bekannt aus der US 2006/0168523 AI. A Fernsteuerungseimichtung for controlling an external device to be controlled, for example, an air conditioner or a television based on Armzeige gestures of a person is known from US 2006/0168523 Al. Die EP 1 637 985 A2 beschreibt eine Geräte-Eingabesteuerung. EP 1637985 A2 describes a device input control.

20 20

Es ist eine Aufgabe der vorliegenden Erfindung, eine Fernsteuerungseinrichtung der eingangs genannten Art derart weiterzubilden, dass eine Steuerung der Vorrichtung anhand des bewegten Objektes besonders auch bei ungünstigen Umgebungsbedingungen ermöglicht ist. It is an object of the present invention to develop a remote control device of the type mentioned such that a control of the apparatus is made possible by means of the moving object particularly even under unfavorable environmental conditions.

25 25

Diese Aufgabe ist erfindungsgemäß gelöst durch eine Fernsteuerungseinrichtung mit den im Anspruch 1 angegebenen Merkmalen. This object is inventively achieved by a remote control device having the features indicated in claim 1. Das Kamera-Modul kann mindestens zwei Kameras zum Empfang des Stereobildes aufweisen. The camera module may include at least two cameras for receiving the stereo image. Die Kameras des Kamera-Moduls können als Webcams gestaltet sein. The cameras of the camera module can be configured as a webcam. Die Kameras des Kamera-Moduls können Farben erfassen. The cameras of the camera module can capture colors. Die Kameras des Kamera-Moduls können asynchron arbeiten. The cameras of the camera module can operate asynchronously. Eine räumliche Zuordnung der Kameras zueinander ist nicht kritisch. A spatial allocation of the cameras to one another is not critical. Auch eine einzige Kamera-Einheit, die zwei oder mehr Bilder generiert, ist möglich, beispielsweise ein Sensor mit einer Aufspalt-Optik. Even a single camera unit, which generates two or more images, is possible, for example, a sensor with a split optics. Eine derartige Kamera- Einheit kann zur Vermessung einer räumlichen Bilddimension mehrere Optiken oder auch eine Spiegeloptik aufweisen. Such a camera unit may have for measuring a spatial image dimension several optics or mirror optics. Bei dem bewegten Objekt kann es sich um ein Körperteil eines Benutzers handeln. In the moving object may be a part of the body of a user. Die Fernsteue- rangseinrichtung kann dann zu einer Gestiksteuerung herangezogen werden, bei der das Bildauswertemodul aus den erfassten Bewegungs- und Entfernung s werten Bewegungsmuster und/oder Entfernungsmuster ableitet, die einer Steuergestik zugeordnet werden, der wiederum ein Vorrich- tungs-Steuersignal zugeordnet ist. ranking means the Fernsteue- can then be used in a gesture control in which the Bildauswertemodul from the detected movement and distance s values ​​movement patterns and / or removal pattern is derived, which are associated with a Steuergestik which is in turn associated with a Vorrich- tung control signal. Im Rahmen der Gestiksteuerung kann die Femsteuerangseinrichtung Bewegungen der Finger, der Faust, der Gliedmaßen, des Kopfes, der Mimik, des Rumpfes und allgemein von Körperteilen des Benutzers erfassen. As part of the gesture control the Femsteuerangseinrichtung can detect movements of the fingers, the thumb, the limbs, head, facial expression, torso and generally of body parts of the user. Erfasst werden können insbesondere ein Deuten oder ein Kreisen von Körperteilen, geradlinige Bewegungen in den verschiedenen Raumrichtungen, eine Kombination dieser Bewegungen, die auch von mehreren Körperteilen simultan durchgeführt werden können. can be detected in a particular interpretation or circles of body parts, rectilinear movements in the different spatial directions, a combination of these movements can be carried out simultaneously by two or more body parts. Bei den Bewegungswerten kann es sich um die Geschwindigkeit und die Beschleunigung sowie um höhere Ableitungen einer gemessenen Ortsänderung des bewegten Objektes handeln. The motion values ​​may be the speed and acceleration as well as higher derivatives of a measured change in position of the moving object. Die Bildauswertung durch die erfin- dungsgemäße Fernsteuerungseimichtung setzt keine Bewegungs-Modelle, Entfernungs-Modelle oder Gestalt-Modelle voraus. The image evaluation by the inventions dung contemporary Fernsteuerungseimichtung assumes no motion models, removal models or design models. Die Bildauswertung kann ausschließlich anhand der Bewegung, also des Flusses, und der Entfernung des bewegten Objektes geschehen. The image analysis can be done using only the movement, that of the river, and the distance of the moving object. Sich aus den Bewegungs werten bzw. Entfernung s werten ergebende Bewegungs- bzw. Entfernungsmuster werden im Bildauswertemodul anhand einer statistischen Bewegungsstrategie charakterisiert. To evaluate the movement or distance s values ​​resulting movement or removal pattern Bildauswertemodul be characterized by a statistical motion strategy. Dabei kann zusätzlich ein Kaiman-Filter zum Einsatz kommen. It can also be used a Kalman filter. Diese Charakterisierung kann im Bildauswertemodul erfolgen. This characterization can be done in Bildauswertemodul. Hierüber können beispielsweise physiologisch„unmögliche" Gesten aus- geschlossen werden. Die Charakterisierung der Bewegungs- bzw. Entfernungsmuster kann über die zeitliche Häufung bestimmter Bewegungs-, Geschwindigkeits- oder Entfernungswerte von über das Kamera-Modul erfassten Punktewolken oder von identifizierten Stützstellen geschehen. Ein Bewegungsmuster kann durch die zeitliche Verfolgung des Objektes gewonnen werden, zB durch Bestimmung einer Bewegungsrichtung, eines Richtungswechsels, eines Verharrens in der Bewegung, also zB einer Pause in der Gestik, einer Bewegungsabfolge, einer Bewegungsgeschwindigkeit oder einer Kombination dieser Bewegungs werte. Entsprechend kann ein Entfernungsmuster gewonnen werden. Die Bildauswertung kann einen Teach in-Prozess beinhalten, dh eine Stabilisierung einer Zuordnung erfasster Bewegungswerte und/oder Entfernungswerte durch ein während der Erfassung im Laufe der Zeit adaptiertes räumliches und/oder zeitliches Bewegungsmodell. Ein Here About "impossible" gestures, for example, physiologically be excluded. The characterization of the movement or removal pattern can be done about the temporal frequency of particular movement, speed and distance values ​​on the camera module captured point clouds or of identified nodes. A movement pattern can be obtained by the time tracking of the object, for example, values ​​by determining a moving direction, a direction change, a persistence in the movement, eg a break in the gesture, a movement sequence, a moving velocity or a combination of motion. Accordingly, a removal pattern can be recovered . the image analysis may include a teach-in process, that stabilization of a map of detected motion values ​​and / or distance values ​​by a during the acquisition over time adapted spatial and / or temporal motion model. a derartiger Teach in-Prozess ist jedoch keine Voraussetzung für die Funktion der Fernsteuerungseinrichtung, sondern stellt eine Möglichkeit einer Funktions Stabilisierung dar. Ein erfasstes Objekt kann durch ein hinreichendes Maß an Übereinstimmung von Bewegungsparametern bzw. Entfernungsparametern identifiziert werden, die aus der Auswertung der Bewegungs- bzw. Entfernungsmuster gewonnen werden und auch als Signaturen bezeichnet werden. Such a teach-in process, however, is not a prerequisite for the function of the remote control device, but is a possibility of functional stabilization. A detected object can be identified by a sufficient degree of compliance of motion parameters or distance parameters or from the evaluation of movement . Distance patterns are recovered and are also called signatures. Diese Bewegungs- bzw. Entfernungsparameter werden im Bildauswertemodul durch Bewertung der vom Kamera-Modul erfassten Einzelbilder generiert. This movement or distance parameters are generated in Bildauswertemodul by evaluating the captured by the camera module frames. Eine Entfernungs- Auswertung, also eine Bestimmung von Entfernung s werten aus den Kamera-Signaldaten, kann durch Triangulation erfolgen. An evaluation of distance, so a determination of distance s evaluate the camera signal data can be done by triangulation. Die Auswertung der Bewegung und der Entfernung des Objektes mit dem Bildauswertemodul muss nicht zwingend in Echtzeit erfolgen. The analysis of the movement and the distance of the object with the Bildauswertemodul must not necessarily in real time. Es ist ausreichend, wenn diese Auswertung zeitnah geschieht. It is sufficient if this evaluation is done in a timely manner. Eine Zeitverzögerung zwischen einer Erfassung einer Objektbewegung und der Auswertung kann bis zu 200 ms betragen. A time delay between detection of an object motion and the evaluation can be up to 200 ms.

Die Femsteuerangseinrichtung kann als Eingabegerät zur Steuerung eines Computers ausgebildet sein. The Femsteuerangseinrichtung may be configured as an input device for controlling a computer. Über die Femsteuerangseinrichtung kann zB eine Navigation im Internet erfolgen oder es können Browserspiele gespielt werden. About the Femsteuerangseinrichtung example, a navigation on the Internet can be done or it can be played browser games. Die Fernsteuerangseimichtung kann im Haushalt gebräuchliche Fernsteuerungen, beispielsweise für Fernseher, Videogeräte oder DVD- Player, Stereoanlagen oder Haus Steuerungen, zB zur Steuerung einer Verdunklung, einer Beleuchtung oder einer Heizung oder von Computern, ersetzen. The Fernsteuerangseimichtung can replace common household remote controls, such as televisions, video recorders or DVD players, stereos or home control systems, eg to control a blackout, a lighting or heaters, or computers. Die Femsteuerangseinrichtung oder Komponenten bzw. Module der Femsteuerangseinrichtung können in die steuernde Vorrichtung integ- riert sein. The Femsteuerangseinrichtung or components or modules of the Femsteuerangseinrichtung may be inte- grated into the controlling device. Bei der zu steuernden Vorrichtung kann es sich insbesondere um ein Fernsehgerät mit Computer-Zusatzfunktion, insbesondere um ein internetfähiges Fernsehgerät handeln, das beispielsweise Zusatzschnittstellen wie USB und WLAN aufweist und über zusätzliche Speicherkarten sowie eine Netzwerkfunktionalität verfügen kann. In the device to be controlled can be, a TV with a computer auxiliary function, in particular an Internet-enabled TV in particular, for example, having additional interfaces such as USB and Wi-Fi, and can have additional memory cards as well as a network functionality. Bei dem Fernsehgerät kann es sich insbesondere um ein Hybrid Broadcast Broadband TV (hybrides Fernsehgerät mit Breitband- Ausstrahlung) handeln. In the TV, it may be a Hybrid Broadcast Broadband TV (hybrid TV with broadband broadcasting) in particular. Ein solches Fernsehgerät, bei dem die Femsteuerangseirmchtung zur Steuerung des Fernsehgerätes insgesamt oder Komponenten- bzw. Modulweise integriert ist, stellt einen eigenständigen Aspekt der Erfindung dar. Die Femsteuerangseinrichtung kann Bestandteil einer Systemumgebung zur Nutzung erweiterter Realität (augmented reality) sein. Such a television, wherein the Femsteuerangseirmchtung for controlling the television set is integrated in whole or in component or module way, represents an independent aspect of the invention. The Femsteuerangseinrichtung may be part of a system environment for using augmented reality (augmented reality) to be. Hierbei kann die Femsteuerangseinrichtung an eine Systemsteuerangsumgebung über eine entsprechende Schnittstelle angebunden sein. Here, the Femsteuerangseinrichtung can be attached to a Systemsteuerangsumgebung via a corresponding interface. Da die Femsteuerangseirmchtung unabhängig von Modellen, also unabhängig von vorverarbeiteten Kamera- Signaldaten, arbeiten kann, spielt es beispielsweise keine Rolle, wenn das bewegte Objekt im Erfassungsbereich des Kamera-Moduls durch statische Gegenstände, beispielsweise durch einen Blumenstrauß, zwischen den Kameras des Kamera-Moduls und dem Benutzer teilverdeckt wird. Thus, since the Femsteuerangseirmchtung can independently of models, operate independently of the preprocessed camera signal data, for example, plays no role when the moving object in the detection range of the camera module by static objects, for example by a bouquet, between the cameras of the camera module and the user is partially obscured.

Mindestens drei Kameras nach Anspruch 2 ermöglichen eine erhöhte Entfernungsauflösung in einem erweiterten Entfernungsbereich. At least three cameras according to claim 2 permit an increased range resolution in an extended distance range. Zudem können mindestens drei Kameras eine Auswertung von Objektbereichen ermöglichen, die bei Verwendung eines Kamera-Moduls mit geringerer An- zahl von Kameras beispielsweise durch stationäre Drittobjekte verdeckt werden. In addition, at least three cameras can allow an evaluation of object areas, which are covered when using a camera module with a smaller number of check-in cameras, for example, by stationary objects third. Die Kameras können in einer Reihe nebeneinander im Kamera- Modul angeordnet sein. The cameras can be arranged in the camera module in a row next to each other.

Ein Bildauswertemodul nach Anspruch 3 kann so ausgebildet sein, dass eine Änderung von Kontrastwerten bzw. eine Änderung von Farbwerten erfasst werden kann. A Bildauswertemodul according to claim 3 may be formed so that a change of contrast values ​​or a change of color values ​​can be detected. Eine Erfassung räumlicher oder zeitlicher Änderungen dieser Kontrast- bzw. Farbwerte ist möglich. A detection spatial or temporal changes to these contrast or color values ​​is possible. Die erfassten Kontrastbzw. The Kontrastbzw captured. Farbwerte können auch zur Ermittlung von Bewegungs- oder Entfernungswerten herangezogen werden. Color values ​​can also be used for the determination of motion or distance values.

Ein Ausschnittsvorgabe-Untermodul nach Anspruch 4 erhöht die Genauigkeit bei der Bilderfassung. A section setting sub-module according to claim 4 increases the accuracy in the image acquisition. In dem ausgewählten Bildausschnitt kann eine intensivere Berechnung der Signaldaten erfolgen. In the selected image section intensive calculation of the signal data can take place. Mehrere zu steuernde Vorrichtungen können gleichzeitig bedient werden. Several devices to be controlled can be operated simultaneously. Auch mehrere Bildaus- schnitte können für mehrere Bediener zur Bedienung ein und derselben zu steuernden Vorrichtung vorgegeben werden. Several Bildaus- sections can be specified for more operator to operate one and the same apparatus to be controlled. In diesem Fall beinhaltet die Femsteuerangseinrichtung eine zusätzliche Prioritätssteuerung, über die vorgegeben werden kann, welcher der Bediener bzw. Benutzer Vorrang gegenüber dem oder den anderen Bedienern bzw. Benutzern hat oder ob einer der Bediener den oder die anderen Bediener ersetzen kann. In this case, the Femsteuerangseinrichtung includes an additional priority control can be specified by the which the operator or user has priority over the or the other servers or users, or if any of the operator can replace or other operator. Eine dynamische Anpassung des vorgegebenen Bildausschnitts ist möglich. A dynamic adjustment of the predetermined image part is possible. Die Bildausschnittsdaten, also eine Höhe und/oder eine Breite und/oder eine Tiefe des Bildausschnitts, bei dem es sich um ein Flächen- oder um ein Volumenelement handeln kann, können in einem Datenspeicher des Bildauswertemoduls abgelegt sein. The image section data, that a height and / or width and / or depth of the image section, which may be a surface or a volume element may be stored in a data memory of the Bildauswertemoduls. Eine horizontale Richtung, die der Breite des Bildausschnitts zugeordnet wird, kann über eine Lage der zu steuernden Vorrichtung oder über eine Lage des Kamera-Moduls, insbesondere über eine Lage der mindestens zwei Kameras zueinander, vorgegeben wer- den. A horizontal direction, which is associated with the width of the image section can advertising specified via a location of the device to be controlled or a position of the camera module, in particular via a location of the at least two cameras to one another,. Mit dem Ausschnittsvorgabe-Untermodul kann ein Time-out- With the cut-setting sub-module, a time-out

Untermodul zusammenarbeiten, über welches ein vorgegebener Bildausschnitt nach einer vorgegebenen Untätigkeits-Zeitspanne, zB nach Ablauf einiger Sekunden, wieder gelöscht wird, sodass im Anschluss wieder eine Erfassung über das gesamte erfassbare Bild erfolgt oder ein neuer Bildaus- schnitt vorgegeben werden kann. cooperate with module via which a predetermined image as a predetermined Inactivity time period, for example after a few seconds, is deleted, so that subsequent re-detection of the entire image is done detectable or a new image can be specified. Das Ausschnittsvorgabe-Untermodul kann mit einem Deaktivierungs-Untermodul zusammenarbeiten, über welches ein vorgegebener Bildausschnitt nach Erkennen einer Deaktivierungs- Signatur wieder gelöscht wird. The cut-setting sub-module can work with a deactivation sub-module via which a predetermined image as recognizing a deactivation signature is deleted. Ein durch das Kamera-Modul erfassbares Volumen im Objektraum kann in verschiedene Zonen unterteilt werden, in denen Objektbewegungen vom Bildauswertemodul unterschiedlich ausgewertet werden. A detectable by the camera module volume in the object space can be divided into different zones in which object movements are evaluated differently from Bildauswertemodul.

Ein Bildfehler-Auswerte-Untermodul nach Anspruch 5 kann intrinsische Bildfehler des Kamera-Moduls oder kann während des Betriebs der Fern- steuerangseinrichtung entstandene oder entstehende extrinsische Fehler erfassen. An image error evaluation sub-module according to claim 5 can intrinsic aberrations of the camera module or may detect steuerangseinrichtung formed or generated during the operation of the remote extrinsic defects. Dies kann zur Korrektur der Bildauswertung im Bildauswertemodul genutzt werden. This can be used to correct the image evaluation in Bildauswertemodul. Ein Textur- Auswerte-Untermodul nach Anspruch 6 erweitert die Möglichkeiten der Fernsteuerungseinrichtung. A texture evaluation sub-module of claim 6 expands the capabilities of the remote control device. Texturen sind weitere, detailliertere Objektdaten, die über eine abstrakte Objektcharakterisierung anhand der Bewegung und der Entfernung beispielsweise weniger Objekt- Stützstellen hinausgeht. Textures are further, more detailed object data that goes, for example, less Object support points over an abstract object characterization by means of the movement and the distance. Die Stützstellen-Charakterisierung kann über Polygone erfolgen. The nodes characterization can be done by polygons. Sowohl die Stützstellen-Daten als auch die Texturdaten, also alle Signaldaten, die vom Bildauswertemodul ausgewertet werden, können von ein und demselben Kamera-Modul und insbesondere von ein und derselben Kamera generiert werden. Both the reference points data and the texture data, so all signal data are evaluated by Bildauswertemodul may by the same camera module, and particularly by the same camera can be generated.

Ein Aktivierungs-Auswerte-Untermodul nach Anspruch 7 kann eine Aktivierungs-Signatur auswerten, beispielsweise eine Zeigegeste des Benutzers auf die zu steuernde Vorrichtung oder auf das Kamera-Modul. An activation evaluation sub-module according to claim 7 can evaluate an activation signature, for example, a pointing gesture of the user on the device to be controlled or the camera module. Alternativ kann eine Aktivierung der zu steuernden Vorrichtung auch über einen Be- wegungssensor, beispielsweise über einen Infrarot-Bewegungssensor, gestartet werden, der dann ebenfalls Bestandteil der Femsteuerangseinrich- tung ist. Alternatively, activation of the device to be controlled can also be a motion sensor such as an infrared motion sensor are started, which then also is part of the Femsteuerangseinrich- processing. Die Erfassung und Auswertung einer Bestätigungs-Signatur des bewegten Objektes kann zur Vorraussetzung einer Aktivierung der zu steuernden Vorrichtung gemacht werden. The detection and analysis of a confirmation signature of the moving object can be made a prerequisite to activation of the device to be controlled. Das Aktivierungs-Auswerte- Untermodul kann so gestaltet sein, dass ein Aktivierungssignal an die zu steuernde Vorrichtung erst nach einer Auswertung und Validierung der Bestätigungs-Signatur durch das Bildauswertemodul gesendet wird. The activation evaluation sub-module may be configured such that an activation signal is sent to the device to be controlled only after an evaluation and validation of the confirmation signature by the Bildauswertemodul.

Ein Rückmelde-Modul nach Anspruch 8 kann als Display, als eine oder mehrere Lichtquellen, zB eine oder mehrere LEDs, als Audiorückmeldung, als Mauszeiger oder auch als sonstige Markierung auf einem Bildschirm, zB als eine Hervorhebung eines Bildschirmausschnitts durch eine Lupenfunktion oder eine virtuelle Wölbung gestaltet sein. A feedback module according to claim 8 can be used as the display, as one or more light sources, for example one or more LEDs, an audio feedback, as a pointer or as other mark on a screen, such as a highlighting of a screen segment by a motion function or a virtual buckle be designed. Ein Rückmeldesignal der zu steuernden Vorrichtung zeigt dem Benutzer, inwieweit die Vorrichtung wie gewünscht arbeitet, bzw. ob ein vorhergehendes Steuersignal korrekt interpretiert wurde. A feedback signal of the controlled device shows the user the extent to which the device is operating as desired, or whether a previous control signal has been correctly interpreted. Eine Anzeige eines Rückmeldesignals des bewegten Objektes zeigt dem Benutzer, inwieweit seine Gestik in gewünschter Weise von der Fernsteuerungseimichtung erfasst wird. A display of a feedback signal of the moving object indicates to the user the extent to which his gestures is detected in the desired manner by the Fernsteuerungseimichtung.

Ein Kamera- Ansteuermodul nach Anspruch 9 kann zusätzlich mit dem Bildauswertemodul in Signal Verbindung stehen. A camera control module according to claim 9 may be additionally connected to the Bildauswertemodul in signal connection. Das Kamera- Ansteuermodul kann eine Empfindlichkeits Steuerung und eine Fokussteuerung des Kamera-Moduls herbeiführen, sodass beispielsweise auch ein be- wegtes Objektes scharf gestellt und dieses mit angepasster Empfindlichkeit erfasst wird. The camera control module can cause a sensitivity control and focus control of the camera module, so that for example, a loading wegtes object in focus, and this is detected with adjusted sensitivity.

Ein Eingabe-Modul nach Anspruch 10 kann als Maus auf einem Display, kann als räumlicher Zeiger oder kann als Tastatur auf einem Display ges- taltet sein. An input module according to claim 10 can as a mouse on a display, can be used as a spatial indicator, or may be taltet as a keyboard on a display GES. Eine Eingabe auf dem Eingabe-Modul kann insbesondere durch eine Fingergestik erfolgen. An input on the input module can in particular be carried out by a Fingergestik. Hierdurch kann ein Gamecontroller auf einem Display realisiert werden. In this way, can be realized on a display, a game controller. Das Eingabe-Modul kann als„virtuelles" eingespiegeltes Modul gestaltet sein. Ein Gerät zur Realisierung eines derartigen Moduls ist unter dem Handelsnamen„Airscouter™"bekannt. The input module may be configured as a "virtual" is spiegeltes module. A device for implementation of such a module is known under the trade name "Airscouter ™". In einem be- nutzerseitigen Bauteil, das ein solches Eingabe-Modul aufweist, kann auch das Kamera-Modul integriert sein. In a user-side component, having such a command module, and the camera module may be integrated. Das Eingabe-Modul kann auch in eine Brille des Benutzers eingespiegelt werden, wie dies bei Kraftfahrzeugen in eine Windschutzscheibe bekannt ist. The input module can be reflected in glasses of the user, as is well known in motor vehicles in a windshield. Das Eingabe-Modul kann auf einer virtuellen Ebene dargestellt sein. The input module may be displayed on a virtual plane. Dem Benutzer kann hierbei der Eindruck vermittelt werden, als würde die Eingabeebene vor ihm im Raum schweben. The user the impression can this be taught as if the input level float in front of him in the room. Es können als Eingabe-Modul auch verschiedene derartiger Eingabeebenen bereitgestellt und nach Wahl aktiviert werden, die zB als nach Art von Orgelmanualen gestaffelte Tastaturen ausgebildet sind. It can be provided as an input module, various such input levels and enabled the option, for example, are designed as graduated according to type of organ manuals keyboards. Ein Beleuchtungsmodul nach Anspruch 11 kann eine Lichtquelle in Form zB einer LED aufweisen. A lighting module according to claim 11 may have a light source in the form of, for example, an LED. Eine Helligkeitsregelung kann durch eine sensorgesteuerte Rückkopplung erfolgen. A brightness control can be performed by a sensor-controlled feedback. Das Beleuchtungs-Modul kann einen Helligkeitssensor aufweisen. The illumination module may comprise a brightness sensor. Der Helligkeitssensor kann als Fotodiode gestaltet sein. The brightness sensor can be designed as a photodiode. Über eine Beleuchtung des Beleuchtungs-Moduls kann eine Kontrastvariation und/oder eine Kontrastverschiebung herbeigeführt werden. a contrast variation and / or contrast shift can be brought about through an illumination of the lighting module.

Eine Mehrfarben-Lichtquelle nach Anspruch 12 kann als RGB-Lichtquelle oder als VIS/NIR/MIR-Lichtquelle mit zwei, drei, vier oder mehr Farben ausgestaltet sein. A multi-color light source according to claim 12 may be configured as an RGB light source or VIS / NIR / MIR light source with two, three, four or more colors. Die Lichtquelle des Beleuchtungs-Moduls kann als Tageslichtquelle gestaltet sein. The light source of the illumination module can be designed as a daylight source.

Rohsignaturen, die in einer Fernsteuerungseimichtung nach Anspruch 13 im Rohsignatur- Speicher-Modul abgelegt sind, können einzelnen vorgegebenen Bedienergesten entsprechen. Rohsignaturen, the memory module are stored in a Fernsteuerungseimichtung according to claim 13 in Rohsignatur-, each predetermined user gestures may correspond. Die Rohsignaturen können im Rohsignatur-Speicher-Modul mit allen Freiheitsgraden der Rotation und Translation sowie in verschiedener Skalierung abgelegt sein. The Rohsignaturen may be stored in Rohsignatur memory module with all degrees of freedom of rotation and translation, as well as in various scaling. Eine weitere Aufgabe der Erfindung ist es, ein Schnittstellen-Modul der eingangs genannten Art derart weiterzubilden, dass hierüber Objektbewegungen sicher in Steuersignale umgewandelt werden können. Another object of the invention is to develop an interface module of the type mentioned such that here on object motions can be safely converted into control signals.

Diese Aufgabe ist erfindungsgemäß gelöst durch ein Schnittstellen-Modul mit den im Anspruch 14 angegebenen Merkmalen. This object is achieved by an interface module with the features specified in claim 14 characteristics.

Ein derartiges Schnittstellen-Modul kann universell Objektbewegungen in Steuersignale umwandeln. Such an interface module capable of converting universal object movements into control signals. Das Schnittstellen-Modul kann Teil einer Computerimplementierung eines Browsers sein. The interface module can be part of a computer implementation of a browser. Das Komparator-Untermodul des Schnittstellen-Moduls kann eine statistische Auswertung betreiben analog zu dem, was vorstehend zum Bildauswertemodul der Fernsteuerungseinrichtung ausgeführt wurde. The comparator sub-module of the interface module, a statistical evaluation operate analogously to what has been stated above for Bildauswertemodul the remote controller. Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung näher erläutert. Embodiments of the invention are explained in detail below with reference to the drawing. In dieser zeigen: In which:

Fig. 1 in einer schematischen Blockdarstellung eine Fernsteue- rangseinrichtung zur Steuerung einer zu steuernden Vorrich- tung anhand eines Bewegungsmusters und/oder eines Entfernungsmusters mindestes eines bewegten Objektes; Fig. 1 is a schematic block diagram of a device for controlling a Fernsteue- ranking to be controlled Vorrich- processing based on a movement pattern and / or a distance mindestes pattern of a moving object; und and

Fig. 2 ein Schnittstellen-Modul zur Kommunikation zwischen Modulen einer Fernsteuerungseimichtung nach Fig. 1 oder zwi- sehen zumindest einem der Module der Fernsteuerungseinrichtung nach Fig. 1 und einer externen Vorrichtung. Fig. 2 shows an interface module for communication between modules of a Fernsteuerungseimichtung of FIG. 1 or be- see at least one of the modules of the remote control device of FIG. 1 and an external device.

Eine Femsteuerangseinrichtung 1 dient zur Steuerung einer zu steuernden Vorrichtung 2 anhand eines Bewegungsmusters und/oder eines Entfer- nungsmusters mindestens eines bewegten Objektes 3. Bei der zu steuernden Vorrichtung kann es sich um eine Vorrichtung der Unterhaltung selekt- ronik, z. A Femsteuerangseinrichtung 1 serves to control a device to be controlled 2 on the basis of a movement pattern and / or a distance-pattern of at least one moving object 3. In the apparatus to be controlled there can select-ronik a device of entertainment, for example. B. um einen Fernseher oder um eine Stereoanlage handeln. Example, be a television or a stereo system. Bei der zu steuernden Vorrichtung 2 kann es sich um einen Computer oder um eine sonstige Datenverarbeitungsvorrichtung handeln. In the device to be controlled 2, it may be a computer or any other computing device. Die Fernsteuerungs- einrichtung 1 kann in die zu steuernde Vorrichtung 2 integriert sein. The remote control device 1 may be integrated in the device to be controlled. 2

Bei dem bewegten Objekt 3 handelt es sich um den Benutzer der Fernsteu- erangseinrichtung 1. Bei den bewegten Objekten handelt es sich dann um den oder die Finger, die Hand, die Faust, um einen oder beide Arme, um den Kopf, um den Rumpf oder um sonstige Gliedmaßen des Benutzers. In the moving object 3 is the user of the remote-controlled erangseinrichtung 1. If the moving objects are then around the finger or fingers, the hand, the fist to one or both arms, around the head to the torso or other limbs of the user. Bei dem bewegten Objekt 3 kann es sich auch um ein vom Benutzer geführtes Objekt, beispielsweise um eine Zeigeeinrichtung in Form eines Zeigestocks oder eines sonstigen Zeigegeräts handeln. In the moving object 3, it may also be a run by the user object, such as a pointing device in the form of a pointing stick or other pointing device itself.

Die Fernsteuerungseinrichtung 1 hat ein Kamera-Modul 4 mit zwei Kameras 5, 6 zum Empfang eines Stereobildes und zur Erfassung des bewegten Objekts 3. Diese Signalerfassung ist in der Fig. 1 durch einen Signalweg SW dargestellt. The remote control device 1 has a camera module 4 with two cameras 5, 6 for receiving a stereo image and for detecting the moving object 3. This signal detection is shown in Fig. 1 represented by a signal SW. Bei einer alternativen Ausführung kann das Kamera-Modul 4 auch drei Kameras aufweisen. In an alternative embodiment, the camera module 4 may also include three cameras. Eine dritte Kamera 7 des Kamera-Moduls 4 ist in der Figur 1 gestrichelt dargestellt. A third camera 7 of the camera module 4 is shown in phantom in FIG. 1 Die Kameras 5 bis 7 können als Webcams ausgestaltet sein. The cameras 5 to 7 can be configured as a webcam. Die Kameras 5, 6 bzw. 5 bis 7 des Kamera- Moduls 4 können verschiedene Farben erfassen und unterscheiden. The cameras 5, 6 and 5 to 7 of the camera module 4 is able to detect different colors and differ. Bei einer weiteren Variante kann das Kamera-Modul 4 eine einzige Kamera- Einheit aufweisen, die zwei oder mehr Bilder generiert. In a further variant, the camera module 4 may comprise a single camera unit that generates two or more images. Eine solche Kamera-Einheit kann zur Vermessung einer räumlichen Bilddimension, also zur Erfassung einer Raumtiefe, mehrere Optiken oder auch eine Spiegeloptik aufweisen. Such a camera unit may have for measuring a spatial image dimensions, ie for detecting a depth, a plurality of optics or mirror optics. Ein Beispiel für eine solche Kamera-Einheit ist das Produkt Loreo™ 3D Lens in a Cap™, welches beschrieben ist auf der Internetseite www.loreo.com. An example of such a camera unit is the product Loreo ™ 3D Lens in a Cap ™, which is described on the website www.loreo.com. Das Kamera-Modul kann statisch in einem Raum angeordnet sein, in dem der Benutzer sich aufhält, kann alternativ aber auch vom Benutzer selbst mitgeführt werden. The camera module can be static placed in a room where the user is staying, but can alternatively be carried by the user himself.

Die Fernsteuerungseimichtung 1 hat weiterhin ein Bildauswertemodul 8, das über eine Signal Verbindung 9 mit einem Kamera- Ansteuermodul 10 und über eine weitere Signalverbindung mit Signalleitungen 11, 12 mit den Kameras 5, 6 des Kamera-Moduls 4 in Signalverbindung steht. The Fernsteuerungseimichtung 1 further has a Bildauswertemodul 8, which via a signal connection 9 to a camera control module 10 and via a further signal associated with signal lines 11, 12 communicates with the cameras 5, 6 of the camera module 4 is in signal connection. Eine entsprechende Signalleitung 13 verbindet die optionale dritte Kamera 7 mit dem Kamera- Ansteuermodul 10, sodass auch eine Signal Verbindung zwi- schen dem Bildauswertemodul 8 und der optionalen dritten Kamera 7 gegeben ist. A corresponding signal line 13 connects the optional third camera 7 with the camera control module 10, so that a signal connection be- tween the Bildauswertemodul 8 and the optional third camera is given. 7

Das Bildauswertemodul 8 hat ein Bewegungs-Auswerte-Untermodul 14, das aus erfassten Kamera- Signaldaten Bewegungs werte zum erfassten Objekt 3 ermittelt. The Bildauswertemodul 8 has a motion evaluation sub-module 14, the motion values ​​of the detected camera signal data determined at the detected object. 3 Bei den Bewegungs werten handelt es sich um die Geschwindigkeit und die Beschleunigung des Objekts 3. In the motion values ​​is the speed and acceleration of the object. 3

Das Bildauswertemodul 8 hat weiterhin ein Entfernungs-Auswerte- Untermodul 15, welches aus den erfassten Kamera- Signaldaten Entfernungswerte zum erfassten Objekt 3 ermittelt. The Bildauswertemodul 8 further has a removal evaluation sub-module 15, which signal data to the detected distance values ​​determined from the object 3 detected camera. Die Entfernung s werte werden beispielsweise durch Vergleich der Ausdehnung erfasster Objektstrukturen mit der Ausdehnung statischer Objekte mit bekannter Größe im erfassten Objektfeld oder durch vergleichende Auswertung mit den Kamera- Signaldaten der verschiedenen Kameras 5, 6 bzw. 5 bis 7 ermittelt. detected object structures with the expansion of static objects of known size in the captured object field or by comparative evaluation with the camera signal data from the various cameras 5, 6 and 5, the distance s is determined values ​​to 7, for example, by comparison of the extent. Soweit die drei Kameras 5 bis 7 zum Einsatz kommen, ist eine genauere Bestimmung der Position von Objektstrukturen aufgrund der zusätzlichen Kamerainformationen möglich. As far as the three cameras 5 to 7 are used, a more accurate determination of the position of object structures because of the additional camera information is possible. Es ist dann eine Vermessung von Objektstrukturen möglich, die beispielsweise mit der dritten Kamera 7 und einer der bei- den Kameras 5, 6, nicht aber mit der anderen Kamera 6, 5 sichtbar ist. It is then a measurement of object structures are possible, which one of the visible, for example with the third camera 7 and examples the cameras 5, 6, but not with the other camera 6; 5.

Die Bewegungs werte und die Entfernung s werte zum erfassten Objekt 3 werden durch Auswertung aufeinanderfolgender Bilder des Kamera- Moduls 4 durch Vergleich der Positionen von identifizierten Objektstruktu- ren ermittelt. The motion values ​​and the distance s values ​​to the detected object 3 are determined by evaluating ren consecutive images of the camera module 4, by comparing the positions of identified Objektstruktu-.

Das Bildauswertemodul 8 erzeugt aus den erfassten Bewegungs- und Entfernung s werten Bewegungs- und Entfernungsmuster, die anhand einer statistischen Bewertungsstrategie charakterisiert werden. The Bildauswertemodul 8 generates from the detected movement and distance values ​​s movement and removal pattern, which are characterized by a statistical evaluation strategy. Dies kann über die zeitliche Häufung von Bewegungs werten von über das Kamera-Modul 4 erfassten Punktewolken geschehen. This can on the temporal accumulation of values ​​of motion on the camera module 4 detected point clouds done. Das Bewegungsmuster kann aus den Bewegungswerten durch zeitliche Verfolgung des Objektes gewonnen werden. The movement pattern can be obtained from the motion values ​​by time tracking of the object. Entsprechendes gilt für das Entfernungsmuster. The same applies to the removal pattern. Das Objekt 3 bzw. relevante Teile hiervon, wird durch ein hinreichendes Maß an Übereinstimmung von Bewegungsparametern, sogenannten Signaturen, identifiziert, die durch Bewertung von über das Kamera-Modul erfassten Einzelbildern durch das Bildauswertemodul 8 generiert werden. The object 3 or relevant parts thereof, is identified by a sufficient degree of alignment of motion parameters, so-called signatures that are generated by evaluating over the camera module frames detected by the Bildauswertemodul. 8 Entfernung s werte können durch Triangulation ermittelt werden. Distance s values ​​can be determined by triangulation.

Bei der Auswertung der Kamera- Signaldaten kann ein digitales Filter, z. When evaluating the camera signal data, a digital filter may, for. B. ein Kaiman-Filter, zum Einsatz kommen. As a Kalman filter, are used.

Das Bildauswertemodul 8 beinhaltet weiterhin ein Helligkeits-Auswerte- Untermodul 16. Dieses ermittelt aus den erfassten Kamera- Signaldaten Kontrastwerte und/oder Farbwerte zum erfassten, bewegten Objekt 3. Das Bildauswertemodul 8 ist so ausgebildet, dass eine Änderung der vom Hel- ligkeits-Auswerte-Untermodul 16 ermittelten Kontrast- bzw. Farbwerte berechnet werden kann. The Bildauswertemodul 8 further includes a brightness evaluation sub-module 16. This is determined from the captured camera data signal contrast and / or color values ​​to the detected, moving objects 3. The Bildauswertemodul 8 is formed so that a change in the brightness evaluation -submodule 16 determined contrast or color values ​​can be calculated. Über das Helligkeits-Auswerte-Untermodul 16 ist eine Erfassung räumlicher oder zeitlicher Änderungen der Kontrast- bzw. Farbwerte durch das Bildauswertemodul 8 möglich. About the luminance evaluation sub-module 16 is a detecting spatial or temporal changes in contrast or color values ​​by the Bildauswertemodul 8 is possible. Die ermittelten Kontrast- bzw. Farbwerte können auch zur Ermittlung der Bewegungs- und der Entfernung s werte herangezogen werden. The contrast or color values ​​can also be used for determining the motion and the distance s values. Das Bilddauswertemodul 8 hat weiterhin ein Ausschnittsvorgabe- Untermodul 17. Dieses wählt aus erfassten Roh-Kamera- Signaldaten einen Ausschnitt des vom Kamera-Modul 4 insgesamt erfassbaren Bild- bzw. Erfassungsbereichs aus und gibt diesen ausgewählten Ausschnitt als Bildausschnitt vor, wobei die Kamera- Signaldaten aus diesem Bildausschnitt dann einer weiteren Auswertung unterzogen werden. The Bilddauswertemodul 8 further has a Ausschnittsvorgabe- sub-module 17. This selects the detected raw camera data signal a section of the total detectable by the camera module 4 image or detection range, and outputs this selected part of the image section before, the camera signal data are subjected in this image section then further evaluation. Über das Ausschnitts- Vorgabe-Untermodul 17 ist auch die Auswahl und Vorgabe mehrerer Bildausschnitte möglich, die voneinander getrennt im erfassbaren Gesamtausschnitt oder auch einander im erfassbaren Gesamtausschnitt des Kamera- Moduls 4 überlappend angeordnet sein können. Cut-out via the setting sub-module 17 and the selection and setting a plurality of image segments is possible, which may be arranged separately from each other in the total recordable segment or another detectable in the overall section of the camera module 4 overlapping. Im Falle der Vorgabe mehrerer Bildausschnitte gibt das Bildauswertemodul 8 eine Prioritätszuordnung vor, stellt also sicher, dass einander widersprechende Objektbewegungen in den verschiedenen vorgegebenen Bildausschnitten nicht zu einer unerwünschten Funktion der zu steuernden Vorrichtung 2 führen. In the case of setting a plurality of image sections, the Bildauswertemodul are 8 remains a priority assignment, thus ensuring that conflicting object movements do not result in the various predetermined image excerpts to an undesired function of the apparatus to be controlled. 2 Über das Ausschnitts- Vorgabe-Untermodul 17 kann ein durch das Kamera-Modul 4 insgesamt erfassbares Volumen auch in verschiedene Volumenzonen unterteilt werden. Cut-out via the setting sub-module 17, a total detectable by the camera module 4 volumes can also be divided into different zones volume.

Das Bildauswertemodul 8 hat weiterhin einen Datenspeicher 18, in dem Bildausschnittsdaten, beispielsweise zur Höhe, zur Breite und zur Tiefe eines über das Ausschnitts- Vorgabe-Untermodul 17 ausgewählten flächen- haften oder volumenhaften Bildausschnitt abgelegt sind. The Bildauswertemodul 8 further has a data memory 18, are stored in the image segment data, such as the height, the width and depth of a Cut-out via the setting sub-module 17 selected area-stick or adhere volume image. Eine horizontale Richtung zur Definition der Höhe-, Breite- und Tiefedimension kann über eine Lage der zu steuernden Vorrichtung 2 oder über eine Lage der min- destens zwei Kameras 5, 6 bzw. 5 bis 7 des Kamera-Moduls 4 zueinander vorgegeben werden. A horizontal direction to define the highs, width and depth dimensions can be specified by a location of the controlled device 2 or a position of the min- least two cameras 5, 6 and 5 to 7 of the camera module 4 to each other.

Das Bildausschnittemodul 8 hat ferner ein Deaktivierungs-Untermodul bzw. Time out-Untermodul 19. Letzteres beinhaltet einen Zähler oder eine Uhr, sodass ein über das Ausschnitts- Vorgabe-Untermodul 17 vorgegebener Bildausschnitt nach einer vorgegebenen Untätigkeits-Zeitspanne, in der keine Bewegung des Objekts 3 erfasst wird, wieder gelöscht wird. The image segments module 8 also has a deactivation sub-module or Time out sub-module 19. The latter includes a counter or a clock, so that a via the Cut-out setting sub-module 17 a predetermined image as a predetermined Inactivity time period in which no movement of the object is deleted is detected 3. Über das Deaktivierungs-Untermodul 19 kann ein vom Ausschnittsvorgabe-Untermodul 17 vorgegebener Bildausschnitt nach Erkennen einer Deak- tivierungs-Signatur, also einer entsprechenden Bewegungssequenz bzw. Gestik des Objekts 3 wieder gelöscht werden. a segment from the default sub-module 17 of predetermined image part can on the deactivation sub-module 19 after detection of a deactivation signature, so a corresponding movement sequence or gestures of the object 3 again be deleted.

Das Bildauswertemodul 8 hat weiterhin ein Bildfehler-Auswerte- Untermodul 20. Dieses ermittelt aus den erfassten Kamera- Signaldaten Abbildungsfehler, z. The Bildauswertemodul 8 further has an image error evaluation sub-module 20. This is determined from the detected signal data camera imaging errors such. B. intrinsische Abbildungsfehler oder solche Abbildungsfehler, die durch Verschiebung oder Verdrehung der Kameras zuein- ander während des Betriebs entstehen oder bereits vorher entstanden sind, also extrinsische Abbildungsfehler. B. intrinsic aberrations or those aberrations other arising during operation or have already arisen before, so extrinsic aberrations which relative to one by displacement or rotation of the cameras. Bei der Auswertung der Kamera- Signaldaten können die ermittelten Abbildungsfehler dann zur Datenkorrektur herangezogen werden. When evaluating the camera signal data aberrations determined can then be used for data correction. Das Bildauswertemodul 8 hat weiterhin ein Textur- Auswerte-Untermodul 21. Dieses ermittelt aus den erfassten Kamera- Signaldaten Texturen. The Bildauswertemodul 8 further has a texture evaluation sub-module 21. This is determined from the detected camera signal data textures. Hierzu werden weitere Objektdaten, die Texturen, zu zunächst einem abstrakt über Bewegungswerte und Entfernungswerte beispielsweise weniger Stützstellen, beispielsweise über Polygone, charakterisierten Objekt zugeordnet. This requires further object data, the textures to a first abstract on movement values ​​and distance values ​​for example, fewer reference points, such as on polygons, characterized object to be assigned. Alle Signaldaten, die vom Bildauswertemodul 8 ausgewertet werden, also sowohl die Stützstellen-Daten als auch die Textur-Daten, können von jeweils denselben Kameras 5, 6 bzw. 5 bis 7 des Kameramoduls 4 generiert werden. All signal data are evaluated by Bildauswertemodul 8, that both the support location data and the texture data can be generated from the same respective cameras 5, 6 and 5 to 7 of the camera module. 4 Das Bildauswertemodul 8 hat weiterhin ein Aktivierungs-Auswerte- The Bildauswertemodul 8 also carries an activation evaluation

Untermodul 22 mit einem Datenspeicher 23. Das Aktivierungs-Auswerte- Untermodul 22 ermittelt aus den erfassten Kamera- Signaldaten, solange die zu steuernde Vorrichtung 2 noch in einem Stand by-Betrieb läuft, eine Objekt-Signatur und vergleicht diese mit einer im Datenspeicher 23 gespei- - lö cherten Aktivierungs-Signatur. Submodule 22 23 with a data memory, the activation evaluation sub-module 22 determines from the recorded camera signal data, as long as the device to be controlled 2 nor by operation runs in a stand, an object signature and compares it vomit having a data memory 23 - - lö cherten activation signature. Bei hinreichender Übereinstimmung der ermittelten Objekt- Signatur mit der gespeicherten Aktivierungs-Signatur sendet das Aktivierungs-Auswerte-Untermodul 22 ein Aktivierung ssignal zur Aktivierung der zu steuernden Vorrichtung 2 aus. Given sufficient correspondence of the determined object signature with the stored signature activation the activation evaluation sub-module 22 sends an activation ssignal from the activation of the device to be controlled. 2 Bei der Aktivie- rungs-Signatur kann es sich um eine Zeigegeste auf die zu steuernde Vorrichtung 2 oder um eine Zeigegeste auf das Kamera-Modul 4 handeln. In the activation approximately signature may be a pointing gesture to the device to be controlled 2 or a pointing gesture to the camera module. 4 Alternativ kann eine Aktivierung der zu steuernden Vorrichtung 2 auch über einen Bewegungssensor gestartet werden, der als Infrarot- Bewegungssensor ausgebildet sein kann. Alternatively, an activation of the controlled device 2 can also be released by a movement sensor, which can be designed as an infrared motion sensor. Ein solcher Bewegungssensor ist bei dieser alternativen Ausführung ebenfalls Bestandteil der Fernsteue- rangseinrichtung 1. Im Datenspeicher 23 des Aktivierungs-Auswerte- Untermoduls kann auch eine Bestätigungs-Signatur abgelegt sein, die zur Bestätigung einer Aktivierungs-Signatur dienen kann. Such a motion sensor is also part of Fernsteue- in this alternative embodiment senior setup 1. In the data memory 23 of the activation evaluation sub-module may also be stored a confirmation signature that can be used to confirm an activation signature. In diesem Fall wird ein Aktivierung ssignal vom Aktivierungs-Auswerte-Untermodul 22 erst dann ausgesandt, wenn der erkannten Aktivierungs-Signatur eine valide Bestätigungs-Signatur zugeordnet werden konnte, wenn der Benutzer also nach einer Aktivierungsgeste auch noch eine Bestätigungsgeste macht. In this case, an activation is ssignal only then sent out by the activation evaluation sub-module 22 when the detected activation signature is a valid signature confirmation could be assigned if the user so after an activation gesture also makes a confirmation gesture.

Die Femsteuerangseinrichtung 1 hat weiterhin ein Steuer- und Kommuni- kationsmodul 24. Dieses kommuniziert mit dem Bildauswertemodul 8 über eine Signalverbindung 25. Das Steuerungs- und Kommunikationsmodul 24 generiert abhängig von den ermittelten und ausgewerteten Bewegungswerten und/oder abhängig von den ermittelten und ausgewerteten Entfernungswerten mindestens ein Vorrichtungs-Steuersignal. The Femsteuerangseinrichtung 1 further comprises a control and communication module 24. This communicates with the Bildauswertemodul 8 via a signal connection 25. The control and communication module 24 generates a function of the determined and evaluated movement values ​​and / or depending on the determined and evaluated distance values ​​at least a device control signal. Über eine Schnitt- stelle 26 steht das Steuerungs- und Kommunikationsmodul 24 mit der zu steuernden Vorrichtung 2 in Datenverbindung. Via an interface 26 is the control and communication module 24 to the device to be controlled in 2 data link.

Die Fernsteuerungseimichtung 1 hat weiterhin ein Rückmelde-Modul 27. Dieses kommuniziert mit dem Steuerungs- und Kommunikationsmodul 24 über eine Signalverbindung 28. Das Rückmelde-Modul 27 dient zur Anzeige eines Rückmeldesignals der zu steuernden Vorrichtung 2 an die Femsteuerangseinrichtung 1. Das Rückmeldemodul 27 hat ein Rechner- Untermodul 29, welches aus den von der zu steuernden Vorrichtung 2 er- haltenen Antwortdaten eine Systemrückmeldung berechnet. The Fernsteuerungseimichtung 1 further comprises a feedback module 27. This communicates with the control and communication module 24 via a signal connection 28. The feedback module 27 is used to display a feedback signal of the controlled device 2 to the Femsteuerangseinrichtung 1. The feedback module 27 has a computing sub-module 29, which calculates from the ER maintained by the device to be controlled 2, a response data system feedback. Weiterhin hat das Rückmelde-Modul 27 eine Rückmeide einrichtung 30, bei der es sich um ein Display, um eine oder mehrere Lichtquellen, z. Furthermore, the feedback module 27 has a rear avoidance device 30, wherein it is a display, one or more light sources such. B. in Form einer LED, um eine Lautsprechereinrichtung zur Audiorückmeldung, handeln kann. B., a speaker device for audio feedback to act, in the form of an LED to. Auf dem Display kann zusätzlich noch eine Markierung die Rück- meidung spezifizieren, die als Mauszeiger oder als sonstige Markierung, beispielsweise durch Hervorhebung eines Displayausschnitts durch eine Linsenfunktion oder durch eine virtuelle Wölbung ausgeführt sein kann. On the display a mark may additionally avoiding specify the return that can be implemented as a mouse or other marking, for example by highlighting a display section through a lens function or through a virtual vault.

Ein Signalaustausch zwischen dem Objekt 3 und dem Rückmelde-Modul 27 ist in der Fig. 1 durch einen weiteren Signalweg SW2 dargestellt. A signal exchange between the object 3 and the feedback module 27 is shown in Fig. 1 by a further signal SW2.

Die Femsteuerangseinrichtung 1 hat weiterhin ein Eingabe-Modul 31. Dieses steht über das Rückmelde-Modul 27 mit dem Steuerangs- und Kommunikationsmodul 24 in Signalverbindung. The Femsteuerangseinrichtung 1 further comprises an input module 31. This is via the feedback module 27 to the communication module 24 in Steuerangs- and signal connection. Mit dem Rückmelde-Modul 27 bzw. der Rückmeldeeinrichtung 30 kommuniziert das Eingabe-Modul 31 über eine Signal Verbindung 32. Das Eingabe-Modul 31 dient zur Eingabe von Vorrichtungs-Steuersignalen durch den Benutzer. With the feedback module 27 and the feedback means 30, the input module 31 communicates via a signal connection 32. The input module 31 is used to input device control signals by the user. Bei dem Eingabe- Modul 31 kann es sich um ein interaktives Display mit einem räumlichen Zeiger, mit einer Maus oder mit einer Tastatur handeln. The input module 31 may be an interactive display with a spatial pointer with a mouse or with a keyboard. Das Eingabe- Modul 31 kann auch virtuell in ein Gesichtsfeld des Benutzers eingespiegelt sein. The input module 31 may be virtually reflected into a field of the user. Ein entsprechendes Produkt des Unternehmens brother ® ist unter der Bezeichnung„Airscouter™" bekannt. Ausführangsbeispiele, die sich für das Eingabe-Modul 31 eignen können, sind beschrieben in der US 2009/0002791 AI. Das Eingabe-Modul 31 kann verschiedene Eingabeebenen zur Verfügung stellen, die vom Benutzer nach Wahl durch entsprechende Aktivierungs- Signaturen aktiviert werden können. Diese verschiedenen Eingabeebenen mit entsprechenden Eingabehilfen, beispielsweise in Form von Tastaturen, können nach Art von Orgelmanualen im Raum gestaffelt angeordnet sein. A corresponding product, the company's brother ® is well known under the name "Airscouter ™". Ausführangsbeispiele, which may be suitable for the input module 31, are described in US 2009/0002791 Al. The input module 31 can input various levels available filters, the signatures can be obtained by appropriate choice of activation by the user are activated. These various input levels with corresponding accessibility, for example in the form of keyboards, may be divided in space to the type of organ manuals be disposed.

Die Fernsteuerungseimichtung 1 hat weiterhin ein Beleuchtungs-Modul 33 zur Beleuchtung eines Erfassungsbereiches, in dem das Objekt 3 durch das Kamera-Modul 4 erfassbar ist. The Fernsteuerungseimichtung 1 further comprises a light module 33 for illuminating a detection region in which the object 3 can be detected by the camera module. 4 Das Beleuchtungs-Modul 33 kommuniziert mit dem Kamera- Ansteuermodul 10 über eine Signal Verbindung 33 a. The illumination module 33 communicates with the camera control module 10 via a signal connection 33 a. Das Beleuchtungs-Modul 33 umfasst eine Lichtquelle 34 z. The illumination module 33 comprises a light source 34 eg. B. in Form einer LED. Example in the form of an LED. Das Beleuchtungs-Modul 33 umfasst weiterhin einen Helligkeitssensor 35. Das Beleuchtungs-Modul 33 bewirkt eine Regelung einer Helligkeit des erfassbaren Objektfeldes oder, soweit eine Kommunikation mit dem Ausschnittsvorgabe-Untermodul 17 erfolgt, des vorgegebenen Bildausschnitts. The light module 33 further comprises a light sensor 35. The light module 33 causes a control of a brightness of the detectable object field or, if communication with the cutout setting sub-module 17 is performed, the predetermined image part. Die Helligkeitsregelung erfolgt durch eine über den Helligkeitssensor 35 gesteuerte rückgekoppelte Ansteuerung der Lichtquelle 34. Der Helligkeitssensor 35 kann als Fotodiode ausgeführt sein. The brightness control is effected by a controlled on the brightness sensor 35 feedback control of the light source 34. The brightness sensor 35 may be embodied as a photo diode. Das Beleuch- tungs-Modul 33 kann durch entsprechende Kommunikation mit dem Bildauswertemodul 8 eine gewünschte Kontrastvariation oder auch Kontrastverschiebung durch entsprechende Ansteuerung der Lichtquelle 34 herbeiführen. The lighting tung module 33 may bring about by appropriate communication with the Bildauswertemodul 8 a desired contrast variation or contrast shift by corresponding control of the light source 34th Die Lichtquelle 34 kann eine Beleuchtung mit einer Mehrzahl von Farben herbeiführen. The light source 34 may cause a light having a plurality of colors. Als Farbe wird dabei ein Lichtanteil mit einem Wel- lenlängen- Schwerpunkt bezeichnet. while a portion of light is called a WEL lenlängen- focus as color. Die Wellenlängen dieser Schwerpunkte sind bei verschiedenen Farben voneinander deutlich verschieden. The wavelengths of these focal points are clearly different from each other in different colors. Bei der Lichtquelle 34 kann es sich um eine RGB-Lichtquelle, aber auch um eine Lichtquelle handeln, die Farben aus dem optischen Spektralbereich (VIS) und/oder dem Nahinfrarot- Spektralbereich (NIR) und/oder dem mittleren Infrarotbereich (MIR) emittiert. The light source 34 may be a RGB light source, but also a light source, the colors of the optical spectral region (VIS) and / or the near infrared spectral range (NIR) and / or the mid-infrared (MIR) emitted. Die Lichtquelle 34 kann zwei, drei, vier oder noch mehr Farben emittieren. The light source 34 can emit two, three, four or more colors. Bei der Lichtquelle 34 kann es sich um eine Tageslichtquelle handeln. The light source 34 may be a source of daylight. Die Fernsteuerungseimichtung 1 hat weiterhin ein Rohsignatur- Speicher- Modul 36. In diesem sind Bewegungsparameter- Sets bzw. Signatur-Sets aus zugeordneten Bewegungs werten und/oder Entfernung s werten und diesen Sets zugeordnete Steuersignale in einer Tabelle abgelegt. The Fernsteuerungseimichtung 1 further has a memory module 36. In this Rohsignatur- are cheap Bewegungsparameter- signature sets or sets of associated motion and / or distance s values ​​and these sets stored associated control signals in a table. Das Rohsignatur-Speicher-Modul 36 kommuniziert über eine Signalverbindung 37 mit dem Bildauswertemodul 8 und über eine Signalverbindung 38 mit dem Steuerungs- und Kommunikationsmodul 24. The Rohsignatur memory module 36 communicates via a signal connection 37 with the Bildauswertemodul 8 and via a signal connection 38 with the control and communication module 24th

Die Fernsteuerungseimichtung 1 hat weiterhin ein Komparator-Modul 39, das mit dem Rohsignatur- Speicher-Modul 36 über eine Signal Verbindung 40 kommuniziert. The Fernsteuerungseimichtung 1 further has a comparator module 39, which communicates with the Rohsignatur- memory module 36 via a signal connection 40th Im Komparator-Modul 39 werden Ist- Bewegungsparameter, die mit dem Kamera-Modul 4 erfasst und mit dem Bildauswertemodul 8 ausgewertet werden, mit Soll-Parametern aus dem Rohsignatur- Speicher-Modul 36 verglichen. In the comparator module 39 are the actual movement parameters, which are detected by the camera module 4 and evaluated with the Bildauswertemodul 8, compared with set-parameters from the memory module Rohsignatur- 36th Bei hinreichender Übereinstimmung zwischen den Ist-Bewegungsparametern bzw. den Ist- Signaturen und einem der Soll-Bewegungsparameter bzw. einer Soll-Signatur sendet das Steuerungs- und Kommunikationsmodul 24 ein zugeordnetes Steuersignal über die Schnittstelle 26 an die zu steuernde Vorrichtung 2. Die Rohsignaturen, also die Soll-Bewegungsparameter bzw. die Soll- Signaturen, können einzelnen Bedienergesten entsprechen. Given sufficient correspondence between the actual movement parameters or the actual signatures and one of the desired movement parameter and a target signature, the control and communication module 24 sends an associated control signal via the interface 26 to the controlled device 2. The Rohsignaturen, so the target motion parameters and the target signatures, each operator gestures can match. Im Rohsigna- tur-Speicher-Modul 36 sind diese Rohsignaturen abgelegt mit allen Freiheitsgraden der Rotation und Translation sowie in verschiedener Größenskalierung. In Rohsigna- tur memory module 36 this Rohsignaturen are stored with all the degrees of freedom of rotation and translation as well as in various size scaling. Eine Gestiksteuerung mit der Femsteuerangseinrichtung 1 geschieht folgendermaßen: Der Benutzer, also das bewegte Objekt 3, stellt sich in den Erfassungsbereich des Kamera-Moduls 4 und aktiviert zunächst die zu steuernde Vorrichtung 2 über eine Bewegung bzw. über eine Aktivierungs- geste, was über das Aktivierungs-Untermodul 22 erkannt wird. A gesture control with the Femsteuerangseinrichtung 1 is done as follows: The user, therefore, the moving object 3, is located in the detection area of ​​the camera module 4 and activates the first device to be controlled 2 via a movement or a gesture activation thing about the activation sub-module is detected 22nd Anschließend setzt der Benutzer vorher trainierte oder intuitive Gesten ein, um die Vorrichtung 2 zu steuern. Subsequently, the user sets in advance trained one or intuitive gestures to control the apparatus. 2 Die Bewegungs werte und die Entfernung s werte dieser Gesten werden vom Kamera-Modul 4 erfasst und vom Bildauswertemodul 8 ausgewertet, wie vorstehend bereits erläutert. The motion values ​​and the distance s values ​​of these gestures are recognized by the camera module 4 and evaluated by Bildauswertemodul 8, as already explained above. Das Kamera- Ansteuermodul 10 sorgt neben einer Steuerung der einzelnen Kameras 5, 6 bzw. 5 bis 7 noch für einen Helligkeitsabgleich und kann durch Kommunikation mit dem Ausschnittsvorgabe-Untermodul 17 die Kameras 5, 6 bzw. 5 bis 7 auf mindestens einen vorgegebenen Bildausschnitt scharfstellen oder dessen Beleuchtung optimieren. The camera control module 10 provides in addition to a control of the individual cameras 5, 6 or 5 to 7 or for a brightness adjustment and is able to focus through communication with the cutout setting sub-module 17, the cameras 5, 6 or 5 to 7 on at least one predetermined image section optimize or its illumination.

Neben einer direkten Gestiksteuerung, beispielsweise einem Programmumschalten bei einem Fernseher oder einem Regeln der Lautstärke oder der Bildhelligkeit ist auch eine interaktive Steuerung über das Rückmelde- Modul 27 möglich. In addition to direct gesture control, for example, a program switching at a television or adjust the volume or the brightness and interactive control over the the Feedback module 27 is possible. Hierzu kann der Benutzer durch seine Gestik eine Ein- gabehilfe, die vom Rückmelde-Modul 27 oder vom Eingabe-Modul 31 bereitgestellt wird, mit seiner Gestik steuern, beispielsweise durch entsprechende Fingerzeige Buchstaben anwählen, die auf einer vor ihm in den Raum eingespiegelten Tastatur oder auf einem Bildschirm an der Fernsteu- erangseinrichtung 1 oder an der Vorrichtung 2 angegeben sind. , The user may reproducing help a single by his gestures, provided by the feedback module 27 or from the input module 31, control with his gestures, select letters for example by appropriate pointers, on a reflected-in in front of him into the room keyboard or on a screen at the remote-controlled erangseinrichtung 1 or are given to the apparatus. 2

Die Femsteuerangseinrichtung 1 kann zur Steuerung eines Computers, z. The Femsteuerangseinrichtung 1 can for controlling a computer, for example. B. zur Internetnavigation oder zur Durchführung von Browserspielen genutzt werden. As for Internet navigation or for the execution of browser games are used. Die Femsteuerangseinrichtung 1 kann Bestandteil einer Systemumgebung zur Nutzung erweiterter Realität (augmented reality) sein. The Femsteuerangseinrichtung 1 may be part of a system environment for the use of augmented reality (augmented reality). Hierzu wird die Fernsteuerungseinrichtung 1 an eine Systemsteuerungsumgebung über eine entsprechende Schnittstelle angebunden. For this, the remote control device 1 is connected to a system control environment via an appropriate interface. Eine Internetseite kann per HTML/Javascript oder Browser-Plugins, zB Java, auf SD- Steuereingaben, wie Position, Mittelgeschwindigkeit bzw. Drehrate und Beschleunigung, sowie auf fest definierte Gestiken reagieren. A website can be made via HTML / Javascript or browser plug-ins such as Java, SD respond to control inputs, such as position, speed or middle rotation rate and acceleration, as well as pre-defined gestures. Hierzu werden HTML, Javascript oder die Browser-Plugins um Gestikelemente neben den bereits vorhandenen Sprachelementen zur Eingabe durch Maus und Tastatur erweitert. To this end, HTML, Javascript or browser plug-ins are added to Gestikelemente addition to the already existing language elements for input by mouse and keyboard. Ein vom Kamera-Modul 4 erfassbares Bildvolumen kann vom Rückmelde- Modul 27 und/oder vom Eingabe-Modul 31 in verschiedene Volumenzonen unterteilt werden, z. A detectable by the camera module 4 image volume module can be divided into different zones volume 27 and / or from the input module 31 from the Feedback, z. B, in eine Off-Zone, in eine Pre-Zone, in eine Move-Zone, in eine Klick-Zone oder in eine Post-Zone. B, in an off-zone in a pre-zone, in a move zone in a click-zone or in a post-zone. Die Off-Zone beschreibt einen Bereich beispielsweise vor einer Eingabeebene einer vom Eingabe-Modul 31 eingespiegelten Eingabehilfe in Form einer Tastatur. The off zone describes a range, for example, before an input level of a reflected-from the input module 31 input help in the form of a keyboard. Alle erfassten Bewegungs werte oder Entfernung s werte in der Off-Zone werden von der Femsteuereinrichtung 1 automatisch ignoriert. All recorded motion values ​​or distance s values ​​in the off zone are automatically ignored by the remote control means first Die Off-Zone kann der Bereich sein, der am weitesten von der Einga- beebene entfernt ist, die vom Eingabe-Modul 31 definiert sein kann. The off-zone may be the area that is farthest from the beebene Einga-, which may be defined by the input module 31st

An die Off-Zone grenzt die Pre-Zone. On the off-zone, the pre-zone borders. Hier können erfasste Bewegungswerte und/oder Entfernung s werte in Volumenabschnitten gesammelt werden, die nach Art eines tiefengestaffelten Schachbrettes als Würfel anei- nandergrenzen. Here detected movement values ​​and / or removal can s values ​​are collected in volume sections accre- nandergrenzen as a cube like a deeply staggered chessboard. Aus der Verteilung einer Häufung von Bewegungs werten bzw. Entfernungswerten können Muster mit dem Bildauswertemodul 8 berechnet werden, die zur Orientierung der Position von Teilen des Objekts 3, also beispielsweise von Körperteilen, als dunkler werdende„Schatten" über das eingespiegelte Monitorbild überlagert werden. An die Pre-Zone grenzt die Move-Zone. Die der Eingabeebene lokal am nächsten kommenden sich bewegenden Objekte, beispielsweise der ausgestreckte Finger des Benutzers, werden als in seiner Ausprägung variieren- der Zeiger in der Eingabeebene gekennzeichnet, z. B. als ein mit abnehmendem Abstand zur Eingabeebene kleiner werdender Kreis mit einem im Mittelpunkt befindlichen Pfeil. In dieser Zone wird der Zeiger bewegt, ohne eine Funktion auszulösen. Die Größe des Kreises dient zur Rückkopplung und damit zur Kontrolle der die Gestiken ausführenden Körperteile durch den Benutzer. evaluate the distribution of an accumulation of motion and distance values ​​may be calculated pattern with the Bildauswertemodul 8, which are superimposed to orient the position of parts of the object 3, that is, for example, body parts, as darkening "shadow" on the display mirrored monitor image. An the pre-zone adjoins the Move-zone. the input plane closest locally coming moving objects, such as the outstretched fingers of the user, be as in its expression of the pointer variieren- in the input plane in z. B. than one with decreasing distance from the input level becomes smaller circle with a center located in the arrow. in this zone, the pointer is moved without triggering a function. the size of the circle is used for feedback and thus to control the gestures exporting body parts by the user.

An die Move-Zone grenzt die Klick-Zone. Move to the zone the click-zone borders. Sie liegt im Bereich der virtuellen Eingabeebene. It is located in the area of ​​virtual input level. Aus dem kleiner gewordenen Kreis kann beim Eintreten in die Klick-Zone z. From the now smaller circuit can click upon entering the zone z. B. ein Stern mit begleitetem Klick-Geräusch werden, um das Auslösen eines Steuerbefehls anzuzeigen. For example, be a star with Accompanied clicking sound to indicate the triggering of a control command.

Durch Variation von Bewegungsparametern können unterschiedliche Steuerbefehle ausgelöst werden, die beispielsweise mit den verschiedenen Menübefehlen eines Programmmenüs vergleichbar sind. By varying the motion parameters different control commands can be triggered that are comparable for example with the various menu commands a program menu. Wird die Klick-Zone erreicht und nach einer vorgegeben kurzen Zeitspanne wieder verlassen, wobei zudem nur ein vorgegebener kurzer Weg in der Eingabeebene vom bewegten Teil des Objekts 3 zurückgelegt wird, wird ein entsprechender Steuerbefehl ausgelöst und mit einem Klick-Geräusch bestätigt. If the click zone reaches and leave again after a specified short period of time, and also just a given short path in the input layer is covered by the moving part of the object 3, a corresponding control command is triggered and confirmed with a clicking sound. Bei längerem Verharren in der Eingabeebene kann ein anderer Steuerbefehl ausge- löst werden, was auch mit einer Überwachung der Move-Zone kombiniert werden kann. With long-term persistence in the entry level is a different command can be triggered, which can also be combined with monitoring of the Move-zone.

Werden mehrere, die Gestik ausführende Körperteile in der Eingabeebene erfasst, können die erfassten Kombinationen der Bewegungen dieser Kör- perteile weitere Steuerbefehle auslösen, beispielsweise ein Zoomen, ein Drehen eines dargestellten Objekts oder ein vertikales oder horizontales Scrollen. If a plurality of detected gestures exporting body parts in the input plane, the detected combinations of the movements of these parts of the body can trigger further control commands, such as zooming, rotation of an object represented or a vertical or horizontal scrolling. Hinter der Klick-Zone, also von der Move-Zone abgewandt, befindet sich die Post-Zone. Behind the click-zone, so remote from the Move-Zone, there is the post-zone. Diese kann erfasst werden, um weitere Steuerbefehle durch die entsprechende Auswertung durch das Bildauswertemodul 8 auszulösen. This can be detected to initiate other control commands by the corresponding evaluation by the Bildauswertemodul. 8 Es kann beispielsweise zwischen horizontalem und vertikalem Scrollen unterschieden werden. It can, for example, to distinguish between horizontal and vertical scrolling.

Die vorstehend erläuterte Zonenstaffelung definiert sich ausgehend vom Kamera-Modul 4. Wenn das Kamera-Modul 4 nicht dem Benutzer gegenüberliegend angeordnet, sondern benutzerseitig angeordnet ist und von diesem mitgeführt wird, ergibt sich eine entsprechende Zonenstaffelung. The above-described zone defined graduation, starting from the camera module 4. When the camera module 4 is not mounted to the user opposite, but is arranged to use each other and carried by this, there is a corresponding zone graduation.

Fig. 2 zeigt ein Schnittstellen-Modul 41 zur Kommunikation zwischen den verschiedenen Modulen der Fernsteuerungseimichtung 1, beispielsweise zur Kommunikation zwischen dem Bildauswertemodul 8 und dem Steuerungs- und Kommunikationsmodul 24 oder zwischen dem Steuerungs- und Kommunikationsmodul 24 und dem Rückmelde-Modul 27, oder zumindest zwischen einem der Module der Fernsteuerung seinrichtung 1 und einer externen Vorrichtung, beispielsweise der Vorrichtung 2. Komponenten, die denjenigen entsprechen, die vorstehend unter Bezugnahme auf die Fig. 1 bereits erläutert wurden, tragen die gleichen Bezugsziffern und werden nicht nochmals im Einzelnen diskutiert. Fig. 2 shows an interface module 41 for communication between the various modules of the Fernsteuerungseimichtung 1, for example for communication between the Bildauswertemodul 8 and the control and communication module 24 or between the control and communication module 24 and the feedback module 27, or at least between one of the modules of the remote control seinrichtung 1 and an external device such as the device 2. components corresponding to those which have already been explained above with reference to FIG. 1 bear the same reference numerals and will not be discussed again in detail. Dargestellt ist in der Fig. 2 das Schnittstellen-Modul zur Kommunikation zwischen dem Bildauswerte- Modul 8 und dem Steuerungs- und Kommunikationsmodul 24. Anstelle des Bildauswerte-Moduls 8 kann auch die zu steuernde Vorrichtung 2 tre- ten. Das Schnittstellen-Modul 41 kann beispielsweise anstelle der Schnittstelle 26 der Fernsteuerungseinrichtung 1 zum Einsatz kommen. is shown in FIG. 2, the interface module for communication between the image evaluation module 8 and the control and communication module 24. Instead of the image evaluation module 8 and the device to be controlled can TRE 2 th. The interface module 41 can are used, for example, instead of the interface 26 of the remote control device. 1

Das Schnittstellen-Modul 41 kommuniziert über eine Signalverbindung 42 mit dem Bildauswertemodul 8 und über eine Signalverbindung 43 mit dem Steuerungs- und Kommunikationsmodul 24. The interface module 41 communicates via a signal connection 42 with the Bildauswertemodul 8 and via a signal connection 43 with the control and communication module 24th

Das Schnittstellen-Modul 41 hat einen Datenspeicher 44. In diesem sind Bewegungsparameter-Sets aus zugeordneten Bewegungs werten und/oder Entfernung s werten abgelegt. The interface module 41 has a data memory 44. In this values ​​are motion parameter sets from the associated motion and / or distance s stored values. Weiterhin sind im Datenspeicher 44 diesen Sets zugeordnete Steuersignale abgelegt. Furthermore, these sets associated control signals are stored in the data memory 44th Die Zuordnung der Sets und der Steuerungssignale erfolgt durch Ablage in einer Tabelle. The assignment of the sets and the control signals is made by filing in a table.

Das Schnittstellen-Modul 41 hat weiterhin ein Komparator-Untermodul 45. Letzteres kommuniziert mit dem Datenspeicher 44 über eine Signalverbindung 46. Im Komparator-Untermodul 45 werden Ist-Bewegungsparameter, die dem Schnittstellen-Modul 41 über die Signal Verbindung 42 zugeleitet werden, mit Soll-Bewegungsparametern aus dem Datenspeicher 44 verglichen. The interface module 41 further has a comparator sub-module 45. The latter communicates with the data memory 44 via a signal connection 46. In the comparator sub-module 45 are actual movement parameters, which are fed to the interface module 41 via the signal connection 42, with predetermined -Bewegungsparametern compared from the data memory 44th

Das Schnittstellen-Modul 41 hat weiterhin ein Kommunikations- Untermodul 47. Dieses kommuniziert mit dem Komparator-Untermodul 45 über eine Signalverbindung 48. Das Kommunikations-Untermodul 47 sendet bei hinreichender Übereinstimmung zwischen dem Ist- Bewegungsparameter und einem der Soll-Bewegungsparameter das im Datenspeicher 44 zugeordnete Steuersignal über die Signal Verbindung 43 an das Steuerungs- und Kommunikationsmodul 24 der Femsteuerangseinrich- tung 1 oder an die zu steuernde Vorrichtung 2. Das Schnittstellen-Modul 41 kann in die Softwareumgebung eines Browsers integriert sein. The interface module 41 further has a communication submodule 47. This communicates with the comparator sub-module 45 via a signal connection 48. The communication sub-module 47 sends a sufficient match between the actual movement parameter and one of the desired movement parameter which in the data memory 44 associated control signal via the signal connection 43 to the control and communication module 24 of the Femsteuerangseinrich- device 1 or the device to be controlled 2. the interface module 41 may be integrated into the software environment of a browser. Das Komparator-Untermodul 45 kann eine statistische Auswertung betreiben, wie dies vorstehend im Zusammenhang mit der Fernsteuerung seinrichtung 1 nach Fig. 1 bereits erläutert wurde. The comparator sub-module 45 can run a statistical analysis as seinrichtung in connection with the remote control has already been explained above, 1 in FIG. 1.

Das Schnittstellen-Modul 41 kann mit einem standardisierten Bewegungsparameter-Set universell eingesetzt werden und eine Gestik- Kommunikation mit verschiedenen Endgeräten ermöglichen. The interface module 41 can be universally used with a standardized motion parameter set and enable gesture communication with various devices.

Claims

Patentansprüche claims
1. Fernsteuerungseinrichtung (1) zur Steuerung einer zu steuernden Vorrichtung (2) anhand eines Bewegungsmusters und/oder eines Entfer- nungsmusters mindestens eines bewegten Objektes (3), 1. Remote control device (1) for controlling a device to be controlled (2) on the basis of a movement pattern and / or a distance-pattern of at least one moved object (3),
mit einem Kamera-Modul (4) zum Empfang eines Stereobildes und zur Erfassung des bewegten Objektes; with a camera module for receiving a stereo image and for recording the moving object (4.);
mit einem Bildauswertemodul (8), welches mit dem Kamera- Modul (4) in Signal Verbindung steht; with a Bildauswertemodul (8), which is in signal communication with the camera module (4);
-- mit einem Bewegungs-Auswerte-Untermodul (14), welches aus erfassten Kamera- Signaldaten Bewegung s werte zum er- fassten Objekt (3) ermittelt; - with a motion evaluation sub-module (14), which determines from the detected camera movement signal data s values ​​to the detected object (3);
-- mit einem Entfernungs-Auswerte-Untermodul (15), welches aus den erfassten Kamera- Signaldaten Entfernung s werte zum erfassten Objekt (3) ermittelt, - having a removal evaluation sub-module (15), which determines from the detected signal data camera distance s values ​​to the detected object (3),
mit einem Steuerungs- und Kommunikationsmodul (24), welches mit dem Bildauswertemodul (8) in Signalverbindung steht und abhängig von den ermittelten Bewegungs werten und/oder abhängig von den ermittelten Entfernung s werten mindestens ein Vorrich- tungs-Steuersignal generiert und an die zu steuernde Vorrichtung generated with a control and communication module (24), which engages with the Bildauswertemodul (8) in signal communication and dependent values ​​of the detected motion and / or depending on the determined distance s worth at least one Vorrich- tung control signal and to be controlled to the device
(2) sendet. (2) is transmitting.
2. Femsteuemngseinrichtung nach Anspruch 1, gekennzeichnet durch ein Kamera-Modul (4) mit mindestens drei Kameras (5 bis 7). 2. Femsteuemngseinrichtung according to claim 1, characterized by a camera module (4) with at least three cameras (5 to 7).
3. Femsteuemngseinrichtung nach Anspruch 1 oder 2. dadurch gekennzeichnet, dass das Bildauswertemodul (8) ein Helligkeits-Auswerte- Untermodul (16) aufweist, welches aus den erfassten Kamera- Signaldaten Kontrastwerte und/oder Farbwerte zu dem erfassten Objekt (3) ermittelt. 3. Femsteuemngseinrichtung according to claim 1 or 2, characterized in that the Bildauswertemodul (8), a brightness evaluation sub-module (16) which determines from the detected camera signal data contrast values ​​and / or color values ​​to the detected object (3).
Femsteuemngseimichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Bildauswertemodul (8) ein Ausschnittsvorgabe-Untermodul (17) aufweist, welches aus erfassten Roh-Kamera- Signaldaten einen Bildausschnitt eines vom Kamera-Modul (4) insgesamt erfassbaren Bildbereiches auswählt und vorgibt, dessen Kamera- Signaldaten einer weiteren Auswertung unterzogen werden. Femsteuemngseimichtung according to any one of claims 1 to 3, characterized in that the Bildauswertemodul (8) a cut-setting sub-module (17), comprising which camera- raw signal data an image section selects one of the detected one from the camera module (4) Whole detectable image area and pretends the camera signal data are subjected to further evaluation.
Femsteuemngseimichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Bildauswertemodul (8) ein Bildfehler- Auswerte-Untermodul (20) aufweist, welches aus den erfassten Kamera-Signaldaten Abbildungsfehler ermittelt. Femsteuemngseimichtung according to any one of claims 1 to 4, characterized in that the Bildauswertemodul (8) Evaluation sub-module (20), which determines from the detected camera-signal data aberration a Bildfehler-.
Femsteuemngseimichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Bildauswertemodul (8) ein Textur- Auswerte-Untermodul (21) aufweist, welches aus den erfassten Kamera-Signaldaten Texturen ermittelt. Femsteuemngseimichtung according to any one of claims 1 to 5, characterized in that the Bildauswertemodul (8), having a texture evaluation sub-module (21) which determines from the detected camera-signal data textures.
Femsteuemngseimichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Bildauswertemodul (8) ein Aktivierungs- Auswerte-Untermodul (22) mit einem Datenspeicher (23) aufweist, welches aus den erfassten Kamera- Signaldaten eine Objekt- Signatur ermittelt und diese mit einer im Datenspeicher (23) gespeicherten Aktivierungs-Signatur vergleicht, wobei bei hinreichender Übereinstimmung der ermittelten Objekt- Signatur mit der Aktivierungs-Signatur ein Aktiviemngs-Signal an das Steuemngs- und Kommunikationsmo- dul (24) zur Aktivierung der zu steuernden Vorrichtung (2) gesendet wird. Femsteuemngseimichtung according to any one of claims 1 to 6, characterized in that the Bildauswertemodul (8) has an activation evaluation sub-module (22) having a data memory (23) having an object signature is determined from the recorded camera signal data and with a stored in the data memory (23) activation compares signature, wherein, in a sufficient match the determined object signature with the signature activation Aktiviemngs a signal to the Steuemngs- and communication module (24) to enable the device to be controlled (2) is sent.
8. Fernsteuerungseinrichtung nach einem der Ansprüche 1 bis 7, gekenn- zeichnet durch ein Rückmelde-Modul (27), welches mit dem Steue- rungs- und Kommunikationsmodul (24) in Signalverbindung steht, zur Anzeige eines Rückmeldesignals der zu steuernden Vorrichtung (2) und/oder des bewegten Objektes (3) an die Fernsteuerungseimichtung 8. Remote control device according to one of claims 1 to 7 marked, characterized by a feedback module (27) which rungs- with the Steue- and communication module (24) is in signal communication, the display of a feedback signal of the device to be controlled (2) and / or the moving object (3) to the Fernsteuerungseimichtung
(1)· (1)·
9. Fernsteuerungseimichtung nach einem der 1 bis 8, gekennzeichnet durch ein Kamera- Ansteuerungsmodul (10), welches mit dem Kamera-Modul (4) und dem Steuerungs- und Kommunikationsmodul (24) in Signalverbindung steht, wobei das Steuerungs- und Kommunikations- modul (24) abhängig von den ermittelten Bewegungs werten und/oder anhängig von den ermittelten Entfernung s werten mindestens ein Kamera-Steuersignal generiert und an das Kamera-Modul (4) sendet. 9. Fernsteuerungseimichtung according to one of 1 to 8, characterized by a camera control module (10), which and the control and communication module (24) is in signal communication with the camera module (4), wherein the control and communication module (24) values ​​depending on the determined motion and / or pending from the determined distance values ​​s at least one camera control signal generated and sends to the camera module (4).
10. Fernsteuerungseimichtung nach einem der Ansprüche 1 bis 9, gekenn- zeichnet durch ein anhand des Bewegungsmusters und/oder des Entfernung smusters des bewegten Objektes (3) betätigbares Eingabe- Modul (31), welches mit dem Steuerungs- und Kommunikationsmodul (24) in Signal Verbindung steht, zur Eingabe von Vorrichtungs- Steuersignalen über eine Bewegung des Objektes (3). 10. Fernsteuerungseimichtung according to one of claims 1 to 9 marked, characterized by a reference to the movement pattern and / or the distance smusters of the moving object (3) operable input module (31) connected to the control and communication module (24) in signal connection is, for the input of control signals fixture via a movement of the object (3).
11. Fernsteuerungseimichtung nach einem der Ansprüche 1 bis 9, gekennzeichnet durch ein Beleuchtungs-Modul (33) zur Beleuchtung eines Erfassungsbereiches, in dem das bewegte Objekt (3) durch das Kamera-Modul (4) erfassbar ist. 11. Fernsteuerungseimichtung according to one of claims 1 to 9, characterized by a light module (33) for illuminating a detection region in which the moving object (3) is detectable by the camera module (4). Fernsteuerungseinrichtung nach Anspruch 11, dadurch gekennzeichnet, dass das Beleuchtungs-Modul (33) eine Lichtquelle (34) mit einer Mehrzahl emittierter Farben aufweist. Remote control device according to claim 11, characterized in that the light module (33) comprising a light source (34) having a plurality of emitted colors.
Femsteuerangseinrichtung nach einem der Ansprüche 1 bis 12, gekennzeichnet durch ein Rohsignatur- Speicher-Modul (36), in dem Bewegungsparameter-Sets aus zugeordneten Bewegungs werten und/oder Entfernung s werten und diesen Sets zugeordnete Steuersignale in einer Tabelle abgelegt sind, (36) values ​​Femsteuerangseinrichtung according to one of claims 1 to 12, characterized by a Rohsignatur- memory module in the motion parameters sets of associated motion and / or distance s values ​​and these sets associated control signals are stored in a table,
mit einem Komparator-Modul (39), in dem Ist- Bewegungsparameter, die mit dem Kamera-Modul (4) und dem Bildauswertemodul (8) erfasst werden, mit Soll- Bewegungsparametern aus dem abgelegten Rohsignatur- Speicher- Modul (36) verglichen werden, are connected to a comparator module (39), in the actual movement parameters, which are the Bildauswertemodul with the camera module (4) and (8) is detected, compared with desired motion parameters from the stored Rohsignatur- storage module (36) .
wobei das Steuerungs- und Kommunikationsmodul (24) bei hinreichender Übereinstimmung zwischen dem Ist-Bewegungsparameter und einem der Soll-Bewegungsparameter das zugeordnete Steuersignal an die zu steuernde Vorrichtung (2) sendet. wherein the control and communication module (24) when a sufficient match between the actual movement parameter and one of the desired movement parameter sends the associated control signal to the device to be controlled (2).
Schnittstellen-Modul (41) zur Kommunikation zwischen den Modulen einer Fernsteuerungseimichtung (1) nach einem der Ansprüche 1 bis 13 oder zwischen zumindest einem der Module der Fernsteuerungseinrichtung (1) und einer externen Vorrichtung (2), Interface module (41) for communication between the modules a Fernsteuerungseimichtung (1) according to one of Claims 1 to 13, or between at least one of the modules of the remote control device (1) and an external device (2),
mit einem Datenspeicher (44), in dem with a data memory (44), in which
-- Bewegungsparameter-Sets aus zugeordneten Bewegungswerten und/oder Entfernung s werten und - motion parameter sets s evaluate associated motion values ​​and / or removal and
-- diesen Sets zugeordnete Steuersignale - these sets associated control signals
-- in einer Tabelle abgelegt sind, mit einem Komparator-Untermodul (45), in dem Ist-Bewegungsparameter, die dem Schnittstellen-Modul (41) zugeleitet werden, mit Soll-Bewegungsparametern aus den im Datenspeicher (44) abgelegten Bewegungsparameter-Sets verglichen werden, mit einem Kommunikations-Untermodul (47), welches bei hinreichender Übereinstimmung zwischen dem jeweiligen Ist- Bewegungsparameter und einem der Soll-Bewegungsparameter das in der Tabelle zugeordnete Steuersignal an das Modul (8; 24) der Femsteuerangseinrichtung (1) oder an die externe Vorrichtung (2) sendet. - are stored in a table, with a comparator sub-module (45), in the actual movement parameters, the interface module are fed to (41), compared with desired motion parameters from the stored in the data memory (44) movement parameter sets be, with a communication sub-module (47), which given sufficient correspondence between the respective actual motion parameters and the desired movement parameter, the associated in the table control signal to the module (8; 24) of the Femsteuerangseinrichtung (1) or to the external device (2) sends.
EP11811028.7A 2011-01-12 2011-12-23 Remote-control device and interface module for controlling an apparatus on the basis of a moving object Withdrawn EP2663909A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102011002577A DE102011002577A1 (en) 2011-01-12 2011-01-12 Remote control device for controlling a device based on a moving object and interface module for communication between modules of such a remote control device or between one of the modules and an external device
PCT/EP2011/073990 WO2012095258A1 (en) 2011-01-12 2011-12-23 Remote-control device and interface module for controlling an apparatus on the basis of a moving object

Publications (1)

Publication Number Publication Date
EP2663909A1 true EP2663909A1 (en) 2013-11-20

Family

ID=45509425

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11811028.7A Withdrawn EP2663909A1 (en) 2011-01-12 2011-12-23 Remote-control device and interface module for controlling an apparatus on the basis of a moving object

Country Status (6)

Country Link
US (1) US9451237B2 (en)
EP (1) EP2663909A1 (en)
JP (1) JP2014509103A (en)
KR (1) KR20140027931A (en)
DE (1) DE102011002577A1 (en)
WO (1) WO2012095258A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202013101825U1 (en) * 2013-04-26 2014-07-29 Zumtobel Lighting Gmbh HMI device for the control of lights, blinds and / or air conditioners
JP5800249B2 (en) * 2013-06-21 2015-10-28 カシオ計算機株式会社 Imaging apparatus, photographing condition setting method, and program
DE102014201313A1 (en) 2014-01-24 2015-07-30 Myestro Interactive Gmbh Method for detecting a movement path of at least one moving object within a detection area, method for gesture recognition using such a detection method, and device for carrying out such a detection method
KR20160146037A (en) * 2015-06-11 2016-12-21 삼성전자주식회사 Method and apparatus for changing focus of camera
DE102018213976A1 (en) 2017-08-22 2019-02-28 Myestro Interactive Gmbh Apparatus for measuring a distance of an object to a sensor

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3522317B2 (en) 1993-12-27 2004-04-26 富士重工業株式会社 Travel guide device for vehicles
US6204852B1 (en) 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface
JP2000331170A (en) * 1999-05-21 2000-11-30 Atr Media Integration & Communications Res Lab Hand motion recognizing device
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
JP2003316510A (en) * 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> Display device for displaying point instructed on display screen and display program
DE10229336A1 (en) 2002-06-29 2004-01-15 Robert Bosch Gmbh Method and device for calibrating image sensor systems
JP2004187125A (en) 2002-12-05 2004-07-02 Sumitomo Osaka Cement Co Ltd Monitoring apparatus and monitoring method
JP4035610B2 (en) * 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 Interface device
DE102004044999A1 (en) * 2004-09-16 2006-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Input control for devices
EP1645944B1 (en) 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP2006209563A (en) 2005-01-31 2006-08-10 Victor Co Of Japan Ltd Interface device
WO2007023946A1 (en) 2005-08-26 2007-03-01 Brother Kogyo Kabushiki Kaisha Light scan device, image display device, and retina scan type image display device
WO2010030822A1 (en) * 2008-09-10 2010-03-18 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
JP2007264832A (en) * 2006-03-27 2007-10-11 Toshiba Corp Mobile robot and image correction method in mobile robot
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
DE102006053837A1 (en) 2006-11-14 2008-05-15 Robert Bosch Gmbh Integrated circuit
JP5147933B2 (en) * 2007-04-15 2013-02-20 エクストリーム リアリティー エルティーディー. Man-machine interface device system and method
WO2008137708A1 (en) 2007-05-04 2008-11-13 Gesturetek, Inc. Camera-based user input for compact devices
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
DE102008001451A1 (en) 2008-04-29 2009-11-05 Robert Bosch Gmbh Camera and method for controlling a camera
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
DE102009012758A1 (en) 2009-03-12 2010-09-16 Hella Kgaa Hueck & Co. Device and method for detecting at least one object
JP5187280B2 (en) * 2009-06-22 2013-04-24 ソニー株式会社 Operation control device and operation control method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2012095258A1 *

Also Published As

Publication number Publication date
US9451237B2 (en) 2016-09-20
DE102011002577A1 (en) 2012-07-12
KR20140027931A (en) 2014-03-07
JP2014509103A (en) 2014-04-10
WO2012095258A1 (en) 2012-07-19
US20130293685A1 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
CN1143205C (en) Interactive display system
US9165468B2 (en) Video based intelligent vehicle control system
JP4764832B2 (en) Apparatus and method for optical input device
US6108033A (en) Method and system monitoring video image by updating template image
CA2519737C (en) Apparatus and method for performing motion capture using shutter synchronization
CA2748497C (en) Standard gestures
US7324682B2 (en) System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
US8395620B2 (en) Method and system for tracking of a subject
EP1041532A2 (en) Method and Apparatus for calibrating a computer-generated projected image
KR100490972B1 (en) Method and device for real-time detection, location and determination of the speed and direction of movement of an area of relative movement in a scene
US9891716B2 (en) Gesture recognition in vehicles
US20110304650A1 (en) Gesture-Based Human Machine Interface
US20020097247A1 (en) Image processor, image processing method, recording medium, computer program and semiconductor device
US9058058B2 (en) Processing of gesture-based user interactions activation levels
JP5297486B2 (en) Device for detecting and tracking the eye and its gaze direction
EP1731366A1 (en) Apparatus and method for displaying images
CN101866215B (en) Human-computer interaction device and method adopting eye tracking in video monitoring
US8760432B2 (en) Finger pointing, gesture based human-machine interface for vehicles
EP0949513A2 (en) Virtual reality technology
DE4406668C2 (en) Method and apparatus for operating a touch-sensitive display device
CN1157694C (en) Method and apparatus for detecting drowsiness
US9916009B2 (en) Non-tactile interface systems and methods
KR20140140109A (en) Image Recognition Apparatus, Operation Evaluation Method, and Program
US9965062B2 (en) Visual enhancements based on eye tracking
US20080231805A1 (en) Method and Circuit Arrangement for Recognising and Tracking Eyes of Several Observers in Real Time

Legal Events

Date Code Title Description
17P Request for examination filed

Effective date: 20130730

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (to any country) (deleted)
17Q First examination report despatched

Effective date: 20170524

18D Application deemed to be withdrawn

Effective date: 20171205