DE10010874A1 - Layout for detecting a display device emitting light in an invisible spectral range uses interactive video projection to depict a user surface on a projection surface. - Google Patents

Layout for detecting a display device emitting light in an invisible spectral range uses interactive video projection to depict a user surface on a projection surface.

Info

Publication number
DE10010874A1
DE10010874A1 DE2000110874 DE10010874A DE10010874A1 DE 10010874 A1 DE10010874 A1 DE 10010874A1 DE 2000110874 DE2000110874 DE 2000110874 DE 10010874 A DE10010874 A DE 10010874A DE 10010874 A1 DE10010874 A1 DE 10010874A1
Authority
DE
Germany
Prior art keywords
pointing device
infrared light
camera
spectral range
triggered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE2000110874
Other languages
German (de)
Inventor
Lars Bala
Ender Oezguer
Kay Talmi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE2000110874 priority Critical patent/DE10010874A1/en
Publication of DE10010874A1 publication Critical patent/DE10010874A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

A user surface (BOF) is depicted on a projection surface (PF). Before the user surface created by a computer (R) can be operated interactively, a single calibration is performed. A display device (ZS) is moved in sequence to marked spots projected by a projector (P) and these are activated equivalent to fields having a control function. This allows replacement of keyboard, mouse, touch screen or digitizing tablet.

Description

Im Rahmen der Mensch-Maschine-Interaktion ist es wünschenswert, wenn mittels eines Rechners, ein Zeigegerät durch Techniken der digitalen Bildanalyse erkannt werden kann. Genügt diese Erkennung einer Echtzeitanforderung, so können (Teil-)Bewegungen des Zeigegerätes detektiert werden. Eine mögliche Anwendung ist eine Projektion einer von einem Rechner erzeugten Benutzeroberfläche auf einen vorgebbaren Bereich. Der Benutzer agiert auf der Benutzeroberfläche berührungslos, indem er mit dem Zeigegerät auf eine Kontrollfläche zeigt.In the context of human-machine interaction, it is desirable if using a Computer, a pointing device can be recognized by techniques of digital image analysis. If this recognition of a real-time requirement is sufficient, (partial) movements of the Pointing device can be detected. A possible application is a projection of one of user interface generated on a computer to a predeterminable area. The user acts without contact on the user interface by pointing at a Control area shows.

Würde die Auswertung der Zeigerstabposition im sichtbaren Spektralbereich erfolgen, ergeben sich als Probleme, dass zum einen die Projektion von dem Zeigegerät unterschieden werden muss, zum anderen die Farben des Hintergrunds, auf den die Projektion erfolgt, und der Grad der Umgebungshelligkeit die Detektion deutlich erschweren bis unmöglich machen können.If the pointer position was evaluated in the visible spectral range, Problems arise that, on the one hand, the projection differs from the pointing device the colors of the background onto which the projection is made, and the degree of ambient brightness makes detection significantly more difficult or impossible can.

Die Aufgabe der Erfindung besteht darin, eine Detektion eines in einen projizierten Bereich eingebrachten Zeigegerätes zu ermöglichen, wobei vermieden wird, dass sich Projektion und Aufnahme gegenseitig beeinflussen.The object of the invention is to detect a projected area to allow introduced pointing device, whereby it is avoided that projection and Mutually influence reception.

Diese Aufgabe wird gemäß den Merkmalen des Patentanspruchs 1 gelöst.This object is achieved in accordance with the features of patent claim 1.

Um ein Zeigegerät in einem vorgebbaren Bereich zu detektieren, emittiert das Zeigegerät zu diesem Zweck Wellen, deren Wellenlänge im nichtsichtbaren Spektralbereich liegen. Eine Empfangseinrichtung ist speziell für eine den Wellen entsprechenden nichtsichtbaren Spektralbereich abgeglichen und nimmt demnach nur Wellen in diesem Spektrum auf. Die von der Empfangseinrichtung aufgenommenen Wellen können mittels eines Erkennungsalgorithmus entdeckt werden, wodurch eine exakte Positionsbestimmung des Zeigegerätes ermöglicht wird.In order to detect a pointing device in a predeterminable range, the pointing device emits for this purpose waves whose wavelength is in the invisible spectral range. A The receiving device is specially designed for an invisible one corresponding to the waves Adjusted spectral range and therefore only records waves in this spectrum. The waves picked up by the receiving device can be by means of a Detection algorithm can be discovered, which enables an exact position determination of the Pointing device is enabled.

Eine Weiterbildung der Erfindung besteht darin, eine Infrarotlichtquelle zur Emission der Wellen im nicht sichtbaren Spektralbereich zu verwenden. Dabei kann die Infrarotlichtquelle als mindestens eine Infrarotleuchtdiode oder mindestens eine Glühbirne mit vorgeschaltetem Infrarotfilter realisiert sein.A further development of the invention consists of an infrared light source for emitting the To use waves in the invisible spectral range. The infrared light source as at least one infrared light-emitting diode or at least one light bulb with an upstream Infrared filter can be realized.

Zweckmäßig ist es, als Empfangseinrichtung einen optischen Flächensensor in Form einer Videokamera, beispielsweise eine CCD-Kamera oder eine CMOS-Kamera, zu verwenden.It is expedient to use an optical area sensor in the form of a To use video camera, for example a CCD camera or a CMOS camera.

Bei Verwendung einer Infrarotlichtquelle ist es vorteilhaft, die Kamera mit einem optischen Bandpaßfilter, das nur für Infrarotlicht transmittiv ist, auszugestalten, um die unter Umständen vorhandene Störstrahlung außerhalb des Spektralbereiches der Infrarotlichtquelle zu unterdrücken.When using an infrared light source, it is advantageous to use an optical camera Bandpass filter, which is only transmissive for infrared light, to design the below Possible interference radiation outside the spectral range of the infrared light source to suppress.

Eine weitere zweckmäßige Anwendung besteht darin, die Kamera, falls Infrarotleuchtdioden als Infrarotlichtquelle benutzt werden, mit einem Sensor zu versehen, der nur im speziellen Spektralbereich der Infrarotleuchtdioden empfindlich ist.Another useful application is the camera, if infrared LEDs to be used as an infrared light source, to be provided with a sensor that is only special Spectral range of the infrared light emitting diodes is sensitive.

Zum effektiven Diskriminieren der Infrarotleuchtdiode von in dem gleichen Spektralbereich liegender, weniger intensiven Störstrahlung ist es zweckmäßig, dass die Erfassungseinrichtung ein Schwellwertfilter aufweist, mit dem Bereiche mit einer vorbestimmten niedrigen Grenzstrahlungsintensität gegenüber Bereichen mit höherer Strahlungsintensität unterdrückbar sind.For effectively discriminating the infrared light emitting diode from in the same spectral range lying, less intense interference radiation, it is appropriate that the Detection device has a threshold filter, with the areas with a predetermined low limit radiation intensity compared to areas with higher Radiation intensity can be suppressed.

Schließlich ist es vorteilhaft, wenn eine Einheit, welche die Wellen im nicht sichtbaren Spektralbereich aussendet mit der Empfangseinrichtung in etwa auf der gleichen optischen Achse liegt. Um auch bei ungünstigen Aufnahmebedingungen für die Erfassungseinrichtung eine verhältnismäßig hohe Ortsauflösung zu erzielen, ist es zweckmäßig, dass die Erfassungseinrichtung eine Transformationsbestimmungseinheit aufweist, mit der Koordinatentransformationsparameter zum Umrechnen von Bildpunkten eines verzerrten Bildes der oder jeder Schaltfläche auf ein Standardkoordinatensystem bestimmbar sind. Zum weiteren Erhöhen der Ortsauflösung ist es zweckmäßig, dass die Erfassungseinrichtung ein Schwerpunktbestimmungsmodul aufweist, mit dem der geometrische Mittelpunkt des emittierten Infrarotlichtes bestimmbar ist.Finally, it is advantageous if a unit, which the waves in the invisible Spectral range emits with the receiving device approximately on the same optical Axis lies. In order even with unfavorable recording conditions for the detection device to achieve a relatively high spatial resolution, it is appropriate that the Detection device has a transformation determination unit with which Coordinate transformation parameters for converting the pixels of a distorted one Image of the or each button on a standard coordinate system can be determined. To the to further increase the spatial resolution, it is expedient for the detection device to  Center of gravity determination module with which the geometric center of the emitted infrared light can be determined.

Zweckmäßig ist ein Verfahren zum Betrieb der Erfindung derart, dass auf den Bereich im Videobild, das von einem Rechner generiert wird und über mindestens ein Feld bzw. Schaltfläche mit einer Kontrollcharakteristik verfügt, projiziert wird. In diesem projizierten Bereich wird das Zeigegerät bewegt und das Auslösen der Kontrollfunktion wird erreicht, indem das Zeigegerät über einen Auslösemechanismus, vorzugsweise mittels eines Schalters, aktiviert wird oder für eine vorgegebene Zeitdauer auf dem mit der Kontrollcharakteristik verknüpften Feld verharrt. Wird das Zeigegerät über einen Auslösemechanismus aktiviert, so wird die Kontrollfunktion des Feldes unmittelbar an der erkannten Position des Zeigegerätes ausgelöst. Wird das Zeigegerät von einer Kontrollfläche zu nächsten bewegt, ist dieser üblicherweise deaktiviert und wird somit von der Erfassungseinheit nicht detektiert.A method for operating the invention is expedient such that the area in the Video image generated by a computer and over at least one field or Button with a control characteristic is projected. In this projected The pointing device is moved and the control function is triggered, by the pointing device being triggered, preferably by means of a switch, is activated or for a predetermined period of time on the with the control characteristic linked field persists. If the pointing device is activated via a trigger mechanism, so the control function of the field is immediately at the recognized position of the pointing device triggered. If the pointing device is moved from one control area to the next, this is Usually deactivated and is therefore not detected by the detection unit.

In einer Abwandlung der Ausgestaltung des Zeigegerätes ist anstelle eines Manipulationsschalters zum Aktivieren des Zeigegerätes die Integration eines Annäherungsdetektors bzw. drucksensitiver Schalters in das Zeigegerät vorgesehen. Wird das Zeigegerät nah an die Projektionsoberfläche geführt oder berührt das Zeigegerät die Projektionsfläche, so wird das Zeigegerät aktiviert.In a modification of the design of the pointing device instead of one Manipulation switch for activating the pointing device integrating a Proximity detector or pressure-sensitive switch provided in the pointing device. Will that Pointing device close to the projection surface or touches the pointing device Projection surface, the pointing device is activated.

In einer Weiterbildung der Ausgestaltung des Zeigegerätes ist die Integration eines zusätzlichen Manipulationsschalters vorgesehen. Bei Aktivierung eines Modulationsmodus durch den zusätzlichen Manipulationsschalter, wird die Lichtquelle derart zeitlich moduliert, dass eine Zustandsänderung der Lichtquelle zwischen einer maximalen und einer im wesentlichen einer Nullintensität entsprechenden minimalen Intensität stattfindet. Dabei besitzt die Erfassungseinheit ein Plausibilitätsmodul, welches mittels einer Zeitanalyse das kontinuierliche Emittieren der Lichtwellen des Zeigegerätes von intensitätsmodulierten Emittieren der Lichtwellen separiert um den aktuellen Zustand und die Position des Zeigegerätes zu bestimmen. Abhängig vom erkannten Zustand und der Position, wird die Kontrollcharakteristik des entsprechenden Feldes, über dem sich das Zeigegerät befindet, aktiviert.In a further development of the design of the pointing device, the integration of a additional manipulation switch provided. When a modulation mode is activated by means of the additional manipulation switch, the light source is modulated in time in such a way that a change in state of the light source between a maximum and an im a minimum intensity substantially corresponding to a zero intensity takes place. there the acquisition unit has a plausibility module which uses a time analysis to analyze the continuous emitting of the light waves of the pointing device by intensity-modulated Emitting the light waves separated by the current state and the position of the To determine pointing device. Depending on the detected state and the position, the Control characteristic of the corresponding field above which the pointing device is located, activated.

Befindet sich hingegen keine Aktivierungseinrichtung am Zeigegerät, erfolgt dessen Positionsbestimmung durch die Erfassungseinheit kontinuierlich. Nur durch das Verweilen innerhalb eines definierbaren Bereiches für eine definierbare Zeitspanne, kann bei einer vorhandenen Verknüpfung des Bereiches mit einer Kontrollfunktion diese ausgelöst werden. Weiterhin kann mit dem Zeigegerät ein Mauszeiger oder ein sonstiger Eingabezeiger assoziiert sein, der durch Bewegung oder Aktivierung des Zeigegerätes, an die entsprechende Stelle des projizierten Gebietes bewegt wird.However, if there is no activation device on the pointing device, this is done Position determination continuously by the registration unit. Only by lingering within a definable range for a definable period of time existing linkage of the area with a control function these are triggered. A mouse pointer or other input pointer can also be used with the pointing device be associated with the corresponding movement or activation of the pointing device Location of the projected area is moved.

Die Projektion kann auch auf eine Leinwand erfolgen. Eine Eingabe geschieht durch Deuten mit einem Zeigegerät auf diese Leinwand, indem von einem Rechner mindestens ein Feld mit einer Kontrollcharakteristik auf die Leinwand projiziert wird und das Zeigegerät an dem entsprechenden Feld aktiviert wird oder für eine vorgebbare Zeitdauer über diesem Feld verharrt.The projection can also take place on a screen. An entry is made by interpreting with a pointing device on this canvas by using at least one field from a computer a control characteristic is projected onto the screen and the pointing device on the corresponding field is activated or for a definable period of time above this field persists.

Anhand der Figuren wird ein Ausführungsbeispiel näher dargestellt.An embodiment is shown in more detail with the aid of the figures.

Es zeigenShow it

Fig. 1 ein Blockdiagramm, das die Schritte des erfindungsgemäßen Verfahrens enthält, Fig. 1 is a block diagram that contains the steps of the method according to the invention,

Fig. 2 eine Skizze, welche die prinzipielle Anordnung einer möglichen Realisierung des Zeigegerätes darstellt und Fig. 2 is a sketch showing the basic arrangement of a possible implementation of the pointing device and

Fig. 3 eine Skizze, welche die prinzipielle Anordnung einer möglichen Realisierung der Erfindung darstellt. Fig. 3 is a sketch showing the basic arrangement of a possible implementation of the invention.

In Fig. 1 wird dargestellt, welche Schritte das erfindungsgemäße Verfahren umfasst. In einem ersten Schritt 1a emittiert eine in das Zeigegerätes integrierter Emitter Wellen im nichtsichtbaren Spektralbereich. Eine Empfangseinrichtung, die vorteilhaft vor allem die emittierten Wellen im nichtsichtbaren Bereich Spektralbereich aufnimmt, empfängt die von dem Zeigegerät emittierten Wellen. Ein Erkennungsalgorithmus unterscheidet hierbei die emittierten Lichtwellen der Infrarotleuchtdiode von anderen Störstrahlungen (Schritt 1b). Nachfolgend wird im Schritt 1c eine Schwerpunktbestimmung durchgeführt, wobei der geometrische Mittelpunkt des emittierten Infrarotlichtes bestimmt wird. Im Schritt ld wird der ermittelte Schwerpunkt des Zeigegerätes innerhalb der, aus Kamerasicht optisch verzerrten, Projektion mittels einer Koordinatentransformation in ein beispielsweise rechtwinkliges Bildschirmkoordinatensystem überführt. Hierzu ist es vorgesehen, dass einmalig, während einer Installationsphase, die Umrandung der Projektionsfläche auf dem Projektionsschirm händisch beispielsweise durch Markierungen spezifiziert wird. Im Hinblick auf eine auch bei ausgedehnten Projektionsflächen hinreichend präzise Transformation ist vorteilhafterweise vorgesehen, die Projektionsfläche in eine Anzahl von Teilflächen zu unterteilen und für jede dieser Teilflächen eine gesonderte Transformationsvorschrift zu bestimmen. Dadurch sind insbesondere in den Randbereichen auftretende starke Verzerrungen verhältnismäßig präzise ausgleichbar.In Fig. 1 is shown, which comprises steps of the inventive method. In a first step 1 a, an emitter integrated in the pointing device emits waves in the invisible spectral range. A receiving device, which advantageously primarily records the emitted waves in the invisible spectral range, receives the waves emitted by the pointing device. A detection algorithm distinguishes the emitted light waves of the infrared light-emitting diode from other interference radiation (step 1 b). Wherein the geometric center of the emitted infrared light is determined will be described in step 1 was carried out c a center of gravity determination. In step ld, the determined center of gravity of the pointing device is transferred within the projection, which is optically distorted from the camera point of view, by means of a coordinate transformation into, for example, a rectangular screen coordinate system. For this purpose, it is provided that once, during an installation phase, the outline of the projection surface on the projection screen is specified manually, for example by markings. With regard to a transformation that is sufficiently precise even in the case of extended projection surfaces, provision is advantageously made to subdivide the projection surface into a number of partial surfaces and to determine a separate transformation rule for each of these partial surfaces. As a result, strong distortions that occur in particular in the edge regions can be compensated for with relative precision.

Verharrt nun die Spitze des Zeigegerätes für eine vorgebbare Zeit auf einem mit einer Kontrollcharakteristik verknüpften Feld, das auf den Bereich projiziert wird, so wird die Kontrollcharakteristik, vergleichbar mit dem Klicken mit einer Maus auf ein dafür geeignetes Feld, ausgelöst. In einer Abwandlung ist es möglich das Zeigegerät auf dem gewünschten Feld über einen Auslösemechanismus zu aktivieren, vorzugsweise mittels eines Schalters, so dass die Kontrollfunktion des Feldes unmittelbar an der erkannten Position des Zeigegerätes ausgelöst wird. Eine Alternative zur Aktivierung über einen Schalter stellt die Integration eines Annäherungsdetektors oder drucksensitiven Schalters dar. Nähert sich das Zeigegerät der Projektionsoberfläche oder berührt das Zeigegerät die Projektionsoberfläche, wird das Zeigegerät aktiviert.Now the tip of the pointing device remains on one with a for a definable time Control characteristic linked field that is projected onto the area, so the Control characteristic, comparable to clicking a suitable one with a mouse Field, raised. In a modification, it is possible to point the pointing device at the desired one To activate the field via a trigger mechanism, preferably using a switch, see above that the control function of the field immediately at the recognized position of the pointing device is triggered. Integration is an alternative to activation via a switch of a proximity detector or pressure sensitive switch. The pointing device is approaching the projection surface or if the pointing device touches the projection surface, this becomes Pointing device activated.

In einer anderen Ausgestaltung ist die Aktivierung der Kontrollcharakteristik eines bestimmtes Feldes auf der Projektionsfläche über einen, vorzugsweise zwei Manipulationsschalter am Zeigegerät vorgesehen. Durch Betätigung des entsprechenden Manipulationsschalters wird die Lichtquelle in dem Zeigegerät zeitlich intensitätsmoduliert, so dass ein Erkennungsalgorithmus durch eine Analyse der Zeitabstände zwischen der maximalen und einer im wesentlichen einer Nullintensität entsprechenden minimalen Intensität der Lichtquelle, den aktuellen Zustand des Zeigegerätes erkennt. Abhängig von der Position des Zeigegerätes über einem mit einer Kontrollcharakteristik verknüpften Feld, das auf den Bereich projiziert wird, wird die Kontrollcharakteristik entsprechend dem aktuellen Zustand des Zeigegerätes ausgelöst.In another embodiment, the activation of the control characteristic is one certain field on the projection surface over one, preferably two Manipulation switch provided on the pointing device. By pressing the appropriate Manipulation switch, the light source is intensity-modulated in time in the pointing device, so that a detection algorithm by analyzing the time intervals between the maximum and a minimum essentially corresponding to a zero intensity Intensity of the light source, recognizes the current state of the pointing device. Depends on the Position of the pointing device over a field linked to a control characteristic, the is projected onto the area, the control characteristic will correspond to the current one State of the pointing device triggered.

Fig. 2 zeigt in einem schematischem Schaubild den Aufbau des Zeigegerätes ZS gemäß dem erfindungsgemäßem Aufbau in Fig. 3. Die Lichtquelle LQ in dem Zeigegerät ZS ist unmittelbar über einen Manipulationsschalter MPS1 an die Spannungsquelle SQ angelegt, so dass bei Betätigung des Schalters kontinuierlich Lichtwellen KLW ausgesendet werden. In einer Weiterbildung des Zeigegerätes ZS ist die Modulation MOD der Spannungsquelle SQ durch Betätigung eines zweiten Manipulationsschalters MPS2 vorgesehen, so dass aufgrund der Aussendung von zeitlich Modulierten Lichtwellen MLW die Empfangseinheit des Zeigegerätes ZS zwei Zustände zuordnen kann. FIG. 2 shows a schematic diagram of the structure of the pointing device ZS according to the structure according to the invention in FIG. 3. The light source LQ in the pointing device ZS is applied directly to the voltage source SQ via a manipulation switch MPS1, so that when the switch is actuated, light waves KLW continuously be sent out. In a development of the pointing device ZS, the modulation MOD of the voltage source SQ is provided by actuating a second manipulation switch MPS2, so that the reception unit of the pointing device ZS can assign two states due to the transmission of time-modulated light waves MLW.

In einer nicht dargestellten Abwandlung des Zeigegerätes, ist die Integration eines Annäherungsdetektors in die Spitze des Zeigegerätes vorgesehen. Dieser Detektor misst kontinuierlich den Abstand des Zeigegerätes zur Projektionsfläche. Befindet sich das Zeigegerät in unmittelbarer Nähe zur Projektionsfläche, wird die Spannungsquelle aktiviert, so dass, solange sich das Zeigegerät nur wenige Zentimeter vor der Projektionsfläche befindet, kontinuierlich nichtsichtbares Licht emittiert wird.In a modification of the pointing device (not shown), the integration is a Proximity detector provided in the tip of the pointing device. This detector measures continuously the distance of the pointing device to the projection surface. Is that Pointing device in the immediate vicinity of the projection surface, the voltage source is activated, so that as long as the pointing device is only a few centimeters in front of the projection surface invisible light is continuously emitted.

In einer leichten Abwandlung letzterer Ausbildung wird ein Schalter in das Zeigegerät integriert, wobei bei Berührung des Zeigegerätes mit der Projektionsfläche, die Spannungsquelle aktiviert wird, so dass, solange das Zeigegerät die Projektionsfläche berührt, kontinuierlich nichtsichtbares Licht emittiert wird.In a slight modification of the latter, a switch is placed in the pointing device integrated, which when touching the pointing device with the projection surface  Voltage source is activated so that as long as the pointing device touches the projection surface, invisible light is continuously emitted.

In Fig. 3 wird eine mögliche erfindungsgemäße Anordnung, ohne dass eine eingeschränkte Wirkung beabsichtigt ist, anhand einer interaktiven Videoprojektion beschrieben. Eine Benutzeroberfläche BOF wird auf einen vorgebbaren Bereich, hier eine Projektionsfläche PF, abgebildet. Bevor der durch den Rechner R erzeugte Benutzeroberfläche BOF interaktiv bedient werden kann, erfolgt eine einmalige Kalibrierung. Hierzu wird das Zeigegerät ZS nacheinander an die durch den Projektor P projizierten Markierungen bewegt und diese gleichbedeutend mit Feldern mit Kontrollfunktion aktiviert.In FIG. 3, a possible arrangement according to the invention is described on the basis of an interactive video projection, without a restricted effect being intended. A user interface BOF is mapped onto a predefinable area, here a projection area PF. Before the user interface BOF generated by the computer R can be operated interactively, a one-off calibration is carried out. For this purpose, the pointing device ZS is successively moved to the markings projected by the projector P and these are activated in the same way as fields with a control function.

Nach Abschluss der Kalibrierung kann die Eingabe durch direktes Zeigen mit dem Zeigegerät ZS, auf der Benutzeroberfläche BOF erfolgen. Dadurch können beispielsweise Tastatur, Maus, Touchscreen oder Digitalisiertablett konventioneller Systeme ersetzt werden. Die Positionierung innerhalb der BOF wird durch ein videobasiertes System, das in der Lage ist, die Position des Zeigegerätes in Echtzeit zu erkennen und zu verfolgen, realisiert.After completing the calibration, the input can be made by pointing directly with the pointing device ZS, done on the user interface BOF. For example, the keyboard, Mouse, touchscreen or digitizing tablet of conventional systems can be replaced. The Positioning within the BOF is accomplished through a video-based system that is able to to recognize and track the position of the pointing device in real time.

Im Fig. 3 dargestellten Beispiel, emittiert das Zeigegerät ZS nichtsichtbare Spektralwellen. Die Infrarotlichtquelle IRL kann vorteilhaft mittels Infrarotdioden ausgeführt sein. Eine Kamera K, die vorzugsweise mit einem speziellen Infrarotfilter IRF, das im infraroten Spektralbereich empfindlich ist, nimmt die Projektionsfläche PF auf. Mit einem Projektor P, der von einem Rechner R gesteuert wird, wird die Benutzeroberfläche BOF auf die Projektionsfläche PF abgebildet. Die Benutzeroberfläche BOF kann dabei ausgestaltet sein wie beispielsweise ein Menüsystem auf einem Monitor des Rechners R. Ein Mauszeiger MZ wird jetzt nicht mit einer herkömmlichen Eingabevorrichtung, wie beispielsweise einer optischen oder mechanischen Maus oder eines Trackballs bewegt, sondern durch das Zeigegerät. Soll, wie hier im Beispiel, auf der Benutzeroberfläche BOF die Kontrollcharakteristik eines Feldes F aufgerufen werden, so wird das Zeigegerät über das Feld F bewegt, wobei der Mauszeiger MZ der Spitze des Zeigegerätes folgt. Verharrt das Zeigegerät eine vorgebbare Zeitdauer über dem Feld F, so wird die mit dem Feld F verknüpfte Kontrollcharakteristik auf dem Rechner R ausgelöst. In einer Abwandlung befindet sich das Zeigegerät in einem deaktivierten Zustand. Der Benutzer zeigt mit der Spitze des Zeigegerätes auf ein Feld F und aktiviert dabei das Zeigegerät, so wird die Position der Spitze des Zeigegerätes unmittelbar durch die Empfangseinrichtung ermittelt und sofort die Kontrollcharakteristik des Feldes ausgelöst. Die Aktivierung kann hierbei entweder manuell, über einen Manipulationsschalter, geschehen oder automatisch, mittels in das Zeigegerät integrierte Sensoren. Letztere sind entweder als Annäherungsdetektor ausgestaltet und aktivieren das Zeigegerät bei Annäherung an die Projektionsoberfläche oder als drucksensitiver Schalter, welcher das Zeigegerät aktiviert, solange es die Projektionsoberfläche berührt.In the example shown in FIG. 3, the pointing device ZS emits invisible spectral waves. The infrared light source IRL can advantageously be implemented using infrared diodes. A camera K, preferably with a special infrared filter IRF, which is sensitive in the infrared spectral range, records the projection surface PF. With a projector P, which is controlled by a computer R, the user interface BOF is imaged on the projection surface PF. The user interface BOF can be configured such as a menu system on a monitor of the computer R. A mouse pointer MZ is now not moved with a conventional input device, such as an optical or mechanical mouse or a trackball, but through the pointing device. If, as in the example here, the control characteristic of a field F is to be called up on the user interface BOF, the pointing device is moved over the field F, the mouse pointer MZ following the tip of the pointing device. If the pointing device persists over the field F for a predeterminable period of time, the control characteristic associated with the field F is triggered on the computer R. In a modification, the pointing device is in a deactivated state. With the tip of the pointing device, the user points to a field F and activates the pointing device, the position of the tip of the pointing device is determined directly by the receiving device and the control characteristic of the field is triggered immediately. The activation can either be done manually, via a manipulation switch, or automatically, using sensors integrated in the pointing device. The latter are either designed as a proximity detector and activate the pointing device when approaching the projection surface or as a pressure-sensitive switch which activates the pointing device as long as it touches the projection surface.

In einer Weiterbildung der letzten Abwandlung kann über einen zweiten Manipulationsschalter die Lichtemission der Infrarotlichtquelle zeitlich moduliert werden. Die Empfangseinheit kann die kontinuierliche Lichtemission von einer zeitlich modulierten Lichtemission diskriminieren und somit zwei Zustände, vergleichbar mit der linken und rechten Taste bei einer Maus, unterscheiden. Somit ist es möglich zwei unterschiedliche Kontrollcharakteristiken für ein Feld F der Benutzeroberfläche BOF festzulegen und entsprechend mit dem Zeigegerät zu aktivieren.In a further development, the last modification can have a second Manipulation switches the light emission of the infrared light source can be modulated in time. The Receiver unit can continuously emit light from a time-modulated Discriminate light emission and thus two states, comparable to the left and right button on a mouse. So it is possible to have two different ones Determine control characteristics for a field F of the user interface BOF and to activate accordingly with the pointing device.

Die Erfindung ermöglicht es also, die Projektion, hier die Benutzeroberfläche BOF, ohne Einfluss auf die Aufnahme auszugestalten, da die im Infrarotbereich empfindliche Kamera K, die vom Projektor angezeigte Benutzeroberfläche BOF nicht aufnimmt. Die im sichtbaren Spektralbereich projizierte Information für den Benutzer ist somit für die Auswertung der Eingabe mittels Kamera K durch den Rechner R unsichtbar. Es kommt also zu keinen störenden Einflüssen durch die Projektion. Die Information über das Feld F, das vom Projektor P im sichtbaren Bereich exklusiv für den Benutzer angezeigt wird, von der Kamera K jedoch nicht erfasst wird, wird durch die Positionierung innerhalb der Benutzeroberfläche BOF gefunden.The invention thus enables the projection, here the user interface BOF, without Influence on the recording, since the camera K, which is sensitive in the infrared range, the BOF user interface displayed by the projector does not record. The one in the visible Spectral range projected information for the user is therefore for the evaluation of the Input by camera K through computer R invisible. So there are none disturbing influences from the projection. The information about field F, which is dated Projector P is displayed in the visible area exclusively for the user by the camera  K, however, is not captured by positioning within the user interface BOF found.

Um sicherzustellen, dass der Projektor P für die Kamera K ein unsichtbares Bild liefert, kann der Projektor P zusätzlich mit einem Infrarot-Sperrfilter ausgerüstet sein. Somit wird vom Projektor P keinerlei infrarote Strahlung emittiert. Ein spezielles Infrarotfilter IRF vor der Kamera K bewirkt, dass nur infrarote Strahlung in der speziellen Wellenlänge der von der infraroten Lichtquelle IRL der Zeigerstabspitze emittierten Strahlung erfasst wird.To ensure that the projector P for the camera K provides an invisible image the projector P must also be equipped with an infrared cut filter. Thus from Projector P does not emit any infrared radiation. A special infrared filter IRF in front of the Camera K causes only infrared radiation in the special wavelength of that Infrared light source IRL of the pointer emitted radiation is detected.

Claims (23)

1. Anordnung zur Detektion eines Zeigegerätes, welches Licht im nichtsichtbaren Spektralbereich emittiert,
  • a) Bei der eine Empfangseinrichtung emittierte Wellen im nichtsichtbaren Spektralbereich von einem Zeigegerät aufnimmt,
  • b) Die von dem Zeigegerät emittierten Wellen von anderen aufgenommen Wellen durch ein Mittel zum Erkennen mit Hilfe eines Erkennungsalgorithmus unterschieden werden,
  • c) Mit der Hilfe des Erkennungsalgorithmus die Zeigegerätposition detektiert wird.
1. Arrangement for the detection of a pointing device which emits light in the invisible spectral range,
  • a) in which a receiving device records emitted waves in the invisible spectral range from a pointing device,
  • b) the waves emitted by the pointing device are distinguished from other waves recorded by a means for recognition with the aid of a recognition algorithm,
  • c) With the help of the detection algorithm, the pointing device position is detected.
2. Anordnung nach Anspruch 1, bei der eine Infrarotlichtquelle in dem Zeigegerät, die Wellen im nichtsichtbaren Spektralbereich ausstrahlt, verwendet wird,2. Arrangement according to claim 1, wherein an infrared light source in the pointing device, the Emits waves in the invisible spectral range, is used 3. Anordnung nach Anspruch 2, bei der die Infrarotlichtquelle realisiert ist als mindestens eine der folgenden Komponenten:
  • a) Eine oder mehrere Infrarot-Leuchtdiode(n) (Infrarot-LED),
  • b) Eine oder mehrere Glühbirne(n) mit Infrarot-Filter.
3. Arrangement according to claim 2, in which the infrared light source is implemented as at least one of the following components:
  • a) One or more infrared light-emitting diode (s) (infrared LED),
  • b) One or more light bulb (s) with infrared filter.
4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass das Zeigegerät Modulationsmittel aufweist, mit denen die Infrarotlichtquelle in wenigstens einem Modulationsmodus zeitlich modulierbar ist.4. The device according to claim 3, characterized in that the pointing device Has modulation means with which the infrared light source in at least one Modulation mode can be modulated in time. 5. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass das Zeigegerät einen oder mehrere Manipulationsschalter aufweist, mit dem das Zeigegerät aktiviert werden kann.5. The device according to claim 3, characterized in that the pointing device one or has several manipulation switches with which the pointing device can be activated. 6. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass das Zeigegerät Sensoren besitzt, die das Zeigegerät aktivieren, wenn die Projektionsfläche berührt oder sich das Zeigegerät in unmittelbarer Nähe zur Projektionsfläche befindet.6. The device according to claim 3, characterized in that the pointing device sensors possesses that activate the pointing device when the projection surface touches or the Pointing device is located in close proximity to the projection surface. 7. Vorrichtung nach Anspruch 6, wobei die Sensoren folgender Art sind:
  • a) Drucksensitive Sensoren, welche das Zeigegerät bei Berührung aktivieren.
  • b) Sensoren, welche eine starke Annäherung an Oberfläche detektieren und das Zeigegerät entsprechend aktivieren.
7. The device according to claim 6, wherein the sensors are of the following type:
  • a) Pressure-sensitive sensors that activate the pointing device when touched.
  • b) sensors which detect a close proximity to the surface and activate the pointing device accordingly.
8. Anordnung nach einem der Ansprüche 1 bis 7, bei der die Empfangseinrichtung als eine:
  • a) Kamera ausgestaltet ist.
  • b) Ein oder mehrere Sensoren ausgestaltet ist.
8. Arrangement according to one of claims 1 to 7, wherein the receiving device as one:
  • a) camera is designed.
  • b) One or more sensors is configured.
9. Anordnung nach Anspruch 8, bei der die Kamera mit einem Filter, das nur für Infrarot- Licht durchlässig ist, ausgestaltet ist.9. The arrangement of claim 8, wherein the camera with a filter that is only for infrared Light is permeable, is designed. 10. Anordnung nach Anspruch 9, bei der das Filter der Kamera, falls Infrarot-Leuchtdioden verwendet werden, nur für den Spektralbereich der Infrarot-Leuchtdioden durchlässig ist.10. The arrangement according to claim 9, wherein the filter of the camera, if infrared light emitting diodes are used, is only permeable to the spectral range of the infrared light-emitting diodes. 11. Anordnung nach einem der Ansprüche 8 bis 10, bei der der Kamerasensor nur für das Infrarotlicht sensitiv ist.11. Arrangement according to one of claims 8 to 10, wherein the camera sensor only for that Infrared light is sensitive. 12. Anordnung nach einem der Ansprüche 8 bis 10, bei der der Kamerasensor, falls Infrarot- Leuchtdioden verwendet werden, nur für den Spektralbereich der Infrarot-Leuchtdioden sensitiv ist.12. Arrangement according to one of claims 8 to 10, wherein the camera sensor, if infrared Light emitting diodes are used only for the spectral range of the infrared light emitting diodes is sensitive. 13. Anordnung nach einem der Ansprüche 8 bis 12, bei der das vorgebbare Gebiet und die Empfangseinrichtung (Kamera) in etwa auf einer optischen Achse liegen.13. Arrangement according to one of claims 8 to 12, wherein the predetermined area and the Receiving device (camera) lie approximately on an optical axis. 14. Vorrichtung nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Erfassungseinrichtung ein Schwerpunktbestimmungsmodul aufweist, mit dem der geometrische Mittelpunkt der Infrarotlichtquelle bestimmbar ist.14. Device according to one of claims 1 to 12, characterized in that the Detection device has a center of gravity determination module with which the Geometric center of the infrared light source can be determined. 15. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass die Erfassungseinrichtung eine Transformationsbestimmung aufweist, mit der Koordinatentransformationsparameter zum Umrechnen von Bildpunkten bzw. geometrischen Mittelpunkten eines verzerrten Bildes der oder jeder Schaltfläche auf ein Standardkoordinatensystem bestimmbar sind.15. The apparatus according to claim 14, characterized in that the detection device has a transformation determination with the coordinate transformation parameters for converting pixels or geometric centers of a distorted one Image of the or each button on a standard coordinate system can be determined. 16. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Initialisiereinheit vorgesehen ist, mit der eine Anzahl projizierten Markierungen innerhalb eines vorgebbaren Bereiches durch den Benutzer mittels des Zeigegerätes aktiviert werden, so dass die Kamerasicht mit der Projektionsfläche assoziiert werden kann, um nachfolgend eine entsprechende Transformation nach Anspruch 10 durchzuführen.16. Device according to one of the preceding claims, characterized in that a Initialization unit is provided with which a number of projected markings within  a predeterminable area activated by the user by means of the pointing device so that the camera view can be associated with the projection surface subsequently carry out a corresponding transformation according to claim 10. 17. Verfahren zum Betrieb der Anordnung nach einem der vorherigen Ansprüche,
  • a) Bei dem in den Bereich ein Videobild, das über mindestens ein Feld mit einer Kontrollcharakteristik verfügt, generiert wird von einem Rechner und auf ein vorgebbares Gebiet projiziert wird,
  • b) Bei dem eine Erfassungseinheit dieses Gebiet erfasst und mit Verfahren der Bildanalyse bzw. Signalverarbeitung auswertet,
  • c) Bei dem das Zeigegerät in den Bereich bewegt wird und von der Erfassungseinheit erfasst wird,
  • d) Durch Verfahren der Bild- bzw. Signalverarbeitung die Zeigerposition bestimmt wird,
  • e) Bei dem durch das Zeigegerät die Kontrollcharakteristik eines Feldes ausgelöst wird, indem das Zeigegerät eine vorgebbare Zeitdauer auf dem Feld verharrt,
  • f) Bei dem durch das Zeigegerät die Kontrollcharakteristik eines Feldes ausgelöst wird, indem das Zeigegerät durch betätigen eines Auslösemechanismus auf dem Feld aktiviert wird,
  • g) Bei dem durch das Zeigegerät die Kontrollcharakteristik eines Feldes ausgelöst wird, indem ein in das Zeigegerät integrierter Annäherungsdetektor die Annäherung des Zeigegerätes an den Projektionsbereich detektiert und das Zeigegerät aktiviert,
  • h) Bei dem durch das Zeigegerät die Kontrollcharakteristik eines Feldes ausgelöst wird, indem ein in das Zeigegerät integrierter Schalter bei Berührung mit der Projektionsfläche das Zeigegerät aktiviert.
17. A method for operating the arrangement according to one of the preceding claims,
  • a) in which a video image that has at least one field with a control characteristic is generated in the area by a computer and is projected onto a predeterminable area,
  • b) in which a detection unit detects this area and evaluates it with methods of image analysis or signal processing,
  • c) in which the pointing device is moved into the area and is detected by the detection unit,
  • d) the position of the pointer is determined by methods of image or signal processing,
  • e) in which the control characteristic of a field is triggered by the pointing device by the pointing device remaining on the field for a predeterminable period of time,
  • f) in which the control characteristic of a field is triggered by the pointing device by activating the pointing device by actuating a trigger mechanism on the field,
  • g) in which the control characteristic of a field is triggered by the pointing device, in that an approach detector integrated in the pointing device detects the approach of the pointing device to the projection area and activates the pointing device,
  • h) In which the control characteristic of a field is triggered by the pointing device, in that a switch integrated in the pointing device activates the pointing device when it touches the projection surface.
18. Verfahren nach einem der vorherigen Ansprüche, wobei mit dem Zeigegerät ein Mauszeiger assoziiert wird, der durch Bewegung des Zeigegerätes über das projizierte Gebiet bewegt wird, falls das Zeigegerät aktiviert ist.18. The method according to any one of the preceding claims, wherein with the pointing device Mouse pointer is associated by moving the pointing device over the projected Area is moved if the pointing device is activated. 19. Verfahren nach einem der vorherigen Ansprüche, wobei durch Aktivieren des Zeigegerätes ein durch das Datenprotokoll der Recheneinheit in seinem Verhalten gesteuertes Zeigersymbol generierbar ist, wobei wahlweise
  • a) ein linker Mausklick ausgelöst werden kann,
  • b) ein rechter Mausklick ausgelöst werden kann.
19. The method according to any one of the preceding claims, wherein a pointer symbol controlled by the data protocol of the computing unit in its behavior can be generated by activating the pointing device, optionally
  • a) a left mouse click can be triggered,
  • b) a right mouse click can be triggered.
20. Verfahren nach einem der vorherigen Ansprüche, wobei durch ein entsprechendes Datenprotokoll eine beliebige Rechneraktion ausgeführt werden kann.20. The method according to any one of the preceding claims, wherein by a corresponding Any computer action can be performed. 21. Anordnung nach Anspruch 1 bis 14, bei der durch ein entsprechendes Datenprotokoll eine beliebe Rechneraktion ausgeführt werden kann, wenn das Zeigegerät ein mit einer Kontrollcharakteristik verknüpftes, beliebiges reales Objekt aktiviert. Diese Kontrollcharakteristik wird im Vorfeld (Installationsphase) dem Objekt zugewiesen.21. The arrangement according to claim 1 to 14, in which by a corresponding data protocol any computer action can be carried out if the pointing device with a Control characteristic linked, any real object activated. This Control characteristics are assigned to the object in advance (installation phase). 22. Anordnung nach Anspruch 21, bei der beliebig viele Objekte mit einer Kontrollcharakteristik verknüpft werden können.22. Arrangement according to claim 21, in which any number of objects with a Control characteristics can be linked. 23. Verfahren nach Anspruch 21, bei dem in einem Videobild Gebiete festgelegt werden können, mit welchen eine Kontrollcharakteristik verknüpft wird. Sobald sich das Zeigegerät aus Kamerasicht in einem der Gebiete befindet und aktiviert, wird durch die Recheneinheit die gewünschte Kontrollfunktion ausgelöst.23. The method according to claim 21, in which areas are defined in a video image with which a control characteristic is linked. As soon as that Pointing device from the camera point of view located in one of the areas and activated by the Computing unit triggered the desired control function.
DE2000110874 2000-02-29 2000-02-29 Layout for detecting a display device emitting light in an invisible spectral range uses interactive video projection to depict a user surface on a projection surface. Withdrawn DE10010874A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE2000110874 DE10010874A1 (en) 2000-02-29 2000-02-29 Layout for detecting a display device emitting light in an invisible spectral range uses interactive video projection to depict a user surface on a projection surface.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE2000110874 DE10010874A1 (en) 2000-02-29 2000-02-29 Layout for detecting a display device emitting light in an invisible spectral range uses interactive video projection to depict a user surface on a projection surface.

Publications (1)

Publication Number Publication Date
DE10010874A1 true DE10010874A1 (en) 2001-08-30

Family

ID=7633694

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2000110874 Withdrawn DE10010874A1 (en) 2000-02-29 2000-02-29 Layout for detecting a display device emitting light in an invisible spectral range uses interactive video projection to depict a user surface on a projection surface.

Country Status (1)

Country Link
DE (1) DE10010874A1 (en)

Similar Documents

Publication Publication Date Title
EP0963563B1 (en) Method and device for detecting an object in an area radiated by waves in the invisible spectral range
DE69914659T2 (en) Input device for computers in the form of a pen
DE19810452B4 (en) Optical digitizer
DE102008016215B4 (en) Information device operating unit
EP2569757B1 (en) Movement analysis and/or tracking system
DE4121180A1 (en) Finger input type interactive screen display system for road vehicle navigation - has panel screen with matrix of sensing elements that can be of infrared or ultrasonic proximity devices or can be touch foil contacts
DE10241392A1 (en) Optical sensor device for sensing relative movement, includes movable motion sensor with two arrays of photo detectors, and multiple lenses that direct far-field images onto arrays of photo detectors
EP1932727A1 (en) Operational device for a motor vehicle and method for capturing user input
WO2000023938A1 (en) Input device for a computer
EP1090602B1 (en) Dental device
DE102007059720A1 (en) Method and device for navigating on a surface
DE102004049258A1 (en) Operation-supporting medical information system controlling device, has control unit with control unit section to evaluate indicating instrument positions and motion operation, where section produces control signal for information system
WO1992005483A1 (en) Data input device
DE10010874A1 (en) Layout for detecting a display device emitting light in an invisible spectral range uses interactive video projection to depict a user surface on a projection surface.
DE19918072A1 (en) Operation method for screen controlled process, e.g. in power plant
DE102007033835A1 (en) Imaging technique for direct object segmentation in images
DE102014201313A1 (en) Method for detecting a movement path of at least one moving object within a detection area, method for gesture recognition using such a detection method, and device for carrying out such a detection method
WO2019207028A1 (en) Operating device
DE19880483C1 (en) Input device for computer with graphical operating surface detects location and/or direction of light beam directed at large screen
DE112019000857T5 (en) Reference position setting method and apparatus for displaying a virtual image
EP1983406A1 (en) Method and device for data input in a data processing facility
EP2790151A1 (en) Method for real-time material evaluation and for material-based image segmentation in electronic image sequences
DE19861129C2 (en) Method for carrying out voting using an input device for a computer with a graphical user interface
DE19860068A1 (en) Device for identifying the finger prints of individuals uses a fiber-optic finger supporting surface to take an optical picture of a finger print to be passed on to a sensor unit for conversion into electrical signals.
EP2525278A2 (en) Optical display and operating element and method for optical positioning

Legal Events

Date Code Title Description
8139 Disposal/non-payment of the annual fee