DE102007053008A1 - Target body and method for determining its spatial position - Google Patents

Target body and method for determining its spatial position

Info

Publication number
DE102007053008A1
DE102007053008A1 DE200710053008 DE102007053008A DE102007053008A1 DE 102007053008 A1 DE102007053008 A1 DE 102007053008A1 DE 200710053008 DE200710053008 DE 200710053008 DE 102007053008 A DE102007053008 A DE 102007053008A DE 102007053008 A1 DE102007053008 A1 DE 102007053008A1
Authority
DE
Grant status
Application
Patent type
Prior art keywords
target body
camera
light
spatial
method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE200710053008
Other languages
German (de)
Inventor
Sebastian Repetzki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
REPETZKI, SEBASTIAN, PROF. DR.-ING., INNSBRUCK, AT
Original Assignee
Repetzki Sebastian Dr-Ing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K9/3216Aligning or centering of the image pick-up or image-field by locating a pattern
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with three-dimensional environments, e.g. control of viewpoint to navigate in the environment

Abstract

Es wird eine Klasse von Zielkörpern beschrieben, deren Oberfläche nur zwei unterschiedliche Lichtarten reflektiert bzw. aussendet und so gestaltet ist, dass die Grenzen zwischen den zwei Lichtarten, aus jeder räumlichen Richtung betrachtet, als gerade Strecken erscheinen. We will describe a class of target bodies whose surface reflects only two different types of light or emits and is designed so that the boundaries between the two types of light, from any spatial direction considered as straight lines appear.
Ferner wird ein Verfahren beschrieben, das Kenntnis von den Lichteigenschaften und der Gestalt des Zielkörpers sowie von den Parametern der eingesetzten Kamera besitzt. Further, a method is described, the knowledge of the properties of light and the shape of the target body and having the parameters of the camera used. Das Verfahren verarbeitet die von der Kamera aufgenommenen Bilder und ermittelt daraus die relative räumliche Lage des Zielkörpers, bezogen auf die bildgebende Kamera. The method processes the received images from the camera and determines the relative spatial position of the target body relative to the imaging camera.
Ein besonders geeigneter Zielkörper und das auf einen Computer übertragene Verfahren werden dazu eingesetzt, die räumliche Stellung der Hand einer Person kontinuierlich zu ermitteln. A particularly suitable target body and the transferred to a computer methods are used to determine the spatial position of a person's hand continuously. Zielkörper und Verfahren werden zu einer 6-Freiheitsgrade-Maus weitergebildet, das heißt zu einem Eingabegerät für alle sechs räumlichen Freiheitsgrade an der Schnittstelle zwischen Mensch und Computer. Target body, and methods are developed to form a 6-degrees of freedom mouse, that is, to an input device for all six spatial degrees of freedom at the interface between man and computer.

Description

  • Gegenstand object
  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung und zeitlichen Verfolgung der räumlichen Lage eines geeignet ausgestalteten Zielkörpers mittels einer einzigen Kamera sowie seine Weiterbildung zu einer Computermaus mit sechs Freiheitsgraden. The invention relates to a method and an apparatus for determination and temporal tracking the spatial position of a suitably configured target body by means of a single camera and its further development to a computer mouse with six degrees of freedom.
  • Der Begriff "räumliche Lage" steht im Rahmen dieser Patentschrift für die sechs Koordinatenwerte – drei translatorische und drei rotatorische Freiheitsgrade –, die zur eindeutigen Beschreibung der räumlichen Lage eines Festkörpers mit Bezug auf ein gegebenes Koordinatensystem erforderlich sind. The term "spatial position" within the scope of this patent for the six coordinate values ​​- three translational and three rotational degrees of freedom - that are required for unambiguous description of the spatial position of a solid body with respect to a given coordinate system.
  • Anwendungsgebiet field of use
  • 3D-Programme sind Computerprogramme, die mit Modellen räumlich ausgedehnter Dinge arbeiten. 3D programs are computer programs that work with models spatially extended things. Im Ingenieurwesen werden räumliche Modelle in CAD-Systemen, in Vermessungssoftware oder in Programmiersystemen für Bearbeitungsmaschinen oder Roboter eingesetzt. In engineering spatial models are used in CAD systems, in measurement software or programming systems for machine tools or robots. Zunehmend verbreiten sich 3D-Programme auf Anwendungsgebieten wie Chemie oder Medizintechnik, Unterhaltungsindustrie – Beispiele: Computerspiele und Filmproduktion –, Bekleidungsindustrie, Betriebssystemoberflächen, Internetdienste und vieles mehr. Increasingly, 3D programs spread in applications such as chemical or medical technology, entertainment industry - Examples: computer games and film production - clothing industry, operating system surfaces, Internet services and much more. Demgegenüber besteht die manuelle Eingabeschnittstelle des Computers für grafische und geometrische Inhalte immer noch fast ausnahmslos aus zweidimensionalen Zeigegeräten wie Computermaus, Tablett, Joystick oder Spielekonsole. In contrast, the manual input interface of the computer for graphic and geometric content is still almost exclusively from two-dimensional pointing devices such as computer mouse, tablet, joystick or game console.
  • In diesem Umfeld könnten 6-Freiheitsgrade-Mäuse schnell Einsatzmöglichkeiten finden, sollten diese den Anforderungen hinsichtlich Wirtschaftlichkeit, Genauigkeit, Rechenzeitbedarf, universeller Verwendbarkeit und Nutzungskomfort genügen können. In this environment could 6-degrees of freedom mice quickly find applications, they should be able to satisfy the requirements concerning efficiency, accuracy, computing time, universal availability and ease of use.
  • Stand der Technik State of the art
  • Im Handel erhältliche Quasi-6-Freiheitsgrade-Mäuse beruhen auf der Lagemessung eines Griffknopfes relativ zu einer Basis. Commercially quasi-6-degrees of freedom mice available based on the location measurement of a handle knob relative to a base. Da die relative Bewegungsfreiheit des Knopfes mechanisch eng begrenzt ist, werden die Messwerte von der hinterlegten Treibersoftware als translatorische und rotatorische Geschwindigkeiten interpretiert. Since the relative freedom of movement of the knob is mechanically limited in that the measured values ​​of the stored driver software to be interpreted as translational and rotational speeds. Damit erreicht der Computerbenutzer eine gewünschte räumliche Lage ähnlich einem Pilot, der sich im bewegten Bezugssystem des Fluggeräts befindet und einen feststehenden Landepunkt ansteuert. For the computer user reaches a desired spatial position similar to a pilot, which is located in the moving frame of the aircraft and drives a fixed landing point. Demgegenüber befindet sich bei dem Prinzip der hier vorliegenden Erfindung der Computerbenutzer auf festem Boden, hält sein Flugzeug in der Hand und führt dieses entlang einer räumlichen Flugbahn bis ins Ziel. In contrast, located in the principle of the present invention herein the computer user on solid ground plane be held in the hand and supplies it along a three-dimensional trajectory to the finish.
  • Zur Bestimmung und zeitlichen Verfolgung der Lage im Raum von Objekten mittels Verfahren der Bildverarbeitung wurden unterschiedliche Anordnungen und Algorithmen vorgeschlagen, jedoch hat sich keine davon als räumliche Computermaus für den Arbeitsplatzcomputer durchsetzen können. For the determination and temporal tracking of position in space of objects by means of image processing methods different arrangements and algorithms have been proposed, but has no thereof may prevail as a spatial computer mouse for the personal computer.
  • Die Erkennung räumlicher Gegenstände in zweidimensionalen Bildern wurde für den Fall von Körpern, die sich durch geradlinige Kanten auszeichnen, schon vor über zwanzig Jahren realisiert [Lowe]. The recognition of spatial objects in two-dimensional images has been realized in the case of bodies, which are characterized by straight edges, already more than twenty years [Lowe]. Das Verfahren wurde seither zu einem Mustererkennungsverfahren weiterentwickelt und patentiert [ The process has since been developed to a pattern recognition method and patented [ US 6 711 293 B1 US 6,711,293 B1 ]. ]. Zwei-Kamera-Installationen ermöglichen das echtzeitfähige, räumliche Verfolgen von Objekten, die dem Verfahren zuvor mittels Referenzbildern bekannt gemacht wurden [Skrypnyk, Lowe]. Two-camera installations allow the real-time, spatial tracking of objects that have been made previously by the process known reference images [Skrypnyk, Lowe].
  • Verfahren, die auf mehrere Kameras angewiesen sind, siehe bspw. [ Methods which rely on multiple cameras, see, for example. [ DE 10 2005 011 432 A1 DE 10 2005 011 432 A1 ], bedürfen stets der sorgfältigen Kalibrierung der Kamerastellungen. ] Always require careful calibration of the camera positions. Neben der damit verbundenen verringerten Mobilität und Wandelbarkeit des Arbeitsplatzes sind diese Verfahren prinzipiell rechenzeitintensiver als Einkamerasysteme. In addition to the associated reduced mobility and versatility of the workplace, these methods are in principle computationally intensive than Einkamerasysteme. Höhere Rechenzeiten verringern jedoch die für das 3D-Programm verfügbare Rechenzeit und damit dessen Komfort oder gar dessen Nutzen für den Computernutzer. However, reducing higher computing times available for the 3D program processing time and thus its comfort or even the benefit for the computer user.
  • Kugelförmige Reflektoren, die vielfach in Virtual-Reality-Systemen zum Einsatz kommen, haben bei Einkamerasystemen den Nachteil, dass sich die Kugeln gegenseitig verdecken können und dann keine exakte Lagebestimmung möglich ist, vergleiche [ Spherical reflectors that are used frequently in virtual reality systems have in Einkamerasystemen the disadvantage that the balls can cover each other and then not an exact orientation is possible, see [ WO 2004/114112 A1 WO 2004/114112 A1 ]. ].
  • Häufig kommt die Farbsegmentierung zum Einsatz, um einen Zielkörper im Kamerabild aufzufinden. Often the color segmentation is used to locate a target body in the camera image. Für den Einsatz als 6D-Maus ist hierbei von Nachteil, dass Störungen aus den Lichteigenschaften des Bildhintergrundes, Schatten und Störlicht entstehen können. For use as a 6D mouse here is a disadvantage that interference from the light characteristics of the image background, shadows and stray light can occur.
  • Im Patent [ In the patent [ US6526166 US6526166 ] wird die räumliche Lage eines Würfels, dessen sechs Seiten mit drei verschiedenen Farben belegt sind, mittels einer einzelnen Kamera ermittelt. ] Is the spatial position of a cube, whose six faces are coated with three different colors determined by means of a single camera. Drei Farben sind erforderlich, damit an jeder Würfelkante zwei verschiedene Farben aufeinander stoßen. Three colors are required for bump into each cube edge two different colors on each other. Bei schrägen Betrachtungswinkeln sind drei Kanten des Würfels sichtbar. At oblique viewing angles, three edges of the cube are visible. Diese bilden sich als Farbkontrast entlang gerader Linien auf dem Kamerabild ab. These are formed as a color contrast along straight lines on the camera image from. Mittels der drei gewonnenen Linien kann die Orientierung des Würfels ermittelt werden. By means of the three lines obtained the orientation of the cube can be determined. Ist wenigstens eine Linienlänge sicher bekannt, lässt sich bei bekannter Kameraoptik auch die Lage des Würfels relativ zur Kamera berechnen. At least one line length known for sure, and the position of the cube can be calculated relative to the camera with a known camera optics. Erfasst die Kamera nur zwei oder gar nur eine Seite des Würfels, kann die Lage des Würfels im Raum aber nicht mehr sicher bestimmt werden. The camera captures only two or even only one side of the cube, but the location of the cube in space can not be determined with certainty.
  • Verfahren aus der Messtechnik, die mit nur einer Kamera auskommen, sind lediglich für kleine Auslenkungen des bekannten Zielkörpers von seiner Solllage ausgelegt, vergleiche [ A method of measuring technology, which manage with only one camera, are designed only for small deflections of the known target body from its desired position, see [ WO 2005/075936 A1 WO 2005/075936 A1 ]. ]. Bei diesem Verfahren werden Punkte des Zielkörpers im Bild identifiziert und zur Berechnung einer räumlichen Lage herangezogen. In this process, points of the target body in the image are identified and used to calculate a spatial position.
  • Auf Markern basierende Verfahren umgehen den Nachteil der Farbsegmentierung durch Vorgabe einer Hintergrundfarbe und einer Markerfarbe, im einfachsten Fall weiß und schwarz, die zusammen auf einer zumeist ebenen Fläche aufgetragen werden. based markers methods avoid the disadvantage of color segmentation by specifying a background color and a marker color, white and black in the simplest case, which are applied together on a mostly flat surface.
  • Im Projekt ARTools [MagicMouse] wurden quadratische Marker verwendet, deren räumliche Lage mittels eines einzelnen Kamerabildes bestimmt werden kann. In Project ARTools [Magic Mouse] square markers were used whose spatial position can be determined by means of a single camera image. Durch allseitige Belegung eines Würfels mit diesen Markern [Augmented Chemistry], kann die räumliche Lage des Würfels aus allen Blickrichtungen lückenlos ermittelt werden. By all-round availability of a cube with these markers [Augmented Chemistry], the spatial position of the cube from all viewing directions can be completely determined.
  • In den Patenten [ In the patents [ US 2005 201613 US 2005 201613 ] und [ ] and [ WO 2007/04431 A2 WO 2007/04431 A2 ] werden kleine kreisförmige Marker verwendet, die auf würfel- bzw. stabförmigen Grundkörpern aufgebracht wurden. ] Are used small circular markers which were applied to cubic, or rod-shaped basic bodies.
  • D. Bradley und G. Roth [Sphere] verwenden ebenfalls kleine kreisförmige Marker, die sie jedoch auf einer blauen Kugel verteilen. D. Bradley and G. Roth [Sphere] also use small circular markers, but they distribute on a blue ball. Durch Farbsegmentierung wird der Außendurchmesser der Kugel bestimmt und das Muster der darauf verteilten Marker mit einem hinterlegten Modell verglichen. the outer diameter of the ball is determined by color segmentation, and compared the pattern of the marker disposed thereon with a stored model. Die Entwicklung zielt, wie die vorliegende Erfindung, auf das Anwendungsgebiet einer räumlichen Computermaus für 3D-Programme ab. The development aims, as the present invention, from the application of spatial computer mouse for 3D programs.
  • Aufgabenstellung task
  • Die Aufgabe der vorliegenden Erfindung besteht darin, die räumliche Lage eines geeignet gestalteten Zielkörpers mittels der von einer einzelnen Kamera aufgenommenen Bilder sowie mittels eines geeigneten Verfahrens der Bildverarbeitung zu bestimmen und zeitlich zu verfolgen. The object of the present invention is to determine the spatial position of a suitably shaped target body by means of the recorded from a single camera images as well as by a suitable method of image processing and track time.
  • Darstellung der Erfindung Summary of the Invention
  • Die Erfindung beinhaltet ein Verfahren und eine Vorrichtung zur Bestimmung der räumlichen Lage eines Zielkörpers. The invention includes a method and apparatus for determining the spatial position of a target body. Insbesondere beinhaltet die Erfindung ein Verfahren und eine Vorrichtung zur lückenlosen, quasi-kontinuierlichen und stabilen Bestimmung der Lage des Zielkörpers. In particular, the invention involves a method and apparatus for continuous measurement of quasi-continuous and stable determination of the position of the target body.
  • Obwohl die Erfindung nicht an feste Arbeitsräume gebunden ist, ist es besonders vorteilhaft, einen zu einer Aufnahmeeinheit – beispielsweise einer Kamera – festen Arbeitsraum einzusetzen. Although the invention is not bound to specific working areas, it is particularly advantageous to use a receiving unit to a - employ fixed work space - for example, a camera.
  • Erfindungsgemäß wird ein Verfahren dargestellt, das besonders robust ist und insbesondere mit schwierigen Bildverhältnissen arbeiten kann. According to the invention, a method is shown which is particularly robust and can, in particular working with difficult aspect ratios. Insbesondere ist es so möglich, auch bei einem optisch schwierigen Bildhintergrund beziehungsweise bei einer ungünstigen Ausleuchtung eine präzise Bestimmung des Zielkörpers zu erreichen. In particular, it is possible to achieve a precise determination of the target body even when an optically difficult Backgrounds or in the case of an unfavorable illumination.
  • Zielkörper und Verfahren sollen in ein Gerät eingehen, das die räumliche Bewegung der Hand eines Menschen erfasst und an einen Computer zur Verarbeitung überträgt. Target body and procedures are to be included in a device that detects the spatial movement of the hand of a person and transmits it to a computer for processing.
  • Lösungselemente solution elements
  • Erfindungsgemäß ist es insbesondere zweckmäßig, eine nachfolgend als Zielkörper genannte Vorrichtung einzusetzen, deren Oberfläche mindestens zwei, von einer Kamera unterscheidbare Lichtarten reflektiert bzw. aussendet, wobei die Grenzen zwischen den Oberflächenanteilen der beiden Lichtarten als gerade Strecken ausgeführt sind, sowie Verfahren zur Bestimmung der räumlichen Lage des Zielkörpers relativ zu einer Kamera durch Verarbeitung der von dieser Kamera aufgenommenen Bilder dadurch gekennzeichnet dass According to the invention it is particularly expedient to use a hereinafter referred to as target body apparatus, the surface of which reflects at least two, from a camera distinguishable types of light or emits, wherein the boundaries between the surface portions of the two light types straight routes are as executed, as well as methods for determining the spatial Location of the target body to a camera by processing the picked up by this camera characterized in that relatively
    • a. a. ein von einer Kamera erzeugtes Bild geladen wird, an image produced by a camera is loaded,
    • b. b. eine Grauwertbild erzeugt wird, das die Lichtarten des Zielkörpers dem Minimal- bzw. Maximalwert zuweist, a gray scale image is generated, which assigns the types of light of the target body to the minimum or maximum value,
    • c. c. ein Kantendetektor zur Bildung verketteter Kantenpunkte herangezogen wird, an edge detector is used to form concatenated edge points,
    • d. d. gerade Linienstücke aus den Kantenpunktketten herausgeschnitten werden, straight line pieces are cut from the edge point chains
    • e. e. die geraden Linienstücke zu Polygonen zusammengesetzt werden, the straight line segments are assembled into polygons
    • f. f. eine Bewertung der Polygone erfolgt, an evaluation of the polygons,
    • g. G. die zu den Polygonen passenden Projektionen der Zielkörperflächen bestimmt werden, die jeweils einer räumlichen Lage des Zielkörpers entsprechen, the matching of the polygons are determined projections of the target areas of the body, each corresponding to a spatial position of the target body,
    • h. H. eine Bewertung der räumlichen Lagen des Zielkörpers erfolgt, an evaluation of the spatial positions of the target body,
    • i. i. ein Best-Fit des akzeptierten Zielkörpers erfolgt und done a best fit of the accepted target body and
    • j. j. die ermittelte räumliche Lage übermittelt wird. the determined spatial position is transmitted.
  • Beim erfindungsgemäßen Verfahren wird die gestellte Aufgabe durch Auswahl eines Zielkörper gelöst, dessen Oberfläche nur zwei Lichtarten aussendet bzw. reflektiert, wobei die Grenzen zwischen Oberflächenanteilen zweier verschiedener Lichtarten entlang gerader Linien verlaufen, wobei ferner ein Bildauswerteverfahren die von einer Kamera aufgenommenen Bilder des Zielkörpers nach möglichen Projektionen der Oberflächenanteile und deren Grenzlinien absucht, daraus die relative Lage des Zielkörpers zur Kamera berechnet und diese Lage beliebigen Anwendungsprogrammen zur Verfügung stellt. In the inventive method, the stated object is achieved by selecting a target body, the surface transmits only two types of light or reflected, wherein the boundaries between the surface portions of two different types of light along straight lines, further comprising an image evaluation the images captured by a camera images of the target body for possible projections of the surface portions and the boundary lines scans, it computes the relative position of the target body to the camera and this location any application programs provides.
  • In vorteilhafter Ausgestaltung der Erfindung umfasst der Zielkörper geeignete Lichtquellen, insbesondere eine im Zielkörper eingebaute elektrische Lichtquelle. In an advantageous embodiment of the invention the target body comprises suitable light sources, in particular a built-in target body electric light source.
  • In weiterhin vorteilhafter Ausgestaltung der Erfindung wird der Zielkörper dergestalt einer herkömmlichen Computermaus hinzugefügt, dass der Computernutzer diesen Zielkörper vorteilhafterweise ohne wesentliche Änderung seiner Handstellung am Gehäuse der Computermaus in den Sichtbereich der Kamera hineinführen und darin frei bewegen kann. In a further advantageous embodiment of the invention, the target body is added to such a conventional computer mouse, the computer user usher this target body advantageously without substantial change his hand position on the housing of the computer mouse in the field of view of the camera and can move freely therein.
  • In weiterhin vorteilhafter Ausgestaltung der Erfindung wird die um den Zielkörper ergänzte Computermaus um einen Schalter erweitert, bei dessen Betätigung die Auswertung der Kamerabilder eingeschaltet bzw. unterbrochen wird. In a further advantageous embodiment of the invention, added to the target body computer mouse is extended by a switch turned on the analysis of the camera images on the actuation or is interrupted.
  • Der Begriff "Kamerabilder" ist ebenso wie der Begriff "Kamera" in einer allgemeinen Bedeutung zu verstehen. The term "camera images", like the term to understand "camera" in a general sense. Die Begriffe und andere für das Verständnis der Erfindung vorteilhafte Begriffe werden nachfolgend erläutert: The terms and others in understanding the invention advantageous terms are explained below:
    Der Begriff "Kamera" steht für ein beliebiges Bild gebendes Gerät, welches zweidimensionale Projektionen räumlicher Objekte nach hinreichend bekannten Gesetzmäßigkeiten erstellt und in digitaler Form an einen Computer weiterleiten kann. The term "camera" is imaging apparatus which in digital form to a computer may forward two-dimensional projections of spatial objects created by well known laws and for any image. Eine auf Verfahren der Bildverarbeitung beruhende Computermaus benötigt insbesondere solche Kameras, deren Bildwiederholrate ausreichend hoch ist, um Bewegungen am Bildschirm kontinuierlich erscheinen zu lassen. A method based on the image processing computer mouse requires particularly those cameras whose frame rate is sufficiently high to allow movement on the screen appear continuously.
  • Das in den dreidimensionalen Raum mit seinen sechs Freiheitsgraden übertragene Prinzip der Computermaus soll im Rahmen dieser Patentschrift gleichbedeutend mit den Ausdrücken "6-Freiheitsgrade-Maus" oder "räumliche Computermaus" oder verkürzt "6D-Maus" bezeichnet werden. The transmitted in the three-dimensional space with six degrees of freedom principle of the computer mouse to be referred to in the context of this specification synonymous with the terms "6-degrees of freedom mouse" or "spatial computer mouse" or shortened "6D mouse".
  • Eine Weiterbildung der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass der Zielkörper von der Hand einer Person geführt wird und das Verfahren somit die sechs räumlichen Freiheitsgrade der Handstellung bestimmt. A further development of the inventive device and the inventive method is characterized in that the target body is guided by the hand of a person and the method thus determines the six spatial degrees of freedom of the hand position.
  • Eine Weiterbildung der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass die Bestimmung der räumlichen Lage des Zielkörpers quasi-kontinuierlich erfolgt, indem jedes einzelne, von der Kamera erfasste Bild von dem Verfahren bearbeitet wird. A further development of the inventive device and the inventive method is characterized in that the determination of the spatial position of the target body is performed quasi-continuously by each individual detected by the camera is processed by the method.
  • Eine Weiterbildung der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass die Lichtarten als Farbeindrücke schwarz und weiß realisiert werden. A further development of the inventive device and the inventive method is characterized in that the lights are implemented as black and white color impressions.
  • Eine Weiterbildung der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass die Intensität eines oder beider Lichtarten durch eine im Zielkörper angebrachte Lichtquelle mit vorzugsweise elektrischer Energieversorgung erhöht und der Zielkörper teilweise transparent ausgeführt wird. A further development of the inventive device and the inventive method is characterized in that the intensity of one or both types of light increases by an attached in the target state light source with preferably electrical energy supply and the target body is performed in part transparent.
  • Eine Weiterbildung der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass die Grenzlinien zwischen den Lichtarten und die Kanten des Zielkörpers zusammenfallen. A further development of the inventive device and the inventive method is characterized in that the boundary lines are coincident between the light types and the edges of the target body.
  • Eine Weiterbildung der erfindungsgemäßen Vorrichtung und des erfindungsgemäßen Verfahrens zeichnet sich dadurch aus, dass der Zielkörper die Form eines Kuboktaeders annimmt, dessen Quadrate einer Lichtart und dessen Dreiecke der anderen Lichtart zugewiesen werden. A further development of the inventive device and the inventive method is characterized in that the target body takes the form of a cuboctahedron of squares of an illuminant and the triangles of the other type of light can be assigned.
  • Die Erfindung beinhaltet ferner eine "6-Freiheitsgrade-Maus" genannte Vorrichtung zur Eingabe von sechs Freiheitsgraden in einen Computer, welches auf dem Zielkörper und Verfahren gemäß Anspruch 1 beruht und die ermittelten räumlichen Lagen beliebigen Programmen zur Verfügung stellt. The invention further includes a "6 degrees of freedom mouse" said device for the input of six degrees of freedom in a computer, which is based on the target body and method according to claim 1 and the determined spatial positions of any of the programs provides.
  • Eine weitere Ausgestaltung der Erfindung beinhaltet eine 6-Freiheitsgrade-Maus, deren Betrieb mittels wenigstens eines Schalters eingeschaltet, unterbrochen bzw. abgestellt werden kann. Another embodiment of the invention includes a 6-degrees of freedom mouse, whose operation can be switched on, switched off or interrupted by at least one switch.
  • Insbesondere ist es vorteilhaft, dass die 6-Freiheitsgrade-Maus mit einer herkömmlichen, zweidimensionalen Computermaus verbunden ist und unter Zuhilfenahme des Schalters wahlweise als herkömmliche 2D-Maus oder als räumliche Computermaus betrieben werden kann. It is particularly advantageous that the 6 degrees of freedom mouse is connected to a conventional two-dimensional computer mouse can be operated with the aid of the switch alternatively as a conventional 2D mouse or as a spatial computer mouse.
  • Bilder images
  • 1 1 : Einsatz eines Ausführungsbeispiels der erfindungsgemäßen Vorrichtung an der Mensch-Maschine-Schnittstelle des Computerarbeitsplatzes. : Use of an embodiment of the device according to the invention at the man-machine interface of the computer workstation.
  • 2 2 : Ausführungsbeispiel eines erfindungsgemäßen Zielkörpers in Form eines Kuboktaeders, der aus schwarzen und transparenten Oberflächenanteilen zusammengesetzt und mit einer inneren Lichtquelle versehen ist. : Embodiment, a target body according to the invention in the form of a cuboctahedron, which is composed of black and transparent surface portions and provided with an internal light source.
  • 3 3 : Alternative Ausführungsformen des Zielkörpers. Alternative embodiments of the target body.
  • 4 4 : Hardware und Softwarearchitektur des erfindungsgemäßen Verfahrens. Hardware and software architecture of the present process.
  • 5 5 : Ablaufschema des erfindungsgemäßen Verfahrens. : Flow chart of the process of the invention.
  • 6 6 : Herausschneiden von geraden Linien aus Punkteketten und Zusammensetzung gerader Linien zu drei- und viereckigen Polygonen. : To three cutting out of straight lines from points chains and composition of straight lines and square polygons.
  • 7 7 : Bestimmen zweier Lagen im Raum eines regelmäßigen Dreiecks bei gegebener Projektion : Determining two positions in space of a regular triangle with a given projection
  • 8 8th : Ausführungsbeispiel einer zu einer 6D-Maus erweiterten herkömmlichen Computermaus : Embodiment of an extended to a conventional computer mouse 6D mouse
  • Ausgestaltung design
  • 1 1 zeigt ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung am Computerarbeitsplatz. shows an embodiment of the device according to the invention at a computer workstation. Der Computerarbeitsplatz umfasst zumindest eine Zentraleinheit The computer workstation comprises at least one central processing unit 101 101 , einen Bildschirm , A display 102 102 , eine Tastatur , A keyboard 103 103 , eine Computermaus , A computer mouse 104 104 , sowie insbesondere eine an den Computer angeschlossene Kamera , And in particular a connected camera to computer 105 105 und ferner den in der Hand des Computernutzers and further comprising the computer in the hand of the user 107 107 geführten Zielkörper run target body 106 106 . , Die Kamera ist so angeordnet, dass der Zielkörper innerhalb des größtmöglichen Teils des Bewegungsraumes der Hand eines am Arbeitstisch sitzenden Computernutzers für die Kamera sichtbar ist. The camera is so arranged that the target body is visible within the largest possible part of the movement space of the hand of a sitting at the desk computer user for the camera.
  • 2a 2a zeigt das bevorzugte Ausführungsbeispiel eines erfindungsgemäßen Zielkörpers in Form eines Kuboktaeders shows the preferred embodiment of a target body according to the invention in the form of a cuboctahedron 201 201 . , Die Oberfläche des Zielkörpers wurde so gewählt, dass weißes Licht entweder größtenteils farblos reflektiert oder farblos absorbiert wird, wodurch die Farbeindrücke weiß The surface of the target body was that white light is either reflected or mostly colorless colorless absorbed so selected, whereby the color impressions white 202 202 und schwarz and black 203 203 im Kamerabild hervorgerufen werden. caused in the camera image.
  • 2b 2 B zeigt den bevorzugten Einsatz einer Lichtquelle shows the preferred use of a light source 212 212 mit elektrischer Energieversorgung with electrical energy supply 213 213 im Inneren des Zielkörpers inside the target body 211 211 , die der Verstärkung des Kontrastes zwischen den Lichtarten des Zielkörpers einerseits und zwischen der Oberfläche des Zielkörpers und dem restlichen Inhalt des Kamerabildes andererseits dient. , On the other hand is used to enhance contrast between the types of light of the target body on the one hand and between the surface of the target body and the remaining contents of the camera image. Andere Lichtanordnungen zur Verbesserung der Bildqualität nach dem erfindungsgemäßen Verfahren, könnten aus einer ringförmigen, zur Kamera konzentrischen Lichtquelle einerseits und hoch-reflektierenden bzw. hoch-absorbierenden Oberflächen des Zielkörpers andererseits bestehen, wobei insbesondere infrarotes Licht zum Einsatz kommen könnte. Other light configurations for improving the image quality by the inventive process, may consist of an annular, camera concentric light source on the one hand and highly reflective or highly absorbent surface of the target body on the other hand consist, in particular infrared light could be used.
  • Im Ausführungsbeispiel wurden die Quadrate In the embodiment, the squares were 203 203 des Kuboktaeders schwarz und die Dreiecke the cuboctahedron black and triangles 202 202 weiß ausgeführt. running white. Der Anspruchsbereich der vorliegenden Erfindung erstreckt sich jedoch unabhängig von dieser Wahl auf alle Lichtartenkombinationen, die für Kameras unterscheidbar sind. However, the claim of the present invention extends independent of this choice on all types of light combinations, which are distinguishable for cameras.
  • Vorteilhafterweise wurde eine konvexe Form für den Zielkörper gewählt, damit die Oberflächenelemente zwar perspektivisch verzerrt auf das Kamerabild projiziert werden, aber sich nicht gegenseitig im Bild beeinflussen und nur dann darin verschwinden, wenn sie der Betrachtungsrichtung abgewandt sind. Advantageously, a convex shape has been chosen for the target body so that the surface elements Although perspective distortion are projected onto the camera image, but do not affect each other in the image, and only then disappear therein when they are facing away from the viewing direction. Ferner verlaufen beim Kuboktaeder, wie gefordert, alle Grenzen zwischen schwarzen und weißen Flächenanteilen entlang gerader Kanten Further extend the Cuboctahedron, as required, all boundaries between black and white surface portions along straight edges 204 204 . ,
  • Die vorliegende Erfindung schließt alle Körper ein, die dadurch ausgezeichnet sind, dass sie über gerade Grenzlinien zwischen Oberflächenanteilen zweier unterschiedlicher Lichtarten verfügen. The present invention includes all bodies which are excellent in that they have straight boundary lines between surface portions of two different types of light. 3 3 zeigt einige einfache Beispiele solcher Zielkörper. shows some simple examples of such target body.
  • 3a 3a zeigt einen schwarz-weiß belegter Oktaeder shows a black and white husky octahedron 310 310 . , Wie der Kuboktaeder As the Cuboctahedron 330 330 besitzt er die Eigenschaft, dass in jeder Ecke he owns the property that in every corner 311 311 genau vier Kanten exactly four edges 312 312 aufeinander treffen. meet. Dadurch kann jedes beliebige Paar zweier benachbarter Flächen mit den beiden entgegengesetzten Lichtarten belegt werden, so dass die gemeinsame Kante Thereby can be assigned to the two opposite types of light any pair of two adjacent faces so that the common edge 312 312 eine Grenzlinie zwischen den Lichtarten erzeugt. a boundary line between the types of light generated.
  • 3b 3b stellt einen Würfel represents a cube 320 320 dar. Da beim Würfel stets drei Kanten . Since the cube always three edges 322 322 in einer Ecke in a corner 321 321 aufeinander stoßen, müssen beispielsweise die Vorder- collide, for example, the front must 323 323 und Rückseite mit einem Muster aus vier Dreiecken and back with a pattern of four triangles 324 324 belegt werden, damit alle Würfelkanten Grenzlinien zwischen den Lichtarten bilden. be assigned so that all edges of the cube form boundary lines between the types of light.
  • 3c 3c enthält den Kuboktaeder contains the cuboctahedron 330 330 , der gegenüber dem Oktaeder Which is opposite the octahedron 310 310 den Vorteil hat, dass im Mindestfalle immer noch vier Flächen sichtbar sind und damit auch die vier zwischen diesen vier Flächen liegenden Grenzlinien sichtbar sind. has the advantage that four areas are visible in the minimum case still lying and the four between these four areas boundary lines are visible. Diese Grenzlinien werden stets kontrastreich abgebildet, da sie im Gegensatz zu den Kanten an der Umrandung These boundary lines are always displayed contrast, because, in contrast to the edges of the border 331 331 des projizierten Kuboktaeders nicht mit dem a priori unbekannten Bildhintergrund kontrastieren. not contrast of the projected cuboctahedron with the a priori unknown image background.
  • 3d 3d gibt einen Rhombenkuboktaeder is a Rhombicuboctahedron 340 340 und and 3e 3e einen Ikosidodekaeder a icosidodecahedron 350 350 wider, die beide gegenüber dem Kuboktaeder den Nachteil kürzerer Kanten resist, both against the Cuboctahedron the disadvantage shorter edges 341 341 , . 351 351 im Verhältnis zu ihren äußeren Abmessungen besitzen. have in relation to their outer dimensions. Damit wird das Auffinden gerader Linien im Kamerabild bei weit von der Kamera entfernten Zielkörpern erschwert. Thus finding straight lines in the camera image at far away from the camera target bodies more difficult.
  • 4 4 gibt schematisch die Anordnung des erfindungsgemäßen Verfahrens innerhalb der Hardware- und Softwarearchitektur eines Computers mit Mensch-Maschine-Schnittelle wider. are schematically against the assembly of the inventive method within the hardware and software architecture of a computer with man-machine interface Elle. Der Nutzer des Computers The user of the computer 401 401 führt mit seiner Hand leads with his hand 402 402 den Zielkörper the target body 403 403 im Sichtfenster in the window 404 404 einer Kamera a camera 405 405 . , Die von der Kamera aufgenommenen Bilder des Zielkörpers werden in Form digitaler Daten mittels Datenverbindung The images recorded by the camera images of the target body are in the form of digital data by means of data connection 406 406 an eine dafür geeignete Hardwarekomponente a means of suitable hardware component 407 407 weitergeleitet. forwarded. Das Betriebssystem des Computers The operating system of the computer 408 408 wird vom Eingang eines Bildes in Kenntnis gesetzt und stellt Mechanismen bereit, die es anderen Programmen ermöglichen, mittelbar oder unmittelbar auf die Kamerabilder in Datenform zuzugreifen. is set by the input of an image having and provides mechanisms that enable other programs, directly or indirectly access the camera images in data form.
  • Das erfindungsgemäße Verfahren – im Weiteren "Algorithmus" The process of the invention - hereinafter "algorithm" 409 409 genannt – nutzt diese Mechanismen, um das eingegangene Bild in einen internen Speicher zu laden. called - uses these mechanisms to load the received image into an internal memory. Der Algorithmus ist als ein Programm realisiert, das zusammen mit anderen Programmen vom Betriebssystem The algorithm is implemented as a program that the operating system along with other programs 408 408 auf der Computer-Hardware on the computer hardware 407 407 ausgeführt werden kann. can be executed. Der Algorithmus stellt seine Ergebnisse seinerseits mittelbar oder unmittelbar anderen Programmen zur Verfügung. The algorithm presents its results for its part, directly or indirectly available to other programs.
  • Ein Anwendungsprogramm unterscheidet sich von anderen Programmen dadurch, dass es vom Computernutzer wahrgenommen und bewusst und in seinem Interesse genutzt wird, indem dieses z. An application program different from other programs in that it is perceived by the computer user and deliberately and used in his interest by this example. B. Aufgaben lösen hilft oder zur Unterhaltung dient. B. helps solve problems or used for entertainment. Ein Anwendungsprogramm An application program 410 410 kann auf die Ergebnisse des Algorithmus can the results of the algorithm 409 409 zugreifen und diese seinerseits weiterverarbeiten. access and process these in turn. Es könnte z. It could, for. B. die ermittelte räumliche Lage des Zielkörpers dazu verwenden, ein virtuelles Objekt im Raum zu positionieren und mittelbar oder unmittelbar auf dem Bildschirm B. using the determined spatial position of the target body to move a virtual object in space and directly or indirectly on the screen 411 411 grafisch darzustellen oder um damit eine Maschine, z. graphically display order or a machine, z. B. einen Industrieroboter, zu steuern oder sonst einen Sinneseindruck erzeugen, der vom Computernutzer als Antwort auf die räumliche Bewegung seiner Hand wahrgenommen werden kann. B. to control an industrial robot or otherwise create a sensation that can be perceived by the computer user in response to the spatial movement of his hand.
  • 5 5 zeigt die Vorgehensweise des erfindungsgemäßen Verfahrens zur Ermittlung der relativen räumlichen Lage des Zielkörpers bezüglich einer Kamera. shows the procedure of the method for determining the relative spatial position of the target body relative to a camera.
  • Ziel des Verfahrens ist es einerseits festzustellen, ob sich im Kamerabild eine Projektion des Zielkörpers befindet und andererseits, wenn dies der Fall sein sollte, die räumliche Lage des Zielkörpers mit größtmöglicher Genauigkeit aus dieser Projektion zu bestimmen. The aim of the method, it is firstly to determine whether there is a projection in the camera image of the target body and on the other hand, if this should be the case, to determine the spatial position of the target body with the greatest possible accuracy from this projection. Diese Ziele werden erfindungsgemäß durch wiederholtes, abwechselndes Zusammenstellen von Kandidaten mit anschließender Bewertung erreicht, wobei sich die Natur der betrachteten Kandidaten schrittweise verändert. These objectives are achieved according to the invention by repeated, alternating assembly of candidates with subsequent evaluation, with the nature of the candidates under consideration changed gradually.
  • Sobald ein neues Kamerabild Once a new camera image 500 500 verfügbar ist, greift das erfindungsgemäße Verfahren im Schritt is available, the inventive method uses at step 501 501 auf das digitalisierte Kamerabild zu und wandelt es in Schritt to the digitized camera image and converts it to step 502 502 in ein Graustufenbild um, dergestalt dass die erste der beiden Lichtarten des Zielkörpers in einen Grauwert nahe dem Minimum der Grauwerteskala und die zweite Lichtart in einen Grauwert nahe dessen Maximum umgewandelt wird. in a gray-scale image, such that the first of the two kinds of light of the target body is converted into a gray value close to the minimum gray scale values ​​and the second type of light in a gray level close to its maximum.
  • Im anschließenden Schritt In the subsequent step 503 503 führt der Algorithmus ein unter Fachleuten der Bildverarbeitung als Standardmethode der Kantendetektion bekanntes Verfahren durch, das die folgenden Teilschritte beinhaltet: Glättung des Bildrauschens, Berechnung der Gradientenhöhe und -richtung im Graubild, Nichtmaximum-Löschung, Kantenpunktverkettung und Bewertung der Kantenpunktketten mittels Schwellwerten. the algorithm performs a well-known as a standard method of edge detection among experts of the image processing method, comprising the substeps of: smoothing the image noise, the calculation of the gradient magnitude and direction in the gray image, non-maximum cancellation, edge point linkage and evaluation of the edge point chains by means of threshold values. Das Verfahren liefert den Verlauf der ins Kamerabild projizierten Grenzlinien zwischen den Lichtarten des Zielkörpers sowie eventuell weitere Lichtkanten, die nicht von den Grenzlinien des Zielkörpers hervorgerufen wurden. The process provides the course of the projected image to the camera boundary lines between the lights of the target body and possibly other light edges that were not caused by the boundary lines of the target body.
  • Im Schritt In step 504 504 schneidet der Algorithmus alle geraden Abschnitte aus den gewonnenen Kantenpunktketten heraus, die als Projektion geradliniger Grenzlinien in Frage kommen, und wandelt diese in Linienstücke um. the algorithm all the straight portions from the obtained edge point chains excises that come into question as a projection of straight boundary lines and converts it into line segments.
  • Im Schritt In step 505 505 wird aus den Linienstücken eine Liste von Kandidaten aufgestellt, im Weiteren als "Polygone" bezeichnet, die als Projektionen von Dreiecken oder Vierecken im Kamerabild in Frage kommen. draws up a list of candidates from the line segments, referred to as "polygons" that come as projections of triangles or squares in the camera image in question.
  • Schritt step 506 506 bewertet die Polygone unter Betrachtung der vom Polygon eingeschlossenen Fläche hinsichtlich ihrer Eignung als Kandidat für die Projektion eines Dreiecks oder Vierecks des Zielkörpers. rated the polygons in consideration of the area enclosed by the polygon area with regard to their suitability as a candidate for the projection of a triangle or quadrangle of the target body.
  • Im Schritt In step 507 507 werden für jeden hinreichend Erfolg versprechenden Polygon-Kandidaten alle räumlichen Lagen des Zielkörpers, im Ausführungsbeispiel des Kuboktaeders, relativ zur Kamera berechnet, deren Projektionen auf das Kamerabild genau diesen Polygon-Kandidaten enthalten würden. be calculated for each polygon sufficiently promising candidates all spatial positions of the target body, in the exemplary embodiment of the cuboctahedron relative to the camera, whose projections on the camera image would contain exactly this polygon candidate. Damit entsteht eine Kandidatenliste für die Zielkörper. This creates a list of candidates for the target body.
  • Schritt step 508 508 bewertet die Zielkörper-Kandidaten unter Hinzunahme weiterer Linienstücke in der Umgebung des Polygons und unter Einbeziehung der im Schritt evaluates the target body candidates with the addition of other line segments in the area of ​​the polygon and including the step 7 7 ermittelten räumlichen Lage. determined spatial position.
  • Mittels geeigneter Schwellwerte entscheidet Schritt By means of suitable threshold values ​​step decides 509 509 des Verfahrens, ob wenigstens ein hinreichend aussichtsreicher Zielkörper-Kandidat im Kamerabild vorliegt. of the process if at least one sufficiently promising target body candidate is present in the camera image. Ist dies nicht der Fall, bricht der Algorithmus ab und fängt wieder bei Schritt If this is not the case, the algorithm stops and starts again at step 501 501 an. on.
  • Andernfalls wählt der Algorithmus in Schritt Otherwise, the algorithm selects in step 510 510 den besten Zielkörper-Kandidaten aus, und berechnet mittels eines unter Fachleuten bekannten Best-Fit-Verfahrens diejenige räumliche Lage des Zielkörpers, deren Projektion auf das Kamerabild bestmöglich mit den dem Zielkörper zugeordneten Linienstücken übereinstimmt. the best target body candidates, and calculated by using a well-known among experts best-fit process that spatial position of the target body, the projection of which matches best to the camera image with the associated the target body line segments.
  • Im letzten Schritt In the last step 511 511 stellt der Algorithmus die berechnete räumliche Lage des Zielkörpers the algorithm, the calculated spatial location of the target body 512 512 zur Weiterverarbeitung durch Drittprogramme zur Verfügung und kehrt zu Schritt for further processing by third programs are available and returns to step 501 501 zurück. back.
  • 6 6 zeigt beispielhaft die Schritte exemplifies the steps of 503 503 bis to 505 505 des Algorithmus. the algorithm.
  • 6a 6a gibt einen Ausschnitt aus einem Kamerabild is a section of a camera image 611 611 des Kuboktaeders wider sowie eine der vom Kantendetektor, Schritt the cuboctahedron resist and one of the edge detector, step 503 503 , gefundenen Kantenpunktketten Edge point chains found 612 612 , die hier auf das Bild projiziert wurde. Which was projected here on the picture.
  • 6b 6b zeigt die vom Algorithmus unter Anwendung enger Geradheitstoleranzen shows the algorithm using close straightness 622 622 gefundenen geradlinigen Abschnitte in der Kantenpunktekette found straight sections in the edge points chain 621 621 sowie die in diese geradlinigen Abschnitte hineingelegten Ausgleichsgeraden and the inside out in these straight sections fit line 623 623 . ,
  • In In 6c 6c wurden zunächst die Ausgleichsgeraden were first the best-fit line 623 623 nahe dem ersten near the first 631 631 und letzten Punkt and final point 632 632 des jeweiligen Abschnittes der Kantenpunktkette zu einem Linienstück the respective portion of the edge point to a chain line piece 633 633 verkürzt. shortened. Der Richtungspfeil am Linienstück gibt an, welche Lichtart sich im ursprünglichen Bild The arrow on the line segment indicates which type of light in the original image 611 611 rechts bzw. links des Linienstücks befunden hat. right or left of the line segment has been. Ferner zeigt das Bild die Suche von Paaren aus je einem Anfangs- Further, the figure shows the search of pairs of one initial 631 631 und einem Endpunkt and an end point 632 632 zweier verschiedener Linienstücke of two different line segments 633 633 , deren gegenseitiger Abstand einen Schwellwert , Whose mutual distance a threshold 634 634 unterschreitet below
  • In In 6d 6d hat der Algorithmus die drei gefundenen Paare the algorithm has found the three pairs 641 641 , deren drei Anfangs- und drei Endpunkte zu denselben drei Linienstücken gehören, zu einem Dreieck Whose three start and end points to three the same three line segments belong to a triangle 642 642 ergänzt, welches in guter Näherung dem weißen Dreieck in der Mitte der adds that to a good approximation the white triangle in the middle of 6a 6a entspricht. equivalent.
  • Für Vierecke verläuft das Verfahren analog, wobei der Drehsinn der Pfeile in beiden Fällen angibt, welche Lichtart sich im Inneren des Polygons befinden muss. For rectangles, the process is analogous, with the arrows indicating the direction of rotation in both cases, which type of light must be located in the interior of the polygon.
  • 7 7 zeigt das in Schritt shows the step in 507 507 durchgeführte Verfahren, das darin besteht, jedem im Kamerabild gefundenen Dreieck im Allgemeinen zwei im Raum liegende gleichseitige Dreiecke zuzuordnen. implemented method is to associate each triangle found in the camera image generally two in the space lying equilateral triangles. Die Kantenlänge dieser gleichseitigen Dreiecke ist gleich der Kantenlänge der Dreiecke des Zielkörpers. The side of this equilateral triangle is equal to the edge length of the triangles of the target body. Vom Standpunkt der Kamera aus betrachtet erscheinen beide gleichseitigen Dreiecke völlig identisch und sie fallen außerdem mit dem im Kamerabild gefundenen Dreieck zusammen. From the standpoint of the camera considers both equilateral triangles appear completely identical and they also coincide with the found in the camera image triangle.
  • Für Quadrate, deren Projektion im Allgemeinen Parallelogramme sind, wird zunächst in das gefundene Bildparallelogramm ein Dreieck eingezeichnet, das im Verhältnis zum gleichseitigen Dreieck dieselbe perspektivische Verzerrung aufweist, wie das Parallelogramm im Verhältnis zum Quadrat. For squares whose projection are generally parallelograms, is initially located a triangle in the found Bildparallelogramm having in relation to the equilateral triangle is the same perspective distortion, such as the parallelogram in proportion to the square. Dieses eingezeichnete Dreieck wird gemäß Schritt This drawn triangle according to step 507 507 behandelt. treated. Die Ergebnisse werden anschließend auf das Parallelogramm zurück übertragen, wodurch sich die zwei gesuchten räumlichen Lagen eines Quadrates bekannter Größe ergeben. The results are then transmitted to the parallelogram back, resulting in the two are spatial positions of a square of known size.
  • Modellhaft geht das Verfahren von einem Kamerabezugssystem Model the method proceeds by a camera reference system 701 701 im Brennpunkt des Kameraobjektivs und einem Bildbezugssystem at the focal point of the camera lens and an image reference system 702 702 in einer Bildebene aus, die senkrecht zur Kameraachse z steht. in an image plane of which is perpendicular to the camera axis z. In der Bildebene befindet sich modellhaft das Bildrechteck In the image plane is a model the image rectangle 703 703 dessen Mittelpunkt auf der Kameraachse z liegt. whose center is on the z axis of the camera. Der Abstand der Bildebene zum Brennpunkt ist so gewählt, dass das Verhältnis der Bildbreite zu diesem Abstand dem horizontalen Bildwinkel der Kamera entspricht. The distance of the image plane to the focal point is selected so that the ratio of picture width to this distance corresponds to the horizontal angle of view of the camera. Vom Brennpunkt der Kamera gehen drei Strahlen go from the focal point of the camera three beams 704 704 dergestalt in den Raum, dass jeder Strahl eine Ecke such in the room, that each beam a corner 705 705 des in die Bildebene einzeichneten Dreiecks the einzeichneten in the image plane triangle 706 706 durchstößt. pierces. Das erfindungsgemäße Verfahren platziert die gleichseitigen Dreiecke The inventive method places the equilateral triangles 707 707 und and 708 708 so im Raum, dass deren drei Ecken alle drei Strahlen berühren. as in the room that the three corners touch all three beams.
  • 8 8th zeigt in Weiterbildung der vorliegenden Erfindung eine lediglich ergonomisch modifizierte, gewöhnliche Computermaus shows in development of the present invention, only ergonomically modified, ordinary computer mouse 801 801 , die um einen Kuboktaeder That a Cuboctahedron 802 802 sowie einen Schalter and a switch 803 803 ergänzt wurde. has been added. Diese Anordnung realisiert ein Eingabegerät, das sowohl als gewöhnliche Computermaus wie auch als räumliche Computermaus, das heißt, als Eingabegerät für alle sechs räumlichen Freiheitsgrade Verwendung finden kann. This arrangement provides an input device that can be used both as an ordinary computer mouse as well as spatial computer mouse, that is, as an input device for all six spatial degrees of freedom.
  • Bei der räumlichen Computermaus nach dem erfindungsgemäßen Verfahren wird ein Verfolgungsmechanismus des in der Hand des Computernutzers gehaltenen Eingabegerätes The spatial computer mouse according to the inventive method, a tracking mechanism of the input device held in the hand of the user's computer 801 801 dadurch realisiert, dass die Lage des erfindungsgemäßen Zielkörpers, vorzugsweise eines Kuboktaeders realized that the location of the target body according to the invention, preferably a cuboctahedron 802 802 , innerhalb des Sichtbereiches einer Kamera in jedem von der Kamera übermittelten Bild bestimmt wird. is determined within the range of view of a camera in each transmitted from the camera image.
  • Erläuternd sei darauf verwiesen, dass eine gewöhnliche Computermaus die relative Verlagerung des am Bildschirm beobachtbaren Pointers steuert und zwar relativ zu jeder beliebigen Ausgangsstellung des Pointers. Illustratively, it should be noted that an ordinary computer mouse controls the relative displacement of the observable on the screen pointer, relative to any output position of the pointer. Die Verlagerung des Pointers wird vom Benutzer visuell kontrolliert und gegebenenfalls korrigiert, um den Pointer an einen gewünschten Punkt am Bildschirm zu stellen oder entlang einer Bahn zu bewegen. The shift of the pointer is visually controlled by the user and corrected if necessary, to move the pointer at a desired point on the screen or to move along a path. Reicht der Bewegungsraum der die Maus führenden Hand aufgrund von Kollisionen oder ungünstiger Körperhaltung nicht mehr aus, um eine gewünschte Bahn auszuführen, kann der Benutzer die Computermaus abheben, in eine günstigere Position bringen und wieder absetzen. There is not enough space for movement of the mouse hand guiding due to collisions or unfavorable posture no longer to perform a desired path, the user can pick up the computer mouse to bring in a more favorable position and settle again. Mit dem Abheben unterbricht der Benutzer absichtlich den Verfolgungsmechanismus (Kugel, Laser etc.), um den Pointer am Bildschirm zum Stillstand zu bringen, während die Computermaus verlagert wird. With the lifting of the user intentionally interrupts the tracking mechanism (ball, laser, etc.) in order to bring the pointer on the screen to a standstill, while the computer mouse is moved. Dieser Vorgang soll als "Zustellung" bezeichnet werden. This process will be referred to as "delivery".
  • Um eine Zustellung auch mit einer räumlichen Computermaus durchführen zu können, steht naturgemäß die für das Abheben in Anspruch genommene dritte Dimension nicht mehr zur Verfügung. In order to perform a service with a spatial computer mouse, the time taken for the lifting third dimension is naturally no longer available. In der erfindungsgemäßen Vorrichtung wird die Funktion des Abhebens stattdessen mittels eines Schalters In the inventive device, the function of lift-off instead by a switch 803 803 realisiert. realized. Vorteilhafterweise handelt es sich dabei um einen an ergonomisch günstiger Stelle angebrachten Schalter. Advantageously, this is a attached to an ergonomically favorable position switch. Ebenfalls vorteilhafterweise kann dieser Schalter auch dazu verwendet werden, die Computermaus vom gewöhnlichen 2D-Modus in den räumlichen Funktionsmodus hin- und herzuschalten. Also advantageously, this switch can also be used to toggle the computer mouse from ordinary 2D mode to the spatial mode of operation and herzuschalten.
  • 101 101
    Zentraleinheit des Computers Central processing unit of the computer
    102 102
    Bildschirm screen
    103 103
    Tastatur keyboard
    104 104
    Computermaus computer mouse
    105 105
    Kamera camera
    106 106
    Zielkörper target body
    107 107
    Hand des Computernutzers Hand of the computer user
    201 201
    Kuboktaeder cuboctahedron
    202 202
    Weißes Dreieck white triangle
    203 203
    Schwarzes Quadrat black square
    204 204
    Gerade Kante Straight edge
    211 211
    Zielkörper target body
    212 212
    Lichtquelle light source
    213 213
    Elektrische Energieversorgung electric energy supply
    310 310
    Oktaeder octahedron
    311 311
    Ecke des Oktaeders Corner of the octahedron
    312 312
    Kante des Oktaeders Edge of the octahedron
    320 320
    Würfel cube
    321 321
    Ecke des Würfels Corner of the cube
    322 322
    Kante des Würfels Edge of the cube
    323 323
    Vorderseite des Würfels Front of the cube
    324 324
    Dreieck auf der Würfelvorderseite Triangle on the front dice
    330 330
    Kuboktaeder cuboctahedron
    331 331
    Umrandung des projizierten Kuboktaeders Outline of the projected cuboctahedron
    340 340
    Rhombenkuboktaeder Rhombicuboctahedron
    341 341
    Kante des Rhombenkuboktaeders Edge of the Rhombenkuboktaeders
    350 350
    Ikosidodekaeder icosidodecahedron
    351 351
    Kante des Ikosidodekaeders Edge of the icosidodecahedron
    401 401
    Computernutzer computer users
    402 402
    Hand des Computernutzers Hand of the computer user
    403 403
    Zielkörper target body
    404 404
    Sichtfenster der Kamera Viewing window of the camera
    405 405
    Kamera camera
    406 406
    Datenverbindung Data Connection
    407 407
    Hardware des Computers Computer Hardware
    408 408
    Betriebssystem des Computers Computer operating system
    409 409
    Erfindungsgemäßer Algorithmus Inventive Algorithm
    410 410
    Anwendungsprogramm application program
    411 411
    Bildschirm screen
    500 500
    Kamerabild camera image
    501 ... 511 501 ... 511
    Schritte steps 501 501 bis to 511 511 des Algorithmus the algorithm
    512 512
    Räumliche Lage spatial position
    611 611
    Kuboktaeder cuboctahedron
    612 612
    Kantenpunktkette Edge point chain
    621 621
    Kantenpunktkette Edge point chain
    622 622
    Geradheitstoleranzen straightness
    623 623
    Ausgleichsgerade fit line
    631 631
    Anfangspunkt eines Linienstücks Starting point of a line segment
    632 632
    Endpunkt eines Linienstücks Endpoint of a line segment
    633 633
    Linienstück line piece
    634 634
    Abstandsschwellwert distance threshold
    641 641
    Anfangs-Endpunkt-Paar At first endpoint pair
    642 642
    Dreieck triangle
    701 701
    Bezugssystem der Kamera Reference frame of the camera
    702 702
    Bezugssystem des Kamerabildes Reference frame of the camera image
    703 703
    Bildrechteck image rectangle
    704 704
    Strahl beam
    705 705
    Ecke des Dreiecks Corner of the triangle
    706 706
    Dreieck triangle
    707 707
    Erstes gleichseitiges Dreieck First equilateral triangle
    708 708
    Zweites gleichzeitiges Dreieck Second simultaneous triangle
    801 801
    Computermaus computer mouse
    802 802
    Kuboktaeder cuboctahedron
    803 803
    Schalter counter
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. This list of references cited by the applicant is generated automatically and is included solely to inform the reader. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. The list is not part of the German patent or utility model application. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen. The DPMA is not liable for any errors or omissions.
  • Zitierte Patentliteratur Cited patent literature
    • - US 6711293 B1 [0007] - US 6711293 B1 [0007]
    • - DE 102005011432 A1 [0008] - DE 102005011432 A1 [0008]
    • - WO 2004/114112 A1 [0009] - WO 2004/114112 A1 [0009]
    • - US 6526166 [0011] - US 6526166 [0011]
    • - WO 2005/075936 A1 [0012] - WO 2005/075936 A1 [0012]
    • - US 2005201613 [0015] - US 2005201613 [0015]
    • - WO 2007/04431 A2 [0015] - WO 2007/04431 A2 [0015]

Claims (10)

  1. Zielkörper, dessen Oberfläche mindestens zwei, von einer Kamera unterscheidbare Lichtarten reflektiert bzw. aussendet, wobei die Grenzen zwischen den Oberflächenanteilen der beiden Lichtarten als gerade Strecken ausgeführt sind, sowie Verfahren zur Bestimmung der räumlichen Lage des Zielkörpers relativ zu einer Kamera durch Verarbeitung der von dieser Kamera aufgenommenen Bilder dadurch gekennzeichnet , dass a. Target body, the surface of which reflects at least two, from a camera distinguishable types of light or emits, wherein the boundaries between the surface portions of the two types of light as straight sections are executed, and methods for determining the spatial position of the target body relative to a camera by processing of this camera captured images characterized in that a. ein von einer Kamera erzeugtes Bild geladen wird, b. an image produced by a camera is loaded b. eine Grauwertbild erzeugt wird, das die Lichtarten des Zielkörpers dem c. a gray scale image is generated, the light c is the species of the target body. Minimal- bzw. Maximalwert zuweist, d. Minimum or maximum value allocates d. ein Kantendetektor zur Bildung verketteter Kantenpunkte herangezogen wird, e. an edge detector is used to form concatenated edge points, e. gerade Linienstücke aus den Kantenpunktketten herausgeschnitten werden, f. straight line pieces are cut from the edge point chains, f. die geraden Linienstücke zu Polygonen zusammengesetzt werden, g. the straight line segments are assembled into polygons g. eine Bewertung der Polygone erfolgt, h. an evaluation of the polygons h. die zu den Polygonen passenden Projektionen der Zielkörperflächen i. the right to the polygons projections of the target body surfaces i. bestimmt werden, die jeweils einer räumlichen Lage des Zielkörpers entsprechen j. are determined each corresponding to a spatial position of the target body j. eine Bewertung der räumlichen Lagen des Zielkörpers erfolgt, k. an evaluation of the spatial positions of the target body, k. ein Best-Fit des akzeptierten Zielkörpers erfolgt und l. takes place, a best-fit of the accepted target body and l. die ermittelte räumliche Lage übermittelt wird. the determined spatial position is transmitted.
  2. Verfahren zum Einsatz des Zielkörpers nach Anspruch 1, wobei der Zielkörper von der Hand einer Person geführt wird und das Verfahren somit die sechs räumlichen Freiheitsgrade der Handstellung bestimmt. A method of use of the target body according to claim 1, wherein the target body is guided by the hand of a person and the method thus determines the six spatial degrees of freedom of the hand position.
  3. Verfahren nach Anspruch 2, wobei die Bestimmung der räumlichen Lage des Zielkörpers quasi-kontinuierlich erfolgt, indem jedes einzelne, von der Kamera erfasste Bild von dem Verfahren bearbeitet wird. The method of claim 2, wherein the determination of the spatial position of the target body is performed quasi-continuously by each individual detected by the camera is processed by the method.
  4. Verfahren nach Anspruch 2 oder 3, wobei die Lichtarten als Farbeindrücke schwarz und weiß realisiert werden. A method according to claim 2 or 3, wherein the light types are implemented as black and white color impressions.
  5. Verfahren nach einem der Ansprüche 2 bis 4, wobei die Intensität eines oder beider Lichtarten durch eine im Zielkörper angebrachte Lichtquelle mit vorzugsweise elektrischer Energieversorgung erhöht und der Zielkörper teilweise transparent ausgeführt wird. A method according to any one of claims 2 to 4, wherein the intensity of one or both types of light increases by an attached in the target state light source with preferably electrical energy supply and the target body is performed in part transparent.
  6. Verfahren nach einem der Ansprüche 2 bis 5, wobei die Grenzlinien zwischen den Lichtarten und die Kanten des Zielkörpers zusammenfallen. Method according to one of claims 2 to 5, wherein the boundary lines between the light types and the edges of the target body coincide.
  7. Verfahren nach einem der Ansprüche 2 bis 6, wobei der Zielkörper die Form eines Kuboktaeders annimmt, dessen Quadrate einer Lichtart und dessen Dreiecke der anderen Lichtart zugewiesen werden. Method according to one of claims 2 to 6, wherein the target body takes the form of a cuboctahedron of squares of an illuminant and the triangles of the other type of light can be assigned.
  8. Verwendung der Vorrichtung gemäß Anspruch 1 zur Durchführung des Verfahrens nach einem der Ansprüche 2 bis 7. Use of the device according to claim 1 for carrying out the method according to one of claims 2 to the 7th
  9. Verwendung nach Anspruch 8, wobei der Betrieb einer "6-Freiheitsgrade-Maus" mittels wenigstens eines Schalters eingeschaltet, unterbrochen bzw. abgestellt werden kann. Use according to claim 8, wherein turned on, the operation of "6 degrees of freedom mouse" means at least one switch can be interrupted or shut off.
  10. Verwendung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die 6-Freiheitsgrade-Maus wahlweise als herkömmliche 2-D-Maus oder als räumliche Computermaus betrieben werden kann. Use according to claim 8 or 9, characterized in that the 6-degrees of freedom mouse can be operated as a conventional 2-D mouse as spatial or computer mouse optional.
DE200710053008 2007-11-05 2007-11-05 Target body and method for determining its spatial position Withdrawn DE102007053008A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE200710053008 DE102007053008A1 (en) 2007-11-05 2007-11-05 Target body and method for determining its spatial position

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE200710053008 DE102007053008A1 (en) 2007-11-05 2007-11-05 Target body and method for determining its spatial position
PCT/EP2008/009106 WO2009059716A1 (en) 2007-11-05 2008-10-29 Pointing device and method for operating the pointing device

Publications (1)

Publication Number Publication Date
DE102007053008A1 true true DE102007053008A1 (en) 2009-05-14

Family

ID=40090481

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200710053008 Withdrawn DE102007053008A1 (en) 2007-11-05 2007-11-05 Target body and method for determining its spatial position

Country Status (2)

Country Link
DE (1) DE102007053008A1 (en)
WO (1) WO2009059716A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010016964A1 (en) * 2010-05-17 2011-11-17 Krauss-Maffei Wegmann Gmbh & Co. Kg Method for controlling computer-generated display of e.g. vehicle on display device, involves detecting and processing movements of virtual object such that virtual object follows movements of subject model
WO2015082636A1 (en) * 2013-12-06 2015-06-11 Commissariat à l'énergie atomique et aux énergies alternatives Control device with multidirectional force feedback

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8497902B2 (en) 2009-12-18 2013-07-30 Sony Computer Entertainment Inc. System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof
CN102163092B (en) * 2011-03-25 2013-11-20 胡世曦 Finger mouse
WO2012135653A1 (en) 2011-03-30 2012-10-04 Avisar Mordechai Method and system for simulating surgical procedures
WO2013177520A1 (en) * 2012-05-25 2013-11-28 Surgical Theater LLC Hybrid image/scene renderer with hands free control
WO2015020134A1 (en) * 2013-08-08 2015-02-12 国立大学法人京都大学 Method for generating control command based on body motion, and control command generation device
JP5956481B2 (en) * 2014-02-10 2016-07-27 レノボ・シンガポール・プライベート・リミテッド Input device, input methods, and computer-executable program
CN104647390B (en) * 2015-02-11 2016-02-10 清华大学 Method for multi-camera operation remote manipulator joint initiative tracking target
CN105278700A (en) * 2015-11-09 2016-01-27 深圳Tcl新技术有限公司 Wireless mouse working mode switching method and device

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3223896A1 (en) * 1982-06-26 1984-01-05 Fraunhofer Ges Forschung Method and arrangement for generating programs for track-controlled industrial robots
JPH0642920A (en) * 1992-07-27 1994-02-18 Mitsubishi Heavy Ind Ltd Apparatus for measuring three-dimensional position
DE19536295A1 (en) * 1995-09-29 1997-04-03 Daimler Benz Ag Arrangement of partially structured flat signal markers for calibration and orientation of three=dimensional sensors
US6417836B1 (en) * 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
DE10112732A1 (en) * 2001-03-14 2002-10-02 Boochs Frank A method for determining the position of an object relative to the object Meßbildern
US6526166B1 (en) 1999-12-29 2003-02-25 Intel Corporation Using a reference cube for capture of 3D geometry
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
WO2004114112A1 (en) 2003-06-23 2004-12-29 Affineon Technologies Pte Ltd Computer input device tracking six degrees of freedom
WO2005075936A1 (en) 2004-02-03 2005-08-18 Isra Vision Systems Ag Method for determining the position of an object in a space
US20050201613A1 (en) 1998-10-23 2005-09-15 Hassan Mostafavi Single-camera tracking of an object
US20050276444A1 (en) * 2004-05-28 2005-12-15 Zhou Zhi Y Interactive system and method
DE102005011432A1 (en) 2005-03-12 2006-09-14 Volkswagen Ag Data glove for virtual-reality-system, has reference body comprising hand reference points identified as reference points by infrared camera, and retaining unit retaining person`s finger tip and comprising finger reference points
WO2007004431A1 (en) 2005-07-04 2007-01-11 Elfo-Tec Co., Ltd. Method of forming high-resolution pattern and apparatus therefor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2388418A (en) * 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US20040212589A1 (en) * 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3223896A1 (en) * 1982-06-26 1984-01-05 Fraunhofer Ges Forschung Method and arrangement for generating programs for track-controlled industrial robots
JPH0642920A (en) * 1992-07-27 1994-02-18 Mitsubishi Heavy Ind Ltd Apparatus for measuring three-dimensional position
DE19536295A1 (en) * 1995-09-29 1997-04-03 Daimler Benz Ag Arrangement of partially structured flat signal markers for calibration and orientation of three=dimensional sensors
US20050201613A1 (en) 1998-10-23 2005-09-15 Hassan Mostafavi Single-camera tracking of an object
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US6417836B1 (en) * 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
US6526166B1 (en) 1999-12-29 2003-02-25 Intel Corporation Using a reference cube for capture of 3D geometry
DE10112732A1 (en) * 2001-03-14 2002-10-02 Boochs Frank A method for determining the position of an object relative to the object Meßbildern
WO2004114112A1 (en) 2003-06-23 2004-12-29 Affineon Technologies Pte Ltd Computer input device tracking six degrees of freedom
WO2005075936A1 (en) 2004-02-03 2005-08-18 Isra Vision Systems Ag Method for determining the position of an object in a space
US20050276444A1 (en) * 2004-05-28 2005-12-15 Zhou Zhi Y Interactive system and method
DE102005011432A1 (en) 2005-03-12 2006-09-14 Volkswagen Ag Data glove for virtual-reality-system, has reference body comprising hand reference points identified as reference points by infrared camera, and retaining unit retaining person`s finger tip and comprising finger reference points
WO2007004431A1 (en) 2005-07-04 2007-01-11 Elfo-Tec Co., Ltd. Method of forming high-resolution pattern and apparatus therefor

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Lowe,D.G.: Three-Dimensional Object Recognition fr om Single Two-Dimensional Images. In: Artificial I ntelligence, 31, 3, (März 1987), S.355-395; Woods, E., et.al.: MagicMouse: an Inexpensive 6-Degree-of -Freedom Mouse. In: Proceedings of the 1st interna tional conference on Computer graphics and interac tive techniques in Australasia and South East Asia , S.285-286, 2003
Lowe,D.G.: Three-Dimensional Object Recognition from Single Two-Dimensional Images. In: Artificial Intelligence, 31, 3, (März 1987), S.355-395 *
Woods, E., et.al.: MagicMouse: an Inexpensive 6-Degree-of -Freedom Mouse. In: Proceedings of the 1st international conference on Computer graphics and interactive techniques in Australasia and South East Asia, S. 285-286, 2003 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010016964A1 (en) * 2010-05-17 2011-11-17 Krauss-Maffei Wegmann Gmbh & Co. Kg Method for controlling computer-generated display of e.g. vehicle on display device, involves detecting and processing movements of virtual object such that virtual object follows movements of subject model
DE102010016964B4 (en) * 2010-05-17 2014-05-15 Krauss-Maffei Wegmann Gmbh & Co. Kg Method and device for controlling a computer-generated display of a virtual object
WO2015082636A1 (en) * 2013-12-06 2015-06-11 Commissariat à l'énergie atomique et aux énergies alternatives Control device with multidirectional force feedback
FR3014348A1 (en) * 2013-12-06 2015-06-12 Commissariat Energie Atomique A control apparatus has return multidirectional effort
US9895812B2 (en) 2013-12-06 2018-02-20 Commissariat A L'energie Atomique Et Aux Energies Alternatives Control device with multidirectional force feedback

Also Published As

Publication number Publication date Type
WO2009059716A1 (en) 2009-05-14 application

Similar Documents

Publication Publication Date Title
Todorović Lightness and junctions
Jacob et al. Integrality and separability of input devices
US20100290698A1 (en) Distance-Varying Illumination and Imaging Techniques for Depth Mapping
Wei et al. Real-time visual servoing for laparoscopic surgery. Controlling robot motion with color image segmentation
US20060197780A1 (en) User control of 3d volume plane crop
DE19708240A1 (en) Arrangement for detecting an object in an illuminated by waves in the invisible spectral range
DE4113992A1 (en) Automatic three=dimensional monitoring of hazardous room - using three cameras calibrated to universal standard to relate points in room to those of screen display
Liu et al. Image-based surface detail transfer
DE19529950C1 (en) Guiding method for stereo laparoscope in minimal invasive surgery
Chadalavada et al. That's on my mind! robot to human intention communication through on-board projection on shared floor space
DE19963333A1 (en) Method for determining three-dimensional surface coordinates
DE69628956T2 (en) Scanning and procedures
DE10048952A1 (en) Spatial coordinate recording device for workpiece processed by robot has reference unit with reference markings, spaced apart from detector
DE19548091A1 (en) Single hand operated input control device for use with optical instruments
DE19626889A1 (en) Procedure for determining object geometry via multi=position 3d=sensor
DE102013212887A1 (en) A method for controlling a robot device, the robot device, and computer program product
DE19757840C1 (en) Optical object detection and range measuring device for autonomous vehicle
Deering Data complexity for virtual reality: Where do all the triangles go?
DE102007057208A1 (en) A method of representing image objects in a virtual three-dimensional image space
DE10159574A1 (en) Relative movement correction method for robot gripper or machining tool comparing reference images and/or image data with actual images or image data
DE102008046346A1 (en) Spatial region i.e. medical treatment room, monitoring method for X-ray device, involves developing three-dimensional environment model from spatial points, where model specifies space volumes occupied by objects within spatial region
JPH0337946A (en) Observation position display method for scanning type electronic microscope
DE19741730A1 (en) Method to determine surface contour of objects
DE102008034237A1 (en) Positioning system for use in magnetic stimulation system for transcranial magnetic stimulation, has robot controlled by control device such that robot moves coil arrangement to determined position of indicator
DE102014011301A1 (en) A method for producing a relative movement between a beam unit, and a curved surface

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: REPETZKI, SEBASTIAN, PROF. DR.-ING., INNSBRUCK, AT

8130 Withdrawal