DE102016123315A1

DE102016123315A1 - System and method for interacting with a virtual object

Info

Publication number: DE102016123315A1
Application number: DE102016123315.3A
Authority: DE
Inventors: Allan Maas; Andreas Alk
Original assignee: Aesculap AG
Current assignee: Aesculap AG
Priority date: 2016-12-02
Filing date: 2016-12-02
Publication date: 2018-06-07
Also published as: WO2018099913A1

Abstract

Die Erfindung betrifft ein System zum Interagieren mit einem virtuellen Objekt, umfassend mindestens eine Markiereinrichtung mit einer Markierung, eine Datenverarbeitungseinheit, eine Kameraeinheit, die mit der Datenverarbeitungseinheit gekoppelt ist, und eine Anzeigeeinheit, die mit der Datenverarbeitungseinheit gekoppelt ist, wobei die mindestens eine Markiereinrichtung von der Kameraeinheit erfassbar ist und von der Datenverarbeitungseinheit an der Anzeigeeinheit ein mit der Markierung der mindestens einen Markiereinrichtung verknüpftes virtuelles Objekt abhängig von der Relativposition der Kameraeinheit und der mindestens einen Markiereinrichtung darstellbar ist, wobei das System eine mit der Datenverarbeitungseinheit gekoppelte Sensoreinheit aufweist zum Erfassen eines Körperteils einer Bedienperson, insbesondere einer Hand, wobei die Datenverarbeitungseinheit abhängig von einem Signal der Sensoreinheit die Position des Körperteils relativ zur mindestens einen Markiereinrichtung ermittelt und darauf basierend die Position des Körperteils relativ zum virtuellen Objekt in einem Koordinatensystem bestimmt, das durch die räumliche Beziehung der Kameraeinheit mit der mindestens einen Markiereinrichtung definiert ist, im Hinblick auf eine Interaktion des Körperteils mit dem virtuellen Objekt. Außerdem betrifft die Erfindung ein Verfahren.The invention relates to a system for interacting with a virtual object, comprising at least one marking device with a marking, a data processing unit, a camera unit which is coupled to the data processing unit, and a display unit which is coupled to the data processing unit, wherein the at least one marking device of the camera unit is detectable and from the data processing unit on the display unit associated with the marking of the at least one marker virtual object depending on the relative position of the camera unit and the at least one marking device can be displayed, wherein the system has a coupled to the data processing unit sensor unit for detecting a body part an operator, in particular a hand, wherein the data processing unit, depending on a signal of the sensor unit, the position of the body part relative to at least one Markiereinricht determined and based on the position of the body part relative to the virtual object in a coordinate system, which is defined by the spatial relationship of the camera unit with the at least one marker, with regard to an interaction of the body part with the virtual object. Moreover, the invention relates to a method.

Description

Die Erfindung betrifft ein System zum Interagieren mit einem virtuellen Objekt, umfassend mindestens eine Markiereinrichtung mit einer Markierung, eine Datenverarbeitungseinheit, eine Kameraeinheit, die mit der Datenverarbeitungseinheit gekoppelt ist, und eine Anzeigeeinheit, die mit der Datenverarbeitungseinheit gekoppelt ist, wobei die mindestens eine Markiereinrichtung von der Kameraeinheit erfassbar ist und von der Datenverarbeitungseinheit an der Anzeigeeinheit ein mit der Markierung der mindestens einen Markiereinrichtung verknüpftes virtuelles Objekt abhängig von der Relativposition der Kameraeinheit und der mindestens einen Markiereinrichtung darstellbar ist.The invention relates to a system for interacting with a virtual object, comprising at least one marking device with a marking, a data processing unit, a camera unit which is coupled to the data processing unit, and a display unit which is coupled to the data processing unit, wherein the at least one marking device of the camera unit can be detected and from the data processing unit on the display unit, a virtual object linked to the marking of the at least one marking device can be displayed depending on the relative position of the camera unit and the at least one marking device.

Außerdem betrifft die vorliegende Erfindung ein Verfahren zum Interagieren mit einem virtuellen Objekt unter Einsatz eines derartigen Systems.In addition, the present invention relates to a method for interacting with a virtual object using such a system.

Ein System der eingangs genannten Art kommt zur Verknüpfung der realen Welt mit der virtuellen Welt unter dem Gesichtspunkt der sogenannten „augmented reality“ zum Einsatz. Dabei wird von der Kameraeinheit eine Markierung der mindestens einen Markiereinrichtung erfasst. Die Markierung ist ein Markierelement oder bildet ein Markierelement aus. Hiervon abhängig wird an der Anzeigeeinheit ein virtuelles Objekt angezeigt oder eingeblendet, das mit der mindestens einen Markiereinrichtung verknüpft ist. Das virtuelle Objekt ist zum Beispiel ein zweidimensionales oder dreidimensionales Objekt, wobei auch andersartige Informationen wie Text oder dergleichen angezeigt werden können.A system of the type mentioned above is used to link the real world with the virtual world from the viewpoint of so-called "augmented reality". In this case, a mark of the at least one marking device is detected by the camera unit. The marking is a marking element or forms a marking element. Depending on this, a virtual object is displayed or displayed on the display unit, which is linked to the at least one marking device. The virtual object is, for example, a two-dimensional or three-dimensional object, wherein also different information such as text or the like can be displayed.

Wünschenswert ist es, dass eine Bedienperson mit dem virtuellen Objekt interagieren kann. Beispielsweise könnte ein dreidimensionales virtuelles Objekt von der Bedienperson wie ein realer Gegenstand erfasst und gedreht werden, damit er von allen Seiten betrachtet werden kann. Anwendungsgebiete hierfür finden sich beispielsweise in der Medizintechnik, in der Konstruktion oder im Designwesen. Zur Interaktion mit virtuellen Objekten ist es bekannt, dass an der Anzeigeeinheit eine Tiefenkamera festgelegt ist, um die Position eines Körperteils, etwa der Hand, relativ zur Anzeigeeinheit zu ermitteln. Das Objekt kann dann relativ zur Position der Hand an der Anzeigeeinheit dargestellt werden. Dies erweist sich in der Praxis jedoch häufig als ungenau, insbesondere wenn mehr als ein virtuelles Objekt darzustellen ist.It is desirable that an operator interact with the virtual object. For example, a three-dimensional virtual object could be captured and rotated by the operator like a real object so that it can be viewed from all sides. Areas of application for this are, for example, in medical technology, in construction or in design. For interaction with virtual objects, it is known that a depth camera is fixed on the display unit in order to determine the position of a body part, for example the hand, relative to the display unit. The object can then be displayed relative to the position of the hand on the display unit. However, this often proves to be inaccurate in practice, especially if more than one virtual object is to be displayed.

Aufgabe der vorliegenden Erfindung ist es, ein System und Verfahren zum Interagieren mit einem virtuellen Objekt bereitzustellen, bei dem einer Bedienperson die Möglichkeit einer lebensnahen Interaktion mit einem virtuellen Objekt gegeben ist.The object of the present invention is to provide a system and method for interacting with a virtual object, in which an operator is given the possibility of a close-to-life interaction with a virtual object.

Diese Aufgabe wird durch ein erfindungsgemäßes System zum Interagieren mit einem virtuellen Objekt gelöst, umfassend mindestens eine Markiereinrichtung mit einer Markierung, eine Datenverarbeitungseinheit, eine Kameraeinheit, die mit der Datenverarbeitungseinheit gekoppelt ist, und eine Anzeigeeinheit, die mit der Datenverarbeitungseinheit gekoppelt ist, wobei die mindestens eine Markiereinrichtung von der Kameraeinheit erfassbar ist und von der Datenverarbeitungseinheit an der Anzeigeeinheit ein mit der Markierung der mindestens einen Markiereinrichtung verknüpftes virtuelles Objekt abhängig von der Relativposition der Kameraeinheit und der mindestens einen Markiereinrichtung darstellbar ist, wobei das System eine mit der Datenverarbeitungseinheit gekoppelte Sensoreinheit aufweist zum Erfassen eines Körperteils einer Bedienperson, insbesondere einer Hand, wobei die Datenverarbeitungseinheit abhängig von einem Signal der Sensoreinheit die Position des Körperteils relativ zur mindestens einen Markiereinrichtung ermittelt und darauf basierend die Position des Körperteils relativ zum virtuellen Objekt in einem Koordinatensystem bestimmt, das durch die räumliche Beziehung der Kameraeinheit mit der mindestens einen Markiereinrichtung definiert ist, im Hinblick auf eine Interaktion des Körperteils mit dem virtuellen Objekt.This object is achieved by an inventive system for interacting with a virtual object, comprising at least one marking device with a marker, a data processing unit, a camera unit that is coupled to the data processing unit, and a display unit that is coupled to the data processing unit, wherein the at least a marking device can be detected by the camera unit, and a virtual object linked to the marking of the at least one marking device can be displayed by the data processing unit on the display unit depending on the relative position of the camera unit and the at least one marking device, the system having a sensor unit coupled to the data processing unit Detecting a body part of an operator, in particular a hand, wherein the data processing unit depends on a signal of the sensor unit, the position of the body part relative to mi At least determines a marker and based on the position of the body part relative to the virtual object determined in a coordinate system, which is defined by the spatial relationship of the camera unit with the at least one marker, with regard to an interaction of the body part with the virtual object.

Bei dem erfindungsgemäßen System besteht die Möglichkeit, das Körperteil einer Bedienperson, beispielsweise der Hand, mit der Sensoreinheit zu erfassen. Insbesondere kann die Position des Körperteils in einem Koordinatensystem der Sensoreinheit erfasst werden. Die Datenverarbeitungseinheit kann abhängig von einem Signal der Sensoreinheit die Position des Körperteils relativ zur mindestens einen Markiereinrichtung ermitteln. Dabei kann die Datenverarbeitungseinheit beispielsweise eine vorgegebene Lagebeziehung der Sensoreinheit und der Markiereinrichtung berücksichtigen. Möglich ist auch eine vom System bestimmbare veränderliche Lagebeziehung der Sensoreinheit und der Markiereinrichtung. Ist die Position des Körperteils relativ zur Markiereinrichtung bekannt, abhängig von deren Position relativ zur Kameraeinheit die Darstellung des virtuellen Objektes vorgenommen wird, kann die Datenverarbeitungseinheit die Position des Körperteils relativ zum virtuellen Objekt in dem Koordinatensystem bestimmen, das durch die räumliche Beziehung der Kameraeinheit mit der mindestens einen Markiereinrichtung definiert ist. Es wird gewissermaßen eine „virtuelle“ Relativposition des realen Körperteils und des virtuellen Objektes bestimmt. Die Lagebeziehung des realen Körperteils zum virtuellen Objekt ist dadurch genau bestimmbar, und eine Interaktion des Körperteils mit dem virtuellen Objekt ist für die Bedienperson auf einfache Weise möglich. In der Datenverarbeitungseinheit können Algorithmen hinterlegt sein, die es der Bedienperson erlauben, durch Bewegungen des Körperteils auf das virtuelle Objekt „einzuwirken“ und mit diesem zu interagieren.In the system according to the invention, it is possible to detect the body part of an operator, for example the hand, with the sensor unit. In particular, the position of the body part can be detected in a coordinate system of the sensor unit. Depending on a signal of the sensor unit, the data processing unit can determine the position of the body part relative to the at least one marking device. In this case, the data processing unit can, for example, take into account a predetermined positional relationship of the sensor unit and the marking device. Also possible is a variable positional relationship of the sensor unit and the marking device that can be determined by the system. If the position of the body part relative to the marking device is known, the position of the body part relative to the virtual object in the coordinate system is determined as a function of the position relative to the camera unit at least one marking device is defined. In a sense, a "virtual" relative position of the real body part and the virtual object is determined. The positional relationship of the real body part to the virtual object is thereby precisely determinable, and an interaction of the body part with the virtual object is easily possible for the operator. In the data processing unit, algorithms can be stored that allow the operator to Movements of the body part on the virtual object "interact" and interact with it.

Unter „Position“ bzw. „Relativposition“ können vorliegend insbesondere „Lage/relative Lage“ und/oder „Orientierung/relative Orientierung“ gefasst werden.In the present case, "position" or "relative position" can be understood in particular to mean "position / relative position" and / or "orientation / relative orientation".

Günstigerweise erfolgen die Berechnungen der Datenverarbeitungseinheit in Echtzeit oder quasi in Echtzeit, um eine lebensnahe Interaktion der Bedienperson mit dem virtuellen Objekt zu ermöglichen.Conveniently, the calculations of the data processing unit take place in real time or quasi in real time in order to enable a close-to-life interaction of the operator with the virtual object.

Günstig ist es, wenn an der Anzeigeeinheit das virtuelle Objekt in Größe und Ausrichtung abhängig vom Abstand und der Orientierung der mindestens einen Markiereinrichtung relativ zur Kameraeinheit darstellbar ist.It is advantageous if the virtual object can be displayed in size and orientation on the display unit as a function of the distance and the orientation of the at least one marking device relative to the camera unit.

Als vorteilhaft erweist es sich, wenn die Datenverarbeitungseinheit basierend auf den Signalen der Sensoreinheit ein Bild des Körperteils an der Anzeigeeinheit darstellt, wobei Bewegungen des Körperteils in entsprechende Bewegungen des Bildes zum Interagieren mit dem virtuellen Objekt umsetzbar sind. Dies ermöglicht eine lebensnahe Interaktion mit dem virtuellen Objekt. Das Bild des Körperteils kann realistisch ausgestaltet sein, beispielsweise nach Art einer Fotografie. Möglich ist auch eine nur schematische Darstellung des Körperteils als Bild, zum Beispiel nur anhand der Konturen, um die Darstellung des virtuellen Objektes nicht zu beeinträchtigen.It proves to be advantageous if the data processing unit displays an image of the body part on the display unit based on the signals of the sensor unit, wherein movements of the body part can be converted into corresponding movements of the image for interacting with the virtual object. This allows a close-to-life interaction with the virtual object. The image of the body part can be designed realistically, for example in the manner of a photograph. It is also possible only a schematic representation of the body part as an image, for example, only on the basis of the contours, so as not to affect the representation of the virtual object.

Es kann vorgesehen sein, dass die Datenverarbeitungseinheit basierend auf den Signalen der Kameraeinheit ein Bild des Körperteils an der Anzeigeeinheit darstellt. Beispielsweise werden Positionsdaten des Körperteils anhand der Sensoreinheit ermittelt, und das Bild der Kameraeinheit kann über die so ermittelten Positionsdaten geblendet und dadurch eine lebensnahe Darstellung des Körperteils im virtuellen Raum erzielt werden.It can be provided that the data processing unit displays an image of the body part on the display unit based on the signals of the camera unit. For example, positional data of the body part are determined on the basis of the sensor unit, and the image of the camera unit can be dazzled via the position data thus determined, thereby achieving a realistic representation of the body part in the virtual space.

Günstig ist es, wenn die Datenverarbeitungseinheit, die Anzeigeeinheit und/oder die Kameraeinheit portabel ist bzw. sind. Das System weist dadurch eine hohe Vielseitigkeit und Benutzerfreundlichkeit auf.It is favorable if the data processing unit, the display unit and / or the camera unit is / are portable. The system thus has a high versatility and user-friendliness.

Eine vorteilhafte Ausführungsform des Systems weist eine Datenbrille auf, die die Kameraeinheit, die Anzeigeeinheit und vorzugsweise die Datenverarbeitungseinheit umfasst. An der Anzeigeeinheit kann der Bedienperson das virtuelle Objekt dargestellt werden. Die Bedienperson gewinnt vorteilhafterweise den Eindruck, das virtuelle Objekt befinde sich im realen Raum. Die Datenbrille kann nach Art einer Brille oder eines Brillengestells getragen werden. Nicht erforderlich ist, dass Brillengläser, geschliffen oder ungeschliffen, vorhanden sind. Ausreichend ist beispielsweise ein Gestell zum An- oder Aufliegen an den Ohren und der Nase, an dem die Kameraeinheit, die Anzeigeeinheit und vorzugsweise die Datenverarbeitungseinheit gehalten sind. An der Datenbrille kann eine Batterie zur Energieversorgung vorgesehen sein.An advantageous embodiment of the system has a data goggles comprising the camera unit, the display unit and preferably the data processing unit. On the display unit, the operator can be represented the virtual object. The operator advantageously gains the impression that the virtual object is in real space. The data glasses can be worn in the manner of glasses or spectacle frame. It is not necessary to have spectacle lenses, ground or unpolished. Sufficient, for example, a frame for resting or resting on the ears and the nose on which the camera unit, the display unit and preferably the data processing unit are held. At the data glasses, a battery may be provided for power supply.

Bei einer andersartigen vorteilhaften Ausgestaltung ist es günstig, wenn das System ein(en) die Datenverarbeitungseinheit, die Anzeigeeinheit und die Kameraeinheit umfassendes/n Smartphone, Tablet-Computer oder Laptop-Computer umfasst.In another advantageous embodiment, it is favorable if the system comprises a smartphone, tablet computer or laptop computer comprising the data processing unit, the display unit and the camera unit.

Die Sensoreinheit ist bei einer bevorzugten Ausführungsform des Systems eine IR-Sensoreinheit oder umfasst eine solche. Mittels Infrarotstrahlung (IR), die von der Sensoreinheit emittiert und vom Körperteil reflektiert und daraufhin von der Sensoreinheit wieder erfasst wird, kann eine zuverlässige Ortung des Körperteils erfolgen.In a preferred embodiment of the system, the sensor unit is or comprises an IR sensor unit. By means of infrared radiation (IR), which is emitted by the sensor unit and reflected by the body part and then detected again by the sensor unit, a reliable location of the body part can take place.

Alternativ oder ergänzend kann vorgesehen sein, dass die Sensoreinheit eine TOF-Kamera (Time-of-Flight-Kamera) ist oder umfasst. Die TOF-Kamera stellt über eine Tiefeninformation oder Abstandsinformation betreffend das Körperteil hinaus vorzugsweise eine Helligkeitsinformation bereit, die ebenfalls von der Datenverarbeitungseinheit berücksichtigt werden kann, beispielsweise bei der Anzeige eines Bildes des Körperteils.Alternatively or additionally, it can be provided that the sensor unit is or comprises a TOF camera (time-of-flight camera). The TOF camera preferably provides brightness information in addition to depth information or distance information concerning the body part, which brightness information can also be taken into account by the data processing unit, for example when displaying an image of the body part.

Alternativ oder ergänzend ist es von Vorteil, wenn die Sensoreinheit eine Stereokamera ist oder umfasst, um eine zuverlässige Positionsbestimmung des Körperteils relativ zur Sensoreinheit sicherzustellen. Es ist insbesondere eine Infrarot-Sensoreinheit mit einer Stereokamera vorgesehen.Alternatively or additionally, it is advantageous if the sensor unit is or comprises a stereo camera in order to ensure a reliable position determination of the body part relative to the sensor unit. In particular, an infrared sensor unit with a stereo camera is provided.

Es kann vorgesehen sein, dass mindestens eine Markiereinrichtung derart ausgestaltet ist, dass die Markierung zeitlich und/oder räumlich unveränderlich ist. Die Markierung kann dementsprechend statisch und dauerhaft sein. Beispielsweise ist eine Markierung auf einen Träger zum Ausbilden der Markiereinrichtung aufgedruckt oder aufgeklebt.It can be provided that at least one marking device is designed in such a way that the marking is immutable in time and / or space. The marking can accordingly be static and durable. For example, a mark is printed on or glued to a support for forming the marking device.

Alternativ oder ergänzend kann vorgesehen sein, dass das System eine weitere Anzeigeeinheit umfasst, an der mindestens eine Markiereinrichtung darstellbar ist. Die weitere Anzeigeeinheit kann insbesondere eine elektrische Bildanzeige zum Darstellen der Markiereinrichtung und der Markierung aufweisen. Dies erlaubt eine vielseitige, anpassungsfähige Ausgestaltung des Systems. An der Anzeigeeinheit können eine oder mehrere Markiereinrichtungen abwechselnd oder gleichzeitig darstellbar sein, um einem Benutzer eine Interaktion mit einer Mehrzahl von virtuellen Objekten zu ermöglichen. Die Anzeige von Markiereinrichtungen kann an das Auftreten von Ereignissen geknüpft sein, über die der Anzeigeeinheit ein entsprechendes Signal bereitgestellt werden kann.Alternatively or additionally, it may be provided that the system comprises a further display unit on which at least one marking device can be displayed. The further display unit can in particular have an electrical image display for displaying the marking device and the marking. This allows a versatile, adaptable design of the system. One or more markers may be displayed alternately or simultaneously on the display unit to allow a user to interact with a plurality of virtual objects. The display of markers may be linked to the occurrence of events over which the Display unit, a corresponding signal can be provided.

Eine Mehrzahl von Markiereinrichtungen kann, wie erwähnt, mit unterschiedlichen Markierungen an der weiteren Anzeigeeinheit darstellbar sein, wobei abhängig von der jeweiligen Markierung ein mit dieser verknüpftes virtuelles Objekt an der eingangs genannten Anzeigeeinheit darstellbar ist.As mentioned, a plurality of marking devices can be displayed with different markings on the further display unit, it being possible, depending on the respective marking, to represent a virtual object linked thereto with the display unit mentioned above.

Das System umfasst vorteilhafterweise ein die weitere Anzeigeeinheit umfassendes Datenverarbeitungsgerät.The system advantageously comprises a data processing device comprising the further display unit.

Bei einer vorteilhaften Ausführungsform kann vorgesehen sein, dass die Datenverarbeitungseinheit in das Datenverarbeitungsgerät integriert ist. Die Datenverarbeitungseinheit kann mit der eingangs genannten Anzeigeeinheit und der Kameraeinheit vorzugsweise kabellos in Wirkverbindung stehen.In an advantageous embodiment it can be provided that the data processing unit is integrated in the data processing device. The data processing unit may be in operative connection with the aforementioned display unit and the camera unit, preferably wirelessly.

Das Datenverarbeitungsgerät ist vorzugsweise portabel, insbesondere kann das Datenverarbeitungsgerät ein Tablet-Computer, ein Laptop-Computer oder ein Smartphone sein.The data processing device is preferably portable, in particular, the data processing device may be a tablet computer, a laptop computer or a smartphone.

Die weitere Anzeigeeinheit ist vorzugsweise berührungssensitiv und bildet insbesondere einen Touchscreen.The further display unit is preferably touch-sensitive and in particular forms a touchscreen.

Das System, insbesondere die weitere Anzeigeeinheit oder das Datenverarbeitungsgerät, kann beispielsweise zum Teil oder vollständig in eine Arbeitsplatte eingesetzt oder einsetzbar sein, beispielsweise eine Tischplatte.The system, in particular the further display unit or the data processing device, for example, can be partially or completely inserted or used in a work surface, for example a table top.

Eingangs wurde bereits auf die Lagebeziehung zwischen der Sensoreinheit und der mindestens einen Markiereinrichtung eingegangen.At the beginning, the positional relationship between the sensor unit and the at least one marking device has already been discussed.

Günstig ist es, wenn die Sensoreinheit in fester räumlicher Beziehung zur mindestens einen Markiereinrichtung angeordnet ist, wobei der Datenverarbeitungseinheit eine diesbezügliche Information vorliegt, die bei der Ermittlung der Relativposition des Körperteils und der mindestens einen Markiereinrichtung berücksichtigt wird. Dies erlaubt eine konstruktiv einfache Ausgestaltung. Die Sensoreinheit kann zum Beispiel fest mit einem Träger der mindestens einen Markiereinrichtung verbunden sein.It is advantageous if the sensor unit is arranged in a fixed spatial relationship to the at least one marking device, wherein the data processing unit has relevant information which is taken into account when determining the relative position of the body part and the at least one marking device. This allows a structurally simple design. The sensor unit may for example be firmly connected to a carrier of the at least one marking device.

Bei Vorhandensein der vorstehend erwähnten weiteren Anzeigeeinheit oder dem vorstehend erwähnten Datenverarbeitungsgerät ist es von Vorteil, wenn die Sensoreinheit an einem Gehäuse der weiteren Anzeigeeinheit oder des Datenverarbeitungsgerätes festgelegt oder in das Gehäuse integriert ist. Die feste räumliche Beziehung kann durch die bekannte Position der Sensoreinheit relativ zur weiteren Anzeigeeinheit sowie die bekannte Position der Markiereinrichtung an der weiteren Anzeigeeinheit gegeben sein.In the presence of the above-mentioned further display unit or the above-mentioned data processing device, it is advantageous if the sensor unit is fixed to a housing of the further display unit or the data processing device or integrated into the housing. The fixed spatial relationship may be given by the known position of the sensor unit relative to the further display unit and the known position of the marking device on the further display unit.

Eine andersartige vorteilhafte Ausführungsform des Systems sieht vor, dass die Sensoreinheit vom Sichtfeld der Kameraeinheit zusammen mit der mindestens einen Markiereinrichtung erfassbar ist und dass die Datenverarbeitungseinheit anhand der Signale der Kameraeinheit die Relativposition der Sensoreinheit und der mindestens einen Markiereinrichtung ermittelt und dies bei der Ermittlung der Relativposition des Körperteils und der mindestens einen Markiereinrichtung berücksichtigt. Dadurch weist das System eine hohe Vielseitigkeit auf. Die Sensoreinheit kann frei relativ zur Markiereinrichtung positionierbar sein. Anhand der von der Kameraeinheit bereitgestellten Informationen kann die Datenverarbeitungseinheit diese Relativposition ermitteln. Damit ist es möglich, die Relativposition des Körperteils und der mindestens einen Markiereinrichtung zu bestimmen.A different advantageous embodiment of the system provides that the sensor unit can be detected by the field of view of the camera unit together with the at least one marking device and that the data processing unit determines the relative position of the sensor unit and the at least one marking device based on the signals of the camera unit and this in the determination of the relative position the body part and the at least one marking device taken into account. As a result, the system has a high versatility. The sensor unit can be freely positionable relative to the marking device. Based on the information provided by the camera unit, the data processing unit can determine this relative position. This makes it possible to determine the relative position of the body part and the at least one marking device.

Es kann vorgesehen sein, dass mindestens ein virtuelles Objekt abhängig von einer Relativposition des Körperteils zu der dem Objekt zugeordneten Markiereinrichtung darstellbar ist. Beispielsweise wird das virtuelle Objekt nur dann dargestellt, wenn das Körperteil innerhalb eines vorgebbaren oder vorgegebenen Abstandes von der mindestens einen Markiereinrichtung angeordnet ist.It can be provided that at least one virtual object can be displayed as a function of a relative position of the body part relative to the marking device assigned to the object. For example, the virtual object is only displayed if the body part is arranged within a predeterminable or predetermined distance from the at least one marking device.

Alternativ oder ergänzend ist es günstig, wenn mindestens ein virtuelles Objekt abhängig von einer mittels der Sensoreinheit und/oder der Kameraeinheit erfassbaren Bewegung des Körperteils darstellbar ist. Dadurch weist das System eine hohe Benutzerfreundlichkeit und Vielseitigkeit auf. Je nachdem, welche Bewegung die Bedienperson mit dem Körperteil ausführt, kann an der Anzeigeeinheit das virtuelle Objekt dargestellt werden. Die Bewegung des Körperteils kann insbesondere eine mit dem Körperteil ausgeführte Geste sein. Dies erlaubt es, über Gesten mit dem virtuellen Objekt zu interagieren.Alternatively or additionally, it is favorable if at least one virtual object can be displayed as a function of a movement of the body part that can be detected by means of the sensor unit and / or the camera unit. As a result, the system has a high degree of user-friendliness and versatility. Depending on which movement the operator performs with the body part, the virtual object can be displayed on the display unit. In particular, the movement of the body part may be a gesture made with the body part. This allows gestures to interact with the virtual object.

Die eingangs genannte Aufgabe wird durch ein erfindungsgemäßes Verfahren gelöst, bei dem an der Anzeigeeinheit ein mit der Markierung der mindestens einen Markiereinrichtung verknüpftes virtuelles Objekt abhängig von der Relativposition der Kameraeinheit und der mindestens einen Markiereinrichtung dargestellt wird, von der Sensoreinheit ein Körperteil einer Bedienperson, insbesondere eine Hand, erfasst und der Datenverarbeitungseinheit ein diesbezügliches Signal übermittelt wird, die abhängig vom Signal die Position des Körperteils relativ zur mindestens einen Markiereinrichtung ermittelt und darauf basierend die Position des Körperteils relativ zum virtuellen Objekt in einem Koordinatensystem bestimmt, das durch die räumliche Beziehung der Kameraeinheit mit der mindestens einen Markiereinrichtung definiert ist, im Hinblick auf eine Interaktion des Körperteils mit dem virtuellen Objekt.The above-mentioned object is achieved by a method according to the invention, in which a virtual object linked to the marking of the at least one marking device is displayed on the display unit depending on the relative position of the camera unit and the at least one marking device, of the sensor unit a body part of an operator, in particular a hand detected, and the data processing unit is transmitted a signal in this regard, which determines the position of the body part relative to at least one marking device and based thereon determines the position of the body part relative to the virtual object in a coordinate system, by the spatial relationship of the camera unit with the at least one Marking device is defined, with regard to an interaction of the body part with the virtual object.

Die Vorteile, die bereits im Zusammenhang mit der Erläuterung des erfindungsgemäßen Systems erwähnt wurden, können bei einer Ausübung des Verfahrens ebenfalls erzielt werden. Diesbezüglich kann auf die voranstehenden Ausführungen verwiesen werden. Vorteilhafte Ausführungsbeispiele des erfindungsgemäßen Verfahrens ergeben sich durch vorteilhafte Ausführungsformen des erfindungsgemäßen Systems.The advantages that have already been mentioned in connection with the explanation of the system according to the invention can also be achieved in an exercise of the method. In this regard, reference may be made to the above statements. Advantageous embodiments of the method according to the invention result from advantageous embodiments of the system according to the invention.

Die nachfolgende Beschreibung bevorzugter Ausführungsformen der Erfindung dient im Zusammenhang mit der Zeichnung der näheren Erläuterung der Erfindung. Die vorteilhaften Ausführungsformen des erfindungsgemäßen Systems erlauben die Durchführung eines erfindungsgemäßen Verfahrens. Es zeigen:

1: eine schematische perspektivische Darstellung eines erfindungsgemäßen Systems;
2: eine vergrößerte Darstellung von Detail A in 1;
3: eine schematische perspektivische Darstellung einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Systems; und
4: eine schematische perspektivische Darstellung einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Systems.

The following description of preferred embodiments of the invention is used in conjunction with the drawings for a more detailed explanation of the invention. The advantageous embodiments of the system according to the invention allow the implementation of a method according to the invention. Show it:

1 a schematic perspective view of a system according to the invention;
2 : an enlarged view of detail A in 1 ;
3 a schematic perspective view of another preferred embodiment of the system according to the invention; and
4 : A schematic perspective view of another preferred embodiment of the system according to the invention.

1 zeigt eine mit dem Bezugszeichen 10 belegte vorteilhafte Ausführungsform eines erfindungsgemäßen Systems zum Interagieren einer Bedienperson mit einem virtuellen Objekt. 1 shows one with the reference numeral 10 assigned advantageous embodiment of a system according to the invention for interacting with an operator with a virtual object.

Das System 10 umfasst eine Datenbrille 12 mit einem Brillengestell 14, das von der in der Zeichnung nicht (insgesamt) dargestellten Bedienperson nach Art einer üblichen Brille getragen werden kann, aufliegend auf den Ohren und auf der Nase. Es kann vorgesehen sein, dass Brillengläser am Brillengestell 14 eingesetzt sind, dies ist jedoch nicht zwingend erforderlich.The system 10 includes data glasses 12 with a spectacle frame 14 , which can be worn by the operator not shown in the drawing (overall) in the manner of a conventional glasses, lying on the ears and on the nose. It can be provided that spectacle lenses on the spectacle frame 14 are used, but this is not mandatory.

An der Datenbrille 12 ist eine Kameraeinheit 16 des Systems 10 gehalten, die ein Sichtfeld 18 aufweist. Die Kameraeinheit 16 ist oder umfasst eine digitale Kamera.On the data glasses 12 is a camera unit 16 of the system 10 kept that a field of vision 18 having. The camera unit 16 is or includes a digital camera.

Am Brillengestell 14 ist ferner eine Datenverarbeitungseinheit 20 gehalten, die mit der Kameraeinheit 16 gekoppelt ist. Daten der Kameraeinheit 16 können der Datenverarbeitungseinheit 20 zugeführt und von dieser verarbeitet werden.On the glasses frame 14 is also a data processing unit 20 held with the camera unit 16 is coupled. Data of the camera unit 16 can the data processing unit 20 fed and processed by this.

Das System 10 umfasst ferner eine Anzeigeeinheit 22 mit einer Bildanzeige 24. Die Anzeigeeinheit 22 ist am Brillengestell 14 gehalten und so im Sichtfeld der Bedienperson angeordnet, dass ein an der Bildanzeige 24 dargestellter Bildinhalt von der Bedienperson wahrgenommen werden kann. Der Bildinhalt kann von der Bedienperson als „im Raum angeordnet“ aufgefasst werden, gewissermaßen innerhalb der von der Bedienperson beobachteten Szene im realen Raum. Daten betreffend den Bildinhalt können der Anzeigeeinheit 22 von der Datenverarbeitungseinheit 20 zugeführt werden.The system 10 further comprises a display unit 22 with an image display 24. The display unit 22 is on the glasses frame 14 held and placed in the field of view of the operator that one on the image display 24 displayed image content can be perceived by the operator. The image content can be understood by the operator as "arranged in space", as it were within the scene observed by the operator in real space. Data concerning the image content may be given to the display unit 22 from the data processing unit 20 be supplied.

An der Datenbrille 12 kann eine Batterie 26 zur Energieversorgung der Kameraeinheit 16, der Datenverarbeitungseinheit 20 und der Anzeigeeinheit 22 vorgesehen sein.On the data glasses 12 can a battery 26 for powering the camera unit 16 , the data processing unit 20 and the display unit 22 be provided.

Das System 10 umfasst ein Datenverarbeitungsgerät 28, das vorliegend portabel und insbesondere als Smartphone 30 ausgestaltet ist. Das Datenverarbeitungsgerät 28 umfasst eine weitere Datenverarbeitungseinheit 32 und eine weitere Anzeigeeinheit 34 mit einer Bildanzeige 36. Die Anzeigeeinheit 34 ist insbesondere berührungssensitiv als Touchscreen ausgestaltet. Die Anzeigeeinheit 34 ist von der Datenverarbeitungseinheit 32 ansteuerbar.The system 10 includes a data processing device 28 , the present portable and especially as a smartphone 30 is designed. The data processing device 28 includes another data processing unit 32 and another display unit 34 with an image display 36 , The display unit 34 is designed in particular touch-sensitive as a touch screen. The display unit 34 is from the data processing unit 32 controllable.

Die Datenverarbeitungseinheit 32 steht mit der Datenverarbeitungseinheit 20 in Wirkverbindung. Daten können von der Datenverarbeitungseinheit 32 insbesondere kabellos an die Datenverarbeitungseinheit 20 übertragen werden. The data processing unit 32 stands with the data processing unit 20 in active connection. Data may be from the data processing unit 32 in particular wirelessly to the data processing unit 20 be transmitted.

An der Anzeigeeinheit 34 kann mindestens eine Markiereinrichtung 38 des Systems dargestellt werden. Die Markiereinrichtung 38 umfasst eine Markierung 40, die ein Markierelement ausbildet. Die Position der Markiereinrichtung 38 und damit der Markierung 40 an der Anzeigeeinheit 34 ist dem Datenverarbeitungsgerät 28 bekannt.On the display unit 34 can at least one marking device 38 of the system. The marking device 38 includes a marker 40 which forms a marking element. The position of the marker 38 and thus the marker 40 on the display unit 34 is the data processing device 28 known.

Der Markiereinrichtung 38 ist ein virtuelles Objekt 42 zugeordnet. Beispielhaft ist das virtuelle Objekt 42 vorliegend ein Abschnitt einer Wirbelsäule umfassend drei Wirbelkörper 44.The marking device 38 is a virtual object 42 assigned. Exemplary is the virtual object 42 in this case, a section of a spinal column comprising three vertebral bodies 44 ,

Wenn die Bedienperson ihren Blick auf das Datenverarbeitungsgerät 28 richtet, kann die Markiereinrichtung 38 mit der Markierung 40 im Sichtfeld 18 der Kameraeinheit 16 positioniert und von dieser erfasst werden. Aufnahmen der Kameraeinheit 16 können auf Vorhandensein von Markierungen analysiert werden. Zu diesem Zweck können in der Datenverarbeitungseinheit 20 Bildverarbeitungsalgorithmen ausführbar gespeichert sein. Aufnahmen der Kameraeinheit 16 können daraufhin untersucht werden, ob eine Markierung identifiziert wird. Im vorliegenden Fall wird die Markierung 40 identifiziert.When the operator looks at the data processing device 28 directed, the marker can 38 with the mark 40 in the field of vision 18 the camera unit 16 be positioned and detected by this. Recordings of the camera unit 16 can be analyzed for presence of marks. For this purpose, in the data processing unit 20 Image processing algorithms executable stored. Recordings of the camera unit 16 can then be examined to see if a label is identified. In the present case, the mark 40 identified.

Bei erkannter Markierung 40 stellt die Datenverarbeitungseinheit 20 an der Anzeigeeinheit 22 das mit der Markierung 40 verknüpfte virtuelle Objekt 42 dar, so dass dieses von der Bedienperson gesehen werden kann. Dabei sieht die Bedienperson gewissermaßen in den realen Raum und gewinnt den Eindruck, dass das virtuelle Objekt 42 in dem von der Bedienperson beobachteten Raum angeordnet ist. When detected mark 40 represents the data processing unit 20 on the display unit 22 that with the mark 40 linked virtual object 42 so that this can be seen by the operator. In doing so, the operator sees to a certain extent in the real space and gains the impression that the virtual object 42 is located in the space observed by the operator.

2 zeigt schematisch die Darstellung des virtuellen Objektes 42 von der Anzeigeeinheit 34. Das virtuelle Objekt 42 scheint für die Bedienperson im Raum zu „schweben“. Dies ist durch die gestrichelte Darstellung in 1 angedeutet, wobei die Verknüpfung des virtuellen Objektes 42 mit der Markiereinrichtung 38 ebenfalls angedeutet ist. Es versteht sich, dass das virtuelle Objekt 42 nicht tatsächlich oberhalb des Datenverarbeitungsgerätes 28 wie angedeutet positioniert ist, dies wird von der Bedienperson lediglich so über die Darstellung der Anzeigeeinheit 22 wahrgenommen. 2 schematically shows the representation of the virtual object 42 from the display unit 34 , The virtual object 42 seems to "float" for the operator in the room. This is indicated by the dashed line in 1 indicated, the linkage of the virtual object 42 with the marking device 38 also indicated. It is understood that the virtual object 42 not actually above the data processing device 28 as indicated, this is done by the operator only so via the representation of the display unit 22 perceived.

Das virtuelle Objekt 42 wird abhängig von der Relativposition der Kameraeinheit 16 und der Markiereinrichtung 38 dargestellt. Dies kann insbesondere dadurch umgesetzt werden, dass abhängig von der Größe und der Orientierung der Markiereinrichtung 38 in den Aufnahmen der Kameraeinheit 16 das virtuelle Objekt 42 in entsprechender Größe und Orientierung angezeigt wird.The virtual object 42 depends on the relative position of the camera unit 16 and the marking device 38 shown. This can be implemented in particular by the fact that, depending on the size and the orientation of the marking device 38 in the shots of the camera unit 16 the virtual object 42 displayed in appropriate size and orientation.

Beim System 10 besteht die Möglichkeit für die Bedienperson, mit dem virtuellen Objekt 42 in lebensnaher Art und Weise zu interagieren.At the system 10 there is a possibility for the operator, with the virtual object 42 to interact in a life-like manner.

Zu diesem Zweck umfasst das System 10 eine Sensoreinheit 46. Vorliegend ist die Sensoreinheit 46 als Infrarot-Sensoreinheit ausgestaltet, die eine Stereokamera 48 aufweist. Die Sensoreinheit 46 ist in definierter räumlicher Beziehung zum Datenverarbeitungsgerät 28 an dessen Gehäuse 50 angeordnet. Die Sensoreinheit 46 kann lösbar oder unlösbar mit dem Gehäuse 50 verbunden sein.For this purpose, the system includes 10 a sensor unit 46 , In the present case is the sensor unit 46 designed as an infrared sensor unit, which is a stereo camera 48 having. The sensor unit 46 is in a defined spatial relationship to the data processing device 28 on the housing 50 arranged. The sensor unit 46 Can be detachable or unsolvable with the housing 50 be connected.

Die Lagebeziehung der Sensoreinheit 46 und des Datenverarbeitungsgerätes 28, und insbesondere deren Anzeigeeinheit 34, ist der Datenverarbeitungseinheit 20 bekannt. Darüber hinaus kann vorgesehen sein, dass bei Einblendung der Markiereinrichtung 38 die Lagebeziehung der Sensoreinheit 46 und der Markiereinrichtung 38 und damit deren Markierung 40 von der Datenverarbeitungseinheit 32 an die Datenverarbeitungseinheit 20 übertragen wird. Anderenfalls kann die Datenverarbeitungseinheit 20 aufgrund der ihr bekannten Geometrie des Datenverarbeitungsgerätes 28 und der Lagebeziehung der Sensoreinheit 46 zur Anzeigeeinheit 34 die Relativposition der Sensoreinheit 46 zur Markiereinrichtung 38 anhand von Aufnahmen der Kameraeinheit 16 ermitteln.The positional relationship of the sensor unit 46 and the data processing device 28, and in particular its display unit 34 , is the data processing unit 20 known. In addition, it can be provided that when the marking device is displayed 38 the positional relationship of the sensor unit 46 and the marking device 38 and thus their marking 40 from the data processing unit 32 to the data processing unit 20 is transmitted. Otherwise, the data processing unit 20 due to the known geometry of the data processing device 28 and the positional relationship of the sensor unit 46 to the display unit 34 the relative position of the sensor unit 46 to the marking device 38 by taking pictures of the camera unit 16 determine.

Mit der Sensoreinheit 46 kann ein Körperteil einer Bedienperson, vorliegend eine Hand 52, erfasst werden. Die Relativposition der Hand 52 zur Sensoreinheit 46 kann mittels der Stereokamera 48 bestimmt werden, gewissermaßen in einem Koordinatensystem der Sensoreinheit 46. Auch die Form der Hand 52 wird bestimmt. Bewegt die Bedienperson die Hand 52, kann diese Positionsänderung von der Sensoreinheit 46 erfasst werden.With the sensor unit 46 may be a body part of an operator, in this case a hand 52 , are recorded. The relative position of the hand 52 to the sensor unit 46 can by means of the stereo camera 48 be determined, so to speak, in a coordinate system of the sensor unit 46 , Also the shape of the hand 52 is determined. Moves the operator's hand 52 , This position change from the sensor unit 46 be recorded.

Die Sensoreinheit 46 übermittelt ein Signal betreffend die Position der Hand 52 an die Datenverarbeitungseinheit 20. Möglich ist auch, dass diese Information zunächst an die Datenverarbeitungseinheit 32 übermittelt wird, die ihrerseits entsprechende Informationen an die Datenverarbeitungseinheit 20 überträgt.The sensor unit 46 transmits a signal concerning the position of the hand 52 to the data processing unit 20 , It is also possible that this information first to the data processing unit 32 which in turn transmits corresponding information to the data processing unit 20 transfers.

In der Datenverarbeitungseinheit 20 kann auf Basis der vorliegenden Informationen die Position der Hand 52 relativ zur Markiereinrichtung 38 ermittelt werden. Dies gibt die Möglichkeit, eine „virtuelle“ Relativposition der realen Hand 52 und des virtuellen Objektes 42 zu bestimmen. Dabei wird die Relativposition der Hand 52 zu der Position des virtuellen Objektes 42 in demjenigen Koordinatensystem bestimmt, das durch die räumliche Beziehung der Kameraeinheit 16 und der Markiereinrichtung 38 definiert ist.In the data processing unit 20 Based on the information available, the position of the hand 52 relative to the marking device 38 be determined. This gives the possibility of a "virtual" relative position of the real hand 52 and the virtual object 42 to determine. In doing so, the relative position of the hand becomes 52 to the position of the virtual object 42 in that coordinate system determined by the spatial relationship of the camera unit 16 and the marking device 38 is defined.

Dadurch ist die Möglichkeit für die Bedienperson gegeben, mit dem virtuellen Objekt 42 in lebensnaher Weise zu interagieren. Dies ist in 2 angedeutet. Die Bedienperson kann das nicht-körperhafte virtuelle Objekt 42 mit der Hand 52 näher untersuchen. Zu diesem Zweck wird von der Anzeigeeinheit 22 ein Bild 54 der Hand 52 dargestellt, d.h. das Beispiel der 2 zeigt eine „virtuelle Hand“ 56, die vorliegend in realistischer Darstellung angezeigt wird.This provides the opportunity for the operator to interact with the virtual object 42 to interact in a life-like manner. This is in 2 indicated. The operator may choose the non-physical virtual object 42 examine with the hand 52 closer. For this purpose, the display unit 22 a picture 54 the hand 52 represented, ie the example of 2 shows a "virtual hand" 56, which is displayed here in realistic representation.

Formänderungen der Hand 52 können von der Sensoreinheit 46 ebenfalls ermittelt und dargestellt werden (Greifen, Zeigen etc.).Shape changes of the hand 52 can from the sensor unit 46 are also determined and displayed (gripping, pointing, etc.).

Bei einer Variante wird das Bild 54 von der Anzeigeeinheit 22 nicht dargestellt, und 2 würde die Hand 52 selber zeigen, deren virtuelle Relativposition zum Objekt 42 ein Einwirken auf dieses ermöglicht.In one variant, the picture becomes 54 from the display unit 22 not shown, and 2 would be the hand 52 Show yourself, their virtual relative position to the object 42 an effect on this allows.

Nachfolgend wird auf in den 3 und 4 dargestellte vorteilhafte Ausführungsformen des erfindungsgemäßen Systems eingegangen, die mit den Bezugszeichen 60 bzw. 70 belegt sind. Die mit dem System 10 erzielbaren Vorteile können mit den Systemen 60 und 70 ebenfalls erzielt werden. Zur Vermeidung von Wiederholungen kann auf die voranstehenden Äußerungen verwiesen werden.The following will be in the 3 and 4 illustrated advantageous embodiments of the system according to the invention, with the reference numerals 60 respectively. 70 are occupied. The with the system 10 achievable benefits can be achieved with the systems 60 and 70 also be achieved. To avoid repetition, reference may be made to the above statements.

Gleiche oder gleichwirkende Merkmale und Bauteile sind mit identischen Bezugszeichen versehen.Identical or equivalent features and components are provided with identical reference numerals.

Beim System 60 gemäß 3 besteht der Unterschied zum System 10 darin, dass die Datenverarbeitungseinheit 20 der Datenbrille 12 entfallen kann. Stattdessen werden die von dieser vorgenommenen Bestimmungen und Berechnungen von der Datenverarbeitungseinheit 32 vorgenommen. Die Ansteuerung der Anzeigeeinheit 22 kann per Funk erfolgen. Bilddaten der Kameraeinheit 16 können per Funk an die Datenverarbeitungseinheit 32 übertragen werden.At the system 60 according to 3 is the difference to the system 10 in that the data processing unit 20 the data glasses 12 can be omitted. Instead, the determinations and calculations made by it are processed by the computing device 32 performed. The control of the display unit 22 can be done by radio. Image data of the camera unit 16 can by radio to the data processing unit 32 be transmitted.

Beim System 70 gemäß 4 entfällt die Datenbrille 12. Stattdessen umfasst das System 70 ein Datenverarbeitungsgerät 72, vorliegend in Gestalt eines Smartphones 74. Das Smartphone 74 umfasst die Datenverarbeitungseinheit 20, die Anzeigeeinheit 22 und die Kameraeinheit 16. Im Übrigen funktioniert das System 70 wie das System 10 mit der Ausnahme, dass die Bedienperson die Anzeigeeinheit 22 an der Oberfläche des Smartphones 74 betrachtet und nicht, wie bei der Datenbrille 12, in den Raum hinein blickt.At the system 70 according to 4 the data glasses are omitted 12 , Instead, the system includes 70 a data processing device 72 , in the form of a smartphone 74 , The smartphone 74 includes the data processing unit 20 , the display unit 22 and the camera unit 16 , By the way, the system works 70 like the system 10 with the exception that the operator the display unit 22 on the surface of the smartphone 74 considered and not, as with the data glasses 12 , looks into the room.

Es kann wie bereits erwähnt vorgesehen sein, dass die Sensoreinheit 46 beweglich relativ zur Markiereinrichtung 38 ausgestaltet sein kann. Anhand der Aufnahmen der Kameraeinheit 16 kann bei allen hier beschriebenen Systemen 10, 60 und 70 die Lagebeziehung der Sensoreinheit 46 zur Markiereinrichtung 38 wie erläutert von der Datenverarbeitungseinheit 20 oder 32 bestimmt werden, um damit die Relativposition der Hand 52 zur Markiereinrichtung 38 zu berech nen.As already mentioned, it can be provided that the sensor unit 46 movable relative to the marking device 38 can be designed. Based on the pictures of the camera unit 16 For all the systems 10, 60 and 70 described here, the positional relationship of the sensor unit 46 to the marking device 38 as explained by the data processing unit 20 or 32 be determined to allow the relative position of the hand 52 to the marking device 38 to calculate.

Selbstverständlich ist es möglich, dass an der Anzeigeeinheit 34 eine Mehrzahl von Markiereinrichtungen mit unterschiedlichen Markierungen darstellbar ist. Die Markiereinrichtungen sind insbesondere mit unterschiedlichen virtuellen Objekten verknüpft.Of course, it is possible that on the display unit 34 a plurality of marking devices with different markings can be displayed. The marking devices are in particular linked to different virtual objects.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010: Systemsystem
1212: Datenbrilledata glasses
1414: BrillengestellBrillengestell
1616: Kameraeinheitcamera unit
1818: Sichtfeldfield of view
2020: DatenverarbeitungseinheitData processing unit
2222: Anzeigeeinheitdisplay unit
2424: Bildanzeigeimage display
2626: Batteriebattery
2828: DatenverarbeitungsgerätComputing device
3030: SmartphoneSmartphone
3232: DatenverarbeitungseinheitData processing unit
3434: Anzeigeeinheitdisplay unit
3636: Bildanzeigeimage display
3838: Markiereinrichtungmarking
4040: Markierungmark
4242: virtuelles Objektvirtual object
4444: Wirbelkörpervertebra
4646: Sensoreinheitsensor unit
4848: Stereokamerastereo camera
5050: Gehäusecasing
5252: Handhand
5454: Bildimage
5656: virtuelle Handvirtual hand
6060: Systemsystem
7070: Systemsystem
7272: DatenverarbeitungsgerätComputing device
7474: SmartphoneSmartphone

Claims

A system for interacting with a virtual object, comprising at least one marking device (38) with a marking (40), a data processing unit (20, 32), a camera unit (16) which is coupled to the data processing unit (20, 32), and a Display unit (22) which is coupled to the data processing unit (20, 32), wherein the at least one marking device (38) of the camera unit (16) is detectable and from the data processing unit (20, 32) on the display unit (22) with a The mark (40) of the at least one marking device (38) linked virtual object (42) depending on the relative position of the camera unit (16) and the at least one marking device (38) can be displayed, wherein the system (10; 60; the data processing unit (20, 32) coupled sensor unit (46) for detecting a body part of an operator, in particular a hand (52), wherein the data processing unit (20, 32) dependent the position of the body part relative to the at least one marking device (38) is determined by a signal from the sensor unit (46) and, based thereon, the position of the body part relative to the virtual object (42) is determined in a coordinate system that is defined by the spatial relationship of the camera unit (16). with the at least one marking device (38) is defined with regard to an interaction of the body part with the virtual object (42).

System after Claim 1 , characterized in that with the display unit (22) the virtual object (42) in size and orientation depending on the distance and the orientation of the at least one marking device (38) relative to the camera unit (16) can be displayed.

System after Claim 1 or 2 characterized in that the data processing unit (20, 32) displays an image (54) of the body part on the display unit (22) based on the signals from the sensor unit (46), wherein movements of the body part interact with corresponding movements of the image (54) can be implemented with the virtual object (42).

System according to one of the preceding claims, characterized in that the data processing unit (20, 32) based on the signals of the camera unit (16) displays an image of the body part on the display unit (22).

System according to one of the preceding claims, characterized in that the data processing unit (20, 32), the display unit (22) and / or the camera unit (16) is / are portable.

System according to one of the preceding claims, characterized in that the system (10; 60) comprises data goggles (12) comprising the camera unit (16), the display unit (22) and preferably the data processing unit (20).

System according to one of the preceding claims, characterized in that the system (70) comprises a smartphone (74), tablet computer or laptop comprising the data processing unit (20), the display unit (22) and the camera unit (16) Computer includes.

System according to one of the preceding claims, characterized in that the sensor unit (46) is or comprises an IR sensor unit (46).

System according to one of the preceding claims, characterized in that the sensor unit (46) is or comprises a TOF camera.

System according to one of the preceding claims, characterized in that the sensor unit (46) is or comprises a stereo camera (48).

System according to one of the preceding claims, characterized in that at least one marking device is designed such that the marking is temporally and / or spatially immutable.

System according to one of the preceding claims, characterized in that the system comprises a further display unit (34) on which at least one marking device (38) can be displayed.

System after Claim 12 , characterized in that a plurality of marking devices can be represented with different markings, wherein depending on the respective mark a virtual object linked to this can be displayed on the display unit.

System after Claim 12 or 13 , characterized in that the system comprises a further processing unit (34) comprehensive data processing device (20).

System after Claim 14 , characterized in that the data processing unit (38) is integrated in the data processing device (28).

System after Claim 14 or 15 , characterized in that the data processing device (28) is portable, in particular that the data processing device (28) is a tablet computer, a laptop computer or a smartphone (30).

System according to one of Claims 14 to 16 , characterized in that the further display unit (34) is touch-sensitive.

System according to one of the preceding claims, characterized in that the sensor unit (46) is arranged in fixed spatial relation to the at least one marking device (38), wherein the data processing unit (20, 32) has relevant information which is used in determining the relative position of the Body part and the at least one marking device (38) is taken into account.

System after Claim 18 in conjunction with one of Claims 12 to 17 , characterized in that the sensor unit (46) on a housing (50) of the further display unit (34) or the data processing device (28) fixed or integrated in the housing (50).

System according to one of Claims 1 to 17 , characterized in that the sensor unit (46) from the field of view (18) of the camera unit (16) together with the at least one marking device (38) is detectable and that the data processing unit (20, 32) based on the signals of the camera unit (16) the relative position the sensor unit (46) and the at least one marking device (38) and this taken into account in the determination of the relative position of the body part and the at least one marking device (38).

System according to one of the preceding claims, characterized in that at least one virtual object (42) can be displayed as a function of a relative position of the body part relative to the marking device (38) associated with the object (42).

System according to one of the preceding claims, characterized in that at least one virtual object (42) can be displayed as a function of a movement of the body part detectable by means of the sensor unit (46) and / or the camera unit (16), in particular depending on a body part Gesture.

Method for interacting with a virtual object with a system according to one of the preceding claims, in which a virtual object linked to the marking of the at least one marking device is displayed on the display unit by the sensor unit depending on the relative position of the camera unit and the at least one marking device Body part of an operator, in particular a hand, detected and the data processing unit a related signal is transmitted, which determines the position of the body part relative to at least one marking device depending on the signal and based on the position of the body part relative to the virtual object in a coordinate system determined by the spatial relationship of the camera unit with the at least one marking device is defined with regard to an interaction of the body part with the virtual object.