DE102021100653B3 - Method and device for registering coordinate systems of at least two display devices for virtual objects, computer program for carrying out such a method, and display device - Google Patents

Method and device for registering coordinate systems of at least two display devices for virtual objects, computer program for carrying out such a method, and display device Download PDF

Info

Publication number
DE102021100653B3
DE102021100653B3 DE102021100653.8A DE102021100653A DE102021100653B3 DE 102021100653 B3 DE102021100653 B3 DE 102021100653B3 DE 102021100653 A DE102021100653 A DE 102021100653A DE 102021100653 B3 DE102021100653 B3 DE 102021100653B3
Authority
DE
Germany
Prior art keywords
display device
target positions
coordinate system
virtual
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102021100653.8A
Other languages
German (de)
Inventor
Johannes Tümler
Baixuan Yan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hochschule Anhalt Fh Koerperschaft Des Oeffentlichen Rechts
Original Assignee
Hochschule Anhalt Fh Koerperschaft Des Oeffentlichen Rechts
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hochschule Anhalt Fh Koerperschaft Des Oeffentlichen Rechts filed Critical Hochschule Anhalt Fh Koerperschaft Des Oeffentlichen Rechts
Priority to DE102021100653.8A priority Critical patent/DE102021100653B3/en
Application granted granted Critical
Publication of DE102021100653B3 publication Critical patent/DE102021100653B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning

Abstract

Die vorliegende Erfindung betrifft Verfahren und Vorrichtungen zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte sowie ein Computerprogramm mit Instruktionen zur Durchführung eines solchen Verfahrens. Die Erfindung betrifft zudem ein Anzeigegerät für virtuelle Objekte, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird. Bei dem Verfahren werden durch ein erstes Anzeigegerät Sollpositionen für ein zweites Anzeigegerät vorgegeben (10). Wenn sich das zweite Anzeigegerät aus Sicht des ersten Anzeigegeräts jeweils in einer Sollposition befindet, werden durch das erste Anzeigegerät Informationen des zweiten Anzeigegeräts in Bezug auf die Sollpositionen empfangen (11). Auf Basis der Sollpositionen und der empfangenen Informationen bestimmt (12) das erste Anzeigegerät dann eine Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts und einem Koordinatensystem des zweiten Anzeigegeräts.The present invention relates to methods and devices for registering coordinate systems of at least two display devices for virtual objects and a computer program with instructions for carrying out such a method. The invention also relates to a display device for virtual objects, in which a method according to the invention or a device according to the invention is used. In the method, target positions for a second display device are specified by a first display device (10). If the second display device is in a target position from the point of view of the first display device, information from the second display device relating to the target positions is received by the first display device (11). On the basis of the target positions and the information received, the first display device then determines (12) a transformation rule between a coordinate system of the first display device and a coordinate system of the second display device.

Description

Die vorliegende Erfindung betrifft Verfahren und Vorrichtungen zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte sowie ein Computerprogramm mit Instruktionen zur Durchführung eines solchen Verfahrens. Die Erfindung betrifft zudem ein Anzeigegerät für virtuelle Objekte, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird.The present invention relates to methods and devices for registering coordinate systems of at least two display devices for virtual objects and a computer program with instructions for carrying out such a method. The invention also relates to a display device for virtual objects, in which a method according to the invention or a device according to the invention is used.

Bereits seit Jahren lässt sich eine zunehmende Verbreitung digitaler Technologien in der Gesellschaft feststellen. Es steht zu erwarten, dass diese Digitalisierung der Gesellschaft im Alltag deutlich zunehmen wird. Virtual-, Augmented- und Mixed-Reality-Technologien und -Anwendungen stellen eine besondere Ausprägung der Digitalisierung dar. Bei Virtual Reality (VR) taucht der Nutzer in eine vollständige virtuelle, computergenerierte Welt ein. Für diesen Zweck werden üblicherweise Head-Mounted-Display-Geräte (HMD) genutzt.An increasing spread of digital technologies in society has been noticeable for years. It can be expected that this digitization of society will increase significantly in everyday life. Virtual, augmented and mixed reality technologies and applications represent a special form of digitization. With virtual reality (VR), the user is immersed in a completely virtual, computer-generated world. Head Mounted Display (HMD) devices are commonly used for this purpose.

Bei Augmented Reality (AR), auf Deutsch „erweiterte Realität“, handelt es sich um die Anreicherung der Wahrnehmung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Für die Darstellung von AR-Anzeigen können beispielsweise Datenbrillen genutzt werden. Eine Datenbrille wird wie eine normale Brille getragen, weist aber eine oder mehrere Projektionseinheiten oder Anzeigen auf, mit deren Hilfe dem Träger der Brille Informationen vor die Augen oder direkt auf die Netzhaut projiziert werden können. Die Brille ist dabei so gestaltet, dass der Träger auch die Umgebung wahrnehmen kann. Neue Technologien für Datenbrillen, beispielsweise Lichtfeldtechnologie, Fortschritte in der verwendeten Batterietechnik sowie der Einstieg großer Unternehmen in diese lassen eine steigende Akzeptanz dieser Geräte erwarten. Eine weitere Möglichkeit für die Darstellung von AR-Inhalten besteht in der Verwendung von Tablets oder Smartphones. In diesem Fall betrachtet der Nutzer auf dem Bildschirm des Geräts die reale Umgebung, die kontinuierlich von einer Kamera des Geräts gefilmt wird. Das Bild der realen Umgebung wird dabei durch zusätzliche virtuelle Inhalte angereichert, die ortskorrekt in das Bild eingefügt werden. Daneben existiert die sogenannte Spatial AR (SAR), auf Deutsch „räumliche erweiterte Realität“, auch als Projection-based AR (PbAR) bezeichnet, auf Deutsch „projektionsbasierte erweiterte Realität“. Bei dieser werden durch einen Projektor Bildinformationen so in die reale Umwelt projiziert, dass diese aus Perspektive (meist) einzelner Anwender die lagerichtige Wahrnehmung virtueller 3D-Geometrien erlauben. Bei allen oben genannten Geräten handelt es sich um Anzeigegeräte für virtuelle Objekte.Augmented Reality (AR) is the enrichment of the perception of the real world through virtual elements that are correctly registered in the three-dimensional space and allow real-time interaction. For example, data glasses can be used to display AR ads. Data glasses are worn like normal glasses, but have one or more projection units or displays, with the help of which information can be projected in front of the eyes or directly onto the retina of the wearer of the glasses. The glasses are designed in such a way that the wearer can also perceive the surroundings. New technologies for data glasses, such as light field technology, advances in the battery technology used and the entry of large companies into them mean that increasing acceptance of these devices can be expected. Another way to display AR content is to use tablets or smartphones. In this case, the user views the real environment on the device screen, which is continuously filmed by a device camera. The image of the real environment is enriched by additional virtual content that is inserted into the image at the correct location. In addition, there is the so-called Spatial AR (SAR), also known as Projection-based AR (PbAR), in German "projection-based augmented reality". With this, image information is projected into the real environment by a projector in such a way that, from the perspective of (usually) individual users, it allows the correct position of virtual 3D geometries to be perceived. All of the above devices are virtual object display devices.

Bei Mixed Reality (MR), auf Deutsch „gemischte Realität“, werden Elemente von Virtual Reality und Augmented Reality verbunden, d.h. die reale Welt wird mit virtuellen Umgebungen verbunden, sodass eine neue Umwelt entsteht. Der Nutzer interagiert zeitgleich mit der realen und einer virtuellen Umgebung. Physikalische Objekte der realen Welt haben dabei Einfluss auf digitale Elemente. Oftmals wird der Begriff „Mixed Reality“ aber auch praktisch synonym zu Augmented Reality benutzt.Mixed Reality (MR) combines elements of virtual reality and augmented reality, i.e. the real world is combined with virtual surroundings, creating a new environment. The user interacts simultaneously with the real and a virtual environment. Physical objects in the real world have an influence on digital elements. The term "mixed reality" is often used as a synonym for augmented reality.

Virtual Reality, Augmented Reality und Mixed Reality können unter dem Kürzel xR zusammengefasst werden. Das Kürzel xR steht dabei für „any-R‟, also eine beliebige Ausprägung von AR, VR oder MR.Virtual Reality, Augmented Reality and Mixed Reality can be summarized under the abbreviation xR. The abbreviation xR stands for "any-R", i.e. any form of AR, VR or MR.

Insgesamt ist absehbar, dass xR-Geräte, d.h. Systeme zur Präsentation von Augmented Reality, Virtual Reality oder Mixed Reality, bei Endkunden zunehmend stärker im Einsatz sein werden.Overall, it is foreseeable that xR devices, i.e. systems for presenting augmented reality, virtual reality or mixed reality, will be increasingly used by end customers.

Eine mögliche Anwendung von xR-Technologien besteht darin, dass mehrere Nutzer virtuell zusammen an einem Objekt arbeiten. Beispielsweise beschreibt die US 2013/0135180 A1 ein System für die verteilte Zusammenarbeit mehrerer Nutzer. Ein aktiver Nutzer trägt eine Datenbrille, die mit einem zentralen Rechner verbunden ist. Der zentrale Rechner empfängt Umgebungsinformationen von der Datenbrille und generiert daraus ein Raummodell. Zudem empfängt der zentrale Rechner Informationen zu einem Objekt, an dem gearbeitet werden soll, sowie Eingaben des aktiven Nutzers sowie weiterer Nutzer. Unter Berücksichtigung der Eingaben der Nutzer wird ein virtuelles Abbild des Objektes in das Raummodell eingefügt und dem aktiven Nutzer angezeigt.A possible application of xR technologies is that several users work together virtually on one object. For example, describes the U.S. 2013/0135180 A1 a system for the distributed collaboration of several users. An active user wears data glasses that are connected to a central computer. The central computer receives environmental information from the data glasses and uses it to generate a spatial model. In addition, the central computer receives information about an object to be worked on, as well as input from the active user and other users. Taking the user input into account, a virtual image of the object is inserted into the room model and displayed to the active user.

Des Weiteren besteht die Möglichkeit, dass mehrere Anwender gemeinsam eine erweiterte Realität erleben, d.h. sie sehen gleichzeitig eine augmentierte Information in einem gemeinsamen virtuellen Szenario. Beispielsweise beschreibt DE 10 2018 203 865 A1 ein Verfahren zum Bereitstellen von Informationen durch ein Augmented-Reality-Gerät. Bei dem Verfahren werden Informationen zu den Blickpunkten von Nutzern geteilt. Dabei können die Nutzer Anwender eines Augmented-Reality-Gerätes sein, die Ermittlung der Blickpunkte kann aber auch bei Nutzern erfolgen, die kein Augmented-Reality-Gerät benutzen. Die geteilten Informationen können dann als Grundlage für eine Reihe von Anwendungen dienen und ermöglichen die Verwirklichung einer geteilten erweiterten Realität. Beispielsweise wird der Blickpunkt eines zweiten Nutzers in einer Augmented-Reality-Anzeige eines ersten Nutzers eingeblendet.Furthermore, it is possible for several users to experience an augmented reality together, ie they see augmented information in a shared virtual scenario at the same time. For example describes DE 10 2018 203 865 A1 a method of providing information through an augmented reality device. The process involves sharing information about users' viewpoints. The users can be users of an augmented reality device, but the points of view can also be determined by users who do not use an augmented reality device. The shared information can then serve as the basis for a range of applications, enabling the realization of a shared augmented reality. For example, a second user's point of view is superimposed on an augmented reality display of a first user.

Die US 2014/0368534 A1 beschreibt ein Verfahren zur Darstellung eines virtuellen Objekts mittels eines HMDs. Für einen ersten Benutzer und einen zweiten Benutzer werden Position, Orientierung und Sichtfeld in einer gemeinsamen Umgebung bestimmt. Darüber hinaus wird eine gemeinsame optimale Positionierung eines gemeinsam betrachteten virtuellen Objekts in Bezug auf den ersten Benutzer und den zweiten Benutzer bestimmt. Die optimale Positionierung umfasst einen durch ein lokales Koordinatensystem definierten Ort. Die Objekt- und Positionsdaten in der gemeinsamen Umgebung werden zwischen dem ersten Benutzer und dem zweiten Benutzer geteilt, um die Darstellung des gemeinsam betrachteten virtuellen Objekts an diesem Ort zu ermöglichen.the US 2014/0368534 A1 describes a method for displaying a virtual object using an HMD. Position, orientation and field of view in a common environment are determined for a first user and a second user. In addition, a common optimal positioning of a jointly viewed virtual object in relation to the first user and the second user is determined. Optimal positioning includes a location defined by a local coordinate system. The object and position data in the shared environment is shared between the first user and the second user to enable the display of the shared virtual object at that location.

Eine mögliche Anwendung eines gemeinsamen virtuellen Szenarios besteht darin, dass ein Nutzer anderen Personen ein Produkt ohne räumliche Beschränkungen präsentiert. Allerdings müssen dazu verschiedene xR-Geräte im Rahmen einer gemeinsamen Live-Sitzung kombiniert werden, d.h. die teilnehmenden Personen verwenden jeweils ein eigenes Gerät, nehmen dabei aber am gleichen virtuellen Szenario teil.A possible application of a shared virtual scenario is that a user presents a product to other people without spatial restrictions. However, different xR devices must be combined in a joint live session, i.e. the participants each use their own device, but take part in the same virtual scenario.

Bei einer solchen Anwendung erzeugt jedes xR-Gerät seinen eigenen Ankerpunkt im Raum für sein Koordinatensystem, d.h. den Ursprung des Koordinatensystems. Lage und Orientierung des Koordinatensystems werden üblicherweise durch die physische Position des Nutzers zu dem Zeitpunkt bestimmt, zu dem die jeweilige xR-Software gestartet wird oder durch einen systemabhängigen Kalibriervorgang vorab festgelegt. Speziell für AR-Geräte, aber nicht auf diese beschränkt, besteht nun folgende Problematik. Jedes am virtuellen Szenario teilnehmende xR-Gerät hat seinen eigenen Ursprung für das eigene Koordinatensystem bestimmt. Wenn nun ein erstes Gerät ein virtuelles Objekt im Raum platziert, sehen andere Geräte dieses Objekt an einer Position im Raum. Beispielsweise kann es passieren, dass das Objekt im Raum zu schweben scheint, obwohl es aus Sicht des ersten Geräts auf einem Tisch abgestellt wurde. Es ist daher erforderlich, die Koordinatensysteme der beteiligten xR-Geräte in Bezug auf ein gemeinsames Koordinatensystem zu registrieren. Dazu können z.B. geteilte Ankerpunkte oder mathematische Transformationen zwischen den Koordinatensystemen genutzt werden.In such an application, each xR device creates its own anchor point in space for its coordinate system, i.e. the origin of the coordinate system. The position and orientation of the coordinate system are usually determined by the physical position of the user at the time the respective xR software is started or by a system-dependent calibration process in advance. Especially for AR devices, but not limited to them, the following problem now exists. Each xR device participating in the virtual scenario has its own origin determined for its own coordinate system. If a first device now places a virtual object in space, other devices see this object at a position in space. For example, it can happen that the object appears to be floating in space, although it was placed on a table from the point of view of the first device. It is therefore necessary to register the coordinate systems of the participating xR devices in relation to a common coordinate system. For this purpose, e.g. shared anchor points or mathematical transformations between the coordinate systems can be used.

Hinsichtlich geteilter Ankerpunkte besteht eine erste Möglichkeit in der Verwendung von Cloud-Ankerpunkten, bei denen 3D-Merkmalskarten der Umgebung die Basis für den Ankerpunkt bilden. Zur Erzeugung der Merkmalskarte kartiert ein Gerät mit Hilfe seiner Kamera die Umgebung um einen Bereich von Interesse aus verschiedenen Positionen und Blickwinkeln. Der Nutzer übermittelt die resultierende 3D-Merkmalskarte und den Ankerpunkt an einen Cloud-Dienst. Andere Geräte können die 3D-Merkmalskarte und den Ankerpunkt vom Cloud-Dienst herunterladen. Durch einen Abgleich der visuellen Merkmale der Szene mit der 3D-Merkmalskarte kann dann der Ankerpunkt lokalisiert werden. Bei dieser Lösung ist es erforderlich, dass die beteiligen Geräte in der Lage sind, ihre Umgebung zu kartieren. Eine eventuell unterschiedliche Qualität der Kartierung, z.B. aufgrund unterschiedlicher Kameraparameter oder Lichtverhältnisse, hat unmittelbar Einfluss auf die Registrierung. Zudem ist eine funktionierende Datenanbindung an den Cloud-Dienst erforderlich.With regard to shared anchor points, a first possibility is to use cloud anchor points, in which 3D feature maps of the environment form the basis for the anchor point. To generate the feature map, a device uses its camera to map the environment around an area of interest from different positions and viewpoints. The user submits the resulting 3D feature map and anchor point to a cloud service. Other devices can download the 3D feature map and anchor point from the cloud service. By matching the visual features of the scene to the 3D feature map, the anchor point can then be located. This solution requires the participating devices to be able to map their surroundings. A possibly different quality of the mapping, e.g. due to different camera parameters or lighting conditions, has a direct influence on the registration. A functioning data connection to the cloud service is also required.

Eine weitere Möglichkeit besteht in der Verwendung von zusätzlicher Hardware für das Geräte-Tracking. Beispielsweise kann an jedem der beteiligten mobilen xR-Geräte ein UWBbasiertes (UWB: Ultra-Wide Bandwidth; Ultra-Breitband) Abstandsmessungsmodul befestigt, das in der Lage ist, sich selbst in Bezug auf die Umgebung zu lokalisieren. Während sich die Benutzer unabhängig voneinander bewegen, werden die Positionen der AR-Geräte in ihren lokalen Systemen und die entsprechenden Abstandsmessungen gesammelt. Bei dieser Lösung muss zusätzliche Hardware erworben und installiert werden.Another option is to use additional hardware for device tracking. For example, a UWB-based (UWB: Ultra-Wide Bandwidth) distance measurement module capable of locating itself in relation to the environment can be attached to each of the mobile xR devices involved. As users move independently, the positions of the AR devices in their local systems and the corresponding distance measurements are collected. This solution requires additional hardware to be purchased and installed.

Schließlich besteht die Möglichkeit, ein physisches Objekt, z.B. ein 2D-Objekt wie einen QR-Code oder ein 3D-Objekt, bereitzustellen, das den Geräten bekannt ist und als Ankerpunkt benutzt wird. Bei dieser Lösung muss das physische Objekt im Vorfeld bereitgestellt werden. Zudem darf seine Position nicht verändert werden.Finally, there is the possibility of providing a physical object, e.g. a 2D object like a QR code or a 3D object, which is known to the devices and used as an anchor point. With this solution, the physical object must be provided in advance. In addition, its position must not be changed.

Hinsichtlich mathematischer Transformationen zwischen den Koordinatensystemen kann die Punktwolkenregistrierung genutzt werden. Dabei wird eine räumliche Transformation, z.B. Skalierung, Rotation und Translation, anhand einer Ausrichtung zweier Punktwolken bestimmt. Die Punktwolken umfassen die physisch gleichen Punkte, aber der Ursprung der Koordinatensysteme und somit die Koordinaten der Punkte sind unterschiedlich. Sofern mindestens vier 3D-Punkte je Punktwolke vorliegen, kann eine Transformationsmatrix für die Transformation zwischen den Koordinatensystemen berechnet werden. Mathematische Transformationen zwischen den Koordinatensystemen werden auch bei der Verwendung von Cloud-Ankerpunkten oder verschiedenen Tracking-Verfahren genutzt. Voraussetzung für die Registrierung ist lediglich, dass die erforderlichen Punktwolken im gleichen Raum ermittelt werden.With regard to mathematical transformations between the coordinate systems, point cloud registration can be used. A spatial transformation, e.g. scaling, rotation and translation, is determined based on an alignment of two point clouds. The point clouds contain the physically same points, but the origin of the coordinate systems and thus the coordinates of the points are different. If there are at least four 3D points per point cloud, a transformation matrix for the transformation between the coordinate systems can be calculated. Mathematical transformations between the coordinate systems are also used when using cloud anchor points or various tracking methods. The only prerequisite for registration is that the required point clouds are determined in the same space.

Des Weiteren beschreibt WO 2019/143572 A1 ein Verfahren zur AR- und VR-Kollaboration in gemeinsam genutzten Räumen. Es werden Geräte-Trackingdaten eines ersten HMDs in einem ersten Koordinatensystem und von dem ersten HMD erzeugte Skelett-Trackingdaten empfangen. Darüber hinaus werden Geräte-Trackingdaten von einem zweiten HMD in einem zweiten Koordinatensystem und von dem zweiten HMD erfasste Bilddaten empfangen. Aus den erfassten Bilddaten werden zweite Skelett-Trackingdaten erzeugt, die potenzielle Benutzer des ersten HMDs repräsentieren. Die erzeugten zweiten Skelett-Trackingdaten werden in das zweite Koordinatensystem transformiert. Die erzeugten zweiten Skelett-Trackingdaten werden mit den von dem ersten HMD gesendeten Geräte-Trackingdaten verglichen, um den Benutzer des ersten HMDs unter den potenziellen Benutzern zu identifizieren. Unter Verwendung der Skelett-Trackingdaten, die aus den erfassten Bilddaten erzeugt wurden, die den identifizierten Benutzer des ersten HMDs darstellen, wird ein Standort des identifizierten Benutzers des ersten HMDs im zweiten Koordinatensystem bestimmt. Basierend auf den Geräte-Trackingdaten des ersten HMDs im ersten Koordinatensystem und dem Standort des identifizierten Benutzers des ersten HMDs im zweiten Koordinatensystem wird eine Transformation zwischen dem ersten und zweiten Koordinatensystem bestimmt.Furthermore describes WO 2019/143572 A1 a method for AR and VR collaboration in shared spaces. It will be device tracking data of a first receive HMDs in a first coordinate system and skeletal tracking data generated by the first HMD. Additionally, device tracking data is received from a second HMD in a second coordinate system and image data captured by the second HMD. Second skeletal tracking data representing potential users of the first HMD is generated from the captured image data. The generated second skeleton tracking data is transformed into the second coordinate system. The generated second skeletal tracking data is compared to the device tracking data sent from the first HMD to identify the user of the first HMD from among the potential users. Using the skeletal tracking data generated from the captured image data representing the identified user of the first HMD, a location of the identified user of the first HMD in the second coordinate system is determined. A transformation between the first and second coordinate systems is determined based on the device tracking data of the first HMD in the first coordinate system and the location of the identified user of the first HMD in the second coordinate system.

Es ist eine Aufgabe der Erfindung, eine Lösung zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte bereitzustellen, die keine zusätzliche Hardware benötigt.It is an object of the invention to provide a solution for registering coordinate systems of at least two virtual object display devices that does not require additional hardware.

Diese Aufgabe wird durch Verfahren mit den Merkmalen der Ansprüche 1 und 2, durch ein Computerprogramm mit Instruktionen gemäß Anspruch 10 und durch Vorrichtungen mit den Merkmalen der Ansprüche 11 und 12 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.This object is achieved by methods having the features of claims 1 and 2, by a computer program with instructions according to claim 10 and by devices having the features of claims 11 and 12. Preferred developments of the invention are the subject matter of the dependent claims.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte die Schritte:

  • - Vorgeben von Sollpositionen für ein zweites Anzeigegerät durch ein erstes Anzeigegerät, wobei die Sollpositionen Positionen sind, in die das zweite Anzeigegerät gebracht werden soll;
  • - Empfangen von Informationen des zweiten Anzeigegeräts in Bezug auf die Sollpositionen durch das erste Anzeigegerät, wenn sich das zweite Anzeigegerät aus Sicht des ersten Anzeigegeräts jeweils in einer Sollposition befindet; und
  • - Bestimmen einer Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts und einem Koordinatensystem des zweiten Anzeigegeräts auf Basis der Sollpositionen und der Informationen.
According to a first aspect of the invention, a method for registering coordinate systems of at least two virtual object display devices comprises the steps of:
  • - Specification of target positions for a second display device by a first display device, the target positions being positions into which the second display device is to be brought;
  • - Receiving information from the second display device in relation to the target positions by the first display device when the second display device is in a target position from the point of view of the first display device; and
  • - Determining a transformation rule between a coordinate system of the first display device and a coordinate system of the second display device on the basis of the target positions and the information.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte veranlassen:

  • - Vorgeben von Sollpositionen für ein zweites Anzeigegerät durch ein erstes Anzeigegerät, wobei die Sollpositionen Positionen sind, in die das zweite Anzeigegerät gebracht werden soll;
  • - Empfangen von Informationen des zweiten Anzeigegeräts in Bezug auf die Sollpositionen durch das erste Anzeigegerät, wenn sich das zweite Anzeigegerät aus Sicht des ersten Anzeigegeräts jeweils in einer Sollposition befindet; und
  • - Bestimmen einer Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts und einem Koordinatensystem des zweiten Anzeigegeräts auf Basis der Sollpositionen und der Informationen.
According to another aspect of the invention, a computer program includes instructions that, when executed by a computer, cause the computer to perform the following steps for registering coordinate systems of at least two virtual object display devices:
  • - Specification of target positions for a second display device by a first display device, the target positions being positions into which the second display device is to be brought;
  • - Receiving information from the second display device in relation to the target positions by the first display device when the second display device is in a target position from the point of view of the first display device; and
  • - Determining a transformation rule between a coordinate system of the first display device and a coordinate system of the second display device on the basis of the target positions and the information.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch mobile Geräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.The term computer is to be understood broadly. In particular, it also includes mobile devices and other processor-based data processing devices.

Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.The computer program can be provided for electronic retrieval, for example, or it can be stored on a computer-readable storage medium.

Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte auf:

  • - einen Positionsgenerator zum Vorgeben von Sollpositionen für ein zweites Anzeigegerät, wobei die Sollpositionen Positionen sind, in die das zweite Anzeigegerät gebracht werden soll;
  • - eine Schnittstelle zum Empfangen von Informationen des zweiten Anzeigegeräts in Bezug auf die Sollpositionen, wenn sich das zweite Anzeigegerät aus Sicht eines ersten Anzeigegeräts jeweils in einer Sollposition befindet; und
  • - ein Rechenmodul zum Bestimmen einer Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts und einem Koordinatensystem des zweiten Anzeigegeräts auf Basis der Sollpositionen und der Informationen.
According to another aspect of the invention, an apparatus for registering coordinate systems of at least two virtual object display devices comprises:
  • - A position generator for specifying target positions for a second display device, the target positions being positions into which the second display device is to be brought;
  • - An interface for receiving information from the second display device in relation to the target positions when the second display device is located in a target position from the point of view of a first display device; and
  • - A computing module for determining a transformation rule between a coordinate system of the first display device and a coordinate system of the second display device on the basis of the target positions and the information.

Aus Sicht eines bereits eingemessenen Anzeigegeräts werden für ein einzumessendes Anzeigegerät mehrere Sollpositionen vorgegeben, die das bereits eingemessene Anzeigegerät in seiner augmentierten Szenerie anzeigt. Der Nutzer des einzumessenden Anzeigegeräts bringt nun das einzumessende Anzeigegerät nacheinander in die angezeigten Sollpositionen. Jedes Mal, wenn sich das einzumessende Anzeigegerät in einer der Sollpositionen befindet, werden vom einzumessenden Anzeigegerät Informationen an das bereits eingemessene Anzeigegerät übermittelt. Der Umstand, dass sich das einzumessende Anzeigegerät in einer der Sollpositionen befindet, kann vom Nutzer beispielsweise über die Betätigung einer Taste oder Schaltfläche, vorzugsweise am einzumessenden Anzeigegerät, oder über einen Sprachbefehl oder eine Geste bestätigt werden. Aus den übermittelten Informationen und den bekannten Sollpositionen kann das bereits eingemessene Anzeigegerät nun eine Transformationsvorschrift für die Koordinatensysteme der beiden Anzeigegeräte berechnen.From the point of view of an already calibrated display device, several target positions are specified for a display device to be calibrated, which the already calibrated display device displays in its augmented scenery. The user of the display device to be measured now successively brings the display device to be measured into the displayed target positions. Each time the display device to be calibrated is in one of the target positions, information is transmitted from the display device to be calibrated to the display device that has already been calibrated. The fact that the display device to be measured is in one of the target positions can be confirmed by the user, for example by pressing a key or button, preferably on the display device to be measured, or by a voice command or a gesture. From the transmitted information and the known target positions, the display device that has already been measured can now calculate a transformation rule for the coordinate systems of the two display devices.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Verfahren zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte die Schritte:

  • - Empfangen von durch ein erstes Anzeigegerät vorgegebenen Sollpositionen durch ein zweites Anzeigegerät, wobei die Sollpositionen Positionen sind, in die das zweite Anzeigegerät gebracht werden soll;
  • - Bestimmen von Informationen in Bezug auf die Sollpositionen durch das zweite Anzeigegerät, wenn sich das zweite Anzeigegerät aus Sicht des ersten Anzeigegeräts jeweils in einer Sollposition befindet; und
  • - Bestimmen einer Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts und einem Koordinatensystem des zweiten Anzeigegeräts auf Basis der Sollpositionen und der Informationen.
According to another aspect of the invention, a method for registering coordinate systems of at least two virtual object display devices comprises the steps of:
  • - Receiving by a second display device of target positions specified by a first display device, the target positions being positions into which the second display device is to be brought;
  • - determining information relating to the target positions by the second display device when the second display device is in each case in a target position as viewed from the first display device; and
  • - Determining a transformation rule between a coordinate system of the first display device and a coordinate system of the second display device on the basis of the target positions and the information.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte veranlassen:

  • - Empfangen von durch ein erstes Anzeigegerät vorgegebenen Sollpositionen durch ein zweites Anzeigegerät, wobei die Sollpositionen Positionen sind, in die das zweite Anzeigegerät gebracht werden soll;
  • - Bestimmen von Informationen in Bezug auf die Sollpositionen durch das zweite Anzeigegerät, wenn sich das zweite Anzeigegerät aus Sicht des ersten Anzeigegeräts jeweils in einer Sollposition befindet; und
  • - Bestimmen einer Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts und einem Koordinatensystem des zweiten Anzeigegeräts auf Basis der Sollpositionen und der Informationen.
According to another aspect of the invention, a computer program includes instructions that, when executed by a computer, cause the computer to perform the following steps for registering coordinate systems of at least two virtual object display devices:
  • - Receiving by a second display device of target positions specified by a first display device, the target positions being positions into which the second display device is to be brought;
  • - determining information relating to the target positions by the second display device when the second display device is in each case in a target position as viewed from the first display device; and
  • - Determining a transformation rule between a coordinate system of the first display device and a coordinate system of the second display device on the basis of the target positions and the information.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch mobile Geräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.The term computer is to be understood broadly. In particular, it also includes mobile devices and other processor-based data processing devices.

Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.The computer program can be provided for electronic retrieval, for example, or it can be stored on a computer-readable storage medium.

Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte auf:

  • - eine Schnittstelle zum Empfangen von durch ein erstes Anzeigegerät vorgegebenen Sollpositionen, wobei die Sollpositionen Positionen sind, in die ein zweites Anzeigegerät gebracht werden soll;
  • - ein Positionsbestimmungsmodul zum Bestimmen von Informationen in Bezug auf die Sollpositionen, wenn sich das zweite Anzeigegerät aus Sicht eines ersten Anzeigegeräts jeweils in einer Sollposition befindet; und
  • - ein Rechenmodul zum Bestimmen einer Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts und einem Koordinatensystem des zweiten Anzeigegeräts auf Basis der Sollpositionen und der Informationen.
According to another aspect of the invention, an apparatus for registering coordinate systems of at least two virtual object display devices comprises:
  • an interface for receiving target positions specified by a first display device, the target positions being positions into which a second display device is to be brought;
  • - a position determination module for determining information relating to the target positions when the second display device is located in a target position as viewed from a first display device; and
  • - A computing module for determining a transformation rule between a coordinate system of the first display device and a coordinate system of the second display device on the basis of the target positions and the information.

Aus Sicht eines einzumessenden Anzeigegeräts empfängt das einzumessende Anzeigegerät von einem bereits eingemessene Anzeigegerät Informationen zu mehreren Sollpositionen, die das bereits eingemessene Anzeigegerät in seiner augmentierten Szenerie anzeigt. Der Nutzer des einzumessenden Anzeigegeräts bringt nun das einzumessende Anzeigegerät nacheinander in die angezeigten Sollpositionen. Jedes Mal, wenn sich das einzumessende Anzeigegerät in einer der Sollpositionen befindet, werden vom einzumessenden Anzeigegerät Informationen in Bezug auf die jeweilige Sollposition bestimmt. Der Umstand, dass sich das einzumessende Anzeigegerät in einer der Sollpositionen befindet, kann vom Nutzer beispielsweise über die Betätigung einer Taste oder Schaltfläche, vorzugsweise am einzumessenden Anzeigegerät, oder über einen Sprachbefehl oder eine Geste bestätigt werden. Aus den empfangenen Sollpositionen und den ermittelten Informationen kann das einzumessende Anzeigegerät nun eine Transformationsvorschrift für die Koordinatensysteme der beiden Anzeigegeräte berechnen.From the point of view of a display device to be calibrated, the display device to be calibrated receives information from a display device that has already been calibrated about a plurality of target positions, which the already calibrated display device displays in its augmented scenery. The user of the display device to be measured now successively brings the display device to be measured into the displayed target positions. Each time the display device to be measured is in one of the target positions, information relating to the respective target position is determined by the display device to be measured. The fact that the display device to be measured is in one of the target positions can be confirmed by the user, for example by pressing a key or button, preferably on the display device to be measured, or by a voice command or a gesture. From the received target positions and the determined information, the display device to be measured can now calculate a transformation rule for the coordinate systems of the two display devices.

Die erfindungsgemäße Lösung, ein Anzeigegerät für virtuelle Objekte zu verwenden, um ein anderes Anzeigegerät für virtuelle Objekte räumlich zu registrieren, hat den Vorteil, dass die Registrierung unabhängig von der Verfügbarkeit einer funktionierenden Datenanbindung an einen Cloud- oder Web-Dienst ist. Zudem wird keine zusätzliche Hardware benötigt, sodass die Lösung kostengünstig umgesetzt werden kann. Es ist ausreichend, wenn die beteiligten Anzeigegeräte über ein lokales Netzwerk oder das Internet miteinander verbunden sind bzw. kommunizieren können. Wenn die Anzahl beteiligter Anzeigegeräte zunimmt, kann die Kalibrierphase abgekürzt werden, indem neu kalibrierte Anzeigegeräte ihrerseits für die Kalibrierung weiterer einzumessender Anzeigegeräte genutzt werden. Für eine hohe Genauigkeit der Kalibrierung ist es allerdings vorteilhaft, die Kalibrierung immer mit dem ersten Anzeigegerät auszuführen, um die Fehlerkette kurz und auftretende Fehler so gering wie möglich zu halten. Fehler können z.B. durch leichte Ungenauigkeiten beim Halten der Geräte in die Sollpositionen sowie allgemein durch die Präzision der verwendeten Trackingsysteme entstehen. Nimmt man ein bereits kalibriertes Gerät für weitere Kalibrierungen, können sich die bereits vorhandenen Fehler fortpflanzen.The solution according to the invention of using a display device for virtual objects to spatially register another display device for virtual objects has the advantage that the registration is independent of the availability of a functioning data connection to a cloud or web service. In addition, no additional hardware is required, so that the solution can be implemented cost-effectively. It is sufficient if the display devices involved are connected to one another or can communicate via a local network or the Internet. If the number of display devices involved increases, the calibration phase can be shortened by using newly calibrated display devices for the calibration of other display devices to be measured. For a high accuracy of the calibration, however, it is advantageous to always carry out the calibration with the first display device in order to keep the error chain short and the errors that occur as small as possible. Errors can occur, for example, due to slight inaccuracies when holding the devices in the target positions and generally due to the precision of the tracking systems used. If you take an already calibrated device for further calibrations, the already existing errors can be propagated.

Gemäß einem Aspekt der Erfindung werden die Sollpositionen vom ersten Anzeigegerät in Form von virtuellen Registrierungsobjekten dargestellt. Das zweite Anzeigegerät befindet sich dabei aus Sicht des ersten Anzeigegeräts in einer Sollposition, wenn es sich in Übereinstimmung mit einem virtuellen Registrierungsobjekt befindet. Vorzugsweise sind die virtuellen Registrierungsobjekte dabei virtuelle Modelle des zweiten Anzeigegeräts. Durch die Verwendung virtueller Registrierungsobjekte ist für den Nutzer des einzumessenden Anzeigegeräts leicht ersichtlich, in welche Positionen er das einzumessende Anzeigegerät bringen muss. Handelt es sich bei den virtuellen Registrierungsobjekten zudem noch um virtuelle Modelle des einzumessenden Anzeigegeräts, ist es für den Nutzer besonders einfach, das einzumessende Anzeigegerät möglichst exakt in die Sollposition zu bringen. Dazu ist es zudem vorteilhaft, wenn es sich bei dem bereits eingemessenen Anzeigegerät um eine Datenbrille handelt.According to one aspect of the invention, the target positions are displayed by the first display device in the form of virtual registration objects. From the point of view of the first display device, the second display device is in a desired position when it is in agreement with a virtual registration object. The virtual registration objects are preferably virtual models of the second display device. The use of virtual registration objects makes it easy for the user of the display device to be measured into which positions he must bring the display device to be measured. If the virtual registration objects are also virtual models of the display device to be calibrated, it is particularly easy for the user to bring the display device to be calibrated into the target position as precisely as possible. It is also advantageous if the display device that has already been calibrated is data glasses.

Gemäß einem Aspekt der Erfindung sind die Informationen in Bezug auf die Sollpositionen Koordinaten der Position des zweiten Anzeigegeräts im Koordinatensystem des zweiten Anzeigegeräts. Die Transformationsvorschrift wird dann auf Basis der Koordinaten der Position des zweiten Anzeigegeräts im Koordinatensystem des zweiten Anzeigegeräts und von Koordinaten der Sollpositionen im Koordinatensystem des ersten Anzeigegeräts bestimmt. Durch die Bereitstellung von Koordinaten liegen beiden Anzeigegeräten nach dem Abarbeiten der Sollpositionen jeweils zwei Punktwolken mit gleicher Anzahl an Punkten je Gerät mit Koordinaten für die Sollpositionen vor. Bei den Punkten handelt es sich um 3D-3D-Korrespondenzen. Sofern mindestens vier 3D-Punkte je Punktwolke vorliegen, kann nun eine Transformationsmatrix für die Transformation zwischen den Koordinatensystemen berechnet werden.According to one aspect of the invention, the information related to the target positions is coordinates of the position of the second display device in the coordinate system of the second display device. The transformation rule is then determined based on the coordinates of the position of the second display device in the coordinate system of the second display device and on the coordinates of the target positions in the coordinate system of the first display device. By providing coordinates, after processing the target positions, both display devices each have two point clouds with the same number of points per device with coordinates for the target positions. The points are 3D-3D correspondences. If there are at least four 3D points per point cloud, a transformation matrix for the transformation between the coordinate systems can now be calculated.

Gemäß einem Aspekt der Erfindung wird das zweite Anzeigegerät in einer vorgegebenen Reihenfolge in die Sollpositionen gebracht. Dies erleichtert eine Zuordnung der ermittelten Koordinaten und somit die Berechnung der Transformationsvorschrift.According to one aspect of the invention, the second display device is brought into the target positions in a predetermined order. This makes it easier to assign the determined coordinates and thus to calculate the transformation rule.

Gemäß einem Aspekt der Erfindung werden die Transformationsvorschriften von den Anzeigegeräten verwendet, um ein Koordinatensystem-Objekt des jeweils anderen Anzeigegeräts zu generieren. Mittels der Transformationsvorschrift bzw. der Transformationsmatrix können die relative Position und Drehung des Koordinatensystems eines Anzeigegeräts in der augmentierten Szenerie des jeweils anderen Anzeigegeräts berechnet werden. Aus der so bestimmten relativen Position und Drehung kann wiederum ein entsprechendes Koordinatensystem-Objekt generiert werden. Dies erlaubt es, darzustellende virtuelle Objekte eines Anzeigegeräts als Kind-Objekte im Koordinatensystem-Objekt im jeweils anderen Anzeigegerät zu platzieren. Objekte in der augmentierten Szenerie eines Anzeigegeräts können so direkt in der augmentierten Szenerie des anderen Anzeigegeräts präsentiert werden, ohne dass eine zusätzliche Konversion der Koordinaten erforderlich ist.According to one aspect of the invention, the transformation rules are used by the display devices in order to generate a coordinate system object of the respective other display device. The relative position and rotation of the coordinate system of a display device in the augmented scenery of the respective other display device can be calculated by means of the transformation rule or the transformation matrix. A corresponding coordinate system object can in turn be generated from the relative position and rotation determined in this way. This makes it possible to place virtual objects to be displayed on a display device as child objects in the coordinate system object in the respective other display device. Objects in the augmented scenery of one display device can thus be presented directly in the augmented scenery of the other display device without the need for an additional conversion of the coordinates.

Gemäß einem Aspekt der Erfindung wird ein generiertes Koordinatensystem-Objekt an zumindest ein weiteres Anzeigegerät für virtuelle Objekte übermittelt. Die beschriebene Lösung kann auch für mehr als zwei beteiligte Anzeigegeräte genutzt werden. Durch die Übermittlung von Koordinatensystem-Objekten können die Anzeigegeräte in die Lage versetzt werden, Objekte in der augmentierten Szenerie weiterer Anzeigegerät zu präsentieren.According to one aspect of the invention, a generated coordinate system object is communicated to at least one other virtual object display device. The solution described can also be used for more than two display devices involved. By transmitting coordinate system objects, the display devices can be enabled to present objects in the augmented scenery of other display devices.

Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Anzeigegerät für virtuelle Objekte eingesetzt, beispielsweise in einer Datenbrille, in einem Smartphone, in einem Tablet oder in einem Projektor.A method according to the invention or a device according to the invention is used particularly advantageously in a display device for virtual objects, for example in data glasses, in a smartphone, in a tablet or in a projector.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

  • 1 zeigt schematisch eine Datenbrille als Beispiel für ein Anzeigegerät für virtuelle Objekte;
  • 2 zeigt schematisch ein Verfahren zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten aus Sicht eines bereits eingemessenen Anzeigegeräts;
  • 3 zeigt eine erste Ausführungsform einer Vorrichtung zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten, die in einem bereits eingemessenen Anzeigegerät verwendet werden kann;
  • 4 zeigt eine zweite Ausführungsform einer Vorrichtung zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten, die in einem bereits eingemessenen Anzeigegerät verwendet werden kann;
  • 5 zeigt schematisch ein Verfahren zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten aus Sicht eines einzumessenden Anzeigegeräts;
  • 6 zeigt eine erste Ausführungsform einer Vorrichtung zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten, die in einem einzumessenden Anzeigegerät verwendet werden kann;
  • 7 zeigt eine zweite Ausführungsform einer Vorrichtung zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten, die in einem einzumessenden Anzeigegerät verwendet werden kann;
  • 8 stellt schematisch eine Kalibrierungsphase dar;
  • 9 veranschaulicht die Verwendung von Koordinatensystem-Objekten;
  • 10 zeigt schematisch die Anzeige eines virtuellen Modells eines Anzeigegeräts als Sollposition; und
  • 11 zeigt schematisch zwei aus der Kalibrierungsphase resultierende Punktwolken für die Berechnung einer Transformationsmatrix.
Further features of the present invention will become apparent from the following description and the appended claims in conjunction with the figures.
  • 1 12 schematically shows data glasses as an example of a display device for virtual objects;
  • 2 shows schematically a method for registering coordinate systems of at least two display devices from the point of view of a display device that has already been calibrated;
  • 3 shows a first embodiment of a device for registering coordinate systems of at least two display devices, which can be used in a display device that has already been calibrated;
  • 4 shows a second embodiment of a device for registering coordinate systems of at least two display devices, which can be used in a display device that has already been calibrated;
  • 5 shows schematically a method for registering coordinate systems of at least two display devices from the point of view of a display device to be measured;
  • 6 shows a first embodiment of a device for registering coordinate systems of at least two display devices, which can be used in a display device to be measured;
  • 7 shows a second embodiment of a device for registering coordinate systems of at least two display devices, which can be used in a display device to be measured;
  • 8th schematically represents a calibration phase;
  • 9 demonstrates the use of coordinate system objects;
  • 10 shows schematically the display of a virtual model of a display device as a target position; and
  • 11 shows schematically two point clouds resulting from the calibration phase for the calculation of a transformation matrix.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.For a better understanding of the principles of the present invention, embodiments of the invention are explained in more detail below with reference to the figures. It is understood that the invention is not limited to these embodiments and that the features described can also be combined or modified without leaving the scope of protection of the invention as defined in the appended claims.

1 zeigt schematisch eine Datenbrille 1 als Beispiel für ein Anzeigegerät für virtuelle Objekte. Die Datenbrille 1 hat eine Kamera 2 zum Erfassen von Umgebungsdaten einer Umgebung der Datenbrille 1. Mittels einer Posenbestimmungsvorrichtung 3 kann anhand der Umgebungsdaten eine Pose der Datenbrille 1 bestimmt werden. Die Posenbestimmungsvorrichtung 3 kann dazu beispielsweise Kanten oder markante Punkte in den Bilddaten detektieren und auswerten. Mittels einer Grafikeinheit 4 kann die Anzeige der Datenbrille 1 entsprechend der ermittelten Pose angepasst werden. Dazu können die Posenbestimmungsvorrichtung 3 und die Grafikeinheit 4 miteinander Daten austauschen. Die von der Grafikeinheit 4 generierte Anzeige wird durch eine Projektionseinheit 5 eingeblendet. Im Beispiel in 1 wird ein monokulares Display genutzt, d.h. nur vor einem Auge des Nutzers ist ein Display angeordnet. Die vorliegend beschriebene Lösung kann selbstverständlich auch mit einer Datenbrille 1 mit einem binokularen Display, bei dem pro Auge ein Display genutzt wird, oder mit einem binokularen Display, bei dem für beide Augen ein gemeinsames Display genutzt wird, realisiert werden. 1 FIG. 1 schematically shows data glasses 1 as an example of a display device for virtual objects. The data glasses 1 have a camera 2 for capturing data surrounding the data glasses 1. A pose determination device 3 can be used to determine a pose for the data glasses 1 based on the data surrounding the data. For this purpose, the pose determination device 3 can, for example, detect and evaluate edges or distinctive points in the image data. The display of the data glasses 1 can be adjusted according to the determined pose by means of a graphics unit 4 . For this purpose, the pose determination device 3 and the graphics unit 4 can exchange data with one another. The display generated by graphics unit 4 is overlaid by a projection unit 5 . In the example at 1 a monocular display is used, ie a display is only arranged in front of one eye of the user. The solution described here can, of course, also be implemented using data glasses 1 with a binocular display, in which one display is used for each eye, or with a binocular display, in which a common display is used for both eyes.

2 zeigt schematisch ein Verfahren zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten aus Sicht eines bereits eingemessenen ersten Anzeigegeräts. Bei dem Verfahren werden durch das erste Anzeigegerät Sollpositionen für ein zweites Anzeigegerät vorgegeben 10, die z.B. in Form von virtuellen Registrierungsobjekten durch das erste Anzeigegerät dargestellt werden. Ein solches virtuelles Registrierungsobjekt kann insbesondere ein virtuelles Modell des zweiten Anzeigegeräts sein. Wenn sich das zweite Anzeigegerät aus Sicht des ersten Anzeigegeräts jeweils in einer Sollposition befindet, werden durch das erste Anzeigegerät Informationen des zweiten Anzeigegeräts in Bezug auf die Sollpositionen empfangen 11. Das zweite Anzeigegerät befindet sich aus Sicht des ersten Anzeigegeräts insbesondere dann in einer Sollposition, wenn es sich in Übereinstimmung mit einem virtuellen Registrierungsobjekt befindet. Vorzugsweise wird das zweite Anzeigegerät dabei in einer vorgegebenen Reihenfolge in die Sollpositionen gebracht. Auf Basis der Sollpositionen und der empfangenen Informationen bestimmt 12 das erste Anzeigegerät dann eine Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts und einem Koordinatensystem des zweiten Anzeigegeräts. Bei den Informationen in Bezug auf die Sollpositionen handelt es sich zu diesem Zweck vorzugsweise um Koordinaten der Position des zweiten Anzeigegeräts im Koordinatensystem des zweiten Anzeigegeräts. Beim Bestimmen 12 der Transformationsvorschrift können dann zusätzlich die Koordinaten der Sollpositionen im Koordinatensystem des ersten Anzeigegeräts genutzt werden. Die Transformationsvorschrift kann vom ersten Anzeigegerät verwendet werden, um ein Koordinatensystem-Objekt des zweiten Anzeigegeräts zu generieren. 2 shows schematically a method for registering coordinate systems of at least two display devices from the point of view of a first display device that has already been calibrated. In the method, the first display device specifies target positions for a second display device 10, which are displayed, for example, in the form of virtual registration objects by the first display device. Such a virtual registration object can in particular be a virtual model of the second display device. If the second display device is in a target position from the point of view of the first display device, the first display device receives information from the second display device in relation to the target positions 11. From the point of view of the first display device, the second display device is in a target position in particular if it is in accordance with a virtual registry object. The second display device is preferably brought into the target positions in a predetermined sequence. On the basis of the target positions and the information received, the first display device then determines 12 a transformation rule between a coordinate system of the first display device and a coordinate system of the second display device. For this purpose, the information relating to the target positions is preferably coordinates of the position of the second display device in the coordinate system of the second display device. When determining 12 the transformation rule can then in addition, the coordinates of the target positions in the coordinate system of the first display device are used. The transformation rule can be used by the first display device to generate a coordinate system object of the second display device.

3 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform 30 zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten, die in einem bereits eingemessenen ersten Anzeigegerät verwendet werden kann. Die Vorrichtung 30 hat einen Positionsgenerator 32 zum Vorgeben von Sollpositionen Pi für ein zweites Anzeigegerät B, die z.B. in Form von virtuellen Registrierungsobjekten durch das erste Anzeigegerät dargestellt werden können. Ein solches virtuelles Registrierungsobjekt kann insbesondere ein virtuelles Modell des zweiten Anzeigegeräts B sein. Über eine Schnittstelle 31 können, wenn sich das zweite Anzeigegerät B aus Sicht des ersten Anzeigegeräts jeweils in einer Sollposition Pi befindet, Informationen Ri des zweiten Anzeigegeräts B in Bezug auf die Sollpositionen Pi empfangen werden. Das zweite Anzeigegerät B befindet sich aus Sicht des ersten Anzeigegeräts insbesondere dann in einer Sollposition Pi, wenn es sich in Übereinstimmung mit einem virtuellen Registrierungsobjekt befindet. Vorzugsweise wird das zweite Anzeigegerät B dabei in einer vorgegebenen Reihenfolge in die Sollpositionen Pi gebracht. Ein Rechenmodul 33 kann dann eine Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts und einem Koordinatensystem des zweiten Anzeigegeräts B auf Basis der Sollpositionen Pi und der Informationen Ri bestimmen. Bei den Informationen Ri in Bezug auf die Sollpositionen Pi handelt es sich zu diesem Zweck vorzugsweise um Koordinaten KBi der Position des zweiten Anzeigegeräts B im Koordinatensystem des zweiten Anzeigegeräts B. Beim Bestimmen der Transformationsvorschrift können dann zusätzlich die Koordinaten KAi der Sollpositionen im Koordinatensystem des ersten Anzeigegeräts genutzt werden. Die Transformationsvorschrift kann durch die Vorrichtung 30 genutzt werden oder über die Schnittstelle 31 zur weiteren Verwendung bereitgestellt werden, z.B. um ein Koordinatensystem-Objekt des zweiten Anzeigegeräts B zu generieren. 3 shows a simplified schematic representation of a first embodiment 30 for registering coordinate systems of at least two display devices, which can be used in an already calibrated first display device. The device 30 has a position generator 32 for specifying target positions P i for a second display device B, which can be displayed by the first display device in the form of virtual registration objects, for example. Such a virtual registration object can be a virtual model of the second display device B, in particular. Information R i from the second display device B in relation to the target positions P i can be received via an interface 31 when the second display device B is located in a target position P i from the point of view of the first display device. From the point of view of the first display device, the second display device B is in a desired position P i in particular when it is in agreement with a virtual registration object. The second display device B is preferably brought into the target positions P i in a predetermined sequence. A computing module 33 can then determine a transformation rule between a coordinate system of the first display device and a coordinate system of the second display device B on the basis of the target positions P i and the information R i . For this purpose, the information R i in relation to the target positions P i is preferably coordinates KB i of the position of the second display device B in the coordinate system of the second display device B. When determining the transformation rule, the coordinates KA i of the target positions im Coordinate system of the first display device are used. The transformation rule can be used by the device 30 or provided via the interface 31 for further use, for example to generate a coordinate system object of the second display device B.

Der Positionsgenerator 32 und das Rechenmodul 33 können von einem Kontrollmodul 34 gesteuert werden. Über eine Benutzerschnittstelle 36 können gegebenenfalls Einstellungen des Positionsgenerators 32, des Rechenmoduls 33 oder des Kontrollmoduls 34 geändert werden. Die in der Vorrichtung 30 anfallenden Daten können bei Bedarf in einem Speicher 35 der Vorrichtung 30 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 30. Der Positionsgenerator 32, das Rechenmodul 33 sowie das Kontrollmodul 34 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Die Schnittstelle 31 kann auch getrennt in einen Eingang und einen Ausgang implementiert sein.The position generator 32 and the computing module 33 can be controlled by a control module 34 . If necessary, settings of the position generator 32, the computing module 33 or the control module 34 can be changed via a user interface 36. If required, the data generated in the device 30 can be stored in a memory 35 of the device 30, for example for later evaluation or for use by the components of the device 30. The position generator 32, the computing module 33 and the control module 34 can be used as dedicated Be realized hardware, for example as integrated circuits. Of course, they can also be partially or fully combined or implemented as software running on a suitable processor, such as a GPU or a CPU. The interface 31 can also be implemented separately in an input and an output.

4 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 40 zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten, die in einem bereits eingemessenen ersten Anzeigegerät verwendet werden kann. Die Vorrichtung 40 weist einen Prozessor 42 und einen Speicher 41 auf. Beispielsweise handelt es sich bei der Vorrichtung 40 um einen Computer oder eine andere prozessorbasierte Datenverarbeitungsvorrichtung. Im Speicher 41 sind Instruktionen abgelegt, die die Vorrichtung 40 bei Ausführung durch den Prozessor 42 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 41 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 42 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 40 hat einen Eingang 43 zum Empfangen von Informationen. Vom Prozessor 42 generierte Daten werden über einen Ausgang 44 bereitgestellt. Darüber hinaus können sie im Speicher 41 abgelegt werden. Der Eingang 43 und der Ausgang 44 können zu einer bidirektionalen Schnittstelle zusammengefasst sein. 4 shows a simplified schematic representation of a second embodiment of a device 40 for registering coordinate systems of at least two display devices, which can be used in an already calibrated first display device. The device 40 has a processor 42 and a memory 41 . For example, device 40 is a computer or other processor-based computing device. Instructions are stored in the memory 41 which, when executed by the processor 42, cause the device 40 to carry out the steps according to one of the methods described. The instructions stored in the memory 41 thus embody a program which can be executed by the processor 42 and implements the method according to the invention. The device 40 has an input 43 for receiving information. Data generated by the processor 42 is provided via an output 44 . In addition, they can be stored in memory 41. The input 43 and the output 44 can be combined to form a bidirectional interface.

Der Prozessor 42 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.Processor 42 may include one or more processing units, such as microprocessors, digital signal processors, or combinations thereof.

Die Speicher 35, 41 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.The memories 35, 41 of the described embodiments can have both volatile and non-volatile memory areas and can include a wide variety of memory devices and storage media, for example hard disks, optical storage media or semiconductor memories.

5 zeigt schematisch ein Verfahren zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten aus Sicht eines einzumessenden zweiten Anzeigegeräts. Bei der Verfahren werden durch das zweite Anzeigegerät Sollpositionen empfangen 20, die durch ein erstes Anzeigegerät vorgegebenen werden und z.B. in Form von virtuellen Registrierungsobjekten durch das erste Anzeigegerät dargestellt werden. Ein solches virtuelles Registrierungsobjekt kann insbesondere ein virtuelles Modell des zweiten Anzeigegeräts sein. Wenn sich das zweite Anzeigegerät aus Sicht des ersten Anzeigegeräts jeweils in einer Sollposition befindet, werden durch das zweite Anzeigegerät Informationen in Bezug auf die Sollpositionen bestimmt 21. Das zweite Anzeigegerät befindet sich aus Sicht des ersten Anzeigegeräts insbesondere dann in einer Sollposition, wenn es sich in Übereinstimmung mit einem virtuellen Registrierungsobjekt befindet. Vorzugsweise wird das zweite Anzeigegerät dabei in einer vorgegebenen Reihenfolge in die Sollpositionen gebracht. Auf Basis der Sollpositionen und der bestimmten Informationen bestimmt 22 das zweite Anzeigegerät dann eine Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts und einem Koordinatensystem des zweiten Anzeigegeräts. Bei den Informationen in Bezug auf die Sollpositionen handelt es sich zu diesem Zweck vorzugsweise um Koordinaten der Position des zweiten Anzeigegeräts im Koordinatensystem des zweiten Anzeigegeräts. Beim Bestimmen 22 der Transformationsvorschrift können dann zusätzlich die Koordinaten der Sollpositionen im Koordinatensystem des ersten Anzeigegeräts genutzt werden. Die Transformationsvorschrift kann vom zweiten Anzeigegerät verwendet werden, um ein Koordinatensystem-Objekt des ersten Anzeigegeräts zu generieren. 5 shows schematically a method for registering coordinate systems of at least two display devices from the point of view of a second display device to be measured. In the method, target positions are received 20 by the second display device, which are specified by a first display device and are displayed, for example, in the form of virtual registration objects by the first display device. Such a virtual registration object can in particular be a virtual model of the second display device. If the second display device is in a target position from the point of view of the first display device is located, information relating to the target positions is determined 21 by the second display device. From the point of view of the first display device, the second display device is in a target position in particular when it is in agreement with a virtual registration object. The second display device is preferably brought into the target positions in a predetermined sequence. On the basis of the target positions and the information determined, the second display device then determines 22 a transformation rule between a coordinate system of the first display device and a coordinate system of the second display device. For this purpose, the information relating to the target positions is preferably coordinates of the position of the second display device in the coordinate system of the second display device. When determining 22 the transformation rule, the coordinates of the target positions in the coordinate system of the first display device can then also be used. The transformation rule can be used by the second display device to generate a coordinate system object of the first display device.

6 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 50 zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten, die in einem einzumessenden zweiten Anzeigegerät verwendet werden kann. Die Vorrichtung 50 hat eine Schnittstelle 51, über die Sollpositionen Pi empfangen werden können. Die Sollpositionen Pi werden dabei von einem ersten Anzeigegerät A vorgegeben und von diesem z.B. in Form von virtuellen Registrierungsobjekten dargestellt. Ein solches virtuelles Registrierungsobjekt kann insbesondere ein virtuelles Modell des zweiten Anzeigegeräts sein. Ein Positionsbestimmungsmodul 52 ist dazu eingerichtet, Informationen Ri in Bezug auf die Sollpositionen Pi zu bestimmen, wenn sich das zweite Anzeigegerät aus Sicht des ersten Anzeigegeräts A jeweils in einer Sollposition Pi befindet. Das zweite Anzeigegerät befindet sich aus Sicht des ersten Anzeigegeräts A insbesondere dann in einer Sollposition Pi, wenn es sich in Übereinstimmung mit einem virtuellen Registrierungsobjekt befindet. Vorzugsweise wird das zweite Anzeigegerät dabei in einer vorgegebenen Reihenfolge in die Sollpositionen Pi gebracht. Ein Rechenmodul 53 kann dann eine Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts A und einem Koordinatensystem des zweiten Anzeigegeräts auf Basis der Sollpositionen Pi und der bestimmten Informationen Ri bestimmen. Bei den Informationen Ri in Bezug auf die Sollpositionen Pi handelt es sich zu diesem Zweck vorzugsweise um Koordinaten KBi der Position des zweiten Anzeigegeräts im Koordinatensystem des zweiten Anzeigegeräts. Beim Bestimmen der Transformationsvorschrift können dann zusätzlich die Koordinaten KAi der Sollpositionen im Koordinatensystem des ersten Anzeigegeräts A genutzt werden. Die Transformationsvorschrift kann durch die Vorrichtung 50 genutzt werden oder über die Schnittstelle 51 zur weiteren Verwendung bereitgestellt werden, z.B. um ein Koordinatensystem-Objekt des ersten Anzeigegeräts A zu generieren. 6 shows a simplified schematic representation of a first embodiment of a device 50 for registering coordinate systems of at least two display devices, which can be used in a second display device to be measured. The device 50 has an interface 51 via which the desired positions P i can be received. The target positions P i are specified by a first display device A and displayed by it, for example, in the form of virtual registration objects. Such a virtual registration object can in particular be a virtual model of the second display device. A position determination module 52 is set up to determine information R i in relation to the target positions P i when the second display device from the point of view of the first display device A is in a target position P i . From the point of view of the first display device A, the second display device is in a desired position P i in particular when it is in agreement with a virtual registration object. The second display device is preferably brought into the target positions P i in a predetermined sequence. A computing module 53 can then determine a transformation rule between a coordinate system of the first display device A and a coordinate system of the second display device on the basis of the target positions P i and the specific information R i . For this purpose, the information R i in relation to the target positions P i is preferably coordinates KB i of the position of the second display device in the coordinate system of the second display device. When determining the transformation rule, the coordinates KA i of the target positions in the coordinate system of the first display device A can then also be used. The transformation rule can be used by the device 50 or made available via the interface 51 for further use, for example to generate a coordinate system object of the first display device A.

Das Positionsbestimmungsmodul 52 und das Rechenmodul 53 können von einem Kontrollmodul 54 gesteuert werden. Über eine Benutzerschnittstelle 56 können gegebenenfalls Einstellungen des Positionsbestimmungsmoduls 52, des Rechenmoduls 53 oder des Kontrollmoduls 54 geändert werden. Die in der Vorrichtung 50 anfallenden Daten können bei Bedarf in einem Speicher 55 der Vorrichtung 50 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 50. Das Positionsbestimmungsmodul 52, das Rechenmodul 53 sowie das Kontrollmodul 54 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Die Schnittstelle 51 kann auch getrennt in einen Eingang und einen Ausgang implementiert sein.The position determination module 52 and the computing module 53 can be controlled by a control module 54 . If necessary, settings of the position determination module 52, the computing module 53 or the control module 54 can be changed via a user interface 56. If required, the data generated in the device 50 can be stored in a memory 55 of the device 50, for example for later evaluation or for use by the components of the device 50. The position determination module 52, the computing module 53 and the control module 54 can be used as dedicated Be realized hardware, for example as integrated circuits. Of course, they can also be partially or fully combined or implemented as software running on a suitable processor, such as a GPU or a CPU. The interface 51 can also be implemented separately in an input and an output.

7 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 60 zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten, die in einem einzumessenden zweiten Anzeigegerät verwendet werden kann. Die Vorrichtung 60 weist einen Prozessor 62 und einen Speicher 61 auf. Beispielsweise handelt es sich bei der Vorrichtung 60 um einen Computer oder eine andere prozessorbasierte Datenverarbeitungsvorrichtung. Im Speicher 61 sind Instruktionen abgelegt, die die Vorrichtung 60 bei Ausführung durch den Prozessor 62 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 61 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 62 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 60 hat einen Eingang 63 zum Empfangen von Informationen. Vom Prozessor 62 generierte Daten werden über einen Ausgang 64 bereitgestellt. Darüber hinaus können sie im Speicher 61 abgelegt werden. Der Eingang 63 und der Ausgang 64 können zu einer bidirektionalen Schnittstelle zusammengefasst sein. 7 shows a simplified schematic representation of a second embodiment of a device 60 for registering coordinate systems of at least two display devices, which can be used in a second display device to be measured. The device 60 has a processor 62 and a memory 61 . For example, device 60 is a computer or other processor-based computing device. Instructions are stored in the memory 61 which, when executed by the processor 62, cause the device 60 to carry out the steps according to one of the methods described. The instructions stored in the memory 61 thus embody a program which can be executed by the processor 62 and implements the method according to the invention. Device 60 has an input 63 for receiving information. Data generated by the processor 62 is provided via an output 64 . In addition, they can be stored in memory 61. The input 63 and the output 64 can be combined to form a bidirectional interface.

Der Prozessor 62 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.Processor 62 may include one or more processing units, such as microprocessors, digital signal processors, or combinations thereof.

Die Speicher 55, 61 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.The memories 55, 61 of the described embodiments can have both volatile and non-volatile memory areas and can include a wide variety of memory devices and storage media, for example hard disks, optical storage media or semiconductor memories.

8 stellt schematisch eine Kalibrierungsphase dar. Ein Nutzer 6 mit einem bereits kalibrierten ersten Anzeigegerät A, in diesem Beispiel einer Datenbrille, hält ein zu kalibrierendes zweites Anzeigegerät B in seiner Hand, in diesem Beispiel ein Smartphone. Die beiden Anzeigegeräte A, B sollen in einem gemeinsamen virtuellen Szenario verwendet werden. Sie sind über ein lokales Netzwerk oder das Internet miteinander verbunden. Für das Registrieren der Koordinatensysteme der beiden Anzeigegeräte A, B werden vom ersten Anzeigegerät A mindestens vier Sollpositionen Pi für das zweite Anzeigegerät B vorgegeben. In 8 geschieht dies in Form von virtuellen Registrierungsobjekten Mi, z.B. virtuellen 3D-Modellen des zweiten Anzeigegeräts B, die vom ersten Anzeigegerät A in dessen augmentierten Szenario dargestellt werden. Der Nutzer 6 hält das zweite Anzeigegerät B in seiner Hand und bringt es, vorzugsweise in einer vorgegebenen Reihenfolge, in Übereinstimmung mit den Sollpositionen Pi. Wenn sich das zweite Anzeigegerät B in Übereinstimmung mit einer Sollposition Pi befindet, sendet es seine zugehörigen Koordinaten an das erste Anzeigegerät A. Zudem erhält es vom ersten Anzeigegerät A die Koordinaten der Sollpositionen Pi. Nachdem alle Sollpositionen Pi abgearbeitet wurden, liegen in beiden Anzeigegeräten A, B jeweils zwei Sätze von Koordinaten für die Sollpositionen Pi vor. Aus diesen Koordinaten kann dann eine Transformationsmatrix für die Konversion der Koordinatensysteme berechnet werden. 8th 1 schematically represents a calibration phase. A user 6 with an already calibrated first display device A, in this example data glasses, holds in his hand a second display device B to be calibrated, in this example a smartphone. The two display devices A, B are to be used in a common virtual scenario. They are connected to each other via a local network or the Internet. For registering the coordinate systems of the two display devices A, B, the first display device A specifies at least four target positions P i for the second display device B. In 8th this happens in the form of virtual registration objects M i , for example virtual 3D models of the second display device B, which are displayed by the first display device A in its augmented scenario. The user 6 holds the second display device B in his hand and brings it, preferably in a predetermined order, into agreement with the target positions P i . If the second display device B is in accordance with a target position P i , it sends its associated coordinates to the first display device A. It also receives from the first display device A the coordinates of the target positions P i . After all target positions P i have been processed, two sets of coordinates for target positions P i are available in both display devices A, B. A transformation matrix for the conversion of the coordinate systems can then be calculated from these coordinates.

Unter Verwendung der Transformationsmatrix können die Position und Drehung des Koordinatensystems des zweiten Anzeigegeräts B in der Szenerie des ersten Anzeigegeräts A bestimmt werden. Diese können wiederum verwendet werden, um ein Koordinatensystem-Objekt CAb für das Koordinatensystem des zweiten Anzeigegeräts B in der Szenerie des ersten Anzeigegeräts A zu erzeugen.Using the transformation matrix, the position and rotation of the coordinate system of the second display device B in the scenery of the first display device A can be determined. These can in turn be used to create a coordinate system object C Ab for the coordinate system of the second display device B in the first display device A scenery.

Ebenso können unter Verwendung der Transformationsmatrix die Position und Drehung des Koordinatensystems des ersten Anzeigegeräts A in der Szenerie des zweiten Anzeigegeräts B bestimmt werden. Diese können wiederum verwendet werden, um ein Koordinatensystem-Objekt CBa für das Koordinatensystem des ersten Anzeigegeräts A in der Szenerie des zweiten Anzeigegeräts B zu erzeugen.Likewise, the position and rotation of the coordinate system of the first display device A in the scenery of the second display device B can be determined using the transformation matrix. These can in turn be used to create a coordinate system object C Ba for the coordinate system of the first display device A in the second display device B scenery.

Darzustellende virtuelle Objekte in Bezug auf das erste Anzeigegerät A können als Kind-Objekte im Koordinatensystem-Objekt CBa platziert werden. Objekte in der augmentierten Szenerie des ersten Anzeigegeräts A können so direkt in der augmentierten Szenerie des zweiten Anzeigegeräts B präsentiert werden, ohne dass eine zusätzliche Konversion der Koordinaten erforderlich ist. Dies kann beispielsweise unter Verwendung des aus der Laufzeit- und Entwicklungsumgebung „Unity“ des Unternehmens Unity Technologies bekannten „Object Parenting“ oder eines ähnlichen Ansatzes erfolgen.Virtual objects to be displayed in relation to the first display device A can be placed as child objects in the coordinate system object C Ba . Objects in the augmented scenery of the first display device A can thus be presented directly in the augmented scenery of the second display device B without an additional conversion of the coordinates being required. This can be done, for example, using "Object Parenting" or a similar approach known from the "Unity" runtime and development environment from Unity Technologies.

Die beschriebene Lösung ist auch für mehr als zwei beteiligte Anzeigegeräte anwendbar. Mit der Datenbrille, d.h. dem ersten Anzeigegerät A, werden dazu die Koordinatensätze für die Anzeigegeräte B und C verarbeitet. Dem ersten Anzeigegerät A liegen daraufhin CAb und CAc vor. In diesem Fall bestimmen die Anzeigegeräte B und C aber nicht nur CBa und CCa, sondern auch CAb und CAc und teilen diese. Alternativ können CAb und CAc auch vom ersten Anzeigegerät A bereitgestellt werden.The solution described can also be used for more than two display devices involved. For this purpose, the coordinate sets for the display devices B and C are processed with the data glasses, ie the first display device A. The first display device A then has C Ab and C Ac before it. In this case, however, the display devices B and C determine not only C Ba and C Ca , but also C Ab and C Ac and share them. Alternatively, C Ab and C Ac can also be provided by the first display device A.

9 veranschaulicht, wie in der Szenerie vom zweiten Anzeigegerät B nach der Erzeugung von CBa das Koordinatensystem-Objekt CAc als Kind-Objekt im CBa platziert wird. In der Szenerie vom zweiten Anzeigegerät B können dann alle Objekte in Bezug auf das weitere Anzeigegerät C als Kind-Objekt Oc im Koordinatensystem-Objekt CAc platziert werden. Entsprechendes wird für das weitere Anzeigegerät C vorgegangen. 9 illustrates how in the scenery from the second display device B, after the creation of C Ba , the coordinate system object C Ac is placed as a child object in C Ba . In the scenery of the second display device B, all objects can then be placed in relation to the further display device C as a child object Oc in the coordinate system object C Ac . The same procedure is followed for the further display device C.

10 zeigt schematisch die Anzeige eines virtuellen Modells eines Anzeigegeräts B als Sollposition. Zu sehen ist das das virtuelle Modell des zweiten Anzeigegeräts B als virtuelles Registrierungsobjekt Mi in einer vom ersten Anzeigegerät dargestellten augmentierten Szenerie. Ebenfalls zu sehen ist das reale zweite Anzeigegerät B, das vom Nutzer 6 in Übereinstimmung mit dem virtuellen Modell gebracht werden soll. Dies gelingt besonders leicht, wenn es sich beim bereits eingemessenen ersten Anzeigegerät um eine Datenbrille handelt, da der Nutzer 6 in diesem Fall beide Hände frei hat. 10 shows schematically the display of a virtual model of a display device B as a target position. The virtual model of the second display device B can be seen as a virtual registration object M i in an augmented scenery displayed by the first display device. The real second display device B, which the user 6 is supposed to match with the virtual model, can also be seen. This is particularly easy if the first display device that has already been calibrated is data glasses, since the user 6 has both hands free in this case.

11 zeigt schematisch zwei aus der Kalibrierungsphase resultierende Punktwolken PWi für die Berechnung einer Transformationsmatrix. Die Punktwolken umfassen die physisch gleichen Punkte, aber der Ursprung der Koordinatensysteme und somit die Koordinaten der Punkte sind unterschiedlich. Im Rahmen einer Punktwolkenregistrierung kann nun anhand einer Ausrichtung der beiden Punktwolken PWi eine räumliche Transformation, z.B. Skalierung, Rotation und Translation, bestimmt. Dabei werden 3D-3D-Korrespondenzen bestimmt, Dazu kann beispielsweise die Methodik der direkten linearen Transformation (DLT) verwendet werden. Sofern mindestens vier 3D-Punkte je Punktwolke PWi vorliegen, kann eine Transformationsmatrix für die Transformation zwischen den Koordinatensystemen berechnet werden. 11 shows schematically two point clouds PW i resulting from the calibration phase for the calculation of a transformation matrix. The point clouds contain the physically same points, but the origin of the coordinate systems and thus the coordinates of the points are different. A spatial transformation, for example scaling, rotation and translation, can now be determined as part of a point cloud registration based on an alignment of the two point clouds PW i . In the process, 3D-3D correspondences are determined. For this purpose, for example, the method of direct linear transformation (DLT) can be used. If there are at least four 3D points per point cloud PW i , a transformation matrix for the Trans formation between the coordinate systems can be calculated.

BezugszeichenlisteReference List

11
Datenbrilledata glasses
22
Kameracamera
33
Posenbestimmungsvorrichtungpose determination device
44
Grafikeinheitgraphics unit
55
Projektionseinheitprojection unit
66
Nutzeruser
1010
Vorgeben von SollpositionenSpecification of target positions
1111
Empfangen von Informationen in Bezug auf die SollpositionenReceiving information related to the target positions
1212
Bestimmen einer TransformationsvorschriftDetermining a transformation rule
2020
Empfangen von SollpositionenReceiving target positions
2121
Bestimmen von Informationen in Bezug auf die Sollpositionendetermining information related to the target positions
2222
Bestimmen einer TransformationsvorschriftDetermining a transformation rule
3030
Vorrichtungcontraption
3131
Schnittstelleinterface
3232
Positionsgeneratorposition generator
3333
Rechenmodulcalculation module
3434
Kontrollmodulcontrol module
3535
SpeicherStorage
3636
Benutzerschnittstelleuser interface
4040
Vorrichtungcontraption
4141
SpeicherStorage
4242
Prozessorprocessor
4343
Eingangentry
4444
AusgangExit
5050
Vorrichtungcontraption
5151
Schnittstelleinterface
5252
Positionsbestimmungsmodulpositioning module
5353
Rechenmodulcalculation module
5454
Kontrollmodulcontrol module
5555
SpeicherStorage
5656
Benutzerschnittstelleuser interface
6060
Vorrichtungcontraption
6161
SpeicherStorage
6262
Prozessorprocessor
6363
Eingangentry
6464
AusgangExit
AA
Erstes AnzeigegerätFirst display device
BB
Zweites AnzeigegerätSecond display device
CC
Weiteres AnzeigegerätAnother display device
KAiKAi
Koordinaten der SollpositionenCoordinates of the target positions
KBiKBi
Koordinaten der Positionen des zweiten AnzeigegerätsCoordinates of the positions of the second display device
Miwed
Virtuelles RegistrierungsobjektVirtual registry object
Pipi
Sollpositiontarget position
PWiPWi
Punktwolkepoint cloud
RiRi
Information in Bezug auf SollpositionInformation related to target position

Claims (13)

Verfahren zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten (A, B) für virtuelle Objekte, mit den Schritten: - Vorgeben (10) von Sollpositionen (Pi) für ein zweites Anzeigegerät (B) durch ein erstes Anzeigegerät (A), wobei die Sollpositionen (Pi) Positionen sind, in die das zweite Anzeigegerät (B) gebracht werden soll; - Empfangen (11) von Informationen (Ri) des zweiten Anzeigegeräts (B) in Bezug auf die Sollpositionen (Pi) durch das erste Anzeigegerät (A), wenn sich das zweite Anzeigegerät (B) aus Sicht des ersten Anzeigegeräts (A) jeweils in einer Sollposition (Pi) befindet; und - Bestimmen (12) einer Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts (A) und einem Koordinatensystem des zweiten Anzeigegeräts (B) auf Basis der Sollpositionen (Pi) und der Informationen (Ri).Method for registering coordinate systems of at least two display devices (A, B) for virtual objects, with the steps: - Specification (10) of target positions (P i ) for a second display device (B) by a first display device (A), wherein the target positions (P i ) are positions to which the second display device (B) is to be brought; - Receiving (11) of information (R i ) of the second display device (B) in relation to the target positions (P i ) by the first display device (A) when the second display device (B) from the point of view of the first display device (A) each in a target position (P i ); and - determining (12) a transformation rule between a coordinate system of the first display device (A) and a coordinate system of the second display device (B) on the basis of the target positions (P i ) and the information (R i ). Verfahren zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten (A, B) für virtuelle Objekte, mit den Schritten: - Empfangen (20) von durch ein erstes Anzeigegerät (A) vorgegebenen Sollpositionen (Pi) durch ein zweites Anzeigegerät (B), wobei die Sollpositionen (Pi) Positionen sind, in die das zweite Anzeigegerät (B) gebracht werden soll; - Bestimmen (21) von Informationen (Ri) in Bezug auf die Sollpositionen (Pi) durch das zweite Anzeigegerät (B), wenn sich das zweite Anzeigegerät (B) aus Sicht des ersten Anzeigegeräts (A) jeweils in einer Sollposition (Pi) befindet; und - Bestimmen (22) einer Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts (A) und einem Koordinatensystem des zweiten Anzeigegeräts (B) auf Basis der Sollpositionen (Pi) und der Informationen (Ri).Method for registering coordinate systems of at least two display devices (A, B) for virtual objects, with the steps: - Receiving (20) by a first display device (A) specified target positions (P i ) by a second display device (B), wherein the target positions (P i ) are positions to which the second display device (B) is to be brought; - Determination (21) of information (R i ) in relation to the target positions (P i ) by the second display device (B) if the second display device (B) is in a target position (P i ) located; and - determining (22) a transformation rule between a coordinate system of the first display device (A) and a coordinate system of the second display device (B) on the basis of the target positions (P i ) and the information (R i ). Verfahren gemäß Anspruch 1 oder 2, wobei die Sollpositionen (Pi) vom ersten Anzeigegerät (A) in Form von virtuellen Registrierungsobjekten (Mi) dargestellt werden, und wobei sich das zweite Anzeigegerät (B) aus Sicht des ersten Anzeigegeräts (A) in einer Sollposition (Pi) befindet, wenn es sich in Übereinstimmung mit einem virtuellen Registrierungsobjekt (Mi) befindet.procedure according to claim 1 or 2 , the target positions (P i ) being displayed by the first display device (A) in the form of virtual registration objects (M i ), and the second display device (B) being in a target position (P i ) from the point of view of the first display device (A) is located when it is in correspondence with a virtual registration object (M i ). Verfahren gemäß Anspruch 3, wobei die virtuellen Registrierungsobjekte (Mi) virtuelle Modelle des zweiten Anzeigegeräts (B) sind.procedure according to claim 3 , wherein the virtual registration objects (M i ) are virtual models of the second display device (B). Verfahren gemäß einem der vorherigen Ansprüche, wobei die Informationen (Ri) in Bezug auf die Sollpositionen (Pi) Koordinaten (KBi) der Position des zweiten Anzeigegeräts (B) im Koordinatensystem des zweiten Anzeigegeräts (B) sind.Method according to one of the preceding claims, wherein the information (R i ) relating to the target positions (P i ) are coordinates (KB i ) of the position of the second display device (B) in the coordinate system of the second display device (B). Verfahren gemäß Anspruch 5, wobei die Transformationsvorschrift auf Basis der Koordinaten (KBi) der Position des zweiten Anzeigegeräts (B) im Koordinatensystem des zweiten Anzeigegeräts (B) und von Koordinaten (KAi) der Sollpositionen (Pi) im Koordinatensystem des ersten Anzeigegeräts (A) bestimmt wird (12, 22).procedure according to claim 5 , The transformation rule based on the coordinates (KB i ) of the position of the second display device (B) in the coordinate system of the second display device (B) and on coordinates (KA i ) of the target positions (P i ) in the coordinate system of the first display device (A). becomes (12, 22). Verfahren gemäß einem der vorherigen Ansprüche, wobei das zweite Anzeigegerät (B) in einer vorgegebenen Reihenfolge in die Sollpositionen (Pi) gebracht wird.Method according to one of the preceding claims, wherein the second display device (B) is brought into the target positions (P i ) in a predetermined order. Verfahren gemäß einem der vorherigen Ansprüche, wobei die Transformationsvorschriften von den Anzeigegeräten (A, B) verwendet werden, um ein Koordinatensystem-Objekt des jeweils anderen Anzeigegeräts (B, A) zu generieren.Method according to one of the preceding claims, wherein the transformation rules are used by the display devices (A, B) in order to generate a coordinate system object of the respective other display device (B, A). Verfahren gemäß Anspruch 8, wobei ein generiertes Koordinatensystem-Objekt an zumindest ein weiteres Anzeigegerät für virtuelle Objekte übermittelt wird.procedure according to claim 8 , wherein a generated coordinate system object is communicated to at least one other virtual object display device. Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 9 zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten (A, B) für virtuelle Objekte veranlassen.A computer program comprising instructions which, when executed by a computer, enable the computer to carry out the steps of a method according to any one of Claims 1 until 9 to register coordinate systems of at least two display devices (A, B) for virtual objects. Vorrichtung (30) zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten (A, B) für virtuelle Objekte, mit: - einem Positionsgenerator (32) zum Vorgeben (10) von Sollpositionen (Pi) für ein zweites Anzeigegerät (B), wobei die Sollpositionen (Pi) Positionen sind, in die das zweite Anzeigegerät (B) gebracht werden soll; - einer Schnittstelle (31) zum Empfangen (11) von Informationen (Ri) des zweiten Anzeigegeräts (B) in Bezug auf die Sollpositionen (Pi), wenn sich das zweite Anzeigegerät (B) aus Sicht eines ersten Anzeigegeräts (A) jeweils in einer Sollposition (Pi) befindet; und - einem Rechenmodul (33) zum Bestimmen (12) einer Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts (A) und einem Koordinatensystem des zweiten Anzeigegeräts (B) auf Basis der Sollpositionen (Pi) und der Informationen (Ri).Device (30) for registering coordinate systems of at least two display devices (A, B) for virtual objects, with: - a position generator (32) for specifying (10) target positions (P i ) for a second display device (B), wherein the target positions (P i ) are positions to which the second display device (B) is to be brought; - an interface (31) for receiving (11) information (R i ) from the second display device (B) in relation to the target positions (Pi) when the second display device (B) is located in each case from the point of view of a first display device (A). a target position (P i ); and - a computing module (33) for determining (12) a transformation rule between a coordinate system of the first display device (A) and a coordinate system of the second display device (B) on the basis of the target positions (P i ) and the information (R i ). Vorrichtung (50) zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten (A, B) für virtuelle Objekte, mit: - einer Schnittstelle (51) zum Empfangen (20) von durch ein erstes Anzeigegerät (A) vorgegebenen Sollpositionen (Pi), wobei die Sollpositionen (Pi) Positionen sind, in die ein zweites Anzeigegerät (B) gebracht werden soll; - einem Positionsbestimmungsmodul (52) zum Bestimmen (21) von Informationen (Ri) in Bezug auf die Sollpositionen (Pi), wenn sich das zweite Anzeigegerät (B) aus Sicht des ersten Anzeigegeräts (A) jeweils in einer Sollposition (Pi) befindet; und - einem Rechenmodul (53) zum Bestimmen (22) einer Transformationsvorschrift zwischen einem Koordinatensystem des ersten Anzeigegeräts (A) und einem Koordinatensystem des zweiten Anzeigegeräts (B) auf Basis der Sollpositionen (Pi) und der Informationen (Ri).Device (50) for registering coordinate systems of at least two display devices (A, B) for virtual objects, with: - an interface (51) for receiving (20) target positions (Pi) specified by a first display device (A), wherein the target positions (P i ) are positions to which a second display device (B) is to be brought; - a position determination module (52) for determining (21) information (R i ) in relation to the target positions (Pi) when the second display device (B) is in a target position (P i ) from the point of view of the first display device (A) located; and - a computing module (53) for determining (22) a transformation rule between a coordinate system of the first display device (A) and a coordinate system of the second display device (B) on the basis of the target positions (P i ) and the information (R i ). Anzeigegerät (A, B) für virtuelle Objekte, dadurch gekennzeichnet, dass das Anzeigegerät (A, B) eine Vorrichtung (50, 70) gemäß Anspruch 11 oder 12 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 9 auszuführen.Display device (A, B) for virtual objects, characterized in that the display device (A, B) comprises a device (50, 70) according to claim 11 or 12 has or is set up, a method according to one of Claims 1 until 9 to execute.
DE102021100653.8A 2021-01-14 2021-01-14 Method and device for registering coordinate systems of at least two display devices for virtual objects, computer program for carrying out such a method, and display device Active DE102021100653B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021100653.8A DE102021100653B3 (en) 2021-01-14 2021-01-14 Method and device for registering coordinate systems of at least two display devices for virtual objects, computer program for carrying out such a method, and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021100653.8A DE102021100653B3 (en) 2021-01-14 2021-01-14 Method and device for registering coordinate systems of at least two display devices for virtual objects, computer program for carrying out such a method, and display device

Publications (1)

Publication Number Publication Date
DE102021100653B3 true DE102021100653B3 (en) 2022-04-07

Family

ID=80738315

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021100653.8A Active DE102021100653B3 (en) 2021-01-14 2021-01-14 Method and device for registering coordinate systems of at least two display devices for virtual objects, computer program for carrying out such a method, and display device

Country Status (1)

Country Link
DE (1) DE102021100653B3 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130135180A1 (en) 2011-11-30 2013-05-30 Daniel McCulloch Shared collaboration using head-mounted display
US20140368534A1 (en) 2013-06-18 2014-12-18 Tom G. Salter Concurrent optimal viewing of virtual objects
WO2019143572A1 (en) 2018-01-17 2019-07-25 Pcms Holdings, Inc. Method and system for ar and vr collaboration in shared spaces
DE102018203865A1 (en) 2018-03-14 2019-09-19 Volkswagen Aktiengesellschaft Method and device for providing information through an augmented reality device, method and device for providing information for controlling an indication of an augmented reality device, method and device for controlling an indication of an augmented reality device, computer readable storage medium having Instructions for carrying out the procedures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130135180A1 (en) 2011-11-30 2013-05-30 Daniel McCulloch Shared collaboration using head-mounted display
US20140368534A1 (en) 2013-06-18 2014-12-18 Tom G. Salter Concurrent optimal viewing of virtual objects
WO2019143572A1 (en) 2018-01-17 2019-07-25 Pcms Holdings, Inc. Method and system for ar and vr collaboration in shared spaces
DE102018203865A1 (en) 2018-03-14 2019-09-19 Volkswagen Aktiengesellschaft Method and device for providing information through an augmented reality device, method and device for providing information for controlling an indication of an augmented reality device, method and device for controlling an indication of an augmented reality device, computer readable storage medium having Instructions for carrying out the procedures

Similar Documents

Publication Publication Date Title
EP2082687B1 (en) Overlaid presentation of exposures
WO2011045276A1 (en) Method for representing virtual information in a view of a real environment
DE102005011126A1 (en) Generation of virtual worlds based on a real environment
DE202015009181U1 (en) Crossfade between street view and earth view
EP2132706A1 (en) Method and device for generating tracking configurations for augmented reality applications
DE102007057208A1 (en) Method for displaying image objects in a virtual three-dimensional image space
DE102018209377A1 (en) A method of presenting AR / VR content on a mobile terminal and mobile terminal presenting AR / VR content
DE69729027T2 (en) Object visualization in context
Gonzalez-Romo et al. Anatomic depth estimation and 3-dimensional reconstruction of microsurgical anatomy using monoscopic high-definition photogrammetry and machine learning
EP3403240A1 (en) Device and method for superimposing at least one part of an object with a virtual surface
DE102021100653B3 (en) Method and device for registering coordinate systems of at least two display devices for virtual objects, computer program for carrying out such a method, and display device
EP3420533B1 (en) Method for calibrating an optical measurement set-up
EP3420539A1 (en) Method for operating a display device and system for displaying actual image contents of an actual environment overlayed with virtual image contents
WO2006094637A1 (en) Method for comparing a real object with a digital pattern
EP2940624B1 (en) Three-dimensional virtual model of an environment for applications for determining positions
DE102018102743A1 (en) Real Sound Transmission
WO2010124672A1 (en) Video-based mono-camera navigation system
DE102020214707A1 (en) Method and device for the computer-aided simulation of a visual aid for a user with visual defects using a device worn on his head
DE102011112620B3 (en) Angled display for the three-dimensional representation of a scenario
DE102019201134A1 (en) Measurement of augmented reality glasses for use in a motor vehicle
DE112018006939T5 (en) INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
WO2015024685A1 (en) Method for displaying on a screen an object shown in a 3d data set
EP1502145B1 (en) Method and device for the consistent representation of concrete and virtual objects
WO2018197349A1 (en) System for supporting teamwork by means of augmented reality
EP1415468B1 (en) Method and device for projecting a digitally stored 3d scene onto several projection surfaces arranged at an angle to each other

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final