DE102018210116A1

DE102018210116A1 - Augmented reality device and method for displaying augmented reality content

Info

Publication number: DE102018210116A1
Application number: DE102018210116.7A
Authority: DE
Inventors: Johannes Von Hoyningen-Huene; Andreas Mueller; Michael Schneider
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-06-21
Filing date: 2018-06-21
Publication date: 2019-12-24

Abstract

Die vorliegende Erfindung betrifft die Darstellung von Augmented Reality-Inhalten für bewegliche Objekte. Zur Bestimmung einer aktuellen, zukünftigen oder vergangenen Position eines beweglichen Objekts können zusätzliche bewegungsrelevante Kontextinformationen ausgewertet werden. Die Kontextinformationen können beispielsweise Steuerbefehle für einen Antrieb oder Sensordaten zur Ermittlung der Position oder Bewegung eines Objekts umfassen. Durch die Auswertung der zusätzlichen Kontextinformationen kann die Genauigkeit zur Positionsbestimmung eines Objekts verbessert werden. Hierdurch kann die geeignete Position eines zu dem Objekt korrespondierenden Augmented Reality-Elements zeitnah und präzise angepasst werden.The present invention relates to the presentation of augmented reality content for moving objects. Additional motion-relevant context information can be evaluated to determine a current, future or past position of a moving object. The context information can include, for example, control commands for a drive or sensor data for determining the position or movement of an object. By evaluating the additional context information, the accuracy for determining the position of an object can be improved. As a result, the suitable position of an augmented reality element corresponding to the object can be adjusted promptly and precisely.

Description

Die vorliegende Erfindung betrifft eine Augmented Reality-Vorrichtung und ein Verfahren zur Darstellung von Augmented Reality-Inhalten.The present invention relates to an augmented reality device and a method for displaying augmented reality content.

Stand der TechnikState of the art

Augmented Reality (AR)-Anwendungen finden in zahlreichen Anwendungsgebieten Einsatz. Hierbei wird die Wahrnehmung der Umgebung eines Nutzers durch zusätzliche virtuelle Objekte, wie zum Beispiel Graphiken, Bilder oder Texte erweitert. Somit werden für einen Nutzer einer AR-Anwendung Bilder der realen Umgebung mit zusätzlich eingeblendeten virtuellen Objekten überlagert. Die gemeinsame Darstellung der realen Umgebung und der AR-Inhalte erfolgt im Sichtfeld des Nutzers auf einem geeigneten AR-Endgerät. Beispiele hierfür sind Videobrillen, Tablet-Computer oder Smartphones, welche in Blickrichtung gehalten werden, Head-up-Displays in Fahrzeugen oder ähnliches.Augmented Reality (AR) applications are used in numerous areas of application. Here, the perception of the surroundings of a user is expanded by additional virtual objects, such as graphics, pictures or texts. Thus, for a user of an AR application, images of the real environment are superimposed with additionally displayed virtual objects. The common representation of the real environment and the AR content takes place in the user's field of vision on a suitable AR terminal. Examples of this are video glasses, tablet computers or smartphones, which are held in the direction of view, head-up displays in vehicles or the like.

Typische AR-Endgeräte können sowohl mit halbdurchlässigen als auch mit nichtdurchlässigen Bildschirmen ausgestattet sein. Bei halbdurchlässigen Bildschirmen kann die Umgebung direkt beobachtet werden und es muss nur der zusätzliche AR-Inhalt dargestellt werden. Bei nicht-durchsichtigen Bildschirmen wird die Umgebung mit einer Kamera erfasst, und das erfasste digitale Bild wird mit den AR-Inhalten überlagert. Anschließend wird beides auf dem Bildschirm dargestellt.Typical AR terminals can be equipped with both semi-transparent and non-transparent screens. With semi-transparent screens, the environment can be observed directly and only the additional AR content has to be displayed. In the case of non-transparent screens, the surroundings are captured with a camera and the captured digital image is overlaid with the AR contents. Then both are displayed on the screen.

Die Druckschrift DE 10 2008 043 508 A1 betrifft ein Augmented Reality-System. Das System umfasst eine Werkzeugmaschine, insbesondere eine Handwerkzeugmaschine, sowie eine mobile Visualisierungseinrichtung. Bei der Visualisierungseinrichtung kann es sich beispielsweise um eine Brille handeln. Auf der Visualisierungseinrichtung können Informationen angezeigt werden, die im Zusammenhang mit der Werkzeugmaschine stehen.The publication DE 10 2008 043 508 A1 relates to an augmented reality system. The system comprises a machine tool, in particular a hand tool, and a mobile visualization device. The visualization device can be glasses, for example. Information related to the machine tool can be displayed on the visualization device.

Offenbarung der ErfindungDisclosure of the invention

Die vorliegende Erfindung schafft eine Augmented Reality-Vorrichtung mit den Merkmalen des Patentanspruchs 1 und ein Verfahren zur Darstellung von Augmented Reality-Inhalten mit den Merkmalen des Patentanspruchs 10.The present invention provides an augmented reality device with the features of patent claim 1 and a method for displaying augmented reality content with the features of patent claim 10.

Demgemäß ist vorgesehen:Accordingly, it is provided:

Eine Augmented Reality (AR)-Vorrichtung zur Darstellung von AR-Inhalten für ein Objekt. Die AR-Vorrichtung umfasst eine Lagebestimmungseinrichtung, eine Empfangseinrichtung, eine AR-Erzeugungseinrichtung und eine Ausgabeeinrichtung. Die Lagebestimmungseinrichtung ist dazu ausgelegt, eine räumliche Lage der AR-Vorrichtung zu bestimmen. Die Empfangseinrichtung ist dazu ausgelegt, bewegungsrelevante Kontextinformationen des Objekts zu empfangen. Die AR-Erzeugungseinrichtung ist dazu ausgelegt, ein AR-Element für das Objekt zu generieren. Insbesondere kann die AR-Erzeugungseinrichtung eine Position des AR-Elements unter Verwendung der bewegungsrelevanten Kontextinformationen des Objekts berechnen. Die Ausgabeeinrichtung ist dazu ausgelegt, das AR-Element für das Objekt auszugeben.An augmented reality (AR) device for displaying AR content for an object. The AR device comprises a position determining device, a receiving device, an AR generating device and an output device. The position determination device is designed to determine a spatial position of the AR device. The receiving device is designed to receive context information relevant to movement of the object. The AR generating device is designed to generate an AR element for the object. In particular, the AR generating device can calculate a position of the AR element using the movement-relevant context information of the object. The output device is designed to output the AR element for the object.

Weiterhin ist vorgesehen:It is also provided:

Ein Verfahren zur Darstellung von Augmented Reality (AR)-Inhalten für ein Objekt auf einer AR-Vorrichtung. Das Verfahren umfasst die Schritte des Bestimmens der räumlichen Lage der AR-Vorrichtung. Weiterhin umfasst das Verfahren die Schritte des Empfangens von bewegungsrelevanten Kontextinformationen des Objekts und des Generierens eines AR-Elements für das Objekt. Hierbei wird die Position des AR-Elements unter Verwendung der bewegungsrelevanten Kontextinformationen des Objekts berechnet. Schließlich umfasst das Verfahren einen Schritt zum Ausgeben des AR-Elements für das Objekt auf der AR-Vorrichtung.A method for displaying augmented reality (AR) content for an object on an AR device. The method includes the steps of determining the spatial location of the AR device. Furthermore, the method comprises the steps of receiving movement-relevant context information of the object and generating an AR element for the object. The position of the AR element is calculated using the movement-relevant context information of the object. Finally, the method includes a step of outputting the AR element for the object on the AR device.

Vorteile der ErfindungAdvantages of the invention

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass bei der Darstellung von AR-Inhalten für sich bewegende Objekte die Position des darzustellenden AR-Inhalts sich jeweils der Bewegung des Objekts anpassen muss. Hierzu muss kontinuierlich die Position des relevanten Objekts im Raum ermittelt werden. Erfolgt die Positionsbestimmung des Objekts dabei mittels einer konventionellen Auswertung von Bilddaten, welche mit AR-Inhalten für das Objekt überlagert werden sollen, so kann dies zu einer zeitlichen Verzögerung bei der Positionsbestimmung des Objekts führen. Diese zeitliche Verzögerung kann zu Diskontinuitäten bei der Positionierung der Darstellung von AR-Inhalte führen.The present invention is based on the finding that when AR contents are displayed for moving objects, the position of the AR contents to be displayed must adapt to the movement of the object. For this, the position of the relevant object in the room must be determined continuously. If the position of the object is determined by means of a conventional evaluation of image data which are to be overlaid with AR content for the object, this can lead to a time delay in determining the position of the object. This time delay can lead to discontinuities in the positioning of the display of AR content.

Es ist daher eine Idee der vorliegenden Erfindung, dieser Erkenntnis Rechnung zu tragen und eine optimierte Anpassung der AR-Inhalte an bewegliche Objekte zu schaffen. Hierzu ist es erfindungsgemäß vorgesehen, zur Positionsbestimmung von Objekten, für welche AR-Inhalte dargestellt werden sollen, zusätzliche Informationsquellen heranzuziehen. Insbesondere werden zur Positionsbestimmung der Objekte zusätzliche bewegungsrelevante Kontextinformationen verwendet.It is therefore an idea of the present invention to take this knowledge into account and to create an optimized adaptation of the AR content to moving objects. For this purpose, it is provided according to the invention to use additional information sources for determining the position of objects for which AR contents are to be displayed. In particular, additional movement-relevant context information is used to determine the position of the objects.

Bei den bewegungsrelevanten Kontextinformationen kann es sich um beliebige Informationen handeln, welche dazu geeignet sind, die Position eines Objektes, insbesondere eines beweglichen Objekts, zu berechnen oder abzuschätzen. Insbesondere kann hierzu beispielsweise auf Informationen von bereits vorhandenen Sensoren oder Steuereinrichtungen für die Bewegung des Objekts zurückgegriffen werden. Durch die Verwendung von derartigen, ohnehin bereits vorhandenen Informationen kann die Genauigkeit der Positionsbestimmung für ein Objekt gesteigert werden, ohne dass hierzu der Aufwand, insbesondere der Hardware-Aufwand und somit die Kosten signifikant gesteigert werden müssen. The movement-relevant context information can be any information that is suitable for determining the position of an object, in particular a movable one Object, to calculate or estimate. In particular, information from existing sensors or control devices for moving the object can be used for this purpose. By using such information, which already exists in any case, the accuracy of the position determination for an object can be increased without the effort, in particular the hardware effort and thus the cost, having to be increased significantly.

Die Verwendung von derartigen, zusätzlichen Kontextinformationen für ein Objekt ermöglicht eine sehr präzise und insbesondere auch sehr zeitnahe Bestimmung der räumlichen Position eines Objekts. Hierdurch ist es möglich, die Position der zu dem Objekt korrespondierenden AR-Inhalte präzise an die aktuelle Position des Objekts anzupassen. Insbesondere kann auch ein Bewegungsverlauf der AR-Inhalte präzise an den Bewegungsverlauf des korrespondierenden Objekts angepasst werden. Auf diese Weise wird der Komfort bei der Betrachtung derartiger AR-Inhalte gesteigert und die Gefahr von sogenannter „Cyber Sickness“ kann reduziert werden.The use of such additional context information for an object enables a very precise and in particular also very prompt determination of the spatial position of an object. This makes it possible to precisely adapt the position of the AR contents corresponding to the object to the current position of the object. In particular, a movement course of the AR contents can also be precisely adapted to the movement course of the corresponding object. In this way, the comfort when viewing such AR content is increased and the risk of so-called "cyber sickness" can be reduced.

Die Ausgabe der AR-Inhalte, insbesondere der AR-Elemente, welche zu einem vorbestimmten Objekt korrespondieren, kann auf einer beliebigen, geeigneten Ausgabeeinrichtung erfolgen. Beispielsweise kann es sich bei der Ausgabeeinrichtung um eine semitransparente Ausgabeeinrichtung handeln, auf welcher lediglich die AR-Inhalte dargestellt werden. In diesem Fall kann bei einer solchen semitransparenten Ausgabeeinrichtung das Licht von der Umgebung durch die Ausgabeeinrichtung hindurchdringen, so dass der Benutzer die Umgebung zusammen mit den auf der Ausgabeeinrichtung dargestellten AR-Inhalten wahrnehmen kann. Bei einem semi-transparenten Display kann es sich beispielsweise um ein Head-up-Display oder ähnliches handeln.The AR contents, in particular the AR elements, which correspond to a predetermined object, can be output on any suitable output device. For example, the output device can be a semi-transparent output device on which only the AR contents are displayed. In such a case, with such a semi-transparent output device, the light from the surroundings can pass through the output device, so that the user can perceive the surroundings together with the AR contents displayed on the output device. A semi-transparent display can, for example, be a head-up display or the like.

Alternativ ist es auch möglich, dass es sich bei der Ausgabeeinrichtung um eine nicht-transparente Ausgabeeinrichtung handelt. In diesem Fall kann die Umgebung beispielsweise mittels einer Kamera oder einem anderen Bilderfassungssensor digital erfasst werden, und die digitalen Bilddaten werden mit den AR-Inhalten überlagert und das überlagerte Bild daraufhin auf der nicht-transparenten Ausgabeeinrichtung dargestellt. Beispielsweise kann es sich bei der nicht-transparenten Ausgabeeinrichtung um einen Bildschirm, insbesondere einen Computerbildschirm, das Display eines Tablet-Computers oder eines Smartphones handeln.Alternatively, it is also possible for the output device to be a non-transparent output device. In this case, the surroundings can be captured digitally, for example by means of a camera or another image capture sensor, and the digital image data are overlaid with the AR contents and the overlaid image is then displayed on the non-transparent output device. For example, the non-transparent output device can be a screen, in particular a computer screen, the display of a tablet computer or a smartphone.

Die bewegungsrelevanten Kontextinformationen können als beliebige analoge oder digitale Daten von der Empfangseinrichtung empfangen werden. Beispielsweise können von entsprechenden Sensoren analoge Spannungs- oder Stromwerte empfangen werden. Diese analogen Werte können beispielsweise mittels eines Analog-zu-Digital-Wandlers in digitale Werte konvertiert und daraufhin digital weiterverarbeitet werden. Alternativ ist es auch möglich, direkt digitale Werte oder digitale Daten im Zusammenhang mit dem Objekt zu empfangen. Die Empfangseinrichtung kann beispielsweise die empfangenen Informationen aufbereiten und auswerten, um hieraus die aktuelle Position des Objekts und/oder die Bewegungsrichtung des Objekts sowie gegebenenfalls die Geschwindigkeit des Objekts zu berechnen. Darüber hinaus können gegebenenfalls auch zukünftige Positionen berechnet oder abgeschätzt werden.The movement-relevant context information can be received by the receiving device as any analog or digital data. For example, analog voltage or current values can be received from corresponding sensors. These analog values can, for example, be converted into digital values using an analog-to-digital converter and then digitally processed further. Alternatively, it is also possible to directly receive digital values or digital data in connection with the object. The receiving device can, for example, prepare and evaluate the information received in order to use it to calculate the current position of the object and / or the direction of movement of the object and, if appropriate, the speed of the object. In addition, future positions can also be calculated or estimated if necessary.

Gemäß einer Ausführungsform können die bewegungsrelevanten Kontextinformationen Steuerdaten für einen Antrieb, insbesondere für einen Antrieb des Objekts oder einer mit dem Objekt gekoppelten Komponente umfassen. In diesem Fall kann beispielsweise unter Verwendung der empfangenen Steuerdaten für den Antrieb auf eine korrespondierende Bewegung des Objekts und somit auf die Position des Objekts geschlossen werden. Zusätzlich oder alternativ können die bewegungsrelevanten Kontextinformationen beispielsweise auch Sensordaten für eine Position, eine Bewegung und/oder eine Beschleunigung des Objekts umfassen. Entsprechend kann unter Verwendung dieser Sensordaten die aktuelle räumliche Lage des Objekts sowie gegebenenfalls auch seine Bewegungsrichtung und/oder Geschwindigkeit berechnen werden. Darüber hinaus sind selbstverständlich auch beliebige andere geeignete bewegungsrelevante Kontextinformationen möglich, welche Rückschlüsse auf die räumliche Lage oder die Bewegungsform des Objekts ermöglichen.According to one embodiment, the movement-relevant context information can include control data for a drive, in particular for a drive of the object or of a component coupled to the object. In this case, a corresponding movement of the object and thus the position of the object can be concluded, for example, using the control data received for the drive. Additionally or alternatively, the movement-relevant context information can also include, for example, sensor data for a position, a movement and / or an acceleration of the object. Correspondingly, the current spatial position of the object and, if appropriate, also its direction of movement and / or speed can be calculated using this sensor data. In addition, of course, any other suitable movement-relevant context information is possible, which enables conclusions to be drawn about the spatial position or the form of movement of the object.

Gemäß einer Ausführungsform umfasst die AR-Vorrichtung mindestens einen Sensor. Der Sensor kann dazu ausgelegt sein, eine räumliche Position, eine Bewegung und/oder eine Beschleunigung der AR-Vorrichtung zu erfassen. Insbesondere kann der Sensor beispielsweise mechanisch mit der AR-Vorrichtung gekoppelt sein. Die Lagebestimmungseinrichtung kann dazu ausgelegt sein, die räumliche Lage der AR-Vorrichtung unter Verwendung der von dem mindestens einen Sensor erfassten Parameter, wie beispielsweise räumliche Position, Bewegung und/oder Beschleunigung, zu bestimmen. Auf diese Weise ist es möglich, die aktuelle räumliche Position der AR-Vorrichtung zu ermitteln und somit die räumliche Beziehung zwischen der AR-Vorrichtung und dem Objekt, für das ein AR-Element dargestellt werden soll, zu ermitteln. Da die Ausgabeeinrichtung in der Regel fest mit der AR-Vorrichtung gekoppelt ist, kann insbesondere auch bei einer Bewegung der AR-Vorrichtung stets das zu dem Objekt korrespondierende AR-Element an einer geeigneten Position auf der Ausgabeeinrichtung angezeigt werden.According to one embodiment, the AR device comprises at least one sensor. The sensor can be designed to detect a spatial position, a movement and / or an acceleration of the AR device. In particular, the sensor can for example be mechanically coupled to the AR device. The position determination device can be designed to determine the spatial position of the AR device using the parameters detected by the at least one sensor, such as spatial position, movement and / or acceleration. In this way it is possible to determine the current spatial position of the AR device and thus to determine the spatial relationship between the AR device and the object for which an AR element is to be displayed. Since the output device is generally permanently coupled to the AR device, the AR element corresponding to the object can always be displayed at a suitable position on the output device, especially when the AR device is moved.

Gemäß einer Ausführungsform kann die Empfangseinrichtung dazu ausgelegt sein, mit einer Steuereinrichtung für das Objekt gekoppelt zu werden. In diesem Fall kann die Empfangseinrichtung ferner dazu ausgelegt sein, Steuerdaten für das Objekt von der Steuereinrichtung zu empfangen. Durch die Verwendung der Steuerdaten für das Objekt oder gegebenenfalls auch einer mit dem Objekt gekoppelten Komponente, kann auf eine mögliche Bewegung des Objekts geschlossen werden. Hierdurch kann die Bewegung des Objekts und somit auch die geeignete räumliche Position für das zu dem Objekt korrespondierende AR-Element stets präzise ermittelt werden. According to one embodiment, the receiving device can be designed to be coupled to a control device for the object. In this case, the receiving device can also be designed to receive control data for the object from the control device. A possible movement of the object can be inferred from the use of the control data for the object or possibly also a component coupled to the object. As a result, the movement of the object and thus also the suitable spatial position for the AR element corresponding to the object can always be determined precisely.

Gemäß einer Ausführungsform ist die Lagebestimmungseinrichtung dazu ausgelegt, ein erstes Koordinatensystem unter Verwendung der räumlichen Lage der AR-Vorrichtung auszurichten. Entsprechend können alle Prozesse, insbesondere alle Bildverarbeitungsprozesse im Zusammenhang mit der AR-Vorrichtung auf Grundlage dieses ersten Koordinatensystems ausgeführt werden. Insbesondere können beispielsweise die Achsen des ersten Koordinatensystems, sowie der Ursprung des ersten Koordinatensystems entsprechend der aktuellen räumlichen Lage der AR-Vorrichtung ausgerichtet werden. Weiterhin kann die AR-Erzeugungseinrichtung dazu ausgelegt sein, die Position des AR-Elements für ein Objekt in einem zweiten Koordinatensystem zu berechnen. Insbesondere können auch die bewegungsrelevanten Kontextinformationen für das Objekt auf Grundlage dieses zweiten Koordinatensystems empfangen werden. Mit anderen Worten, die reale Umgebung, in welcher sich das Objekt befindet, ist fix bezüglich des zweiten Koordinatensystems, während Ausgabeeinrichtung der AR-Vorrichtung und somit die Darstellung der AR-Inhalte fix bezüglich des ersten Koordinatensystems ist. Die AR-Vorrichtung kann hierbei eine Transformationseinrichtung umfassen, die dazu ausgelegt ist, die Koordinaten des AR-Elements für das Objekt von dem zweiten Koordinatensystem in das erste Koordinatensystem zu transformieren. According to one embodiment, the position determination device is designed to align a first coordinate system using the spatial position of the AR device. Accordingly, all processes, in particular all image processing processes in connection with the AR device, can be carried out on the basis of this first coordinate system. In particular, for example, the axes of the first coordinate system and the origin of the first coordinate system can be aligned according to the current spatial position of the AR device. Furthermore, the AR generating device can be designed to calculate the position of the AR element for an object in a second coordinate system. In particular, the movement-relevant context information for the object can also be received on the basis of this second coordinate system. In other words, the real environment in which the object is located is fixed with respect to the second coordinate system, while the output device of the AR device and thus the representation of the AR contents is fixed with respect to the first coordinate system. The AR device can in this case comprise a transformation device which is designed to transform the coordinates of the AR element for the object from the second coordinate system into the first coordinate system.

Gemäß einer Ausführungsform umfasst die AR-Vorrichtung eine Bilderfassungseinrichtung. Die Bilderfassungseinrichtung kann dazu ausgelegt sein, Bilddaten, insbesondere digitale Bilddaten, in einem vorbestimmten Erfassungsbereich zu erfassen. Weiterhin kann die AR-Vorrichtung eine Überlagerungseinrichtung umfassen, die dazu ausgelegt ist, die erfassten Bilddaten und das AR-Element für das Objekt zu einem gemeinsamen Bild zu überlagern. Die Ausgabeeinrichtung kann dabei dazu ausgelegt sein, die Überlagerung aus den Bilddaten und dem AR-Element auszugeben.According to one embodiment, the AR device comprises an image capture device. The image capture device can be designed to capture image data, in particular digital image data, in a predetermined capture area. Furthermore, the AR device can comprise an overlay device which is designed to overlay the acquired image data and the AR element for the object to form a common image. The output device can be designed to output the overlay from the image data and the AR element.

Bei der Bilderfassungseinrichtung kann es sich beispielsweise um eine Kamera handeln, welche dazu ausgelegt ist, in dem vorbestimmten Erfassungsbereich digitale Bilddaten zu erfassen. Insbesondere kann der Erfassungsbereich periodisch, das heißt mit einer vorgegebenen Bildwiederholrate, abgetastet werden. In diesem Fall erfolgen auch die Generierung der AR-Elemente sowie die Überlagerung aus den Bilddaten mit den AR-Elementen, vorzugsweise mit der Frequenz, die der Bildwiederholrate entspricht. Auf diese Weise kann eine besonders gleichmäßige Darstellung der AR-Objekte erzielt werden.The image capturing device can be, for example, a camera which is designed to capture digital image data in the predetermined capturing range. In particular, the detection area can be scanned periodically, that is to say at a predetermined refresh rate. In this case, the AR elements are also generated and the AR elements are superimposed from the image data, preferably at the frequency which corresponds to the frame rate. In this way, a particularly uniform representation of the AR objects can be achieved.

Gemäß einer Ausführungsform ist die AR-Erzeugungseinrichtung dazu ausgelegt, eine zukünftige Position des Objekts unter Verwendung der empfangenen bewegungsrelevanten Kontextinformationen zu berechnen. Durch die Berechnung bzw. Vorhersage der zukünftigen Position eines Objekts kann die geeignete Position für die Darstellung des AR-Elements bereits vorab ermittelt werden. Darüber hinaus können gegebenenfalls auch Informationen über eine mögliche zukünftige Position, welche insbesondere beispielsweise durch die bewegungsrelevanten Kontextinformationen Objekts gewonnen worden sind, mit als AR-Element dargestellt werden. Auf diese Weise kann einem Benutzer eine zusätzliche Information in dem AR-Inhalt dargestellt werden.According to one embodiment, the AR generation device is designed to calculate a future position of the object using the received movement-relevant context information. By calculating or predicting the future position of an object, the suitable position for the representation of the AR element can be determined in advance. In addition, information about a possible future position, which has been obtained, for example, from the movement-relevant context information object, can optionally also be represented as an AR element. In this way, additional information can be presented to a user in the AR content.

Gemäß einer Ausführungsform umfasst das AR-Element für ein Objekt einen Bewegungspfad für das Objekt. Auf diese Weise können beispielsweise Informationen über die zukünftige Bewegung des Objekts und/oder über die vorherige Bewegung des Objekts als AR-Informationen dargestellt werden. According to one embodiment, the AR element for an object comprises a movement path for the object. In this way, information about the future movement of the object and / or about the previous movement of the object can be displayed as AR information, for example.

Gemäß einer Ausführungsform ist die AR-Erzeugungseinrichtung dazu ausgelegt, das AR-Element in Abhängigkeit von den bewegungsrelevanten Kontextinformationen anzupassen. Beispielsweise kann ein alphanumerischer Inhalt des AR-Elements in Abhängigkeit von den bewegungsrelevanten Kontextinformationen angepasst werden. So kann beispielsweise basierend auf den bewegungsrelevanten Kontextinformationen eine Geschwindigkeit, Beschleunigung oder Bewegungsrichtung ermittelt werden und diese Information als alphanumerische, graphische oder andere Darstellung in Form eines AR-Elements ausgegeben werden. Darüber hinaus kann beispielsweise auch die Größe, die Position oder eine weitere Eigenschaft des AR-Elements in Abhängigkeit der bewegungsrelevanten Kontextinformationen angepasst werden. Selbstverständlich sind auch beliebige andere Anpassungen des AR-Elements in Abhängigkeit der Kontextinformationen möglich.According to one embodiment, the AR generation device is designed to adapt the AR element as a function of the movement-relevant context information. For example, an alphanumeric content of the AR element can be adapted depending on the context information relevant to movement. For example, a speed, acceleration or direction of movement can be determined based on the movement-relevant context information and this information can be output as an alphanumeric, graphic or other representation in the form of an AR element. In addition, for example, the size, position or another property of the AR element can also be adjusted depending on the context information relevant to movement. Of course, any other adaptations of the AR element depending on the context information are also possible.

Die Darstellung der AR-Inhalte, insbesondere von AR-Inhalten für bewegliche Objekte, kann in zahlreichen unterschiedlichen Anwendungsgebieten eingesetzt werden. So können auf die erfindungsgemäße Weise beispielsweise AR-Inhalte für Fahrzeuge im Straßenverkehr eingesetzt werden. Beispielsweise können einem Fahrzeug AR-Inhalte über die Fahrzeugumgebung auf einem Display oder einer Fahrzeugscheibe eingeblendet werden. Beispielsweise können von weiteren, vernetzten Fahrzeugen bewegungsrelevante Kontextinformationen diesen weiteren Fahrzeug empfangen und ausgewertet werden.The display of AR content, in particular AR content for moving objects, can be used in numerous different areas of application. For example, AR content for vehicles can be created in the manner according to the invention be used in road traffic. For example, AR content can be displayed on a display or a vehicle window via the vehicle surroundings. For example, other networked vehicles can receive and evaluate this context-relevant context information.

Darüber hinaus kann die vorliegende Erfindung beispielsweise auch für industrielle Fertigungsanlagen eingesetzt werden. Beispielsweise sind Anwendungen für die Überwachung für Roboterarmen, Werkstücke auf einem Transportsystem, wie zum Beispiel einem Förderband, Portalkränen, Flurförderfahrzeuge oder ähnliches möglich. Darüber hinaus kann die vorliegende Erfindung selbstverständlich auch auf beliebige andere Anwendungen, insbesondere Anwendungen mit beweglichen Objekten eingesetzt werden, wobei über die beweglichen Objekte in der Umgebung kontextrelevante Informationen empfangen werden können.In addition, the present invention can also be used, for example, for industrial production plants. For example, applications for monitoring robot arms, workpieces on a transport system, such as a conveyor belt, gantry cranes, industrial trucks or the like, are possible. In addition, the present invention can of course also be used for any other applications, in particular applications with moving objects, context-relevant information being able to be received about the moving objects in the environment.

Die obigen Ausgestaltungen und Weiterbildungen lassen sich, soweit sinnvoll, beliebig miteinander kombinieren. Weitere Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich den Ausführungsbeispielen beschriebenen Merkmalen der Erfindung, Insbesondere wird der Führungsmittel dabei auch Einzelaspekte als Verbesserungen oder Ergänzungen zu den jeweiligen Grundformen der Erfindung hinzufügen.The above refinements and developments can be combined with one another as desired. Further refinements, developments and implementations of the invention also include combinations of features of the invention that have not been explicitly mentioned above or below with reference to the exemplary embodiments. In particular, the guide means will also add individual aspects as improvements or additions to the respective basic forms of the invention.

Figurenlistelist of figures

Weitere Merkmale und Vorteile der vorliegenden Erfindung werden nachfolgend anhand der Figuren erläutert. Dabei zeigen:

1: eine schematische Darstellung eines Blockschaltbilds einer AR-Vorrichtung gemäß einer Ausführungsform.
2-5: schematische Darstellungen von AR-Inhalten gemäß Ausführungsformen der vorliegenden Erfindung; und
6: eine schematische Darstellung eines Ablaufdiagramms, wie es einem Verfahren zur Darstellung von AR-Inhalten gemäß einer Ausführungsform zugrunde liegt.

Further features and advantages of the present invention are explained below with reference to the figures. Show:

1 : A schematic representation of a block diagram of an AR device according to an embodiment.
2-5 : Schematic representations of AR content according to embodiments of the present invention; and
6 : A schematic representation of a flowchart as it is based on a method for displaying AR content according to an embodiment.

Ausführungsformen der ErfindungEmbodiments of the invention

1 zeigt eine schematische Darstellung eines Blockschaltbilds für eine Augmented Reality (AR)-Vorrichtung 1 gemäß einer Ausführungsform. Die AR-Vorrichtung 1 umfasst eine Lagebestimmungseinrichtung 10 zur Bestimmung der räumlichen Lage der AR-Vorrichtung 1. Beispielsweise kann die Lagebestimmungseinrichtung 10 einen oder mehrere Sensoren umfassen, die die Position der AR-Vorrichtung 1 im Raum direkt oder indirekt ermitteln. Beispielsweise kann ein optischer Sensor einen oder mehrere vorbestimmte Marker im Raum identifizieren und daraus, zum Beispiel mittels Triangulation, die Position und/oder Ausrichtung der AR-Vorrichtung ermitteln. Darüber hinaus kann beispielsweise auch mittels Bewegungssensoren oder Beschleunigungssensoren oder auch beliebigen anderen geeigneten Sensoren, die Position oder eine Bewegung der AR-Vorrichtung im Raum ermittelt werden. 1 shows a schematic representation of a block diagram for an augmented reality (AR) device 1 according to one embodiment. The AR device 1 comprises a position determination device 10 to determine the spatial location of the AR device 1 , For example, the position determination device 10 include one or more sensors that determine the position of the AR device 1 in the room directly or indirectly. For example, an optical sensor can identify one or more predetermined markers in space and determine the position and / or orientation of the AR device, for example by means of triangulation. In addition, the position or a movement of the AR device in space can also be determined, for example, using motion sensors or acceleration sensors or any other suitable sensors.

Die Position und die Ausrichtung der AR-Vorrichtung 1 bilden dabei die Grundlage für ein erstes Koordinatensystem, auf dessen Basis die AR-Vorrichtung die darzustellenden AR-Inhalte ausgibt. Insbesondere kann hierdurch bei einer Bewegung, beispielsweise einer translatorischen oder rotatorischen Bewegung der AR-Vorrichtung 1 der Ursprung und gegebenenfalls auch die Achsen des ersten Koordinatensystems angepasst werden Hierdurch kann die Darstellung der AR-Inhalte auf der AR-Vorrichtung 1 ebenfalls entsprechend angepasst werden.The position and orientation of the AR device 1 form the basis for a first coordinate system, on the basis of which the AR device outputs the AR contents to be displayed. In particular, this can result in a movement, for example a translatory or rotational movement of the AR device 1 the origin and possibly also the axes of the first coordinate system can be adapted. This enables the representation of the AR contents on the AR device 1 can also be adjusted accordingly.

Die AR-Vorrichtung 1 umfasst darüber hinaus eine AR-Erzeugungseinrichtung 30. Die AR-Erzeugungseinrichtung 30 kann ein oder mehrere AR-Elemente generieren, die als AR-Inhalt mittels der AR-Vorrichtung 1 ausgegeben, das heißt angezeigt werden können. Insbesondere kann die AR-Erzeugungseinrichtung hierzu beispielsweise für ein vorgegebenes Objekt, beispielsweise ein Objekt in der Umgebung der AR-Vorrichtung 1, ein korrespondierendes AR-Element generieren. Mittels dieses generierten AR-Elements können zum Beispiel Informationen bezüglich des Objekts als AR-Inhalt durch die AR-Vorrichtung 1 ausgegeben werden. Beispielsweise kann für ein Objekt, wie zum Beispiel einen Schalter, ein Ventil oder eine beliebige andere technische Komponente, der entsprechende Zustand der jeweiligen Komponente als AR-Element spezifiziert und angezeigt werden. Auch der Wert von physikalischen Parametern, wie zum Beispiel Temperatur, Druck, Gewicht, Füllstand, Geschwindigkeit, Spannungs- oder Stromwert, oder beliebiger anderer physikalischer Parametern, kann als AR-Element mittels der AR-Vorrichtung 1 ausgegeben werden. Hierbei kann das AR-Element vorzugsweise so ausgegeben werden, dass ein Benutzer unmittelbar einen Zusammenhang zwischen dem Objekt und dem korrespondierenden AR-Element erkennen kann.The AR device 1 also includes an AR generating device 30 , The AR generating facility 30 can generate one or more AR elements that can be used as AR content using the AR device 1 output, that is, can be displayed. In particular, the AR generating device can for this purpose, for example, for a predetermined object, for example an object in the vicinity of the AR device 1 , generate a corresponding AR element. By means of this generated AR element, information relating to the object as AR content can, for example, be generated by the AR device 1 be issued. For example, for an object, such as a switch, a valve or any other technical component, the corresponding state of the respective component can be specified and displayed as an AR element. The value of physical parameters, such as temperature, pressure, weight, level, speed, voltage or current value, or any other physical parameters, can also be used as an AR element by means of the AR device 1 be issued. In this case, the AR element can preferably be output so that a user can immediately recognize a relationship between the object and the corresponding AR element.

Zur Ausgabe der AR-Elemente kann die AR-Vorrichtung 1 beispielsweise eine Ausgabeeinrichtung 40 umfassen. Bei der Ausgabeeinrichtung 40 kann es sich beispielsweise um eine semitransparente oder nicht-transparente Anzeigevorrichtung handeln. Bei einer semitransparenten Anzeigevorrichtung kann beispielsweise Licht aus der Umgebung eine Anzeigefläche der Anzeigevorrichtung 40 zumindest teilweise durchdringen. Auf diese Weise kann ein Benutzer durch die Anzeigevorrichtung 40 hindurch die Umgebung und die sich darin befindlichen Objekte erkennen, ohne dass diese direkt auf Anzeigeeinrichtung 40 dargestellt werden müssen. Darüber hinaus kann eine solche semitransparente Anzeigeeinrichtung zusätzlich die von der AR-Erzeugungseinrichtung 30 generierten AR-Elemente darstellen. Vorzugsweise werden die AR-Elemente für vorbestimmte Objekte dabei auf der Anzeigeeinrichtung 40 derart dargestellt, dass ein Benutzer unmittelbar einen Zusammenhang zwischen dem eingeblendeten AR-Element und dem korrespondierenden Objekt in der Umgebung erkennen kann. Hierzu kann insbesondere die von der Lagebestimmungseinrichtung 10 ermittelte räumliche Lage der AR-Vorrichtung 1 mit in Betracht gezogen werden.The AR device can output the AR elements 1 for example an output device 40 include. At the dispenser 40 it can be, for example, a semi-transparent or non-transparent display device. In the case of a semi-transparent display device, light from the surroundings can, for example, be a display surface of the display device 40 at least partially penetrate. In this way, a user can navigate through the display device 40 through it to recognize the surroundings and the objects located therein, without them directly on the display device 40 must be represented. In addition, such a semi-transparent display device can also be used by the AR generating device 30 display generated AR elements. The AR elements for predetermined objects are preferably on the display device 40 represented in such a way that a user can immediately recognize a relationship between the displayed AR element and the corresponding object in the environment. This can be done in particular by the position determination device 10 determined spatial position of the AR device 1 to be considered.

Darüber hinaus kann es sich bei der Anzeigeeinrichtung 40, auch um eine nicht-transparente Anzeigevorrichtung handeln. In diesem Fall kann ein digitales Abbild der Umgebung gemeinsam mit den durch die AR-Erzeugungseinrichtung 30 generierten AR-Elementen auf der nicht-transparenten Anzeigeeinrichtung 40 dargestellt werden. Hierzu kann die AR-Vorrichtung 1 eine Bilderfassungseinrichtung 60, beispielsweise eine Kamera, umfassen, die die Umgebung der AR-Vorrichtung 1 in einem vorbestimmten Erfassungsbereich erfasst. Die Bilderfassungseinrichtung 60 kann die erfassten Bilddaten als digitales Signal für eine Weiterverarbeitung bereitstellen. Bei der Bilderfassungseinrichtung 60 kann es sich beispielsweise um eine Kamera handeln, welche ein zweidimensionales farbiges oder monochromes Bild der Umgebung bereitstellt. Insbesondere kann die Kamera den vorbestimmten Erfassungsbereich mit einer vorgegebenen Bildwiederholrate erfassen und daraufhin entsprechend der Bildwiederholrate periodisch digitale Bilddaten der erfassten Umgebung bereitstellen. Beispielsweise ist auch eine Stereokamera als Bilderfassungseinrichtung 60 möglich. Auf diese Weise kann zum Beispiel auch eine dreidimensionale Erfassung des vorgegebenen Erfassungsbereiches erfolgen. Beispielsweise können die beiden Kanäle einer Stereokamera auch separat verarbeitet werden, um zum Beispiel für eine Stereobrille oder ähnliches jeweils für das linke und das rechte Auge eines Benutzers eine separate Darstellung von AR-Inhalten zu realisieren.In addition, the display device 40 , also act as a non-transparent display device. In this case, a digital image of the environment can be shared with that generated by the AR generator 30 generated AR elements on the non-transparent display device 40 being represented. To do this, the AR device 1 an image capture device 60 , for example a camera, which encompass the surroundings of the AR device 1 detected in a predetermined detection area. The image capture device 60 can provide the captured image data as a digital signal for further processing. At the image capture device 60 For example, it can be a camera that provides a two-dimensional color or monochrome image of the surroundings. In particular, the camera can capture the predetermined detection area at a predetermined refresh rate and then periodically provide digital image data of the captured environment in accordance with the refresh rate. For example, there is also a stereo camera as an image capturing device 60 possible. In this way, for example, a three-dimensional detection of the specified detection area can also take place. For example, the two channels of a stereo camera can also be processed separately, for example for stereo glasses or the like to provide separate display of AR content for the left and right eyes of a user.

Insbesondere zur Darstellung von AR-Inhalten auf einer nicht-transparenten Anzeigeeinrichtung 40 kann die AR-Vorrichtung 1 weiterhin eine Überlagerungseinrichtung 70 umfassen. In der Überlagerungseinrichtung 70 können beispielsweise die von der Bilderfassungseinrichtung 60 bereitgestellten digitalen Bilddaten aus der Umgebung der AR-Vorrichtung mit den durch die AR-Erzeugungseinrichtung 30 generierten AR-Elemente überlagert werden, um digitale Bilddaten zu erhalten, welche sowohl die AR-Elemente als auch die Bilddaten der Umgebung umfassen. Diese kombinierten digitalen Bilddaten können daraufhin der Anzeigeeinrichtung 60 bereitgestellt und auf der Anzeigeeinrichtung 60 dargestellt werden.In particular for displaying AR content on a non-transparent display device 40 can the AR device 1 still an overlay device 70 include. In the overlay facility 70 can, for example, that of the image capture device 60 digital image data provided from the surroundings of the AR device with the data provided by the AR generating device 30 generated AR elements are superimposed in order to obtain digital image data which comprise both the AR elements and the image data of the environment. This combined digital image data can then be the display device 60 provided and on the display device 60 being represented.

Um insbesondere bei beweglichen Objekten die korrespondierenden AR-Elemente jeweils an einer geeigneten Position auf der Anzeigeeinrichtung 40 darstellen zu können, ist eine möglichst präzise Kenntnis der Position der entsprechenden Objekte im Raum erforderlich. Neben einer konventionellen Analyse der von der Bilderfassungseinrichtung 60 bereitgestellten Bilddaten können hierbei insbesondere auch beliebige geeignete weitere Informationen über das entsprechende Objekt mit in Betracht gezogen werden. Hierzu kann die AR-Vorrichtung 1 eine Empfangseinrichtung 20 umfassen, welche weitere Informationen über ein Objekt in der Umgebung der AR-Vorrichtung 1 empfängt. Insbesondere kann es sich bei diesen weiteren Informationen zum Beispiel um Kontextinformationen, beispielsweise bewegungsrelevante Kontextinformationen, über ein Objekt handeln.In order, in particular in the case of moving objects, the corresponding AR elements are each in a suitable position on the display device 40 To be able to display, it is necessary to know the position of the corresponding objects in the room as precisely as possible. In addition to a conventional analysis by the image capture device 60 Image data provided can in particular also be taken into account in this context any suitable further information about the corresponding object. To do this, the AR device 1 a receiving device 20 include what further information about an object in the environment of the AR device 1 receives. In particular, this additional information can be, for example, context information, for example context information relevant to movement, about an object.

Beispielsweise kann die Empfangseinrichtung 20 der AR-Vorrichtung 1 mit einem oder mehreren Sensoren 2 gekoppelt werden. Die Sensoren 2 können beispielsweise ein Position, eine Geschwindigkeit, eine Beschleunigung, eine Bewegungsrichtung oder beliebige andere geeignete bewegungsrelevante Parameter eines Objekts erfassen und bereitstellen. Insbesondere können diese Parameter der Empfangseinrichtung 20 der AR-Vorrichtung 1 bereitgestellt werden. Bei den Sensoren 2 kann es sich insbesondere um Sensoren handeln, welche gegebenenfalls bereits ohnehin zu Steuer-, Regelungs- oder Überwachungszwecken im Zusammenhang mit einem Objekt installiert worden sind. Darüber hinaus können auch speziell zur Generierung von bewegungsrelevanten Kontextinformationen zusätzliche Sensoren für ein Objekt installiert werden.For example, the receiving device 20 the AR device 1 with one or more sensors 2 be coupled. The sensors 2 can, for example, record and provide a position, a speed, an acceleration, a direction of movement or any other suitable movement-relevant parameters of an object. In particular, these parameters of the receiving device 20 the AR device 1 to be provided. With the sensors 2 can in particular be sensors, which may have already been installed in connection with an object for control, regulation or monitoring purposes. In addition, additional sensors for an object can also be installed specifically to generate movement-relevant context information.

Falls ein Objekt direkt oder indirekt mit einem Antrieb, wie zum Beispiel einem Elektromotor oder ähnlichem, gekoppelt ist, so können auch Steueranweisungen für einen solchen Antrieb der Empfangseinrichtung 20 bereitgestellt werden. Hierzu kann die Empfangseinrichtung 20 beispielsweise mit einer Steuervorrichtung 3 für einen solchen Antrieb gekoppelt werden. Beispielsweise kann es sich bei dieser Steuereinrichtung 3 um eine Steuereinrichtung für einen Roboterarm handeln. In diesem Fall können die Steueranweisungen für den Roboterarm sowohl bewegungsrelevante Kontextinformationen für den Roboterarm selbst als auch für ein mittels des Roboterarms bewegten weiteren Objekts umfassen. Weiterhin kann beispielsweise aus der Ansteuerung eines Antriebs für ein Förderband auf die Geschwindigkeit des Förderbands sowie sich auf dem Förderband befindliche Objekte geschlossen werden. Darüber hinaus können beispielsweise auch Flurförderfahrzeuge ihre Steuerparameter an eine Empfangseinrichtung 20 der AR-Vorrichtung 1 senden. In diesem Fall kann aus den Steueranweisungen auf die Bewegung des entsprechenden Flurförderfahrzeuges und somit auf seine Position geschlossen werden. Darüber hinaus sind selbstverständlich auch beliebige andere Anwendungen möglich, bei denen ein Objekt direkt oder indirekt mittels einer weiteren gesteuerten Komponente bewegt wird. Selbstverständlich sind auch beliebige weitere bewegungsrelevante Kontextinformationen möglich, aus denen sich eine Bewegung oder Position eines Objekts ableiten lässt.If an object is directly or indirectly coupled to a drive, such as an electric motor or the like, then control instructions for such a drive of the receiving device can also be provided 20 to be provided. For this purpose, the receiving device 20 for example with a control device 3 be coupled for such a drive. For example, this control device 3 act as a control device for a robot arm. In this case, the control instructions for the robot arm can include both movement-relevant context information for the robot arm itself and for a further object moved by means of the robot arm. Furthermore, the control of a drive for a conveyor belt can, for example, control the speed of the conveyor belt and itself on the conveyor belt objects are closed. In addition, for example, industrial trucks can also send their control parameters to a receiving device 20 the AR device 1 send. In this case, the control instructions can be used to infer the movement of the corresponding industrial truck and thus its position. In addition, of course, any other applications are possible in which an object is moved directly or indirectly by means of a further controlled component. Of course, any other movement-relevant context information is also possible, from which a movement or position of an object can be derived.

Die bewegungsrelevanten Kontextinformationen werden dabei vorzugsweise in einem zweiten, ortsfesten Koordinatensystem bereitgestellt. Insbesondere kann es sich bei diesem zweiten ortsfesten Koordinatensystem um ein Koordinatensystem handeln, welches in Bezug auf die Umgebung der AR-Vorrichtung einen fest vorgegebenen Ursprung und fest vorgegebene Koordinatenachsen aufweist. Neben der Verarbeitung der bewegungsrelevanten Kontextinformationen in diesem zweiten Koordinatensystem können auch die AR-Elemente für die Objekte, insbesondere die sich im Raum bewegenden Objekt, zunächst auf Grundlage dieses zweiten Koordinatensystems berechnet werden.The movement-relevant context information is preferably provided in a second, fixed coordinate system. In particular, this second fixed coordinate system can be a coordinate system which has a predetermined origin and predetermined coordinate axes in relation to the surroundings of the AR device. In addition to the processing of the movement-relevant context information in this second coordinate system, the AR elements for the objects, in particular the object moving in space, can also first be calculated on the basis of this second coordinate system.

Zur Überführung der durch die AR-Erzeugungseinrichtung 30 generierten AR-Elemente in das erste Koordinatensystem, welches die Basis für die Darstellung der AR-Inhalte auf der AR-Vorrichtung 1 darstellt, kann eine Transformationsvorschrift von dem zweiten Koordinatensystem in das erste Koordinatensystem berechnet werden. Auf Grundlage dieser Transformationsvorschrift können daraufhin die durch die AR-Erzeugungseinrichtung 30 generierten AR-Elemente in das erste Koordinatensystem überführt werden und daraufhin auf einfache Weise in geeigneter Form mittels der AR-Vorrichtung 1, insbesondere auf der Anzeigeeinrichtung 40 dargestellt werden.To transfer the through the AR generating facility 30 generated AR elements in the first coordinate system, which is the basis for displaying the AR contents on the AR device 1 represents, a transformation rule from the second coordinate system into the first coordinate system can be calculated. On the basis of this transformation rule, the AR generation device can then 30 generated AR elements are transferred into the first coordinate system and then in a simple manner in a suitable form by means of the AR device 1 , especially on the display device 40 being represented.

Nachfolgend sind einige Beispiele zur Darstellung von AR-Inhalten näher ausgeführt.Below are some examples of how AR content is displayed.

2 zeigt eine schematische Darstellung eines AR-Inhalts, wie er beispielsweise gemäß einer Ausführungsform generiert worden ist. In 2 ist zum Beispiel ein Förderband 200 dargestellt, auf welchem sich ein Objekt 100 befindet. Das Objekt 100 wird somit mittels des Förderbands 200 in Pfeilrichtung bewegt. Zur näheren Spezifikation bzw. Charakterisierung des Objekts 100 kann zum Beispiel ein AR-Element 110 eingeblendet werden. Beispielsweise kann das AR-Element 110 das Objekt 100 näher beschreiben. Zum Beispiel kann das AR-Element 110 ein Textfeld umfassen, in welchem der Inhalt des Objekts 100 angegeben ist, ein Gewicht des Objekts 100 angezeigt wird, oder eine beliebige andere Angabe im Zusammenhang mit dem Objekt 100 dargestellt wird. Um für einen Benutzer die Zuordnung zwischen dem AR-Element 110 und dem Objekt 100 ersichtlich zu machen, wird das AR-Element 110 in der Nähe des dargestellten Objekts 100 angezeigt. Da sich das Objekt 100 auf dem Förderband 200 kontinuierlich bewegen wird, muss somit auch das AR-Element 110 möglichst mit der gleichen Geschwindigkeit in die gleiche Richtung bewegt werden. 2 shows a schematic representation of an AR content as it has been generated, for example, according to one embodiment. In 2 is for example a conveyor belt 200 shown on which there is an object 100 located. The object 100 is thus by means of the conveyor belt 200 moved in the direction of the arrow. For more detailed specification or characterization of the object 100 can for example an AR element 110 be displayed. For example, the AR element 110 the object 100 describe in more detail. For example, the AR element 110 include a text box in which the content of the object 100 specified is a weight of the object 100 is displayed, or any other information related to the object 100 is pictured. To make the mapping between the AR element for a user 110 and the object 100 to make it apparent is the AR element 110 near the displayed object 100 displayed. Because the object 100 on the conveyor belt 200 the AR element must move continuously 110 if possible be moved in the same direction at the same speed.

3 zeigt die Konfiguration gemäß 2 zu einem späteren Zeitpunkt. Wie in 3 zu erkennen ist, hat sich das Objekt 100 aufgrund der Bewegung des Förderbands 200 bereits weiter nach rechts bewegt. Entsprechend wird auch das korrespondierende AR-Element 110 an einer angepassten Position dargestellt. Ist die Geschwindigkeit des Förderbands 200 bekannt, so kann hieraus die Bewegung des Objekts 100 abgeleitet werden. Entsprechend kann kontinuierlich auch die Position des AR-Elements 110 auf die jeweils aktuelle Position des Objekts 100 angepasst werden. Die Geschwindigkeit des Förderbands 200 kann beispielsweise mittels eines Sensors direkt erfasst werden. Alternativ ist es auch möglich, beispielsweise mittels eines entsprechenden Sensors, beispielsweise eines Drehwinkelsensors, im Antriebssystem des Förderbands 200 auf die Geschwindigkeit des Förderbands 200 zu schließen. Ferner kann die Geschwindigkeit des Förderbands 200 beispielsweise basierend auf Steuerdaten für den Antrieb des Förderbands 200 ermittelt werden. 3 shows the configuration according to 2 at a later time. As in 3 is recognizable, the object 100 due to the movement of the conveyor belt 200 already moved further to the right. The corresponding AR element also becomes corresponding 110 displayed in an adjusted position. Is the speed of the conveyor belt 200 known, the movement of the object can be derived from this 100 be derived. The position of the AR element can also be correspondingly continuous 110 to the current position of the object 100 be adjusted. The speed of the conveyor belt 200 can be detected directly using a sensor, for example. Alternatively, it is also possible, for example by means of a corresponding sensor, for example a rotation angle sensor, in the drive system of the conveyor belt 200 on the speed of the conveyor belt 200 close. Furthermore, the speed of the conveyor belt 200 for example based on control data for driving the conveyor belt 200 be determined.

Durch die bekannte Geschwindigkeit des Objekts 100 kann somit die Bewegungsform des korrespondierenden AR-Elements 110 sehr präzise an die Bewegung des Objekts 100 angepasst werden. Hierdurch entsteht für einen Benutzer ein erhöhter Komfort bei der Wahrnehmung des dargestellten AR-Inhalts.By the known speed of the object 100 can thus determine the form of movement of the corresponding AR element 110 very precise to the movement of the object 100 be adjusted. This creates a higher level of comfort for a user in the perception of the AR content shown.

4 zeigt eine Darstellung eines AR-Inhalts gemäß einer weiteren Ausführungsform. Das hier dargestellte Beispiel entspricht weitestgehend dem zuvor dargestellten Beispiel, wobei das Objekt 100 auf dem Förderband 200 in diesem Beispiel durch ein weiteres Objekt 210 verdeckt ist. Das Objekt 100 kann in einem solchen Fall nicht direkt detektiert werden. Sind jedoch, wie zuvor bereits beschrieben, Kontextinformationen über das Objekt 100 bekannt, so kann aus diesen Kontextinformationen auf die aktuelle Position des Objekts 100 geschlossen werden. Hierdurch kann die aktuelle Position des Objekts 100 selbst dann bestimmt werden, wenn es sich nicht im Sichtfeld, insbesondere nicht im Sichtfeld einer Bilderfassungseinrichtung 60 befindet. Da die aktuelle Position des Objekts 100 basierend auf den bewegungsrelevanten Kontextinformationen berechnet werden kann, kann auch in einem solchen Fall das korrespondierende AR-Element 110 an einer geeigneten Position eingeblendet werden. Hierdurch kann der Benutzer beispielsweise erkennen, dass sich hinter dem zusätzlichen Objekt 210 das Objekt 100 befindet. Somit wird der Benutzer nicht im weiteren Verlauf durch ein plötzliches Auftauchen des Objekts 100 überrascht, obwohl er das Objekt 100 aktuell nicht erkennen kann. 4 shows a representation of an AR content according to a further embodiment. The example shown here largely corresponds to the example shown above, with the object 100 on the conveyor belt 200 in this example by another object 210 is covered. The object 100 cannot be detected directly in such a case. However, as previously described, is context information about the object 100 known, it can from this context information on the current position of the object 100 getting closed. This allows the current position of the object 100 be determined even if it is not in the field of view, in particular not in the field of view of an image capture device 60 located. Because the current position of the object 100 based on the context information relevant to movement can also be the corresponding AR element in such a case 110 at a suitable position. This enables the user to recognize, for example, that the additional object is behind 210 the object 100 located. Thus, the user does not become aware of the sudden appearance of the object 100 surprised even though he was the object 100 cannot currently recognize.

Die Bestimmung der Position eines Objekts 100 ist dabei nicht auf die Bestimmung einer aktuellen Position zum gegenwärtigen Zeitpunkt beschränkt. Determining the position of an object 100 is not limited to determining a current position at the current time.

Vielmehr können auch Positionen in der Zukunft oder auch der Vergangenheit bestimmt, insbesondere berechnet werden. Diese zusätzlichen Informationen über den Bewegungsverlauf können beispielsweise ebenfalls als ein oder mehrere AR-Elemente dargestellt werden. Die Positionen in der Vergangenheit eines Objekts können beispielsweise in einem Speicher der AR-Vorrichtung 1 abgespeichert werden. Darüber hinaus ist die Bestimmung der Position in der Vergangenheit sowie in der Zukunft auch auf Grundlage beispielsweise der zusätzlich empfangenen bewegungsrelevanten Kontextinformationen möglich.Rather, positions in the future or in the past can also be determined, in particular calculated. This additional information about the movement course can also be represented, for example, as one or more AR elements. The past positions of an object can be stored in a memory of the AR device, for example 1 can be saved. In addition, the determination of the position in the past and in the future is also possible on the basis of, for example, the additionally received context information relevant to movement.

Wie in 5 dargestellt, können die Positionen in der Vergangenheit des Objekts 100 als entsprechendes AR-Element 130 dargestellt werden. Analog kann auch zusätzlich oder alternativ eine Prognose über den weiteren Bewegungsverlauf des Objekts 100 als AR-Element 140 dargestellt werden. Darüber hinaus kann eine Information über den vergangenen oder zukünftigen Bewegungsverlauf des Objekts 100 auch als alphanumerischer Text, graphisches Symbol oder ähnliches als zusätzliches AR-Element dargestellt werden.As in 5 shown, the positions in the past of the object 100 as a corresponding AR element 130 being represented. Analogously, in addition or as an alternative, a forecast of the further course of movement of the object can also be made 100 as an AR element 140 being represented. In addition, information about the past or future course of movement of the object can be 100 can also be displayed as an alphanumeric text, graphic symbol or similar as an additional AR element.

6 zeigt eine schematische Darstellung eines Ablaufdiagramms, wie es einem Verfahren zur Darstellung von Augmented Reality-Inhalten für ein Objekt auf einer AR-Vorrichtung 1 zugrunde liegt. Das Verfahren kann insbesondere wie zuvor bereits ausgeführt gestaltet sein. In einem Schritt S1 wird eine räumliche Lage der AR-Vorrichtung 1 bestimmt. Weiterhin erfolgt in Schritt S2 das Empfangen von bewegungsrelevanten Kontextinformationen des Objekts, in Schritt S3 das Generieren eines AR-Elements für das Objekt, wobei eine Position des AR-Elements unter Verwendung der bewegungsrelevanten Kontextinformationen des Objekts berechnet wird. Schließlich erfolgt in Schritt S4 das Ausgeben des AR-Elements für das Objekt auf der AR-Vorrichtung 1. 6 shows a schematic representation of a flowchart as it is a method for displaying augmented reality content for an object on an AR device 1 underlying. The method can in particular be designed as previously stated. In one step S1 becomes a spatial location of the AR device 1 certainly. Continue in step S2 receiving movement-relevant context information of the object in step S3 generating an AR element for the object, wherein a position of the AR element is calculated using the movement-relevant context information of the object. Finally done in step S4 outputting the AR element for the object on the AR device 1 ,

Zusammenfassend betrifft die vorliegende Erfindung die Darstellung von Augmented Reality-Inhalten für bewegliche Objekte. Zur Bestimmung einer aktuellen, zukünftigen oder vergangenen Position eines beweglichen Objekts können zusätzliche bewegungsrelevante Kontextinformationen ausgewertet werden. Die Kontextinformationen können beispielsweise Steuerbefehle für einen Antrieb oder Sensordaten zur Ermittlung der Position oder Bewegung eines Objekts umfassen. Durch die Auswertung der zusätzlichen Kontextinformationen kann die Genauigkeit zur Positionsbestimmung eines Objekts verbessert werden. Hierdurch kann die geeignete Position eines zu dem Objekt korrespondierenden Augmented Reality- Elements zeitnah und präzise angepasst werden.In summary, the present invention relates to the presentation of augmented reality content for moving objects. Additional motion-relevant context information can be evaluated to determine a current, future or past position of a moving object. The context information can include, for example, control commands for a drive or sensor data for determining the position or movement of an object. By evaluating the additional context information, the accuracy for determining the position of an object can be improved. As a result, the suitable position of an augmented reality element corresponding to the object can be adjusted promptly and precisely.

Die vorliegende Erfindung kann auf beliebige Augmented Reality-Anwendungen angepasst werden. Beispielsweise können in Fahrzeugen Informationen über die Umgebung, insbesondere weitere, kommunikativ vernetzte Fahrzeuge dargestellt werden. Darüber hinaus eignet sich die vorliegende Erfindung auch für industrielle Anwendungen, wie beispielsweise Fertigungsanlagen. Insbesondere kann die Bewegung von Roboterarmen, Objekten auf einem Transportsystem wie zum Beispiel einem Förderband, Portalkräne, Flurförderfahrzeuge oder ähnliches präzise abgeschätzt werden, und korrespondierende Augmented Reality-Elemente können kontinuierlich im Zusammenhang mit dem jeweiligen Objekt dargestellt werden.The present invention can be adapted to any augmented reality application. For example, information about the environment, in particular other communicatively networked vehicles, can be displayed in vehicles. In addition, the present invention is also suitable for industrial applications, such as manufacturing plants. In particular, the movement of robot arms, objects on a transport system such as a conveyor belt, gantry cranes, industrial trucks or the like can be precisely estimated, and corresponding augmented reality elements can be continuously displayed in connection with the respective object.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102008043508 A1 [0004]

Claims

Augmented reality, AR, device (1) for displaying AR content for an object (100), with: a position determination device (10), which is designed to determine a spatial position of the AR device (1); a receiving device (20), which is designed to receive movement-relevant context information of the object (100); an AR generating device (30) which is designed to generate an AR element (110) for the object (100), the AR generating device (30) determining a position of the AR element (110) using the movement-relevant context information the object (100) is calculated; and an output device (40) which is designed to output the AR element (110) for the object (100).

AR device (1) after Claim 1 , wherein the movement-relevant context information comprises control data for a drive and / or sensor data for a position, a movement and / or an acceleration of the object (100).

AR device (1) after Claim 1 or 2 , with at least one sensor which is designed to detect a spatial position, a movement and / or an acceleration of the AR device (1), the position determining device (10) being designed to determine the spatial position of the AR device ( 1) using the parameters detected by the at least one sensor.

AR device (1) according to one of the Claims 1 to 3 , wherein the receiving device (20) is designed to be coupled to a control device (3) for the object (100), and wherein the receiving device is further configured to receive control data for the object (100) from the control device (3).

AR device (1) according to one of the Claims 1 to 4 , wherein the position determination device (10) is designed to align a first coordinate system using the spatial position of the AR device (1); the AR generating device (30) is designed to calculate the position of the AR element (110) in a second coordinate system; and wherein the AR device (1) comprises a transformation device which is designed to transform the coordinates of the AR element (110) from the second coordinate system to the first coordinate system.

AR device (1) according to one of the Claims 1 to 5 , With an image capture device (60), which is designed to capture image data in a predetermined capture area, and an overlay device (70), which is designed to capture the captured image data and the AR element (110) for the object (100) to be superimposed, the output device (40) being designed to output the superimposed image data and the AR element (110).

AR device (1) according to one of the Claims 1 to 6 , wherein the AR generating device (30) is designed to calculate a future position of the object (100) using the received movement-relevant context information.

AR device (1) according to one of the Claims 1 to 7 , wherein the AR element (110) comprises a movement path of the object (100).

AR device (1) according to one of the Claims 1 to 8th , wherein the AR generating device (30) is designed to adapt the AR element (110) as a function of the movement-relevant context information.

Method for displaying augmented reality, AR, content for an object (100) on an AR device (1), with the steps: Determining (S1) a spatial position of the AR device (1); Receiving (S2) movement-relevant context information of the object (100); Generating (S3) an AR element (110) for the object (100), a position of the AR element (110) being calculated using the movement-relevant context information of the object (100); and Output (S4) of the AR element (110) for the object (100) on the AR device (1).

Procedure according to Claim 10 wherein determining the spatial location of the AR device (1) comprises aligning a first coordinate system using the spatial positions of the AR device, calculating the position of the AR element (110) based on a second coordinate system, and outputting of the AR element (110) for the object (100) on the AR device (1) comprises a step for transforming the AR element (110) from the second coordinate system into the first coordinate system.