DE102017000311B4

DE102017000311B4 - Method for augmented presentation of a real object on a mobile terminal and corresponding system

Info

Publication number: DE102017000311B4
Application number: DE102017000311.4A
Authority: DE
Inventors: Marc Necker; Arne Leonhardt; Tobias Tropper; Jannik Michel; Christian Grünler; Jonas Häling
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2017-01-14
Filing date: 2017-01-14
Publication date: 2019-10-10
Anticipated expiration: 2037-01-15
Also published as: DE102017000311A1; WO2018130439A1

Abstract

Verfahren zum augmentierten Darstellen eines realen Objekts (50) auf einem mobilen Endgerät ENDG (10), aufweisend die Schritte:- Einstecken (S1) des Endgeräts ENDG (10) in eine Halterung HALT (3) eines Fahrzeugs CAR (1),- Ermitteln (S2) einer absoluten Position Pund einer absoluten Orientierung Odes Fahrzeugs CAR (1) durch das Fahrzeug selbst,- Ermitteln (S3) einer absoluten Position Pund einer absoluten Orientierung Odes in die Halterung HALT (3) des Fahrzeugs CAR (1) eingesteckten Endgeräts ENDG (10) aus einem bekannten Versatz der Halterung HALT (3) zu der absoluten Position Pund der absoluten Orientierung O,- Entnehmen (S4) des Endgeräts ENDG (10) aus der Halterung HALT (3),- Ermitteln (S5) einer relativen Position Pund einer relativen Orientierung Ddes Endgeräts ENDG (10) im Endgerät selbst gegenüber der ermittelten absoluten Position Pund der ermittelten absoluten Orientierung Odes Fahrzeugs mittels einer bestimmten relativen Position des End-gerätes gegenüber der Halterung HALT (3) und dem bekannten Versatz,- Ermitteln (S6) einer absoluten Position Pund einer absoluten Orientierung Odes Endgeräts ENDG (10) aus der ermittelten relativen Position Pund der relativen Orientierung O, sowie der ermittelten absoluten Position Pund der ermittelten absoluten Orientierung O, und- auf Basis der ermittelten absoluten Position Pund der absoluten Orientierung Okontaktanaloges Darstellen (S7) eines dem realen Objekt (50) überlagerten virtuellen Objekts (52) auf dem Endgerät ENDG (10).A method for augmented presentation of a real object (50) on a mobile terminal ENDG (10), comprising the steps of: - inserting (S1) the terminal ENDG (10) in a holder HALT (3) of a vehicle CAR (1), - determining (S2) an absolute position P and an absolute orientation O of the vehicle CAR (1) by the vehicle itself, - determining (S3) an absolute position P and an absolute orientation Odes terminal ENDG inserted in the holder HALT (3) of the vehicle CAR (1) (10) from a known offset of the holder HALT (3) to the absolute position P and the absolute orientation O, - removing (S4) of the terminal ENDG (10) from the holder HALT (3), - determining (S5) a relative position Pund a relative orientation D of the terminal ENDG (10) in the terminal itself against the determined absolute position P and the determined absolute orientation O of the vehicle by means of a certain relative position of the terminal relative to the holder HALT (3) and the known offset, - determining (S6) an absolute position P and an absolute orientation Odes terminal ENDG (10) from the determined relative position P and the relative orientation O, as well as the determined absolute position P and the determined absolute orientation O , and- based on the determined absolute position P and the absolute orientation Okontaktanaloges representing (S7) of the real object (50) superimposed virtual object (52) on the terminal ENDG (10).

Description

Die Erfindung betrifft ein Verfahren zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät sowie ein System zum augmentierten Darstellen des realen Objekts auf dem mobilen Endgerät.The invention relates to a method for augmented presentation of a real object on a mobile terminal and to a system for augmented presentation of the real object on the mobile terminal.

Die DE 10 2013 021 978 A1 offenbart ein Verfahren zur augmentierten Darstellung mindestens eines realen Bedienelements und/oder eines realen Objekts auf einem mobilen Endgerät. Dabei wird mittels des mobilen Endgerätes ein Bild einer Umgebung, insbesondere einer Fahrzeugumgebung, aufgenommen und als ein Ausgabebild auf einem Bildschirm/Display des mobilen Endgerätes ausgegeben. Weiterhin wird mindestens eine virtuelle Zusatzinformation erzeugt und in dem Ausgabebild auf dem Bildschirm eingeblendet.The DE 10 2013 021 978 A1 discloses a method for augmented representation of at least one real operating element and / or a real object on a mobile terminal. In this case, an image of an environment, in particular a vehicle environment, is recorded by means of the mobile terminal and output as an output image on a screen / display of the mobile terminal. Furthermore, at least one additional virtual information is generated and displayed in the output image on the screen.

Aus der DE 10 2009 004 435 A1 ist ein Bediensystem mit einer Aufnahme für ein externes elektronisches Gerät und einer Vorrichtung zur Steuerung einer Anzeigefläche bekannt, wobei mittels der Vorrichtung die Position des externen Geräts erfassbar und die Anzeigefläche so ansteuerbar ist, dass ein dem externen Gerät zugeordnetes graphisches Objekt an einer Position auf der Anzeigefläche anzeigbar ist, die eine örtliche Zuordnung zwischen dem externen Gerät und dem graphischen Objekt bereitstellt.From the DE 10 2009 004 435 A1 an operating system with a receptacle for an external electronic device and a device for controlling a display surface is known, wherein by means of the device, the position of the external device detectable and the display surface is controlled so that the external device associated graphical object at a position on the Display area, which provides a spatial association between the external device and the graphical object.

Die EP 2 503 288 A2 offenbart ein Verfahren, bei dem die räumliche Lage eines mobilen Endgerätes in einem Fahrzeug ermittelt wird.The EP 2 503 288 A2 discloses a method in which the spatial location of a mobile terminal in a vehicle is determined.

Die WO 2011/100535 A1 offenbart ein tragbares Gerät zur Aufnahme und Anzeige eines Echtzeit-Videostreams umfassend ein Bilderfassungsgerät. Das Gerät erkennt eine geografische Position, eine Kamerarichtung und eine Neigung des Bilderfassungsgeräts. Der Benutzer sendet eine Suchanfrage an einen Server nach interessanten Orten in der Nähe. Das Gerät empfängt Suchergebnisse basierend auf der Suchanforderung, der geografischen Position, der Kamerarichtung und der Neigung des Geräts. Das Gerät erweitert den erfassten Videostrom visuell um Daten, die sich auf jeden Punkt von Interesse beziehen. Der Benutzer wählt dann eine Sehenswürdigkeit aus, die besucht werden soll. Das Gerät erweitert den erfassten Videostrom visuell mit einer Richtungskarte zu einem ausgewählten interessierenden Punkt als Reaktion auf die Benutzereingabe.The WO 2011/100535 A1 discloses a portable device for capturing and displaying a real-time video stream comprising an image capture device. The device detects a geographic location, camera orientation, and tilt of the image capture device. The user sends a query to a server for places of interest nearby. The device receives search results based on the search request, geographic location, camera orientation, and tilt of the device. The device visually augments the captured video stream with data relating to each point of interest. The user then selects an attraction to visit. The device visually augments the captured video stream with a direction map to a selected point of interest in response to the user input.

Aufgabe der Erfindung ist es, das augmentierte Darstellen eines realen Objekts auf einem mobilen Endgerät in einem Fahrzeug zu verbessern.The object of the invention is to improve the augmented representation of a real object on a mobile terminal in a vehicle.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.The invention results from the features of the independent claims. Advantageous developments and refinements are the subject of the dependent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät ENDG, aufweisend die Schritte: Einstecken des Endgeräts ENDG in eine Halterung HALT eines Fahrzeugs CAR, Ermitteln einer absoluten Position P_CAR und einer absoluten Orientierung O_CAR des Fahrzeugs CAR durch das Fahrzeug selbst, Ermitteln einer absoluten Position P_ENDG und einer absoluten Orientierung O_ENDG des in die Halterung HALT des Fahrzeugs CAR eingesteckten Endgeräts ENDG aus einem bekannten Versatz der Halterung HALT zu der absoluten Position P_CAR und der absoluten Orientierung O_CAR, Entnehmen des Endgeräts ENDG aus der Halterung HALT,Ermitteln einer relativen Position P_ENDG,rel und einer relativen Orientierung O-_ENDG,rel des Endgeräts ENDG im Endgerät selbst gegenüber der ermittelten absoluten Position P_CAR und der aktuell ermittelten absoluten Orientierung O_CAR des Fahrzeugs mittels einer bestimmten relativen Position des Endgerätes gegenüber der Halterung H und dem bekannten Versatz_Ermitteln einer absoluten Position P_ENDG,abs und einer absoluten Orientierung O_ENDG,abs des Endgeräts ENDG aus der ermittelten relativen Position P_ENDG,rel und der relativen Orientierung O_ENDG,rel sowie der ermittelten absoluten Position P_CAR und der ermittelten absoluten Orientierung O_CAR
und auf Basis der ermittelten absoluten Position P_ENDG,abs und der absoluten Orientierung O_ENDG,abs kontaktanaloges Darstellen eines dem realen Objekt überlagerten virtuellen Objekts auf dem Endgerät ENDG.A first aspect of the invention relates to a method for augmented presentation of a real object on a mobile terminal ENDG, comprising the steps of inserting the terminal ENDG into a holder HALT of a vehicle CAR, determining an absolute position P _CAR and an absolute orientation O _{CAR of} the vehicle CAR by the vehicle itself, determining an absolute position P _ENDG and an absolute orientation O _ENDG of the terminal ENDG inserted into the holder HALT of the vehicle CAR from a known offset of the holder HALT to the absolute position P _CAR and the absolute orientation O _CAR , removal of the terminal ENDG from the holder HALT, determining a relative position P _{ENDG, rel} and a relative orientation O- _{ENDG, rel} the terminal ENDG in the terminal itself against the determined absolute position P _CAR and the currently determined absolute orientation O _{CAR of} the vehicle by means of a certain relative position of the endger tes relative to the holder H and the known Versatz_Ermitteln an absolute position P _{FINAL, abs} and an absolute orientation O _{FINAL, abs} of the terminal FINAL from the determined relative position P _{FINAL, rel} and relative orientation O _{FINAL, rel,} and the determined absolute position P _CAR and the determined absolute orientation O _CAR
and based on the determined absolute position P _{ENDG, abs} and the absolute orientation O _{ENDG, abs} contact- _analog representation of a virtual object superimposed on the real object on the terminal ENDG.

Das Fahrzeug kann ein PKW, LKW, Bus, Schienenfahrzeug, Wasserfahrzeug (beispielsweise Schiff), Unterwasserfahrzeug, oder ein Luftfahrzeug sein.The vehicle may be a car, truck, bus, rail vehicle, watercraft (eg, ship), underwater vehicle, or an aircraft.

Bevorzugt stellt das auf dem mobilen Endgerät augmentiert darzustellende reale Objekt ein Objekt mit einem potentiellen Interesse oder einer potentiellen Bedeutung für einen Nutzer dar. Solch ein Objekt wird üblicherweise als „Point of Interest“ („POI“) bezeichnet. Insbesondere handelt es sich bei den POI um Gebäude, Landschaften, Straßen, Parkplätze, Städte oder Dörfer, Bankautomaten, gastronomische Einrichtungen, Unterkünfte, Geschäfte, Tankstellen, Sehenswürdigkeiten oder dergleichen - jeweils mit einer bekannten absoluten Position. Unter einem augmentierten darzustellenden realen Objekt ist ein dargestelltes Objekt zu verstehen, das durch ein virtuelles Objekt mit zusätzlichen Informationen angereichert wird.Preferably, the real object to be augmented displayed on the mobile terminal represents an object with a potential interest or a potential meaning for a user. Such an object is commonly referred to as a "point of interest" ("POI"). In particular, the POIs are buildings, landscapes, roads, parking lots, towns or villages, cash machines, dining facilities, lodgings, shops, petrol stations, attractions, or the like - each with a known absolute location. An augmented real object to be displayed is to be understood as an illustrated object which is supplemented by a virtual object with additional information.

Das virtuelle Objekt, das kontaktanalog mit dem realen Objekt auf dem Endgerät dargestellt wird, ist insbesondere eine Grafik, ein Bild, eine symbolisierte Landmarke oder ein Text. Insbesondere weist das mobile Endgerät zum Darstellen des jeweiligen Objekts, d.h. des realen und/oder als auch des virtuellen Objektes, eine Anzeigeeinheit auf. Bevorzugt ist die Anzeigeeinheit ein Bildschirm, etwa ein LCD-Bildschirm, ein LED- oder ein OLED-Bildschirm. Alternativ ist die Anzeigeeinheit ein Projektor, beispielsweise um ein Bild an eine Fläche zu werfen oder in ein Glas einzuspiegeln.The virtual object that is displayed contact-analogous with the real object on the terminal, is in particular a graphic, a picture, a symbolized landmark or a text. In particular, the mobile terminal for displaying the respective object, ie the real and / or as well as the virtual object, a display unit. Preferably, the display unit is a screen, such as an LCD screen, an LED or an OLED screen. Alternatively, the display unit is a projector, for example, to cast an image on a surface or einzuspiegeln in a glass.

Bevorzugt wird das reale Objekt zusammen mit dem virtuellen Objekt dann kontaktanalog dargestellt, wenn das Endgerät auf das reale Objekt, und insbesondere wenn eine Kamera des Endgeräts auf das reale Objekt, ausgerichtet ist. Weiterhin bevorzugt ist eine Bedingung für die kontaktanaloge Darstellung, dass sich das reale Objekt in einem definierten Umkreis des Endgeräts und/oder des Fahrzeugs befindet. Dafür ist eine genaue Ermittlung einer absoluten Position des Endgeräts und eine bekannte absolute Position des realen Objekts erforderlich.
Die absolute Position des realen Objekts ist bevorzugt aus einer digitalen Karte bekannt. Für eine Voraussetzung, nach der das reale Objekt kontaktanalog mit dem virtuellen Objekt überlagert wird, seien zwei bevorzugte Alternativen dargestellt: In einer ersten bevorzugten Vorgehensweise wird nach rein geometrischen Bedingungen das kontaktanaloge Darstellen mit dem virtuellen Objekt ausgeführt. Vorteilhaft wird das kontaktanaloge Darstellen somit nicht durch zumindest temporäre und/oder zumindest abschnittsweise Verdeckungen des realen Objekts durch andere Objekte aus Sicht des Endgeräts unterbrochen oder gar verhindert. Nach dieser Vorgehensweise ist das kontaktanaloge Darstellen demnach auch bei Nebel, Dunkelheit und getrübter Sicht möglich. In einer weiteren bevorzugten Vorgehensweise ist eine weitere, zusätzlich zu den geometrischen Bedingungen, oder alleinige Bedingung, dass eine Kamera des Endgeräts das reale Objekt tatsächlich erfasst. Zu diesem Zweck kommt bevorzugt ein Bilderkennungsalgorithmus zum Einsatz.Preferably, the real object together with the virtual object is then displayed contact-analogically when the terminal is aligned with the real object, and in particular when a camera of the terminal is aligned with the real object. Further preferred is a condition for the contact analog representation that the real object is located in a defined perimeter of the terminal and / or the vehicle. This requires an exact determination of an absolute position of the terminal and a known absolute position of the real object.
The absolute position of the real object is preferably known from a digital map. For a prerequisite according to which the real object is superimposed contact-analogously with the virtual object, two preferred alternatives are shown: In a first preferred procedure, the contact-analog representation is performed with the virtual object according to purely geometrical conditions. Advantageously, the contact analog representation is thus not interrupted or even prevented by at least temporary and / or at least partially occlusions of the real object by other objects from the point of view of the terminal. According to this procedure, the contact analog representation is therefore possible even in fog, darkness and cloudy vision. In a further preferred procedure, another, in addition to the geometric conditions, or sole condition that a camera of the terminal actually detects the real object. For this purpose, an image recognition algorithm is preferably used.

Der Ausdruck „absolute Position“ sowie der Ausdruck „absolute Orientierung“ bezeichnet dabei eine Position beziehungsweise eine Orientierung gegenüber einem absoluten Koordinatensystem. Ein solches absolutes Koordinatensystem wird vorteilhaft als ein erdfestes Koordinatensystem definiert, bevorzugt das WGS-84 System, bei dem die Erde als ein Referenzellipsoid als absoluter Bezugskörper fungiert.The term "absolute position" and the term "absolute orientation" designates a position or an orientation relative to an absolute coordinate system. Such an absolute coordinate system is advantageously defined as an earth-fixed coordinate system, preferably the WGS 84 System in which the earth acts as a reference ellipsoid as an absolute reference body.

Das Fahrzeug ist insbesondere mit einer Fahrzeugortungseinheit ausgestattet. Diese Fahrzeugortungseinheit weist insbesondere eine satellitengestützte Ortungseinheit auf, die zur Verbesserung der Genauigkeit einer Positionsermittlung des Fahrzeugs sich weiterer Sensorik bedient, die bevorzugt eines oder mehrerer folgender Elemente beinhaltet: Magnetsensor, Inertiale Messeinheit („IMU“), Satellitennavigationssystem (beispielsweise für: NAVSTAR-GPS, GLONASS, Galileo, BeiDou, oder IRNSS/NAVIC), Kamera zum Erfassen eines optischen Flusses einer Umgebung der Kamera, Kamera mit Bilderkennungsfunktion zum Abgleich mit einer digitalen Karte, oder WLAN-Ortungseinheit zum Zuordnen einer WLAN-Quelle zu einer Position der WLAN-Quelle.The vehicle is in particular equipped with a vehicle location unit. In particular, this vehicle tracking unit has a satellite-supported locating unit that uses further sensors to improve the accuracy of a position determination of the vehicle, which preferably includes one or more of the following elements: magnetic sensor, inertial measuring unit ("IMU"), satellite navigation system (for example: NAVSTAR-GPS , GLONASS, Galileo, BeiDou, or IRNSS / NAVIC), camera for detecting an optical flow of an environment of the camera, camera with image recognition function for comparison with a digital map, or WLAN location unit for assigning a WLAN source to a position of the WLAN Source.

Diese Sensorik leitet die jeweiligen Daten zur Ortung des Fahrzeugs insbesondere an Verarbeitungseinheit weiter, die auf eine digitale Karte zugreift, wobei die Daten aus unterschiedlichen Sensoren in Datenfusion zu einer verbesserten Schätzung einer ermittelten Fahrzeugposition zusammengeführt werden. Bevorzugt erfolgt dieser Vorgang mit Hilfe eines Kalmanfilters, um Sprünge und Rauschen bis zu einer vordefinierten Bandbreite zu glätten und eine gewisse Trägheit in die fusionierte Schätzung der Fahrzeugposition einzubringen.In particular, this sensor transmits the respective data for locating the vehicle to a processing unit which accesses a digital map, wherein the data from different sensors are merged in a data fusion for an improved estimation of a determined vehicle position. Preferably, this process is done using a Kalman filter to smooth out hops and noise to a predefined bandwidth and introduce some inertia into the fused vehicle position estimate.

Ein analoges Vorgehen oder nahezu analoges Vorgehen wird bevorzugt für die Ermittlung einer Orientierung des Fahrzeugs angewandt. Die Orientierung des Fahrzeugs wird insbesondere durch einen Azimut, bevorzugt definiert durch die Ausrichtung einer Längsachse des Fahrzeugs, bestimmt. Weiterhin können ein Inklinationswinkel des Fahrzeugs und ein Rollwinkel des Fahrzeugs ermittelt werden.An analogous procedure or almost analogous procedure is preferably used for determining an orientation of the vehicle. The orientation of the vehicle is determined in particular by an azimuth, preferably defined by the orientation of a longitudinal axis of the vehicle. Furthermore, an inclination angle of the vehicle and a roll angle of the vehicle can be determined.

Während ein Azimutwinkel des Fahrzeugs insbesondere einen in einer horizontalen Ebene liegenden Winkel der Längsachse des Fahrzeugs gegenüber Norden beschreibt, zeigt der Inklinationswinkel eine Neigung der Längsachse des Fahrzeugs gegenüber der horizontalen Ebene an. Demnach beschreibt der Rollwinkel des Fahrzeugs einen Winkel, der durch Rollen des Fahrzeugs um diese Längsachse, beziehungsweise einer Projektion der Längsachse auf die horizontale Ebene, gegenüber der horizontalen Ebene zu Stande kommt. Durch alle drei Winkel, dem Azimut-, dem Inklinations- und dem Rollwinkel des Fahrzeugs, in ihrer Gesamtheit auch Eulerwinkel genannt, wird eine Orientierung des Fahrzeugs vollständig beschrieben.In particular, while an azimuth angle of the vehicle describes a horizontal plane angle of the vehicle's longitudinal axis from north, the angle of inclination indicates an inclination of the longitudinal axis of the vehicle relative to the horizontal plane. Accordingly, the roll angle of the vehicle describes an angle that comes about by rolling the vehicle about this longitudinal axis, or a projection of the longitudinal axis on the horizontal plane, with respect to the horizontal plane to conditions. Through all three angles, the azimuth, the inclination and the roll angle of the vehicle, also called Euler angle in its entirety, an orientation of the vehicle is fully described.

Alternativ zu Eulerwinkeln kann auf eine Quaternionenbeschreibung ausgewichen werden, sollten mögliche Singularitäten bei Berechnungen in der Koordinatentransformation zu einem anderen Bezugssystem auftreten, insbesondere bei einem Inklinationswinkel von 90° gegenüber der horizontalen Ebene, der zu einer singulären Berechnung des Rollwinkels führt.As an alternative to Euler angles, a quaternion description may be used if possible singularities should occur in calculations in the coordinate transformation to another reference system, in particular at a dip angle of 90 ° with respect to the horizontal plane, which leads to a singular calculation of the roll angle.

Es ist jedoch davon auszugehen, dass die Ortung des Fahrzeugs, das heißt die Ermittlung einer absoluten Position und einer absoluten Orientierung des Fahrzeugs, insbesondere durch die oben genannte Fahrzeugortungseinheit, genauer erfolgen kann, als eine direkte Ermittlung einer absoluten Position und einer absoluten Orientierung des Endgeräts, insbesondere durch das Endgerät selbst. Dies ist insbesondere dann zutreffend, wenn das Fahrzeug mit einer hochwertigen Fahrzeugortungseinheit ausgestattet ist, deren geometrischen Ausmaße beispielsweise den Bauraum in einem Endgerät übersteigen würde oder deren Energiebedarf die Energieversorgung in einem Endgerät übermäßig belasten würde, jedoch eine im Allgemeinen höhere Genauigkeit erreichen kann als dies eine in einem Endgerät integrierte Ortungseinheit zu erreichen vermag.
Ein anderer möglicher Grund für die höhere Genauigkeit einer solchen Fahrzeugortungseinheit kann schlicht eine vorteilhaftere Anordnung von Sensoren sein. Ist eine GNSS/GPS-Antenne am Fahrzeugäußeren angeordnet, ist mit ihr grundsätzlich ein Signal mit einem wesentlich höheren Signal-zu-Rausch Verhältnis empfangbar, als dies mit einer Antenne im Fahrzeuginneren, beispielsweise mit einer an dem Endgerät angeordneten Antenne, möglich ist.However, it can be assumed that the location of the vehicle, that is, the determination of an absolute position and an absolute Orientation of the vehicle, in particular by the above-mentioned vehicle locating unit, can be done more accurately than a direct determination of an absolute position and an absolute orientation of the terminal, in particular by the terminal itself. This is especially true when the vehicle is equipped with a high-quality vehicle locating unit whose geometrical dimensions would, for example, exceed the installation space in a terminal or whose energy requirement would excessively burden the power supply in a terminal, but which can generally achieve a higher accuracy than a location unit integrated in a terminal can achieve.
Another possible reason for the higher accuracy of such a vehicle location unit may simply be a more advantageous arrangement of sensors. If a GNSS / GPS antenna is arranged on the outside of the vehicle, a signal with a significantly higher signal-to-noise ratio can generally be received with it than is possible with an antenna in the vehicle interior, for example with an antenna arranged on the terminal.

Gemäß dem vorgeschlagenen Verfahren wird daher zur Verbesserung einer Genauigkeit einer ermittelten absoluten Position und einer absoluten Orientierung des Endgeräts die hohe Genauigkeit der ermittelten absoluten Position und der ermittelten absoluten Orientierung des Fahrzeugs ausgenutzt, um über eine relative Orientierung und über eine relative Position des Endgeräts zum Fahrzeug die Genauigkeit einer ermittelten absoluten Position und einer absoluten Orientierung des Endgeräts zu verbessern.According to the proposed method, therefore, to improve accuracy of a determined absolute position and an absolute orientation of the terminal, the high accuracy of the determined absolute position and the determined absolute orientation of the vehicle is utilized to provide relative orientation and relative position of the terminal to the vehicle To improve the accuracy of a determined absolute position and an absolute orientation of the terminal.

Die Position der Halterung im Fahrzeug selbst ist dabei, insbesondere gegenüber einer oben beschrieben Fahrzeugortungseinheit, bekannt, sodass das Ermitteln einer absoluten Position P_ENDG und einer absoluten Orientierung O_ENDG des in die Halterung HALT des Fahrzeugs CAR eingesteckten Endgeräts ENDG aus der absoluten Position P_CAR und der absoluten Orientierung O_CAR durch diesen bekannten Versatz bestimmbar ist. Wird daher die absolute Position P_CAR und die absolute Orientierung O_CAR ermittelt, kann unter der Annahme und/oder unter der Voraussetzung, dass die Halterung für das mobile Endgerät körperfest mit dem Fahrzeug verbunden ist, nahtlos und ohne weitere Sensordaten die absolute Position P_ENDG und die absoluten Orientierung O_ENDG des Endgeräts ENDG ermittelt werden.The position of the holder in the vehicle itself is known, in particular with respect to a vehicle location _unit described above, so that the determination of an absolute position P _ENDG and an absolute orientation O _ENDG of the terminal ENDG inserted in the holder HALT of the vehicle CAR from the absolute position P _CAR and the absolute orientation O _{CAR can be} determined by this known offset. If, therefore, the absolute position P _CAR and the absolute orientation O _{CAR are} determined, the absolute position P _{ENDG can be assumed} seamlessly and without further sensor data, assuming and / or assuming that the holder for the mobile terminal is connected in a body-fixed manner to the vehicle and the absolute orientation O _{ENDG of} the terminal ENDG are determined.

Der Begriff „kontaktanalog“ bedeutet ferner, dass das virtuelle Objekt dem dargestellten realen Objekt innerhalb gewisser Grenzen ortsfest zugeordnet wird. So kann ein reales Objekt in der Umgebung, beispielsweise ein Gebäude, überlagert mit einem virtuellen Objekt und örtlich zugeordnet dargestellt werden, sodass es in der Darstellung des realen Objekts der Umgebung auf dem mobilen Endgerät für einen Benutzer aussieht, als würde das virtuelle Objekt zum realen Objekt gehören. Das mobile Endgerät kann dabei an einer festen Position gehalten oder bewegt werden. Weiterhin bevorzugt wird das virtuelle Objekt analog perspektivisch korrekt im Ausgabebild ausgegeben.The term "contact analog" also means that the virtual object is assigned to the represented real object within certain limits. Thus, a real object in the environment, for example a building, can be displayed superimposed with a virtual object and assigned locally, so that in the representation of the real object of the environment on the mobile terminal it looks to a user as if the virtual object became real Object belong. The mobile terminal can be held or moved at a fixed position. Further preferably, the virtual object is output analogously in perspective correctly in the output image.

Es ist eine vorteilhafte Wirkung der Erfindung, dass das augmentierte Darstellen eines realen Objekts auf einem mobilen Endgerät verbessert wird, und insbesondere eine für die augmentierte Darstellung verwendete ermittelte absolute Position und ermittelte absolute Orientierung des mobilen Endgeräts verbessert wird. Dies erhöht insbesondere die Qualität der Zuordnung des virtuellen Objekts zum dargestellten realen Objekt, wodurch die Qualität der kontaktanalogen Darstellung verbessert wird.It is an advantageous effect of the invention that the augmented representation of a real object on a mobile terminal is improved, and in particular a determined absolute position and determined absolute orientation of the mobile terminal used for the augmented representation is improved. In particular, this increases the quality of the assignment of the virtual object to the real object shown, which improves the quality of the contact-analog representation.

Gemäß einer vorteilhaften Ausführungsform werden bei dem Verfahren die relative Position P_ENDG,rel und die relative Orientierung O_ENDG,rel auf Basis von Messdaten von Beschleunigungssensoren und/oder von einem Magnetfeldsensor und/oder von einem Kamerasensor und/oder von einer Positionsermittlungseinheit im Endgerät ENDG ermittelt. Die entsprechenden/genannten Sensoren sind hierfür vorteilhaft im Endgerät ENDG angeordnet.According to an advantageous embodiment, in the method the relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel are} based on measurement data from acceleration sensors and / or from a magnetic field sensor and / or from a camera sensor and / or from a position determination unit in the terminal ENDG determined. The corresponding sensors are advantageously arranged in the terminal ENDG for this purpose.

Zum Ermitteln der relative Position P_ENDG,rel durch translationale Beschleunigungssensoren und zum Ermitteln der relativen Orientierung O_ENDG,rel durch Winkelbeschleunigungssensoren wird vorteilhaft eine von dem Fahrzeug selbst erfahrene translationale und rotatorischen Beschleunigung subtrahiert, um eine relative Beschleunigung zum Fahrzeug zu erhalten, die durch zweifache Integration zu einer Positionsänderung errechnet wird. Die Positionsermittlungseinheit dagegen verwendet insbesondere ein satellitengestütztes System, insbesondere NAVSTAR-GPS, GLONASS, Galileo, BeiDou, oder IRNSS/NAVIC.For determining the relative position P _{ENDG, rel} by translational acceleration _sensors and for determining the relative orientation O _{ENDG, rel} by means of angular acceleration _sensors, advantageously a translational and rotational acceleration experienced by the vehicle itself is subtracted in order to obtain a relative acceleration to the vehicle by two-fold Integration to a position change is calculated. In contrast, the position determination unit uses in particular a satellite-based system, in particular NAVSTAR-GPS, GLONASS, Galileo, BeiDou, or IRNSS / NAVIC.

Vorteilhaft wird in dieser Ausführungsform im Endgerät selbst, das heißt ohne eine zusätzliche Vorrichtung, die relative Position P_ENDG,rel und die relative Orientierung O_ENDG,rel ermittelt.Advantageously, in this embodiment, in the terminal itself, that is, without an additional device, the relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel} determined.

Gemäß einer weiteren vorteilhaften Ausführungsform wird die relative Position P_ENDG,rel und die relative Orientierung O_ENDG,rel in einer im Fahrzeug angeordneten Relativbewegungsmessvorrichtung, insbesondere einem sogenannte „Motion Capture System“ ermittelt, bei dem durch optische Erfassung des Endgeräts gegenüber dem Fahrzeug eine Relativbewegung, bestehend aus einer relativen Positionsänderung und einer relativen Orientierungsänderung, zwischen dem Endgerät und dem Fahrzeug ermittelt wird.According to a further advantageous embodiment, the relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel is determined} in a relative movement _{measuring device} arranged in the vehicle, in particular a so-called "motion capture system", in which by optical detection of the terminal relative to the vehicle, a relative movement consisting of a relative change in position and a relative change in orientation, between the terminal and the vehicle is determined.

Vorteilhaft wird in dieser Ausführungsform eine sehr hohe Genauigkeit der relativen Position P_ENDG,rel und der relativen Orientierung O_ENDG,rel des Endgeräts gegenüber dem Fahrzeug erreicht, ohne dass eine Bewegung und/oder Position und Orientierung des Fahrzeugs aus der erfassten Position und Orientierung des Endgeräts herauszurechnen ist. Advantageously, in this embodiment, a very high accuracy of the relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel of} the terminal relative to the vehicle is achieved without any movement and / or position and orientation of the vehicle from the detected position and orientation of the vehicle Is to be excluded.

Gemäß einer weiteren vorteilhaften Ausführungsform werden bei dem Verfahren die absolute Position P_ENDG,abs und/oder die absolute Orientierung O_ENDG,abs unter Berücksichtigung von Messdaten eines Magnetfeldsensors und/oder einer Positionsermittlungseinheit im Endgerät ENDG ermittelt.According to a further advantageous embodiment, the method determines the absolute position P _{ENDG, abs} and / or the absolute orientation O _{ENDG, abs} taking into account measurement data of a magnetic field sensor and / or a position determination unit in the terminal ENDG.

Die Positionsermittlungseinheit verwendet insbesondere ein satellitengestütztes System, insbesondere NAVSTAR-GPS, GLONASS, Galileo, BeiDou, oder IRNSS/NAVIC. Diese ermittelte absolute Position und/oder absolute Orientierung wird bevorzugt jeweils mit der aus der ermittelten relativen Position und/oder aus der ermittelten relativen Orientierung ermittelten absoluten Position und/oder der absoluten Orientierung fusioniert, sodass vorteilhaft beide Arten der Ermittlung der absoluten Position und/oder der absoluten Orientierung einander stützen und ergänzen.In particular, the position determination unit uses a satellite-based system, in particular NAVSTAR-GPS, GLONASS, Galileo, BeiDou, or IRNSS / NAVIC. This determined absolute position and / or absolute orientation is preferably fused in each case with the absolute position determined from the determined relative position and / or from the determined relative orientation and / or the absolute orientation, so that both types of determination of the absolute position and / or support and complement each other's absolute orientation.

Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren ein Maß M1 für die aktuelle Genauigkeit der absoluten Position P_ENDG,abs und/oder ein Maß M2 für die aktuelle Genauigkeit der absoluten Orientierung O_ENOC,abs und/oder ein Maß M3 für eine Gesamtgenauigkeit von Position P_ENDG,abs und Orientierung O_ENDG,abs ermittelt und ausgegeben. Bevorzugt wird das jeweilige Maß durch das Endgerät ENDG ermittelt und von diesem ausgegeben. Das Maß M3 ist bevorzugt entweder ein arithmetisches Mittel aus den Maßen M1 und M2, oder der jeweils kleinere Wert aus der Menge {M1;M2} (Menge bestehend aus den Elementen M1 und M2), oder die Summe aus den Maßen M1 und M2. Vorteilhaft ist ein Benutzer des Endgeräts ENDG somit über eine aktuelle Genauigkeit der Positionsermittlung und Orientierungsermittlung des Endgeräts, und damit der Qualität und/oder Zuverlässigkeit der augmentierten Darstellung des realen Objekts, informiert.
Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren das Maß M1 und/oder das Maß M2 und/oder das Maß M3 abhängig von der Zeit, die seit dem Entnehmen des Endgeräts ENDG aus der Halterung vergangen ist, und/oder abhängig von einer Art und Häufigkeit der Bewegung des Endgeräts ENDG während dieser Zeit, ermittelt. Insbesondere wird hierdurch eine Signaldrift, die Abhängig von dieser Zeit und/oder der Art und Häufigkeit der Bewegung des Endgeräts ENDG begrenzt.According to a further advantageous embodiment, the method becomes a measure M1 for the current accuracy of the absolute position P _{ENDG, abs} and / or a measure M2 for the current accuracy of the absolute orientation O _{ENOC, abs} and / or a measure M3 for an overall _accuracy of position P _{ENDG, abs} and orientation O _{ENDG, abs} determined and output. Preferably, the respective measure is determined by the terminal ENDG and output from this. The measure M3 is preferably either an arithmetic mean of the measures M1 and M2 , or the smaller value from the set {M1, M2} (set consisting of the elements M1 and M2 ), or the sum of the measures M1 and M2 , Advantageously, a user of the terminal ENDG is thus informed about a current accuracy of the position determination and orientation determination of the terminal, and thus the quality and / or reliability of the augmented representation of the real object.
According to a further advantageous embodiment, in the method, the measure M1 and / or the measure M2 and / or the measure M3 depending on the time that has passed from the holder since the terminal ENDG was removed, and / or depending on a type and frequency of movement of the terminal ENDG during this time. In particular, this is a signal drift, the limited depending on this time and / or the nature and frequency of movement of the terminal ENDG.

Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren eine Information, die als Aufforderung dient, das Endgerät ENDG in die Halterung HALT einzustecken, dann ausgegeben, wenn das Maß M1 und/oder das Maß M2 und/oder das Maß M3 einer vorgegebenen Bedingung nicht genügt. Wird nämlich das Endgerät ENDG wiederAccording to a further advantageous embodiment, in the method, an information which serves as a request to insert the terminal ENDG in the holder HALT, then output when the measure M1 and / or the measure M2 and / or the measure M3 a given condition is not enough. Namely, the terminal ENDG again

Die Information wird bevorzugt über eine Anzeige ausgegeben. Eine solche Anzeige erfolgt insbesondere in Form eines Balkens, welcher, wenn er voll ausgefüllt ist, eine maximale Genauigkeit anzeigt, und welcher, wenn er komplett leer ist, eine sehr geringe Genauigkeit symbolisiert. Weiterhin bevorzugt wird die Genauigkeit durch einen Farbverlauf signalisiert.The information is preferably output via a display. Such a display is particularly in the form of a bar which, when fully filled, indicates maximum accuracy and which, when completely empty, symbolizes very low accuracy. Further preferably, the accuracy is signaled by a color gradient.

Vorteilhaft wird somit die Genauigkeit der Positionsermittlung und Orientierungsermittlung des Endgeräts, und damit der Qualität und/oder der Zuverlässigkeit der augmentierten Darstellung des realen Objekts, erhöht.The accuracy of the position determination and orientation determination of the terminal, and thus the quality and / or the reliability of the augmented representation of the real object, is thus advantageously increased.

Gemäß einer weiteren vorteilhaften Ausführungsform wird bei dem Verfahren das reale Objekt von einer Kamera des Endgeräts ENDG aktuell aufgenommen und auf einem Display des Endgeräts ENDG dargestellt, und das virtuelle Objekt auf dem Display dem realen Objekt kontaktanalog überlagert dargestellt.According to a further advantageous embodiment, in the method, the real object is currently taken up by a camera of the terminal ENDG and displayed on a display of the terminal ENDG, and the virtual object on the display is superimposed on the real object superimposed contact.

Hierdurch wird das reale Objekt als Kamerabild auf dem Display des Endgeräts ENDG dargestellt, was vorteilhaft die Zuordnung zum realen Objekt in der Realität selbst zum auf dem Endgerät dargestellten realen Objekt vereinfacht.As a result, the real object is displayed as a camera image on the display of the terminal ENDG, which advantageously simplifies the assignment to the real object in reality even to the real object displayed on the terminal.

Ein weiterer Aspekt der Erfindung betrifft ein System zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät ENDG. Das vorgeschlagene System umfasst eine Halterung HALT in einem Fahrzeug CAR zum Einstecken des Endgeräts ENDG in die Halterung HALT, eine im Fahrzeug CAR angeordnete Einheit E1 zum Ermitteln einer absoluten Position P_CAR und einer absoluten Orientierung O_CAR des Fahrzeugs CAR, eine bevorzugt im Fahrzeug CAR angeordnete Einheit E2 zum Ermitteln einer absoluten Position P_ENDG und einer absoluten Orientierung O_ENDG des in die Halterung HALT des Fahrzeugs CAR eingesteckten Endgeräts ENDG aus einem bekannten Versatz der Halterung HALT (3) zu der absoluten Position P_CAR und der absoluten Orientierung O_CAR, eine im Endgerät ENDG angeordnete Einheit E3 zum Ermitteln einer relativen Position P_ENDG,rel und einer relativen Orientierung O_ENDG,rel des Endgeräts ENDG nach einer Entnahme des Endgeräts ENDG aus der Halterung HALT gegenüber der ermittelten absoluten Position P_CAR und der absoluten Orientierung O_CAR des Fahrzeugs mittels einer bestimmten relativen Position des Endgerätes gegenüber der Halterung H und dem bekannten Versatz,, eine im Endgerät ENDG angeordnete Einheit E4 zum Ermitteln einer absoluten Position P_ENDG,abs und einer absoluten Orientierung O_ENDG,abs des Endgeräts ENDG aus der ermittelten relativen Position P_ENDG,rel und der relativen Orientierung O_ENDG,rel, wobei das Endgerät ENDG derart ausgeführt und eingerichtet ist, dass auf Basis der ermittelten absoluten Position P_ENDG,abs und der absoluten Orientierung O_ENDG,abs ein kontaktanaloges Darstellen eines dem realen Objekt überlagerten virtuellen Objekts auf dem Endgerät ENDG erfolgt.Another aspect of the invention relates to a system for augmented presentation of a real object on a mobile terminal ENDG. The proposed system comprises a holder HALT in a vehicle CAR for inserting the terminal ENDG into the holder HALT, a unit arranged in the vehicle CAR E1 for determining an absolute position P _CAR and an absolute orientation O _{CAR of} the vehicle CAR, a unit preferably arranged in the vehicle CAR E2 for determining an absolute position P _ENDG and an absolute orientation O _ENDG of the terminal ENDG inserted into the holder HALT of the vehicle CAR from a known offset of the holder HALT (FIG. 3 ) to the absolute position P _CAR and the absolute orientation O _CAR , a unit arranged in the terminal ENDG E3 for determining a relative position P _{ENDG, rel} and a relative orientation O _{ENDG, rel of} the terminal ENDG after removal of the terminal ENDG from the holder HALT relative to the determined absolute position P _CAR and the absolute orientation O _{CAR of} the vehicle by means of a specific relative position of the terminal relative to the holder H and the known Offset, a unit arranged in the terminal ENDG E4 for determining an absolute position P _{ENDG, abs} and an absolute orientation O _{ENDG, abs of} the terminal ENDG from the determined relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel} , wherein the terminal ENDG is designed and configured such that Based on the determined absolute position P _{ENDG, abs} and the absolute orientation O _{ENDG, abs is} a contact- _analog representation of a real object superimposed virtual object on the terminal ENDG.

Gemäß einer vorteilhaften Ausführungsform weist die Einheit E3 mindestens eines der folgenden Elemente auf: ein Kamerasystem, eingerichtet zum Ermitteln einer relativen Orientierung und/oder einer relativen Position bei Bewegung des Endgeräts ENDG zwischen zwei Zeitpunkten durch Analyse eines optischen Flusses der von einer Kamera erfassten Umgebung, einen Kreiselsensor, einen rotatorischen Beschleunigungssensor, einen translationalen Beschleunigungssensor.According to an advantageous embodiment, the unit E3 at least one of the following elements: a camera system adapted to determine a relative orientation and / or relative position when the terminal ENDG moves between two points in time by analyzing an optical flow of the camera detected environment, a gyro sensor, a rotational acceleration sensor, a translational acceleration sensor.

Es versteht sich von selbst, dass die Einheiten E1 bis E4 je nach Anordnung auf gemeinsamen Steuergeräten betrieben werden können, beispielsweise sind bevorzugt die Einheiten E1 und E2 in einem Steuergerät im Fahrzeug und die Einheiten E3 und E4 in einem Steuergerät des Endgerät ENDG integriert.It goes without saying that the units E1 to E4 depending on the arrangement can be operated on common control units, for example, the units are preferred E1 and E2 in a control unit in the vehicle and the units E3 and E4 integrated in a control unit of the terminal ENDG.

Gemäß einer weiteren vorteilhaften Ausführungsform ist das Endgerät ENDG eines der folgenden Elemente: ein Smartphone, ein Tablet-Computer, eine Brille für virtuelle Realität, eine Brille für augmentierte Realität, oder eine Datenbrille.
Im Unterschied zur virtuellen Realität, bei der die tatsächliche Umgebung zumindest weitestgehend ausgeblendet wird, bedient sich die augmentierte Realität der tatsächlichen Umgebung und stellt diese wahrheitsgetreu, jedoch erweitert mit Zusatzinformation und mit überlagerten virtuellen Objekten, dar.According to a further advantageous embodiment, the terminal ENDG is one of the following elements: a smartphone, a tablet computer, virtual reality glasses, goggles for augmented reality, or data glasses.
In contrast to virtual reality, in which the actual environment is at least largely hidden, the augmented reality makes use of the actual environment and presents it truthfully, but expanded with additional information and with overlaid virtual objects.

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.Advantages and preferred developments of the proposed system result from an analogous and analogous transmission of the statements made above in connection with the proposed method.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details will become apparent from the following description, in which - where appropriate, with reference to the drawings - at least one embodiment is described in detail. The same, similar and / or functionally identical parts are provided with the same reference numerals.

Es zeigen:

1 ein System zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät gemäß einem ersten Ausführungsbeispiel der Erfindung,
2 das mobile Endgerät des Systems gemäß dem ersten Ausführungsbeispiel der Erfindung,
3 das Fahrzeug mit der Halterung für das mobile Endgerät gemäß dem ersten Ausführungsbeispiel der Erfindung,
4 ein Verfahren zum augmentierten Darstellen eines realen Objekts auf einem mobilen Endgerät gemäß einem weiteren Ausführungsbeispiel der Erfindung, und
5 ein mobiles Endgerät in zwei Positionen und Orientierungen beim Ausführen des Verfahrens des Ausführungsbeispiels der 4.

Show it:

1 a system for augmented representation of a real object on a mobile terminal according to a first embodiment of the invention,
2 the mobile terminal of the system according to the first embodiment of the invention,
3 the vehicle with the holder for the mobile terminal according to the first embodiment of the invention,
4 a method for augmented representation of a real object on a mobile terminal according to a further embodiment of the invention, and
5 a mobile terminal in two positions and orientations in carrying out the method of the embodiment of 4 ,

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.The illustrations in the figures are schematic and not to scale.

1 zeigt ein System zum augmentierten Darstellen eines Kirchturms 50 auf einem mobilen Endgerät ENDG 10, einem Smartphone. Der Kirchturm 50 befindet sich in einer Umgebung eines Fahrzeugs 1. Das Smartphone 10 selbst ist in 2 näher gezeigt. Die folgende Erörterung bezieht sich somit auf 1 und 2 gleichermaßen. 1 shows a system for augmented representation of a church tower 50 on a mobile device ENDG 10 , a smartphone. The church tower 50 is located in an environment of a vehicle 1 , The smartphone 10 himself is in 2 shown closer. The following discussion thus refers to 1 and 2 alike.

Das System weist folgende Elemente auf: eine Halterung HALT 3 in einem Fahrzeug CAR 1 zum Einstecken des Smartphones ENDG 10 in die Halterung HALT 3, eine im Fahrzeug CAR 1 angeordnete Einheit E1 5 zum Ermitteln einer absoluten Position P_CAR und einer absoluten Orientierung O_CAR des Fahrzeugs CAR 1, eine im Fahrzeug CAR 1 angeordnete Einheit E2 7 zum Ermitteln einer absoluten Position P_ENDG und einer absoluten Orientierung O_ENDG des in die Halterung HALT 3 des Fahrzeugs CAR 1 eingesteckten Smartphones ENDG 10 aus der absoluten Position P_CAR und der absoluten Orientierung O_CAR, eine im Smartphone ENDG 10 angeordnete Einheit E3 16 zum Ermitteln einer relativen Position P_ENDG,rel und einer relativen Orientierung O_ENDG,rel des Smartphones ENDG 10 nach einer Entnahme des Smartphones ENDG 10 aus der Halterung HALT 3 gegenüber der aktuell ermittelten absoluten Position P_CAR und der absoluten Orientierung O_CAR, eine im Smartphone ENDG 10 angeordnete Einheit E4 18 zum Ermitteln einer absoluten Position P_ENDG,abs und einer absoluten Orientierung O_ENDG,abs des Smartphones ENDG 10 aus der ermittelten relativen Position P_ENDG,rel und der relativen Orientierung O_ENDG,rel, wobei das Smartphone ENDG 10 derart ausgeführt und eingerichtet ist, dass auf Basis der ermittelten absoluten Position P_ENDG,abs und der absoluten Orientierung O_ENDG,abs ein kontaktanaloges Darstellen eines dem Kirchturm 50 überlagerten virtuellen Objekts 52, einem Kreuzsymbol, auf dem Smartphone ENDG 10 erfolgt.The system has the following elements: a holder HALT 3 in a vehicle CAR 1 for plugging in the smartphone ENDG 10 in the holder HALT 3 , one in the vehicle CAR 1 arranged unit E1 5 for determining an absolute position P _CAR and an absolute orientation O _{CAR of} the vehicle CAR 1 , one in the vehicle CAR 1 arranged unit E2 7 for determining an absolute position P _ENDG and an absolute orientation O _ENDG of the holder HALT 3 of the vehicle CAR 1 plugged smartphones ENDG 10 from the absolute position P _CAR and the absolute orientation O _CAR , one in the smartphone ENDG 10 arranged unit E3 16 for determining a relative position P _{ENDG, rel} and a smartphone ENDG relative orientation O _{ENDG, rel} 10 after a removal of the smartphone ENDG 10 from the holder HALT 3 compared to the currently determined absolute position P _CAR and the absolute orientation O _CAR , one in the smartphone ENDG 10 arranged unit E4 18 for determining an absolute position P _{ENDG, abs} and an absolute orientation O _{ENDG, abs of} the smartphone ENDG 10 from the determined relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel} , where the smartphone ENDG 10 is executed and arranged such that based on the determined absolute position P _{ENDG, abs} and the absolute orientation O _{ENDG, abs} a contact- _analog representation of the church tower 50 overlaid virtual object 52 , a cross symbol, on the smartphone ENDG 10 he follows.

Die Einheit E3 16 weist dabei ein Kamerasystem zum Ermitteln einer relativen Orientierung und einer relativen Position bei Bewegung des Endgeräts ENDG 10 zwischen zwei Zeitpunkten durch Analyse eines optischen Flusses der von einer Kamera 12 erfassten Umgebung auf, sowie einen Kreiselsensor, einen rotatorischen Beschleunigungssensor und einen translationalen Beschleunigungssensor.The unit E3 16 has a camera system for determining a relative orientation and a relative position during movement of the terminal ENDG 10 between two times by analyzing an optical flow from a camera 12 detected environment, as well as a gyro sensor, a rotational acceleration sensor and a translational acceleration sensor.

2 zeigt das Endgerät ENDG 10, nämlich ein Smartphone in zwei Zuständen. In 2a erfolgt die Darstellung des Kirchturms 50 ohne die kontaktanaloge Darstellung des überlagerten virtuellen Objekts 52, dem Kreuz. Im Gegensatz dazu zeigt 2b die Darstellung des Kirchturms 50 mit der kontaktanalogen Darstellung des überlagerten virtuellen Objekts 52, dem Kreuz. 2 shows the terminal ENDG 10 namely a smartphone in two states. In 2a the representation of the church tower takes place 50 without the contact analog representation of the superimposed virtual object 52 , the cross. In contrast, shows 2 B the representation of the church tower 50 with the contact analog representation of the superimposed virtual object 52 , the cross.

3 zeigt das Fahrzeug 1 mit einer Halterung HALT 3 des Fahrzeugs CAR 1 zum Einstecken des Endgeräts ENDG 10. Das Fahrzeug 1 weist weiterhin eine im Fahrzeug CAR 1 angeordnete Einheit E1 5 zum Ermitteln einer absoluten Position P_CAR und einer absoluten Orientierung O_CAR des Fahrzeugs CAR 1 auf, sowie eine im Fahrzeug CAR 1 angeordnete Einheit E2 7 zum Ermitteln einer absoluten Position P_ENDG und einer absoluten Orientierung O_ENDG des in die Halterung HALT 3 des Fahrzeugs CAR 1 eingesteckten Smartphones ENDG 10 aus der absoluten Position P_CAR und der absoluten Orientierung O_CAR. 3 shows the vehicle 1 with a holder HALT 3 of the vehicle CAR 1 for plugging in the terminal ENDG 10 , The vehicle 1 also has an in-vehicle CAR 1 arranged unit E1 5 for determining an absolute position P _CAR and an absolute orientation O _{CAR of} the vehicle CAR 1 on, as well as in the vehicle CAR 1 arranged unit E2 7 for determining an absolute position P _ENDG and an absolute orientation O _ENDG of the holder HALT 3 of the vehicle CAR 1 plugged smartphones ENDG 10 from the absolute position P _CAR and the absolute orientation O _CAR .

4 zeigt ein entsprechendes Verfahren zum augmentierten Darstellen eines realen Objekts 50 auf einem mobilen Endgerät ENDG 10, welches bevorzugt ein Smartphone ist. Das Verfahren weist dabei die folgenden Schritte auf: Einstecken S1 des Endgeräts ENDG 10 in eine Halterung HALT 3 eines Fahrzeugs CAR 1, Ermitteln S2 einer absoluten Position P_CAR und einer absoluten Orientierung O_CAR des Fahrzeugs CAR 1, Ermitteln S3 einer absoluten Position P_ENDG und einer absoluten Orientierung O_ENDG des in die Halterung HALT 3 des Fahrzeugs CAR 1 eingesteckten Endgeräts ENDG 10 aus der absoluten Position P_CAR und der absoluten Orientierung O_CAR, Entnehmen S4 des Endgeräts ENDG 10 aus der Halterung HALT 3, Ermitteln S5 einer relativen Position P_ENDG,rel und einer relativen Orientierung O_ENDG,rel des Endgeräts ENDG 10 gegenüber der aktuell ermittelten absoluten Position P_CAR und der aktuell ermittelten absoluten Orientierung O_CAR, Ermitteln S6 einer absoluten Position P_ENDG,abs und einer absoluten Orientierung O_ENDG,abs des Endgeräts ENDG 10 aus der ermittelten relativen Position P_ENDG,rel und der relativen Orientierung O_ENDG,rel, und auf Basis der ermittelten absoluten Position P_ENDG,abs und der absoluten Orientierung O_ENDG,abs kontaktanaloges Darstellen S7 eines dem realen Objekt 50 überlagerten virtuellen Objekts 52 auf dem Endgerät ENDG 10, wobei das virtuelle Objekt bevorzugt eine Grafik, ein Bild, oder ein Text ist. 4 shows a corresponding method for augmented representation of a real object 50 on a mobile device ENDG 10 which is preferably a smartphone. The procedure has the following steps: plugging in S1 of the terminal ENDG 10 in a holder HALT 3 of a vehicle CAR 1 , Determine S2 an absolute position P _CAR and an absolute orientation O _{CAR of} the vehicle CAR 1 , Determine S3 an absolute position P _ENDG and an absolute orientation O _ENDG of the holder HALT 3 of the vehicle CAR 1 plugged in terminal ENDG 10 from the absolute position P _CAR and the absolute orientation O _CAR , removal S4 of the terminal ENDG 10 from the holder HALT 3 , Determine S5 a relative position P _{ENDG, rel} and a relative orientation O _{ENDG, rel of} the terminal ENDG 10 relative to the currently determined absolute position P _CAR and the currently determined absolute orientation O _CAR , determining S6 an absolute position P _{ENDG, abs} and an absolute orientation O _{ENDG, abs of} the terminal ENDG 10 from the determined relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel} , and based on the determined absolute position P _{ENDG, abs} and the absolute orientation O _{ENDG, abs} contact- _analog representation S7 a real object 50 overlaid virtual object 52 on the terminal ENDG 10 , wherein the virtual object is preferably a graphic, an image, or a text.

Weiterhin wird in dem Verfahren die relative Position P_ENDG,rel und die relative Orientierung O_ENDG,rel auf Basis von Messdaten von Beschleunigungssensoren und von einer Positionsermittlungseinheit zum Empfangen von Signalen von GPS-Satelliten (NAVSTAR-GPS, GLONASS, Galileo, BeiDou, IRNSS/NAVIC) im Endgerät ENDG 10 ermittelt. Die Information aus der Positionsermittlungseinheit bietet gleichzeitig eine absolute Position P_ENDG,abs, die mit der aus der relativen Position P_ENDG,rel des Endgeräts ENDG 10 und der absoluten Position P_CAR des Fahrzeugs CAR 1 ermittelten absoluten Position P_ENDG,abs fusioniert wird. Des Weiteren wird das reale Objekt von einer Kamera 12 des Endgeräts ENDG 10 aktuell aufgenommen und auf einem Display 14 des Endgeräts ENDG 10 dargestellt, das mit einem virtuellen Objekt 52 auf dem Display 14 kontaktanalog überlagert dargestellt wird.Further, in the method, the relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel are} based on measurement data from acceleration _sensors and a position _{detection unit} for receiving signals from GPS satellites (NAVSTAR-GPS, GLONASS, Galileo, BeiDou, IRNSS / NAVIC) in the terminal ENDG 10 determined. The information from the position determination unit simultaneously provides an absolute position P _{ENDG, abs} , which _{corresponds to that} from the relative position P _{ENDG, rel of} the terminal ENDG 10 and the absolute position P _{CAR of} the vehicle CAR 1 determined absolute position P _{ENDG, abs is} merged. Furthermore, the real object is from a camera 12 of the terminal ENDG 10 currently recorded and on a display 14 of the terminal ENDG 10 shown with a virtual object 52 on the display 14 contact analog is superimposed.

5 zeigt eine Koordinatensystem mit den Achsen x, y und z, welche die Orientierung des in der Halterung 3 des Fahrzeugs 1 eingesteckten Endgeräts ENDG 10 beschreibt. Nach dem Entnehmen S4 des Endgeräts ENDG 10 aus der Halterung HALT 3 bewegt ein Benutzer das Endgerät 10 in eine andere Position und in eine andere Orientierung relativ zum Fahrzeug 1. Hierdurch entsteht ein neues lokales Bezugssystem, das bevorzugt über Eulerwinkel beschrieben wird. Die Definition der Drehreihenfolge der einzelnen Drehwinkel bestimmt dabei die Einträge einer 3x3 dimensionalen Transformationsmatrix. Im gezeigten Beispiel der 5 ist diese Reihenfolge die Drehung um die Hochachse z um einen Winkel a1 - die den Azimut bestimmt. Es folgt die Drehung um einen Inklinationswinkel a2, um schließlich das Endgerät 10 um einen Rollwinkel a3 um die neu erhaltene Längsachse X des Endgeräts 10 zu drehen. Diese Drehreihenfolge in der Berechnung ist beliebig änderbar, sofern die Berechnung der neuen Orientierung, bevorzugt durch die Winkelbeschleunigungssensoren, mit der zuvor definierten Reihenfolge konsistent erfolgt. 5 shows a coordinate system with the axes x . y and z indicating the orientation of the holder 3 of the vehicle 1 plugged in terminal ENDG 10 describes. After removal S4 of the terminal ENDG 10 from the holder HALT 3 a user moves the terminal 10 in a different position and in a different orientation relative to the vehicle 1 , This creates a new local reference system, which is preferably described via Euler angle. The definition of the rotational order of the individual rotation angles determines the entries of a 3x3 dimensional transformation matrix. In the example shown the 5 this order is the rotation about the vertical axis z at an angle a1 - which determines the azimuth. This is followed by the rotation around an inclination angle a2 to finally the terminal 10 around a roll angle a3 around the newly obtained longitudinal axis X of the terminal 10 to turn. This rotation order in the calculation can be changed as desired, provided that the calculation of the new orientation, preferably by the angular acceleration sensors, is consistent with the previously defined sequence.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.Although the invention has been further illustrated and explained in detail by way of preferred embodiments, the invention is not limited by the disclosed examples, and other variations can be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a multitude of possible variations exists. It is also to be understood that exemplified embodiments are really only examples that are not to be construed in any way as limiting the scope, applicability, or configuration of the invention. Rather, the foregoing description and description enable the skilled artisan to practice the exemplary embodiments, and those of skill in the knowledge of the disclosed inventive concept may make various changes, for example, on the function or arrangement of particular elements recited in an exemplary embodiment. without departing from the scope defined by the claims and their legal equivalents, such as further explanation in the specification.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Fahrzeug CARVehicle CAR
33: Halterung HALTHolder HALT
1010: mobiles Endgerät ENDGmobile terminal ENDG
1212: Kameracamera
1414: Displaydisplay
5050: reales Objektreal object
5252: virtuelles Objekts virtual object
S1S1: EinsteckenPlug in
S2S2: ErmittelnDetermine
S3S3: ErmittelnDetermine
S4S4: EntnehmenRemove
S5S5: ErmittelnDetermine
S6S6: ErmittelnDetermine
S7S7: kontaktanaloges Darstellencontact-analog representation

Claims

A method for augmented presentation of a real object (50) on a mobile terminal ENDG (10), comprising the steps of: - inserting (S1) the terminal ENDG (10) in a holder HALT (3) of a vehicle CAR (1), - determining (S2) an absolute position P _CAR and an absolute orientation O _{CAR of} the vehicle CAR (1) by the vehicle itself, - determining (S3) an absolute position P _ENDG and an absolute orientation O _ENDG of the holder HALT (3) of the Vehicle CAR (1) inserted terminal ENDG (10) from a known offset of the holder HALT (3) to the absolute position P _CAR and the absolute orientation O _CAR , - Removing (S4) of the terminal ENDG (10) from the holder HALT ( 3), - determining (S5) a relative position P _{ENDG, rel} and a relative orientation D _{ENDG, rel of} the terminal ENDG (10) in the terminal itself relative to the determined absolute position P _CAR and the determined absolute orientation O _{CAR of} the vehicle by means of a b determined relative position of the terminal relative to the holder HALT (3) and the known offset, - Determining (S6) an absolute position P _{ENDG, abs} and an absolute orientation O _{ENDG, abs of} the terminal ENDG (10) from the determined relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel} , and the determined absolute position P _CAR and the determined absolute orientation O _CAR , and - based on the determined absolute position P _{ENDG, abs} and the absolute orientation O _{ENDG, abs} contact- _analog representation (S7) of the real object (50) superimposed virtual object (52) on the terminal ENDG (10).

Method according to Claim 1 in which the relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel are determined} on the basis of measurement data from acceleration sensors and / or from a magnetic field sensor and / or from a camera sensor and / or from a position determination unit in the terminal ENDG (10) ,

Method according to one of Claims 1 to 2 in which the absolute position P _{ENDG, abs} , and / or the absolute orientation O _{ENDG, abs} are determined taking into account measurement data of a magnetic field sensor and / or a position determining unit in the terminal ENDG (10).

Method according to one of Claims 1 to 3 in which a measure M1 for the current accuracy of the absolute position P _{ENDG, abs} and / or a measure M2 for the current accuracy of the absolute orientation O- _{ENDG, abs} and / or a measure M3 for an overall _accuracy of position P _{ENDG, abs} and orientation O _{ENDG, abs is} determined and output.

Method according to Claim 4 in which the dimension M1 and / or the dimension M2 and / or the dimension M3 are dependent on the time which has elapsed since the terminal ENDG (10) was removed from the holder, and / or on the type and frequency of the movement of the terminal ENDG (10) during this time.

Method according to Claim 4 or 5 in which information serving as a request to insert the terminal ENDG (10) in the holder HALT (3) is then issued if the dimension M1 and / or the dimension M2 and / or the dimension M3 do not satisfy a predetermined condition enough.

Method according to one of Claims 1 to 6 in which the real object is currently recorded by a camera (12) of the terminal ENDG (10) and displayed on a display (14) of the terminal ENDG (10), and the virtual object (52) on the display (14) as the real object (50) is shown superimposed contact analog.

A system for augmented presentation of a real object (50) on a mobile terminal ENDG (10), comprising: - a holder HALT (3) in a vehicle CAR (1) for inserting the terminal ENDG (10) into the holder HALT (3) - a vehicle-mounted unit E1 (5) for determining an absolute position P _CAR and an absolute orientation O _{CAR of} the vehicle CAR (1), - a unit E2 (7) for determining an absolute position P _ENDG and an absolute orientation O _ENDG of the terminal ENDG (10) _inserted into the holder HALT (3) of the vehicle CAR (1) from a known offset of the holder HALT (3) to the absolute position P _CAR and the absolute orientation O _CAR , - a unit arranged in the terminal E3 (16) for determining a relative position P _{ENDG, rel} and a relative orientation O _{ENDG, rel of} the terminal ENDG (10) after removal of the terminal ENDG (10) from the holder HALT (3) relative to the determined absolute position P _CAR and the Absolute orientation O _{CAR of} the vehicle by means of a specific relative position of the terminal relative to the holder H and the known offset, - arranged in the terminal unit E4 (18) for determining an absolute position P _{ENDG, abs} and an absolute orientation O _{ENDG, abs} of Terminal ENDG (10) from the determined relative position P _{ENDG, rel} and the relative orientation O _{ENDG, rel} and the determined absolute position P _CAR and the determined absolute orientation O _CAR wherein the terminal ENDG (10) is designed and arranged such that Based on the determined absolute position P _{ENDG, abs} and the absolute orientation O _{ENDG, abs is} a contact- _analog representation of a real object (50) superimposed virtual object (52) on the terminal ENDG (10).

System after Claim 8 in which the unit E3 (16) comprises at least one of the following elements: - a camera system adapted to determine a relative orientation and / or a relative position when the terminal ENDG (10) moves between two points in time by analyzing an optical flow of a camera (12) detected environment, - a gyro sensor, - a rotational acceleration sensor, - a translational acceleration sensor, satellite-based position detection unit.

System after Claim 8 or 9 in which the terminal ENDG (10) is one of the following: - a smartphone, - a tablet computer, - virtual reality glasses, - eyeglasses for augmented reality, or - data glasses.