EP3785229A1 - Method for determining augmentation information for an image - Google Patents

Method for determining augmentation information for an image

Info

Publication number
EP3785229A1
EP3785229A1 EP19714156.7A EP19714156A EP3785229A1 EP 3785229 A1 EP3785229 A1 EP 3785229A1 EP 19714156 A EP19714156 A EP 19714156A EP 3785229 A1 EP3785229 A1 EP 3785229A1
Authority
EP
European Patent Office
Prior art keywords
information
mobile device
image
current image
augmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19714156.7A
Other languages
German (de)
French (fr)
Inventor
Michal Bucko
Darius Vahdat-Pajouh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DESIGN REACTOR Inc
Original Assignee
Innogy Innovation GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innogy Innovation GmbH filed Critical Innogy Innovation GmbH
Publication of EP3785229A1 publication Critical patent/EP3785229A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Definitions

  • the subject matter relates to a method for the determination of
  • Augmentation information for an image relates to a device having a processor set up to carry out the method, a computer program configured to execute the method on a processor, and a computer program product with a computer program stored thereon.
  • Augmented Reality allows to capture images of real objects
  • Additional information which are displayed in such images, enrich.
  • a user can use his mobile device, such as a smartphone, to create a virtual object
  • augmentation information in an image captured by his mobile device and displayed on a display.
  • the image can represent a real object and the augmentation information can be displayed in the image relative to this real object.
  • a reference image can first be created. For this purpose, an angle of the recording of the real object, a distance to the real object and / or an absolute position of the mobile device in the area and / or space can be determined. This can be reference information. If the user moves his mobile device close to the real object during the same AR session and directs his camera to the real object, the augmented image can be displayed based on the previously created reference information, depending on the absolute Position of the mobile device, the shooting angle and / or the distance from the real object, the augmentation information can be displayed differently in the image. After the mobile device has been switched off, however, the reference information is lost and the augmentation data is no longer associated with the real object.
  • each mobile device For mass deployment, it is necessary to provide each mobile device with a same set of augmentation information. Moreover, it is necessary for the mass deployment to detect the exact position of the user or the mobile device in space so as to represent the augmentation information in an image captured by a mobile device as accurately as possible and in particular the relation between the augmentation information and the image of the real Display object correctly.
  • a mobile device which may be, for example, a smartphone, a tablet computer, a laptop computer, smart glasses or the like, is to be enabled by means of the present method,
  • the mobile device has one
  • Location information is loaded at least two reference information. To perform AR, it is necessary that the augmentation information (augmentation data) in advance of the actual augmentation
  • Augmentation data can be linked to real data. It will be
  • Reference images are recorded and stored together with the position information of the reference images as well as augmentation information of the reference images.
  • a reference image together with position information can be stored as reference information.
  • Augmentation information for that location If this is the case, for example, a number of reference information that has been previously created can be loaded for the corresponding location. At least one reference image may be included in the loaded reference information. Thus, in the mobile device, depending on its current location, a set of reference pictures is preloaded. The loaded reference images were previously created in an augmentation session.
  • the reference information be loaded and not first created in the mobile device.
  • the reference information can be stored in a server remote from the mobile device. After the location information is known, the mobile device can load the reference information.
  • an application run on the mobile device, which detects the location information and, depending on the detected location information at a remote server asks for existing reference information. If such exist, they can be downloaded from the mobile device through the application to the mobile device, then serve the loaded
  • the comparison of the current image with the reference images can be a comparison to color information, for example by means of a histogram and / or the comparison of
  • Edge information for example, by edge detection included.
  • the comparison of the images may include similarity maps, and include, for example, zooming in, zooming out, tilting or tilting the current image to subsequently perform an edge comparison with the reference image.
  • Augmentation information associated with the reference information is created.
  • reference images and augmentation information associated with these reference images are created
  • Augmentation information can be loaded on the mobile device and optionally displayed by the mobile device in the current image.
  • An augmentation of image information is preferably carried out by means of graphical objects. Therefore, it is suggested that the augmentation information include graphical objects displayed in the current image.
  • the display of the objects can be semi-transparent or opaque in the current image.
  • Position data can be acquired in the same way as the location information. It is also possible to detect the position data with a higher resolution, for example, by using higher-resolution positioning methods while the reference information is being acquired. It is proposed that position data for the respective reference images are stored in the reference information.
  • the position data can in particular be absolute position data of the reference image, in particular coordinates.
  • the position data correspond in particular to the location information of the device with which the reference images were acquired.
  • relative position data of the reference images can also be stored relative to each other, ie
  • the relative distances of individual reference images to each other For example, the relative distances of individual reference images to each other.
  • the position data Based on the position data, it is possible to determine whether or not reference information matches location information of the mobile device.
  • all the position data of all reference images of a session collectively and thus define a spatial area in which the reference images were captured. If the location information is such that it indicates that the mobile device is within the spatial area spanned by the position data, it can be concluded that the mobile device has been suitable for the reference information that is acquired in the corresponding session Load reference information.
  • a transmission of the reference images determined in this way can take place.
  • orientation of the device e.g. Angle information in particular camera angle, an optical axis or shooting angle to capture the camera with which the reference image has been detected.
  • a reference angle can also be stored in the reference information. At one position, images can be captured with different directions of view, so that the position alone does not necessarily provide an insight into how a
  • Reference image looks like. Rather, the angle information is also relevant to determine the reference image.
  • Reference information can be saved as a map set.
  • a set of cards may contain a plurality of reference information.
  • augmentation information may be stored in the map set for reference information.
  • the set of cards is one sentence
  • Reference information and respective augmentation information With the help of the map set, a wide variety of reference images can be stored with their corresponding position information and the augmentation information created for this purpose.
  • the card set may be provided in a server and loaded by the mobile device over a wide area network, a wireless network, or the like. As previously explained, in order to speed up the processing in the mobile device, only the reference information is initially loaded. After a detected
  • the map set can be loaded by at least the matching reference image is included.
  • the augmentation information belonging to the current image can then be determined from the loaded map set.
  • the position of the mobile device which was previously formed from the location information, can be supplemented or replaced by the position data of the matching reference image.
  • the position data may be stored at a higher resolution than the location information acquired by the mobile device.
  • Augmenting information as shown in the current image as they were created in the reference image, it may happen that the relative position of the augmentation information to the real objects in the displayed current image is not correct. Therefore, it is necessary to know the angle information of the current image relative to the angle information of the reference image. For this reason, a shift of the angle information of the current image against the angle information of the reference angle can be determined.
  • This calculation can be complicated, so that it can not only be carried out in the mobile device, but according to one embodiment, it is also proposed that the current image is sent to a server. In the server, the current image is compared with the matching reference image such that an angular displacement is calculated.
  • Imaging functions and shift functions on the current image and / or the reference image are made such that a difference between the angle information of the reference image and the current image can be determined.
  • a difference between the angle information of the reference image and the current image can be determined.
  • not only a shift of the recording angle, but also a shift of the position between the matching reference image and the current image can be determined.
  • the relative displacement between the current image and the reference image has been calculated in a server, it is suggested that the relative displacement be received from a server.
  • Position data of the reference image may not be exactly the position of the mobile device. Therefore, a further adjustment of the position of the mobile device based on the relative displacement is performed.
  • the display position and / or size of the augmentation information in the current image can be changed depending on the relative displacement.
  • relative positioning of the augmentation information to the real object in the current image can be adjusted to match the arrangement of the image
  • Augmentation information is present in the reference image.
  • Time may elapse between the time the current image was acquired and the time the displacement information is received.
  • the mobile device can move.
  • the movement can be a twisting or pivoting of the mobile device, so that the angle information changes and / or, on the other hand, actually translates the coordinates of the mobile device in space.
  • These movements can be detected and recorded by corresponding acceleration sensors and / or tilt sensors in the mobile device.
  • Adjust augmentation information in the current image The position of the mobile device according to an embodiment depends on
  • Movement information of the mobile device adapted.
  • the current image be detected together with a time stamp. Starting from this time stamp, the movement information can be recorded. When the relative displacement is received, the time of reception can be compared with the time stamp and that recorded since the time stamp
  • Motion information can be used to adjust the relative displacement.
  • the relative displacement is characterized, on the one hand, by the position and angle information of the mobile device at the time of capturing the current image and, on the other hand, by the motion information since that time and the timing of adjusting the relative displacement.
  • the current image be determined from a moving image. From a so-called video feed, current images can be determined.
  • Fig. 1 shows a schematic structure of a system for carrying out the
  • Fig. 2 the creation of a set of cards with reference information
  • Fig. 4a is a current picture
  • Fig. 4b shows an augmented current picture
  • Fig. 5a is a current picture
  • Fig. 5b an augmented current image.
  • 1 shows a mobile device 2, a server 4, stored in the server 4
  • the mobile device 2 has a camera 10 and a screen 12.
  • the camera 10 has one
  • the pickup angle 10a may be an optical axis resulting from the location of the mobile device 2 in space.
  • a sensor for example a gyrosensor can be arranged, with which the position of the mobile device 2 can be detected in space, so that from the recording angle 10a can be determined.
  • the current images of the camera 10 can be frames or
  • Each set of cards 6a, b is formed from reference information 14 and augmentation information 16.
  • reference information 14 and augmentation information 16 it is possible for only reference information 14 and augmentation information 16 to be present, or else a plurality of reference information 14 and augmentation information 16.
  • the communication between the mobile device 2 and the server 4 takes place via the communication network 8.
  • the communication network 8 can provide radio connections and / or wired connections.
  • the communication network 8 is at least partially formed by the Internet.
  • mobile radio links may be present in the communication network 8.
  • a mobile device 2 is moved in a "design" session through a room, as shown in Fig. 2.
  • the mobile device 2 is thereby moved to different positions 18a-e and at the positions 18a, e, at least reference images and position data are detected as reference information
  • a mobile device is used which is different from the mobile device 2, with which subsequently the
  • Augmentation information should be displayed.
  • the creator of the set of cards 6a, b for example, initially moves to position 18a and captures a reference image by a camera. Together with the reference image, the position 18a of the mobile device 2 is detected.
  • This position detection can be done by means of a very accurate positioning method, for example a Indoor position determination method of a differential GPS method, so that the position data high resolution with an accuracy of up to 20cm or less, the positions of the mobile device 2 at the time of
  • a recording angle 10a In addition to the position data and the reference image, it is additionally possible to detect a recording angle 10a.
  • detecting the recording angle for example, an azimuth angle and a polar angle can be detected.
  • the azimuth angle can be used to determine the angular positions of different reference images to each other, as described below. However, this does not affect the fact that the acceptance angle, in particular both
  • augmentation information may be added in the mobile device 2 with which the reference image has been created or in the server 4 or in any other computer.
  • augmentation information may in particular be image information, which may be displayed semi-transparently or opaque in the reference image.
  • the reference information ie in particular the reference image, the position data and the angle information is stored.
  • the augmentation information in particular be image information, which may be displayed semi-transparently or opaque in the reference image.
  • Image information and the absolute positioning of the image information stored in the reference image are identical to
  • the creator of a set of cards 6a, b can move to position 18b.
  • reference information can again be acquired.
  • relative position data between the positions 18a, 18b can be detected. This can be done, for example, by evaluation by means of movement information from Motion sensors in the mobile device 2 done. Successively, the
  • Positions 18a-e reached and recorded reference information.
  • the detected angle information at the positions 18a-e may also be relative to one another, so that at the position 18a an azimuth angle is assumed as the zero angle and the relative angular variations for this purpose are detected or determined at the positions 18b-e.
  • the reference images After the reference images have been acquired, they can be enriched with augmentation data.
  • the reference information and the associated augmentation information are stored in a set of cards 6a.
  • a variety of map sets 6a, 6b can be created, which are stored in the server 4. This information can then be used to enrich current images of users with augmentation information.
  • FIGS. 3-5 real objects are drawn with solid lines in the images, and objects of augmentation data are drawn as dashed lines.
  • FIGS. 3a-e show the card set 6a.
  • a reference image according to FIG. 3a has been detected.
  • image information in the reference image is known as
  • Augmentation information added At the position 18b, the reference image according to FIG. 3b was detected. Augmentation information is supplemented in this reference image. At the position 18c, the reference image according to Fig. 3c was detected.
  • Augmentation information is supplemented in this reference image.
  • the reference image according to FIG. 3d was detected. Augmentation information is supplemented in this picture.
  • the reference image according to FIG. 3e has been detected. Augmentation information is supplemented in this reference image.
  • an application on the mobile device 2 is initially started, for example.
  • This application will first determine the location information of the mobile device, for example by means of a GPS receiver. The resolution of this
  • Location information may be less than the resolution of the position information and, for example, have an accuracy of about 5m, 2m, 1m or 0.5m.
  • the location information is used to communicate with the
  • Position information is determined, the reference information 14 of the corresponding set of cards 6a, b are transmitted to the mobile device 2.
  • a set of cards 6a, b has only a limited number of
  • a current image is detected.
  • This current image can be, for example, an image from a live stream, ie a moving image.
  • the current image of the camera 10 is compared with the loaded reference images of the reference information 14 of the transferred set of cards 6a, b.
  • the user is at position 18c and takes the current image as shown in Fig. 4a.
  • the current image according to FIG. 4 a With the reference image according to FIG. 3 c and a similarity map, it can be determined that with a high probability in the current image 4 a the same real object is imaged as in the reference image 3c. Only the shooting angle is obviously different.
  • Augmentation information 16 is loaded to match the corresponding reference image and as shown in Fig. 4a shown in the current image with. However, it can be seen in FIG. 4a that the display of the augmentation information relative to the real object is different than is the case in FIG. 3c.
  • the recording angle 10a can be transmitted to the server 4. From this, the server 4, a relative
  • Displacement can be calculated in the server 4, a displacement information with which the augmentation information 16 can be adjusted, so that as shown in Fig. 4b, the augmentation information 16 in the image displayed on the display 12 is displayed correctly relative to the real object.
  • the calculation and / or the adaptation of the augmentation information 16 to the relative shift with regard to the acceptance angle can take place in the mobile device 2.
  • the augmentation information 16 will be according to this
  • the reference information stores position data that is higher than the location information. Was a match between a
  • the position data used to more accurately determine the position of the mobile device 2.
  • the location information is improved by the position data.
  • this movement can be sensed by means of motion sensors. This movement information can be used to further adapt the location information of the mobile device 2.
  • Augmentation information 16 is loaded and displayed in the image as shown in FIG. 5a.
  • this display of the augmentation information 16 is not according to the display in Fig. 3a, in particular the
  • Augmentation information 16 is positioned incorrectly relative to the real object. To optimize this positioning, a relative shift in the
  • Position information between the current image and the reference image are calculated. It can be seen in FIG. 5a that the real objects were taken from a different position than the real objects in FIG. 3a. Using an image comparison, a relative shift between the objects can be calculated. This relative displacement can be used to
  • Augmentation information 16 in the displayed image By shifting the augmentation information 16, a displayed image according to FIG. 5b is made possible in which the augmentation information 16 is displayed correctly relative to the real objects.
  • the calculation of the relative displacement can be done in the mobile device 2 or the server 4. If the calculation of a relative shift in the
  • Movement information of the mobile device 2 are detected. If the relative displacement is calculated, this relative displacement can be determined by the Time of the timestamp detected movement of the mobile device 2 are adjusted and an adjusted relative displacement can be determined. From this relative displacement, the augmentation information 16 can be displayed in the current image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Navigation (AREA)

Abstract

The invention relates to a method for determining augmentation information for an image, comprising detection of location information of a mobile device, loading of at least two reference information items, each comprising at least one reference image, onto the mobile device depending on the detected location information, detection of image information comprising at least one actual image by the mobile device, comparison of the actual image with the reference images, detection of a match between the actual image and one of the reference images, and, in the event that a match is detected, loading of augmentation information items associated at least with the loaded reference information items.

Description

Verfahren zur Bestimmung von Augmentierungsinformationen für ein Bild  Method for determining augmentation information for an image
Der Gegenstand betrifft ein Verfahren zur Bestimmung von The subject matter relates to a method for the determination of
Augmentierungsinformationen für ein Bild. Darüber hinaus betrifft der Gegenstand eine Vorrichtung mit einem Prozessor eingerichtet zur Durchführung des Verfahrens, ein Computerprogramm eingerichtet zur Ausführung des Verfahrens auf einem Prozessor, als auch ein Computerprogrammprodukt mit einem darauf gespeicherten Computerprogramm.  Augmentation information for an image. In addition, the subject matter relates to a device having a processor set up to carry out the method, a computer program configured to execute the method on a processor, and a computer program product with a computer program stored thereon.
Augmented Reality (AR) ermöglicht es, Bilder von realen Objekten mit Augmented Reality (AR) allows to capture images of real objects
Zusatzinformationen, welche in solche Bilder eingeblendet werden, anzureichern. Während einer AR Sitzung kann ein Nutzer beispielsweise mit seinem mobilen Gerät, beispielsweise einem Smartphone, ein virtuelles Objekt Additional information, which are displayed in such images, enrich. During an AR session, for example, a user can use his mobile device, such as a smartphone, to create a virtual object
(Augmentierungsinformationen) in einem von seinem mobilen Gerät erfassten und auf einem Display dargestellten Bild anzeigen. Das Bild kann dabei ein reales Objekt darstellen und die Augmentierungsinformation kann in dem Bild relativ zu diesem realen Objekt dargestellt werden.  Display (augmentation information) in an image captured by his mobile device and displayed on a display. The image can represent a real object and the augmentation information can be displayed in the image relative to this real object.
Während der AR Sitzung zur Erstellung von AR Daten kann zunächst ein Referenzbild erstellt werden. Dazu können ein Winkel der Aufnahme des realen Objekts, eine Entfernung zum realen Objekt und/oder eine absolute Position des mobilen Gerätes in der Fläche und/oder im Raum bestimmt werden. Dies können Referenzinformationen sein. Bewegt sich der Benutzer mit seinem mobilen Gerät während der gleichen AR Sitzung wieder in die Nähe des realen Objektes und richtet er seine Kamera auf das reale Objekt, so kann ausgehend von den zuvor erstellten Referenzinformationen das augmentierte Bild angezeigt werden, wobei hierbei abhängig von der absoluten Position des mobilen Gerätes, dem Aufnahmewinkel und/oder der Entfernung von dem realen Objekt die Augmentierungsinformation in dem Bild unterschiedlich dargestellt werden kann. Nachdem das mobile Gerät abgeschaltet wurde, sind aber die Referenzinformationen verloren und die Augmentierungsdaten nicht mehr dem realen Objekt zugeordnet. During the AR session for creating AR data, a reference image can first be created. For this purpose, an angle of the recording of the real object, a distance to the real object and / or an absolute position of the mobile device in the area and / or space can be determined. This can be reference information. If the user moves his mobile device close to the real object during the same AR session and directs his camera to the real object, the augmented image can be displayed based on the previously created reference information, depending on the absolute Position of the mobile device, the shooting angle and / or the distance from the real object, the augmentation information can be displayed differently in the image. After the mobile device has been switched off, however, the reference information is lost and the augmentation data is no longer associated with the real object.
Für den Masseneinsatz ist es notwendig, jedem mobilen Gerät einen gleichen Satz an Augmentierungsinformationen zukommen zu lassen. Darüber hinaus ist es für den Masseneinsatz notwendig, die exakte Position des Nutzers bzw. des mobilen Gerätes im Raum zu erfassen um somit die Augmentierungsinformationen in einem von einem mobilen Gerät erfassten Bild möglichst exakt darzustellen und insbesondere die Relation zwischen den Augmentierungsinformationen und dem Bild des realen Objektes korrekt darzustellen. For mass deployment, it is necessary to provide each mobile device with a same set of augmentation information. Moreover, it is necessary for the mass deployment to detect the exact position of the user or the mobile device in space so as to represent the augmentation information in an image captured by a mobile device as accurately as possible and in particular the relation between the augmentation information and the image of the real Display object correctly.
Dem Gegenstand lag somit die Aufgabe zugrunde, Augmentierungsinformationen in einer besonders einfachen Weise zur Verfügung zu stellen und die Bestimmung von Augmentierungsinformationen in einem mobilen Gerät zu beschleunigen. It is an object of the present invention to provide augmentation information in a particularly simple manner and to accelerate the determination of augmentation information in a mobile device.
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst. This object is achieved by a method according to claim 1.
Ein mobiles Gerät, welches beispielsweise ein Smartphone, ein Tablet-Computer, ein Laptop-Computer, Smartglasses oder dergleichen sein kann, soll mit Hilfe des gegenständlichen Verfahrens in die Lage versetzt werden, A mobile device, which may be, for example, a smartphone, a tablet computer, a laptop computer, smart glasses or the like, is to be enabled by means of the present method,
Augmentierungsinformationen in einem erfassten Bild möglichst exakt darzustellen. Hierzu ist es zunächst notwendig, den Ort des mobilen Gerätes zu kennen. Daher wird vorgeschlagen, dass beispielsweise mit Hilfe eines Positionierungssystems, beispielsweise GPS, GLONASS, GALILEO, dGPS oder dergleichen, Ortsinformationen des mobilen Gerätes erfasst werden. Das mobile Gerät verfügt über einen  Display augmentation information in a captured image as accurately as possible. For this it is first necessary to know the location of the mobile device. It is therefore proposed that location information of the mobile device be detected, for example with the aid of a positioning system, for example GPS, GLONASS, GALILEO, dGPS or the like. The mobile device has one
entsprechenden Sensor, um seinen Ort, insbesondere seine Koordinaten zu bestimmen. corresponding sensor to determine its location, in particular its coordinates.
Anschließend wird vorgeschlagen, dass abhängig von den erfassten It is then proposed that depending on the recorded
Ortsinformationen zumindest zwei Referenzinformationen geladen werden. Zur Durchführung von AR ist es notwendig, dass die Augmentierungsinformationen (Augmentierungsdaten) im Vorfeld der eigentlichen Augmentierung Location information is loaded at least two reference information. To perform AR, it is necessary that the augmentation information (augmentation data) in advance of the actual augmentation
zusammengestellt werden. Das bedeutet, dass in einer„Design"-Sitzung be compiled. That means in a "design" session
Augmentierungsdaten mit realen Daten verknüpft werden. Dabei werden Augmentation data can be linked to real data. It will be
Referenzbilder zusammen mit den Positionsinformationen der Referenzbilder als auch Augmentierungsinformationen der Referenzbilder erfasst und abgespeichert. Reference images are recorded and stored together with the position information of the reference images as well as augmentation information of the reference images.
Ein Referenzbild zusammen mit Positionsinformationen kann als Referenzinformation gespeichert werden. A reference image together with position information can be stored as reference information.
Abhängig von den durch das mobile Gerät erfassten Ortsinformationen, beispielsweise den Koordinaten des mobilen Gerätes, kann zunächst geprüft werden, ob Depending on the location information acquired by the mobile device, for example the coordinates of the mobile device, it is possible to first check whether
Augmentierungsinformationen für diesen Ort vorliegen. Ist dies der Fall, kann beispielsweise eine Anzahl an Referenzinformationen, welche zuvor erstellt wurden, für den entsprechenden Ort geladen werden. In den geladenen Referenzinformationen kann zumindest ein Referenzbild enthalten sein. Somit ist in dem mobilen Gerät abhängig von seinem aktuellen Ort ein Satz von Referenzbildern vorgeladen. Die geladenen Referenzbilder wurden zuvor in einer Augmentierungssitzung erstellt. Augmentation information for that location. If this is the case, for example, a number of reference information that has been previously created can be loaded for the corresponding location. At least one reference image may be included in the loaded reference information. Thus, in the mobile device, depending on its current location, a set of reference pictures is preloaded. The loaded reference images were previously created in an augmentation session.
Mit den geladenen Referenzinformationen ist es möglich, sehr schnell und mit geringem Rechenaufwand Augmentierungsdaten für aktuelle Bilder zu bestimmen.With the loaded reference information, it is possible to determine augmentation data for current images very quickly and with little computational effort.
Zur Augmentierung ist es notwendig, Bildinformationen umfassend zumindest ein aktuelles Bild durch das mobile Gerät zu erfassen. For augmentation, it is necessary to capture image information comprising at least one current image by the mobile device.
Anschließend ist es möglich, das aktuelle Bild mit den zuvor geladenen Then it is possible to view the current image with the previously loaded one
Referenzbildern zu vergleichen. Da die Referenzinformationen abhängig von den Ortsinformationen des mobilen Gerätes geladen wurden, liegt in dem mobilen Gerät nur eine begrenzte Anzahl an Referenzinformationen vor. Es ist nicht notwendig, alle möglichen Referenzinformationen in dem mobilen Gerät vorzuhalten, sondern nur diejenigen, die dem aktuellen Ort des mobilen Gerätes abhängig von den Ortsinformationen zuordenbar sind. Durch diesen begrenzten Satz an Referenzbildern ist der Vergleich des aktuellen Bilds mit den Referenzbildern gegenüber bekannten Verfahren erheblich beschleunigt. Compare reference pictures. Since the reference information has been loaded depending on the location information of the mobile device, there is only a limited amount of reference information in the mobile device. It is not necessary to keep all possible reference information in the mobile device, but only those which are dependent on the current location of the mobile device Location information can be assigned. This limited set of reference images significantly speeds up the comparison of the current image with the reference images over known methods.
Anders als bei einer lokalen Augmentierungssitzung wird gegenständlich Unlike a local augmentation session becomes objective
vorgeschlagen, dass die Referenzinformationen geladen werden und nicht erst in dem mobilen Gerät erstellt werden. Dazu können die Referenzinformationen in einem von dem mobilen Gerät entfernten Server hinterlegt sein. Nachdem die Ortsinformationen bekannt sind, kann das mobile Gerät die Referenzinformationen laden. suggested that the reference information be loaded and not first created in the mobile device. For this purpose, the reference information can be stored in a server remote from the mobile device. After the location information is known, the mobile device can load the reference information.
Es wird vorgeschlagen, dass auf dem mobilen Gerät eine Applikation abläuft, welche die Ortsinformationen erfasst und abhängig von den erfassten Ortsinformationen bei einem entfernten Server nach vorliegenden Referenzinformationen fragt. Liegen solche vor, können diese von dem mobilen Gerät durch die Applikation auf das mobile Gerät heruntergeladen werden, Anschließend dienen die geladenen It is proposed that an application run on the mobile device, which detects the location information and, depending on the detected location information at a remote server asks for existing reference information. If such exist, they can be downloaded from the mobile device through the application to the mobile device, then serve the loaded
Referenzinformationen dazu, aktuelle Bilder des mobilen Gerätes zu augmentieren. Dazu ist es nunmehr zunächst notwendig, das aktuelle Bild mit den geladenen Reference information to augment current images of the mobile device. For this purpose, it is now necessary first, the current image with the loaded
Referenzbildern zu vergleichen. Compare reference pictures.
Sobald eine Übereinstimmung zwischen dem aktuellen Bild und dem Referenzbild detektiert wurde, kann eine Augmentierung des Bildes beginnen. Der Vergleich des aktuellen Bildes mit den Referenzbildern kann ein Vergleich an Farbinformationen beispielsweise mittels eines Histogramms und/oder der Vergleich von Once a match has been detected between the current image and the reference image, augmentation of the image may begin. The comparison of the current image with the reference images can be a comparison to color information, for example by means of a histogram and / or the comparison of
Kanteninformationen, beispielsweise durch Kantendetektion enthalten. Der Vergleich der Bilder kann Ähnlichkeitsabbildungen enthalten, und beispielsweise vergrößern, verkleinern, kippen oder neigen des aktuellen Bildes beinhalten um anschließend einen Kantenvergleich mit dem Referenzbild durchzuführen. Edge information, for example, by edge detection included. The comparison of the images may include similarity maps, and include, for example, zooming in, zooming out, tilting or tilting the current image to subsequently perform an edge comparison with the reference image.
Ist ein Referenzbild zu einem aktuellen Bild ähnlich, können diejenigen If a reference image is similar to a current image, those can
Augmentierungsinformationen geladen werden, die den Referenzinformationen zugeordnet sind. Während einer„Design"-Session werden Referenzbilder und diesen Referenzbildern zugeordnete Augmentierungsinformationen erstellt. Ist ein Referenzbild mit einem aktuellen Bild übereinstimmend, kann die dem Referenzbild zugeordnete Augmentation information associated with the reference information. During a "Design" session, reference images and augmentation information associated with these reference images are created
Augmentierungsinformation auf das mobile Gerät geladen werden und gegebenenfalls durch das mobile Gerät in dem aktuellen Bild angezeigt werden. Augmentation information can be loaded on the mobile device and optionally displayed by the mobile device in the current image.
Eine Augmentierung von Bildinformationen erfolgt bevorzugt mittels grafischer Objekte. Daher wird vorgeschlagen, dass die Augmentierungsinformationen grafische Objekte enthalten, die in dem aktuellen Bild angezeigt werden. Dabei kann die Anzeige der Objekte semi-transparent oder opak in dem aktuellen Bild erfolgen. An augmentation of image information is preferably carried out by means of graphical objects. Therefore, it is suggested that the augmentation information include graphical objects displayed in the current image. The display of the objects can be semi-transparent or opaque in the current image.
Während der Erfassung der Referenzinformationen werden nicht nur Referenzbilder erfasst werden, sondern auch Positionsinformationen (Positionsdaten). Die During the acquisition of the reference information, not only reference images will be detected, but also position information (position data). The
Positionsdaten können in der gleichen Weise wie die Ortsinformationen erfasst werden. Auch ist es möglich, die Positionsdaten mit einer höheren Auflösung zu erfassen, in dem beispielsweise höher auflösende Positionierungsverfahren genutzt werden, während die Referenzinformationen erfasst werden. Es wird vorgeschlagen, dass in den Referenzinformationen Positionsdaten zu den jeweiligen Referenzbildern gespeichert sind. Die Positionsdaten können insbesondere absolute Positionsdaten des Referenzbildes, insbesondere Koordinaten sein. Die Positionsdaten entsprechen insbesondere den Ortsinformationen des Gerätes, mit dem die Referenzbilder erfasst wurden. Position data can be acquired in the same way as the location information. It is also possible to detect the position data with a higher resolution, for example, by using higher-resolution positioning methods while the reference information is being acquired. It is proposed that position data for the respective reference images are stored in the reference information. The position data can in particular be absolute position data of the reference image, in particular coordinates. The position data correspond in particular to the location information of the device with which the reference images were acquired.
Werden mehrere Referenzbilder nacheinander erfasst, so können auch relative Positionsdaten der Referenzbilder zueinander gespeichert werden, also If several reference images are recorded one after the other, relative position data of the reference images can also be stored relative to each other, ie
beispielsweise die relativen Abstände einzelner Referenzbilder zueinander. For example, the relative distances of individual reference images to each other.
Anhand der Positionsdaten ist es möglich festzustellen, ob Referenzinformationen zu Ortsinformationen des mobilen Gerätes passen oder nicht. Bei der Erstellung der Referenzinformationen können alle Positionsdaten aller Referenzbilder einer Sitzung gemeinsam erfasst werden und somit ein räumlicher Bereich festgelegt werden, in dem die Referenzbilder erfasst wurden. Sind die Ortsinformationen derart, dass diese anzeigen, dass das mobile Gerät innerhalb des von den Positionsdaten aufgespannten räumlichen Bereichs liegen, so kann daraus geschlossen werden, dass das mobile Gerät für die Referenzinformationen, die in der entsprechenden Sitzung erfasst, wurden geeignet ist bzw. diese Referenzinformationen laden kann. Beim Laden der Referenzinformationen kann ein Übermitteln der so bestimmten Referenzbilder erfolgen. Based on the position data, it is possible to determine whether or not reference information matches location information of the mobile device. When creating the reference information, all the position data of all reference images of a session collectively and thus define a spatial area in which the reference images were captured. If the location information is such that it indicates that the mobile device is within the spatial area spanned by the position data, it can be concluded that the mobile device has been suitable for the reference information that is acquired in the corresponding session Load reference information. When loading the reference information, a transmission of the reference images determined in this way can take place.
Auch ist es möglich, eine Orientierung des Geräts, z.B. Winkelinformationen insbesondere Kamerawinkel, eine optische Achse oder auch Aufnahmewinkel, der Kamera zu erfassen, mit denen das Referenzbild erfasst wurde. Somit kann in den Referenzinformationen auch ein Aufnahmewinkel gespeichert sein. An einer Position können Bilder mit unterschiedlichen Blickrichtungen erfasst werden, so dass die Position alleine nicht zwingend einen Aufschluss darüber ermöglicht, wie ein It is also possible to provide orientation of the device, e.g. Angle information in particular camera angle, an optical axis or shooting angle to capture the camera with which the reference image has been detected. Thus, a reference angle can also be stored in the reference information. At one position, images can be captured with different directions of view, so that the position alone does not necessarily provide an insight into how a
Referenzbild aussieht. Vielmehr sind die Winkelinformationen auch relevant, um das Referenzbild zu bestimmen. Reference image looks like. Rather, the angle information is also relevant to determine the reference image.
Während einer„Design"-Sitzung werden mehrere Referenzinformationen During a "design" session, multiple reference information will be provided
hintereinander erfasst. Diese in einer solchen Sitzung erfassten recorded consecutively. These captured in such a meeting
Referenzinformationen können als Kartensatz gespeichert werden. Ein Kartensatz kann eine Mehrzahl an Referenzinformationen enthalten. Zusätzlich zu den Reference information can be saved as a map set. A set of cards may contain a plurality of reference information. In addition to the
Referenzinformationen können jeweils Augmentierungsinformationen in dem Kartensatz gespeichert sein. Somit ist der Kartensatz ein Satz aus In each case, augmentation information may be stored in the map set for reference information. Thus, the set of cards is one sentence
Referenzinformationen und jeweiligen Augmentierungsinformationen. Mit Hilfe des Kartensatzes können somit verschiedenste Referenzbilder mit ihren entsprechenden Positionsinformationen und den dafür erstellten Augmentierungsinformationen gespeichert sein. Der Kartensatz kann in einem Server bereitgestellt werden und durch das mobile Gerät über ein Weitverkehrsnetz, ein Funknetz oder dergleichen geladen werden. Wie zuvor erläutert, wird zur Beschleunigung der Bearbeitung in dem mobilen Gerät zunächst nur die Referenzinformation geladen. Nach einer detektierten Reference information and respective augmentation information. With the help of the map set, a wide variety of reference images can be stored with their corresponding position information and the augmentation information created for this purpose. The card set may be provided in a server and loaded by the mobile device over a wide area network, a wireless network, or the like. As previously explained, in order to speed up the processing in the mobile device, only the reference information is initially loaded. After a detected
Übereinstimmung kann der Kartensatz geladen werden, indem zumindest das übereinstimmende Referenzbild enthalten ist. Aus dem geladenen Kartensatz kann dann die Augmentierungsinformation ermittelt werden, die zu dem aktuellen Bild gehört. According to the map set can be loaded by at least the matching reference image is included. The augmentation information belonging to the current image can then be determined from the loaded map set.
Zur Optimierung der Positionsbestimmung des mobilen Gerätes kann, nachdem eine Übereinstimmung zwischen einem Referenzbild und einem aktuellen Bild festgestellt wurde, die Position des mobilen Gerätes, die zuvor aus den Ortsinformationen gebildet wurde durch die Positionsdaten des übereinstimmenden Referenzbildes ergänzt oder ersetzt werden. Wie oben bereits erläutert, können die Positionsdaten mit einer höheren Auflösung gespeichert sein als die Ortsinformationen, die durch das mobile Gerät erfasst werden. Somit wird durch das übereinstimmende Bild mit dem Referenzbild die Positionsgenauigkeit der Bestimmung der Position des mobilen Gerätes optimiert. To optimize the position determination of the mobile device, after a match has been established between a reference image and a current image, the position of the mobile device, which was previously formed from the location information, can be supplemented or replaced by the position data of the matching reference image. As explained above, the position data may be stored at a higher resolution than the location information acquired by the mobile device. Thus, the positional accuracy of the determination of the position of the mobile device is optimized by the matching image with the reference image.
Mit einer hohen Wahrscheinlichkeit wurde das aktuelle Bild aus einem anderen Winkel aufgenommen als das Referenzbild. Werden nun die With a high probability, the current image was taken from a different angle than the reference image. Become the
Augmentierungsinformationen genauso in das aktuelle Bild eingeblendet, wie sie in dem Referenzbild angelegt wurden, kann es dazu kommen, dass die relative Position der Augmentierungsinformationen zu den realen Objekten in dem angezeigten aktuellen Bild nicht stimmt. Daher ist es notwendig, die Winkelinformationen des aktuellen Bildes relativ zu den Winkelinformationen des Referenzbilds zu kennen. Aus diesem Grunde kann eine Verschiebung der Winkelinformationen des aktuellen Bildes gegenüber den Winkelinformationen des Referenzwinkels bestimmt werden. Diese Berechnung kann aufwendig sein, so dass diese nicht nur in dem mobilen Gerät durchgeführt werden kann, sondern gemäß einem Ausführungsbeispiel auch vorgeschlagen wird, dass das aktuelle Bild an einen Server gesendet wird. In dem Server wird das aktuelle Bild mit dem dazu übereinstimmenden Referenzbild derart verglichen, dass eine Winkelverschiebung berechnet wird. Hierbei können Abbildungsfunktionen und Verschiebungsfunktionen an dem aktuellen Bild und/oder dem Referenzbild derart vorgenommen werden, dass ein Unterschied zwischen den Winkelinformationen des Referenzbildes und dem aktuellen Bild bestimmt werden kann. Dabei kann nicht nur eine Verschiebung des Aufnahmewinkels, sondern auch eine Verschiebung der Position zwischen dem übereinstimmenden Referenzbild und dem aktuellen Bild bestimmt werden. Augmenting information as shown in the current image, as they were created in the reference image, it may happen that the relative position of the augmentation information to the real objects in the displayed current image is not correct. Therefore, it is necessary to know the angle information of the current image relative to the angle information of the reference image. For this reason, a shift of the angle information of the current image against the angle information of the reference angle can be determined. This calculation can be complicated, so that it can not only be carried out in the mobile device, but according to one embodiment, it is also proposed that the current image is sent to a server. In the server, the current image is compared with the matching reference image such that an angular displacement is calculated. Here you can Imaging functions and shift functions on the current image and / or the reference image are made such that a difference between the angle information of the reference image and the current image can be determined. In this case, not only a shift of the recording angle, but also a shift of the position between the matching reference image and the current image can be determined.
Wurde die relative Verschiebung zwischen dem aktuellen Bild und dem Referenzbild in einem Server berechnet, so wird vorgeschlagen, dass die relative Verschiebung von einem Server empfangen wird. If the relative displacement between the current image and the reference image has been calculated in a server, it is suggested that the relative displacement be received from a server.
Mit Hilfe der relativen Verschiebung ist es möglich, die aus den Positionsdaten bestimmte Position des mobilen Gerätes weiter anzupassen. Da das Referenzbild an einer bestimmten Position erfasst wurde und offensichtlich eine Verschiebung zwischen dem Referenzbild und dem aktuellen Bild vorliegt, können die With the aid of the relative displacement, it is possible to further adapt the position of the mobile device determined from the position data. Since the reference image was captured at a certain position and there is obviously a shift between the reference image and the current image, the
Positionsdaten des Referenzbildes nicht exakt die Position des mobilen Gerätes sein. Daher wird eine weitere Anpassung der Position des mobilen Gerätes anhand der relativen Verschiebung durchgeführt. Position data of the reference image may not be exactly the position of the mobile device. Therefore, a further adjustment of the position of the mobile device based on the relative displacement is performed.
Neben der Optimierung der Positionsbestimmung ist es jedoch auch möglich, die Anzeige der Augmentierungsinformationen in dem aktuellen Bild zu optimieren. Dazu kann abhängig von der relativen Verschiebung die Anzeigeposition und/oder Größe der Augmentierungsinformationen in dem aktuellen Bild verändert werden. Durch diese Anpassung der Anzeige der Augmentierungsinformationen in dem aktuellen Bild abhängig von der relativen Verschiebung kann eine relative Positionierung der Augmentierungsinformationen zu dem realen Objekt in dem aktuellen Bild angepasst werden, so dass eine Übereinstimmung mit der Anordnung der In addition to the optimization of the position determination, however, it is also possible to optimize the display of the augmentation information in the current image. For this purpose, depending on the relative displacement, the display position and / or size of the augmentation information in the current image can be changed. By adapting the display of the augmentation information in the current image depending on the relative displacement, relative positioning of the augmentation information to the real object in the current image can be adjusted to match the arrangement of the image
Augmentierungsinformationen in dem Referenzbild vorliegt. Augmentation information is present in the reference image.
Zwischen dem Zeitpunkt, zu dem das aktuelle Bild erfasst wurde und dem Zeitpunkt zu dem die Verschiebungsinformationen empfangen werden, kann Zeit vergehen. Während dieser Zeit kann sich das mobile Gerät bewegen. Die Bewegung kann einerseits in einem Verdrehen oder Verschwenken des mobilen Gerätes liegen, so dass die Winkelinformationen sich verändern und/oder andererseits tatsächlich in einer Verschiebung der Koordinaten des mobilen Gerätes im Raum. Diese Bewegungen können durch entsprechende Beschleunigungssensoren und/oder Neigungssensoren in dem mobilen Gerät erfasst und aufgezeichnet werden. Werden die Time may elapse between the time the current image was acquired and the time the displacement information is received. During this time, the mobile device can move. On the one hand, the movement can be a twisting or pivoting of the mobile device, so that the angle information changes and / or, on the other hand, actually translates the coordinates of the mobile device in space. These movements can be detected and recorded by corresponding acceleration sensors and / or tilt sensors in the mobile device. Will the
Verschiebungsinformationen empfangen, können diese kombiniert mit den Receive shift information, these can be combined with the
zwischenzeitlich erfassten Bewegungsinformationen dazu genutzt werden, die Position des mobilen Gerätes anzupassen und/oder die Positionierung der in the meantime recorded movement information can be used to adapt the position of the mobile device and / or the positioning of the
Augmentierungsinformationen in dem aktuellen Bild anzupassen. Die Position des mobilen Gerätes wird gemäß einem Ausführungsbeispiel abhängig von Adjust augmentation information in the current image. The position of the mobile device according to an embodiment depends on
Bewegungsinformationen des mobilen Gerätes angepasst. Movement information of the mobile device adapted.
Um festzustellen, welche Bewegung das mobile Gerät zwischen dem Zeitpunkt des Erfassens des aktuellen Bildes und des Anpassens der Augmentierungsinformation oder der Position des mobilen Gerätes vergangen ist, wird vorgeschlagen, dass das aktuelle Bild zusammen mit einem Zeitstempel erfasst wird. Ausgehend von diesem Zeitstempel kann die Bewegungsinformation aufgezeichnet werden. Wird die relative Verschiebung empfangen, kann der Zeitpunkt des Empfangs mit dem Zeitstempel verglichen werden und die seit dem Zeitstempel aufgezeichnete In order to determine which movement the mobile device has passed between the time of the acquisition of the current image and the adaptation of the augmentation information or the position of the mobile device, it is proposed that the current image be detected together with a time stamp. Starting from this time stamp, the movement information can be recorded. When the relative displacement is received, the time of reception can be compared with the time stamp and that recorded since the time stamp
Bewegungsinformation genutzt werden, die relative Verschiebung anzupassen. Somit ist die relative Verschiebung gekennzeichnet einerseits durch die Position und die Winkelinformationen des mobilen Gerätes zum Zeitpunkt des Erfassens des aktuellen Bildes und andererseits von den Bewegungsinformationen seit diesem Zeitpunkt und dem Zeitpunkt des Anpassens der relativen Verschiebung. Motion information can be used to adjust the relative displacement. Thus, the relative displacement is characterized, on the one hand, by the position and angle information of the mobile device at the time of capturing the current image and, on the other hand, by the motion information since that time and the timing of adjusting the relative displacement.
Es wird auch vorgeschlagen, dass das aktuelle Bild aus einem Bewegtbild ermittelt wird. Aus einem sogenannten Videofeed können aktuelle Bilder ermittelt werden. It is also suggested that the current image be determined from a moving image. From a so-called video feed, current images can be determined.
Liegt ein Kartensatz vor, so ist es möglich, ausgehend von der bestimmten Position des mobilen Gerätes weitere Augmentierungsinformationen in dem aktuellen Bild anzuzeigen. Diese Anzeige erfolgt auf Basis der optimierten Position des mobilen Gerätes im Vergleich zu den Positionsinformationen der Referenzinformationen. Wird detektiert, dass das mobile Gerät an einer Position ist, zu dem Referenzinformationen vorliegen, können die entsprechenden Augmentierungsinformationen geladen und angezeigt werden. If there is a set of cards, then it is possible, starting from the specific position of the mobile device further augmentation information in the current image display. This display is based on the optimized position of the mobile device compared to the position information of the reference information. If it is detected that the mobile device is in a position for which reference information is present, the corresponding augmentation information can be loaded and displayed.
Nachfolgend wird der Gegenstand anhand einer Ausführungsbeispiele zeigenden Zeichnung näher erläutert. In der Zeichnung zeigen: The article will be explained in more detail with reference to drawings showing an exemplary embodiments. In the drawing show:
Fig. 1 einen schematischen Aufbau eines Systems zur Durchführung des Fig. 1 shows a schematic structure of a system for carrying out the
gegenständlichen Verfahrens;  objective procedure;
Fig. 2 das Erstellen eines Kartensatzes mit Referenzinformationen und Fig. 2, the creation of a set of cards with reference information and
Augmentierungsinformationen;  augmentation information;
Fig. 3a-e Referenzinformationen und Augmentierungsinformationen; Fig. 3a-e reference information and augmentation information;
Fig. 4a ein aktuelles Bild; Fig. 4a is a current picture;
Fig. 4b ein augmentiertes aktuelles Bild; Fig. 4b shows an augmented current picture;
Fig. 5a ein aktuelles Bild; Fig. 5a is a current picture;
Fig. 5b ein augmentiertes aktuelles Bild. Fig. 5b an augmented current image.
Fig. 1 zeigt ein mobiles Gerät 2, einen Server 4, in dem Server 4 gespeicherte 1 shows a mobile device 2, a server 4, stored in the server 4
Kartensätze 6a, 6b sowie ein Kommunikationsnetz 8. Das mobile Gerät 2 weist eine Kamera 10 sowie einen Bildschirm 12 auf. Die Kamera 10 hat einen Map sets 6a, 6b and a communication network 8. The mobile device 2 has a camera 10 and a screen 12. The camera 10 has one
Aufnah mewinkel 10a. Der Aufnahmewinkel 10a kann eine optische Achse sein, die sich aus der Lage des mobilen Geräts 2 im Raum ergibt. In dem mobilen Gerät 2 kann ein Sensor, beispielsweise ein Gyrosensor angeordnet sein, mit dem die Lage des mobilen Geräts 2 im Raum erkannt werden kann, sodass hieraus der Aufnahmewinkel 10a bestimmt werden kann. Shooting mewinkel 10a. The pickup angle 10a may be an optical axis resulting from the location of the mobile device 2 in space. In the mobile device 2, a sensor, for example a gyrosensor can be arranged, with which the position of the mobile device 2 can be detected in space, so that from the recording angle 10a can be determined.
Aktuelle Bilder werden von der Kamera 10 erfasst und auf dem Bildschirm 12 dargestellt. Die aktuellen Bilder der Kamera 10 können Einzelbilder oder Current images are captured by the camera 10 and displayed on the screen 12. The current images of the camera 10 can be frames or
Bewegtbilder sein. Be moving pictures.
In dem Server 4 sind verschiedene Kartensätze 6a, b gespeichert. Jeder Kartensatz 6a, b ist gebildet aus Referenzinformationen 14 und Augmentierungsinformationen 16. Für einen Kartensatz 6a, b ist es möglich, dass nur eine Referenzinformation 14 und eine Augmentierungsinformation 16 vorhanden ist oder auch eine Mehrzahl an Referenzinformationen 14 und Augmentierungsinformationen 16. In the server 4 different map sets 6a, b are stored. Each set of cards 6a, b is formed from reference information 14 and augmentation information 16. For a set of cards 6a, b, it is possible for only reference information 14 and augmentation information 16 to be present, or else a plurality of reference information 14 and augmentation information 16.
Die Kommunikation zwischen dem mobilen Gerät 2 und dem Server 4 erfolgt über das Kommunikationsnetz 8. Das Kommunikationsnetz 8 kann dabei Funkverbindungen und/oder drahtgebundene Verbindungen zur Verfügung stellen. Insbesondere ist das Kommunikationsnetz 8 zumindest teilweise durch das Internet gebildet. Auch können Mobilfunkstrecken in dem Kommunikationsnetz 8 vorhanden sein. The communication between the mobile device 2 and the server 4 takes place via the communication network 8. The communication network 8 can provide radio connections and / or wired connections. In particular, the communication network 8 is at least partially formed by the Internet. Also, mobile radio links may be present in the communication network 8.
Zur Erstellung eines Kartensatzes 6a, b wird ein mobiles Gerät 2 in einer„Design" Session durch einen Raum bewegt, wie es in der Fig. 2 dargestellt ist. Das mobile Gerät 2 wird dabei an verschiedene Positionen 18a-e bewegt und an den Positionen 18a, e werden zumindest Referenzbilder und Positionsdaten als Referenzinformationen erfasst. Zum Erfassen eines Kartensatzes 6a, b ist ein mobiles Gerät geeignet, welches von dem mobilen Gerät 2 verschieden ist, mit dem anschließend die To create a set of cards 6a, b, a mobile device 2 is moved in a "design" session through a room, as shown in Fig. 2. The mobile device 2 is thereby moved to different positions 18a-e and at the positions 18a, e, at least reference images and position data are detected as reference information For acquiring a set of maps 6a, b, a mobile device is used which is different from the mobile device 2, with which subsequently the
Augmentierungsinformationen angezeigt werden sollen. Augmentation information should be displayed.
Der Ersteller des Kartensatzes 6a, b bewegt sich beispielsweise zunächst zur Position 18a und erfasst ein Referenzbild durch eine Kamera. Zusammen mit dem Referenzbild wird die Position 18a des mobilen Gerätes 2 erfasst. Diese Positionserfassung kann mit Hilfe eines sehr genauen Positionsbestimmungsverfahrens, beispielweise eines Innenraumpositionsbestimmungsverfahrens der eines differenziellen GPS-Verfahrens erfolgen, so dass die Positionsdaten hochauflösend mit einer Genauigkeit von bis zu 20cm oder weniger die Positionen des mobilen Gerätes 2 zum Zeitpunkt der The creator of the set of cards 6a, b, for example, initially moves to position 18a and captures a reference image by a camera. Together with the reference image, the position 18a of the mobile device 2 is detected. This position detection can be done by means of a very accurate positioning method, for example a Indoor position determination method of a differential GPS method, so that the position data high resolution with an accuracy of up to 20cm or less, the positions of the mobile device 2 at the time of
Erfassung des Referenzbildes bestimmen. Determine capture of the reference image.
Neben den Positionsdaten und dem Referenzbild ist es zusätzlich möglich, einen Aufnahmewinkel 10a zu erfassen. Beim Erfassen des Aufnahmewinkels kann beispielsweise ein Azimutwinkel und ein Polarwinkel erfasst werden. Insbesondere der Azimutwinkel kann verwendet werden, um die Winkelpositionen verschiedener Referenzbilder zueinander zu bestimmen, wie nachfolgend beschrieben wird. Davon unberührt bleibt jedoch, dass der Aufnahmewinkel, insbesondere sowohl In addition to the position data and the reference image, it is additionally possible to detect a recording angle 10a. When detecting the recording angle, for example, an azimuth angle and a polar angle can be detected. In particular, the azimuth angle can be used to determine the angular positions of different reference images to each other, as described below. However, this does not affect the fact that the acceptance angle, in particular both
Azimutwinkel als auch Polarwinkel für die nachfolgend noch beschriebene Azimuth angle and polar angle for the below described
Optimierung der Augmentierungsinformationen, insbesondere für die Bestimmung der relativen Verschiebung, verwendet werden können. Optimization of the augmentation information, in particular for the determination of the relative displacement, can be used.
Zu dem Referenzbild an der Position 18a können Augmentierungsinformationen in dem mobilen Gerät 2, mit welchem das Referenzbild erstellt wurde oder in dem Server 4 oder in einem beliebigen anderen Rechner hinzugefügt werden. Die To the reference image at the position 18a, augmentation information may be added in the mobile device 2 with which the reference image has been created or in the server 4 or in any other computer. The
Augmentierungsinformationen können dabei insbesondere Bildinformationen sein, wobei diese halbtransparent oder opak in dem Referenzbild angezeigt werden können. In dem Server 4 werden die Referenzinformationen, also insbesondere das Referenzbild, die Positionsdaten sowie die Winkelinformationen gespeichert. In dem Server 4 werden die Augmentierungsinformationen. also insbesondere In this case, augmentation information may in particular be image information, which may be displayed semi-transparently or opaque in the reference image. In the server 4, the reference information, ie in particular the reference image, the position data and the angle information is stored. In the server 4, the augmentation information. in particular
Bildinformationen und die absolute Positionierung der Bildinformationen in dem Referenzbild gespeichert. Image information and the absolute positioning of the image information stored in the reference image.
Nachdem an der Position 18a die ersten Referenzinformationen erfasst wurden, kann der Ersteller eines Kartensatzes 6a, b sich zur Position 18b bewegen. An der Position 18b lassen sich erneut Referenzinformationen erfassen. Zusätzlich lassen sich beispielsweise relative Positionsdaten zwischen den Positionen 18a, 18b erfassen. Dies kann beispielsweise durch Auswertung durch Bewegungsinformationen von Bewegungssensoren in dem mobilen Gerät 2 erfolgen. Sukzessive werden die After the first reference information has been acquired at position 18a, the creator of a set of cards 6a, b can move to position 18b. At position 18b reference information can again be acquired. In addition, for example, relative position data between the positions 18a, 18b can be detected. This can be done, for example, by evaluation by means of movement information from Motion sensors in the mobile device 2 done. Successively, the
Positionen 18a-e erreicht und Referenzinformationen erfasst. Positions 18a-e reached and recorded reference information.
Die erfassten Winkelinformationen an den Positionen 18a-e können auch zueinander relativ sein, so dass an der Position 18a ein Azimutwinkel als Nullwinkel angenommen wird und die relativen Winkelveränderungen hierzu an den Positionen 18b-e erfasst oder bestimmt werden. The detected angle information at the positions 18a-e may also be relative to one another, so that at the position 18a an azimuth angle is assumed as the zero angle and the relative angular variations for this purpose are detected or determined at the positions 18b-e.
Nachdem die Referenzbilder erfasst wurden, können diese mit Augmentierungsdaten angereichert werden. After the reference images have been acquired, they can be enriched with augmentation data.
Abschließend werden die Referenzinformationen und die jeweils zugeordneten Augmentierungsinformationen in einem Kartensatz 6a gespeichert. Somit können verschiedenste Kartensätze 6a, 6b erstellt werden, die in dem Server 4 abgelegt werden. Diese Informationen können anschließend genutzt werden, um aktuelle Bilder von Nutzern mit Augmentierungsinformationen anzureichern. Finally, the reference information and the associated augmentation information are stored in a set of cards 6a. Thus, a variety of map sets 6a, 6b can be created, which are stored in the server 4. This information can then be used to enrich current images of users with augmentation information.
In den Fig. 3-5 sind in den Bildern reale Objekte mit durchgezogenen Linien gezeichnet und Objekte von Augmentierungsdaten als gestrichelte Linien gezeichnet. In FIGS. 3-5, real objects are drawn with solid lines in the images, and objects of augmentation data are drawn as dashed lines.
Die Fig. 3a-e zeigen den Kartensatz 6a. An der Position 18a ist beispielsweise ein Referenzbild gemäß der Fig. 3a erfasst worden. Zusätzlich zu dem Referenzbild gemäß der Fig. 3a ist eine Bildinformation in dem Referenzbild als FIGS. 3a-e show the card set 6a. At the position 18a, for example, a reference image according to FIG. 3a has been detected. In addition to the reference image according to FIG. 3 a, image information in the reference image is known as
Augmentierungsinformation ergänzt. An der Position 18b wurde das Referenzbild gemäß der Fig. 3b erfasst. Augmentierungsinformationen sind in diesem Referenzbild ergänzt. An der Position 18c wurde das Referenzbild gemäß der Fig. 3c erfasst. Augmentation information added. At the position 18b, the reference image according to FIG. 3b was detected. Augmentation information is supplemented in this reference image. At the position 18c, the reference image according to Fig. 3c was detected.
Augmentierungsinformationen sind in diesem Referenzbild ergänzt. An der Position 18d wurde das Referenzbild gemäß der Fig. 3d erfasst. Augmentierungsinformationen sind in diesem Bild ergänzt. An der Position 18e wurde das Referenzbild gemäß der Fig. 3e erfasst. Augmentierungsinformationen sind in diesem Referenzbild ergänzt. Zur Augmentierung von auf dem Display 12 angezeigten aktuellen Bildern des mobilen Gerätes 2 wird zunächst beispielsweise eine Applikation auf dem mobilen Gerät 2 gestartet. Augmentation information is supplemented in this reference image. At the position 18d, the reference image according to FIG. 3d was detected. Augmentation information is supplemented in this picture. At the position 18e, the reference image according to FIG. 3e has been detected. Augmentation information is supplemented in this reference image. For augmenting current images of the mobile device 2 displayed on the display 12, an application on the mobile device 2 is initially started, for example.
Diese Applikation wird zunächst die Ortsinformationen des mobilen Gerätes, beispielsweise mittels eines GPS-Empfängers ermitteln. Die Auflösung dieser This application will first determine the location information of the mobile device, for example by means of a GPS receiver. The resolution of this
Ortsinformationen kann geringer sein als die Auflösung der Positionsinformationen und beispielsweise eine Genauigkeit von in etwa 5m, 2m, lm oder 0,5m haben. Location information may be less than the resolution of the position information and, for example, have an accuracy of about 5m, 2m, 1m or 0.5m.
Nachdem die Ortsinformationen in dem mobilen Gerät 2 erfasst wurden, erfolgt eine Kommunikation zwischen dem mobilen Gerät 2 und dem Server 4, bei dem die Ortsinformationen ausgetauscht werden. After the location information has been acquired in the mobile device 2, a communication takes place between the mobile device 2 and the server 4, in which the location information is exchanged.
In dem Server 4 werden die Ortsinformationen genutzt, um diese mit den In the server 4, the location information is used to communicate with the
Positionsinformationen der verschiedenen Kartensätze 6a, b zu vergleichen. Wird festgestellt, dass eine Ortsinformation in einem Bereich liegt, der durch die To compare position information of the various map sets 6a, b. If it is determined that a location information is in an area that is determined by the
Positionsinformationen bestimmt ist, können die Referenzinformationen 14 des entsprechenden Kartensatzes 6a, b auf das mobile Gerät 2 übertragen werden. Position information is determined, the reference information 14 of the corresponding set of cards 6a, b are transmitted to the mobile device 2.
Ein Kartensatz 6a, b verfügt nur über eine begrenzte Anzahl an A set of cards 6a, b has only a limited number of
Referenzinformationen 14, so dass auch nur eine begrenzte Anzahl an Reference information 14, so that even a limited number of
Referenzbildern übertragen werden muss. Reference pictures must be transferred.
Durch die Kamera 10 des mobilen Gerätes 2 wird ein aktuelles Bild erfasst. Dieses aktuelle Bild kann beispielsweise ein Bild aus einem Livestream, also ein Bewegtbild sein. Das aktuelle Bild der Kamera 10 wird mit den geladenen Referenzbildern der Referenzinformationen 14 des übertragenen Kartensatzes 6a, b verglichen. By the camera 10 of the mobile device 2, a current image is detected. This current image can be, for example, an image from a live stream, ie a moving image. The current image of the camera 10 is compared with the loaded reference images of the reference information 14 of the transferred set of cards 6a, b.
Beispielsweise ist der Benutzer an der Position 18c und nimmt das aktuelle Bild wie in der Fig. 4a gezeigt ist auf. Durch den Vergleich des aktuellen Bilds gemäß der Fig. 4a mit dem Referenzbild gemäß der Fig. 3c und einer Ähnlichkeitsabbildung kann festgestellt werden, dass mit einer hohen Wahrscheinlichkeit in dem aktuellen Bild 4a das gleiche reale Objekt abgebildet ist, wie in dem Referenzbild 3c. Nur ist der Aufnahmewinkel offensichtlich ein anderer. For example, the user is at position 18c and takes the current image as shown in Fig. 4a. By comparing the current image according to FIG. 4 a with the reference image according to FIG. 3 c and a similarity map, it can be determined that with a high probability in the current image 4 a the same real object is imaged as in the reference image 3c. Only the shooting angle is obviously different.
In dem Moment, in dem eine Übereinstimmung zwischen dem Referenzbild 3c und dem aktuellen Bild 4a festgestellt wurde, werden zumindest die At the moment when a match between the reference image 3c and the current image 4a has been detected, at least the
Augmentierungsinformationen 16 passend zu dem entsprechenden Referenzbild geladen und wie in der Fig. 4a gezeigt in dem aktuellen Bild mit angezeigt. In der Fig. 4a ist jedoch zu erkennen, dass die Anzeige der Augmentierungsinformationen relativ zu dem realen Objekt anders ist, als dies in der Fig. 3c der Fall ist. Augmentation information 16 is loaded to match the corresponding reference image and as shown in Fig. 4a shown in the current image with. However, it can be seen in FIG. 4a that the display of the augmentation information relative to the real object is different than is the case in FIG. 3c.
Um die Anzeige der Augmentierungsinformationen 16 in Relation zum realen Objekt in dem aktuellen Bild 3c anzupassen, kann beispielsweise der Aufnahmewinkel 10a an den Server 4 übermittelt werden. Hieraus kann der Server 4 eine relative In order to adapt the display of the augmentation information 16 in relation to the real object in the current image 3c, for example, the recording angle 10a can be transmitted to the server 4. From this, the server 4, a relative
Verschiebung zwischen dem Aufnahmewinkel des Referenzbildes 3c und dem Displacement between the acceptance angle of the reference image 3c and the
Aufnahmewinkel des aktuellen Bildes 4a berechnen. Anhand dieser relativen Calculate the recording angle of the current image 4a. Based on this relative
Verschiebung kann in dem Server 4 eine Verschiebungsinformation berechnet werden, mit der ein Anpassen der Augmentierungsinformationen 16 erfolgen kann, so dass wie in Fig. 4b dargestellt die Augmentierungsinformationen 16 in dem auf dem Display 12 angezeigten Bild relativ zu dem realen Objekt korrekt dargestellt werden. Die Berechnung und/oder die Anpassung der Augmentierungsinformationen 16 an die relative Verschiebung hinsichtlich des Aufnahmewinkels kann in dem mobilen Gerät 2 erfolgen. Displacement can be calculated in the server 4, a displacement information with which the augmentation information 16 can be adjusted, so that as shown in Fig. 4b, the augmentation information 16 in the image displayed on the display 12 is displayed correctly relative to the real object. The calculation and / or the adaptation of the augmentation information 16 to the relative shift with regard to the acceptance angle can take place in the mobile device 2.
Bewegt sich der Benutzer nun, so können diese Bewegungsinformationen erfasst werden. Die Augmentierungsinformationen 16 werden entsprechend dieser If the user now moves, this movement information can be detected. The augmentation information 16 will be according to this
Bewegung angepasst. Movement adjusted.
In den Referenzinformationen sind Positionsdaten gespeichert, die höher aufgelöst sind als die Ortsinformationen. Wurde eine Übereinstimmung zwischen einem The reference information stores position data that is higher than the location information. Was a match between a
Referenzbild und einen aktuellen Bild gefunden, werden die Positionsdaten verwendet um die Position des mobilen Gerätes 2 genauer bestimmen zu können. Die Ortsinformationen werden durch die Positionsdaten verbessert. Reference image and a current image found, the position data used to more accurately determine the position of the mobile device 2. The location information is improved by the position data.
Bewegt sich der Benutzer nun weiter im Raum, so kann diese Bewegung anhand von Bewegungssensoren sensiert werden. Diese Bewegungsinformationen können genutzt werden, um die Ortsinformationen des mobilen Gerätes 2 weiter anzupassen. If the user now moves further in the room, then this movement can be sensed by means of motion sensors. This movement information can be used to further adapt the location information of the mobile device 2.
Wird während der Aufnahme beispielsweise ein aktuelles Bild gemäß der Fig. 5a aufgenommen, so ist es möglich, festzustellen dass das Referenzbild 3a hierzu passt. Sobald diese Übereinstimmung festgestellt wurde, können die If, for example, a current image according to FIG. 5 a is recorded during recording, then it is possible to determine that the reference image 3 a matches this. Once this match has been made, the
Augmentierungsinformationen 16 geladen und in dem Bild wie es in Fig. 5a gezeigt ist angezeigt werden. Diese Anzeige der Augmentierungsinformation 16 ist jedoch nicht entsprechend der Anzeige in der Fig. 3a, insbesondere sind die  Augmentation information 16 is loaded and displayed in the image as shown in FIG. 5a. However, this display of the augmentation information 16 is not according to the display in Fig. 3a, in particular the
Augmentierungsinformationen 16 relativ zu dem realen Objekt falsch positioniert. Um diese Positionierung zu optimieren, kann eine relative Verschiebung in den  Augmentation information 16 is positioned incorrectly relative to the real object. To optimize this positioning, a relative shift in the
Positionsinformationen zwischen dem aktuellen Bild und dem Referenzbild berechnet werden. In der Fig. 5a ist zu erkennen, dass die realen Objekte von einer anderen Position aufgenommen wurden, als die realen Objekte in der Fig. 3a. Anhand eines Bildvergleichs kann eine relative Verschiebung zwischen den Objekten berechnet werden. Diese relative Verschiebung kann dazu genutzt werden, die Position information between the current image and the reference image are calculated. It can be seen in FIG. 5a that the real objects were taken from a different position than the real objects in FIG. 3a. Using an image comparison, a relative shift between the objects can be calculated. This relative displacement can be used to
Augmentierungsinformation 16 in dem angezeigten Bild zu verschieben. Durch die Verschiebung der Augmentierungsinformationen 16 wird ein angezeigtes Bild gemäß der Fig. 5b ermöglicht, in dem die Augmentierungsinformationen 16 relativ zu den realen Objekten korrekt dargestellt werden. Augmentation information 16 in the displayed image. By shifting the augmentation information 16, a displayed image according to FIG. 5b is made possible in which the augmentation information 16 is displayed correctly relative to the real objects.
Die Berechnung der relativen Verschiebung kann in dem mobilen Gerät 2 oder dem Server 4 erfolgen. Erfolgt die Berechnung einer relativen Verschiebung in dem The calculation of the relative displacement can be done in the mobile device 2 or the server 4. If the calculation of a relative shift in the
Server 4, so ist es beispielsweise möglich, zusammen mit dem aktuellen Bild einen Zeitstempel zu erfassen. Ausgehend von diesem Zeitstempel können die Server 4, it is possible, for example, together with the current image to capture a timestamp. Based on this timestamp, the
Bewegungsinformationen des mobilen Gerätes 2 erfasst werden. Ist die relative Verschiebung berechnet, kann diese relative Verschiebung durch die seit dem Zeitpunkt des Zeitstempels erfasste Bewegung des mobilen Gerätes 2 angepasst werden und eine angepasste relative Verschiebung bestimmt werden. Ausgehend von dieser relativen Verschiebung können die Augmentierungsinformationen 16 in dem aktuellen Bild angezeigt werden. Movement information of the mobile device 2 are detected. If the relative displacement is calculated, this relative displacement can be determined by the Time of the timestamp detected movement of the mobile device 2 are adjusted and an adjusted relative displacement can be determined. From this relative displacement, the augmentation information 16 can be displayed in the current image.
Mit Hilfe des gezeigten Verfahrens ist es möglich, die Position des mobilen Gerätes genauer zu bestimmen. Ferner ist es möglich, die Anzeige von With the aid of the method shown, it is possible to more accurately determine the position of the mobile device. It is also possible to change the display of
Augmentierungsinformationen in einem aktuellen Bild zu optimieren. To optimize augmentation information in a current image.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
2 mobiles Gerät 2 mobile device
4 Server  4 servers
6a, b Kartensatz  6a, b card set
8 Kommunikationsnetz  8 communication network
10 Kamera  10 camera
10a optische Achse  10a optical axis
12 Display  12 display
14 Referenzinformationen  14 reference information
16 Augmentierungsinformationen  16 augmentation information
18a-e Position  18a-e position

Claims

P a t e n t a n s p r ü c h e Patent claims
1. Verfahren zur Bestimmung von Augmentierungsinformationen für ein Bild 1. Method for determining augmentation information for an image
umfassend:  full:
Erfassen von Ortsinformationen eines mobilen Gerätes,  Capture location information of a mobile device,
- Laden von zumindest zwei Referenzinformationen jeweils umfassend zumindest ein Referenzbild auf das mobile Gerät abhängig von den erfassten - Loading at least two reference information, each comprising at least one reference image to the mobile device depending on the detected
Ortsinformationen,  Location information
Erfassen von Bildinformationen umfassend zumindest ein aktuelles Bild durch das mobile Gerät,  Acquiring image information comprising at least one current image by the mobile device,
- Vergleichen des aktuellen Bilds mit den Referenzbildern, Comparing the current image with the reference images,
Detektieren einer Übereinstimmung zwischen dem aktuellen Bild und einem der Referenzbilder und  Detecting a match between the current image and one of the reference images and
bei einer detektierten Übereinstimmung Laden von  Loading detected at a detected match
Augmentierungsinformationen die zumindest den geladenen  Augmentation information at least the charged
Referenzinformationen zugeordnet sind.  Reference information is assigned.
2. Verfahren nach einem der vorangehenden Ansprüche, 2. Method according to one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass die Augmentierungsinformationen graphische Objekte enthalten, die in dem aktuellen Bild angezeigt werden.  the augmentation information includes graphic objects displayed in the current image.
3. Verfahren nach Anspruch 1 oder 2, 3. The method according to claim 1 or 2,
dadurch gekennzeichnet,  characterized,
dass in den Referenzinformationen Positionsdaten zu den jeweiligen  that in the reference information position data to the respective
Referenzbildern gespeichert sind, insbesondere dass absolute  Reference pictures are stored, in particular that absolute
Positionspositionsdaten der Referenzbilder und/oder relative  Positional position data of reference images and / or relative
Positionspositionsdaten der Referenzbilder zueinander gespeichert sind und/oder dass in den Referenzinformationen Aufnahmewinkel zu den jeweiligen Referenzbildes gespeichert sind. Position position data of the reference images are stored to each other and / or that in the reference information recording angles are stored to the respective reference image.
4. Verfahren nach einem der vorangehenden Ansprüche, 4. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass ein Kartensatz eine Mehrzahl an Referenzinformationen und  a set of cards has a plurality of reference information and
Augmentierungsinformationen aufweist und insbesondere dass ein Kartensatz in einem Server bereitgestellt wird.  Has augmentation information and in particular that a set of cards is provided in a server.
5. Verfahren nach einem der vorangehenden Ansprüche, 5. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass ein Kartensatz umfassend zumindest das übereinstimmende Referenzbild nach einer detektierten Übereinstimmung geladen wird.  in that a set of cards comprising at least the matching reference picture is loaded after a detected match.
6. Verfahren nach einem der vorangehenden Ansprüche, 6. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass bei einer detektierten Übereinstimmung die Position des mobilen Gerätes aus den Positionsdaten des übereinstimmenden Referenzbildes bestimmt wird.  in the case of a detected match, the position of the mobile device is determined from the position data of the matching reference image.
7. Verfahren nach einem der vorangehenden Ansprüche, 7. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass bei einer detektierten Übereinstimmung das aktuelle Bild an einen Server gesendet wird.  that at a detected match, the current image is sent to a server.
8. Verfahren nach einem der vorangehenden Ansprüche, 8. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass das aktuelle Bild mit dem übereinstimmenden Referenzbild derart verglichen wird, dass eine relative Verschiebung in Position und/oder  that the current image is compared with the matching reference image such that a relative shift in position and / or
Aufnahmewinkel zwischen dem übereinstimmenden Referenzbild und dem aktuellen Bild bestimmt wird. Acquisition angle between the matching reference image and the current image is determined.
9. Verfahren nach einem der vorangehenden Ansprüche, 9. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass die relative Verschiebung von einem Server empfangen wird.  that the relative displacement is received from a server.
10. Verfahren nach einem der vorangehenden Ansprüche, 10. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass abhängig von der relativen Verschiebung die zuvor aus den Positionsdaten bestimmte Position des mobilen Gerätes angepasst wird.  in that, depending on the relative displacement, the position of the mobile device previously determined from the position data is adapted.
11. Verfahren nach einem der vorangehenden Ansprüche, 11. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass die Augmentierungsinformationen abhängig von der relativen Verschiebung und/oder der angepassten Position des mobilen Gerätes in dem aktuellen Bild angezeigt werden.  the augmentation information is displayed in the current image depending on the relative displacement and / or position of the mobile device.
12. Verfahren nach einem der vorangehenden Ansprüche, 12. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass die Position des mobilen Gerätes abhängig von Bewegungsinformationen des mobilen Gerätes angepasst wird.  that the position of the mobile device is adjusted depending on movement information of the mobile device.
13. Verfahren nach einem der vorangehenden Ansprüche, 13. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass das aktuelle Bild zusammen mit einem Zeitstempel erfasst wird und dass die relative Verschiebung abhängig von dem Zeitstempel und  that the current image is captured along with a timestamp and that the relative displacement depends on the timestamp and
Bewegungsinformationen des mobilen Gerätes angepasst wird.  Movement information of the mobile device is adjusted.
14. Verfahren nach einem der vorangehenden Ansprüche, 14. The method according to any one of the preceding claims,
dadurch gekennzeichnet,  characterized,
dass das aktuelle Bild aus einem Bewegtbild ermittelt wird.  that the current image is determined from a moving image.
15. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, 15. The method according to any one of the preceding claims, characterized,
dass abhängig von der Position des mobilen Gerätes aus dem geladenen Kartensatz Augmentierungsinformationen in einem aktuellen Bild angezeigt werden. that augmentation information is displayed in a current image depending on the position of the mobile device from the loaded map set.
EP19714156.7A 2018-04-24 2019-03-25 Method for determining augmentation information for an image Pending EP3785229A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018109756.5A DE102018109756A1 (en) 2018-04-24 2018-04-24 Method for determining augmentation information for an image
PCT/EP2019/057369 WO2019206539A1 (en) 2018-04-24 2019-03-25 Method for determining augmentation information for an image

Publications (1)

Publication Number Publication Date
EP3785229A1 true EP3785229A1 (en) 2021-03-03

Family

ID=65955204

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19714156.7A Pending EP3785229A1 (en) 2018-04-24 2019-03-25 Method for determining augmentation information for an image

Country Status (3)

Country Link
EP (1) EP3785229A1 (en)
DE (1) DE102018109756A1 (en)
WO (1) WO2019206539A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922632B2 (en) * 2002-08-09 2005-07-26 Intersense, Inc. Tracking, auto-calibration, and map-building system
KR101329111B1 (en) * 2012-05-02 2013-11-14 한국과학기술연구원 System and method for indoor navigation
CN104508697A (en) * 2012-05-31 2015-04-08 英特尔公司 Method, server, and computer-readable recording medium for providing augmented reality service
KR102077305B1 (en) * 2013-05-09 2020-02-14 삼성전자 주식회사 Method and apparatus for providing contents including augmented reality information

Also Published As

Publication number Publication date
WO2019206539A1 (en) 2019-10-31
DE102018109756A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
DE102008034979B4 (en) Method and device for generating error-reduced high-resolution and contrast-enhanced images
DE102012112321B4 (en) Device for optically scanning and measuring an environment
DE102016224095A1 (en) Method for calibrating a camera and calibration system
EP2880853B1 (en) Apparatus and method for determining the distinct location of an image-recording camera
DE112016004079T5 (en) Sensor device, sensor system and information processing device
EP2649802A1 (en) Method and device for processing image information of two sensors suitable for capturing images, in a stereo-sensor system
DE202016007867U1 (en) Control the line of sight angle of an image processing platform
EP3347878A2 (en) Method and apparatus for superimposing a virtual image onto an image of a real scene, and mobile device
DE102018222169A1 (en) On-board visual determination of kinematic parameters of a rail vehicle
EP2381207A1 (en) 3D targeting and target designation from IR data
DE102016212650B4 (en) Method and device for generating located sensor data of a coordinate measuring machine
EP3867796A1 (en) Method and device for determining an area map
DE4416557A1 (en) Method and device for supporting the inertial navigation of a missile autonomously controlling a distant target
EP3711392B1 (en) Method and device for position determination
WO2019206539A1 (en) Method for determining augmentation information for an image
WO2017198441A1 (en) Method for setting a viewing direction in a representation of a virtual environment
WO2005025237A1 (en) Method for automatically calibrating a camera system
EP2940624B1 (en) Three-dimensional virtual model of an environment for applications for determining positions
EP3200154B1 (en) Method for determining a position of an object
DE102018208604A1 (en) Determining a recording behavior of a recording unit
DE112021003448T5 (en) INFORMATION PROCESSING ESTABLISHMENT, INFORMATION PROCESSING METHOD AND PROGRAM
DE102018102988A1 (en) Method and device for determining and monitoring the position and orientation of a cylindrical object
WO2007048674A1 (en) Sytem and method for camera-based tracking
EP3200149B1 (en) Method for detection of an object in a seeker image
DE102017120741A1 (en) Device, system and method for decoupling a VR system from infrastructure and localized hardware

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20201118

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: INPIXON

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: INPIXON

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230228

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: DESIGN REACTOR, INC.