EP4655559A1 - Vorrichtung und verfahren zur online-georeferenzierung von kameraaufnahmen von kartenmaterial mit mobilen endgeräten - Google Patents

Vorrichtung und verfahren zur online-georeferenzierung von kameraaufnahmen von kartenmaterial mit mobilen endgeräten

Info

Publication number
EP4655559A1
EP4655559A1 EP24700105.0A EP24700105A EP4655559A1 EP 4655559 A1 EP4655559 A1 EP 4655559A1 EP 24700105 A EP24700105 A EP 24700105A EP 4655559 A1 EP4655559 A1 EP 4655559A1
Authority
EP
European Patent Office
Prior art keywords
map
correspondences
recorded
map image
correspondence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24700105.0A
Other languages
English (en)
French (fr)
Inventor
Christoph Bodensteiner
Michael Arens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP4655559A1 publication Critical patent/EP4655559A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • the application relates to a device and a method for online georeferencing of camera recordings of map material using mobile devices.
  • maps on display boards or printed maps show additional information, e.g. hiking trails, specific locations and information, etc., which provide added value for the user. It would be desirable if such maps could be used on a mobile device.
  • Another possibility is to use path information as a source of correspondence.
  • the paths could be mapped directly onto one another.
  • this requires the robust extraction of the path on the photographed map, which in turn represents a very difficult image processing problem.
  • WO 2001/073690 A2 and US 7167187 B2 show a system and method for georeferencing digital raster maps by mapping specific points on the raster map to corresponding points on a georeferenced vector map or another georeferenced raster map.
  • a user is shown a raster map and a corresponding vector map simultaneously. The user then locates a common geographic point or feature on each map and marks each of them as a unique point pair.
  • the system calculates a georeferencing function based on the pixel coordinates of the points marked on the raster map and the corresponding geographic coordinates of the points on the vector map. Thereafter, the geographic coordinates of each point on the map can be easily calculated.
  • the georeferencing function is modified for increased accuracy.
  • US 7038681 B2 and US 2005/0073532 A1 show that after paper flood maps are scanned into a computer system, they are each displayed side by side with the relevant part of a stored vector map covering the geographical area covered by all maps.
  • corresponding points or pairs of points on each map are marked by a keyboard or a mouse.
  • the corresponding points may be, for example, roads, riverbeds, railway tracks, intersections, buildings, mountain peaks, etc., which are identifiable on each map displayed.
  • a stored algorithm calculates georeferencing functions that enable translation of the x and y coordinates of the raster map into the latitude and longitude coordinates of the vector map and vice versa. As more pairs of points are marked, the georeferencing functions are refined. Another algorithm removes apparently bad points from the georeferencing calculations, the points can be reused later if they appear to be not bad.
  • US 2006/0041375 A1 shows a system and method for automatically georeferencing digitized images that select and analyze image landmarks from different sources.
  • a composite alignment of raster images and geographic target vectors is automatically generated using metadata sources for use in geographic display and editing environments.
  • a cartographic alignment of raster images to geographic vector data sets is performed to position image data together with geographic vector data sets.
  • a meaningful Overlay of the datasets and improved comparison of vector data with the imagery based on the physical relationships between the vector data and the underlying image features is enabled.
  • users can query target vectors to view attributes of the associated landmarks and create a highly accurate parcel map to validate imagery information in areas where the data was collected under less than optimal conditions.
  • a device for georeferencing comprises a map image provision unit for providing a map image recorded by a camera. Furthermore, the device comprises a correspondence determination unit for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the recorded map image to a point of the reference map to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image to determine the correspondence.
  • the method comprises:
  • Determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image to determine the correspondence. Furthermore, a computer program with a program code for carrying out the method described above according to one embodiment is provided.
  • maps or a photo of the map are used with a mobile device by georeferencing the photo.
  • the location of the mobile device can be displayed live on the photo of the map.
  • georeferenced points are determined on the photo of the map image. This determination can be made, for example, using a GPS receiver in the terminal and manual interaction with the recorded map or using an automatic process for image registration of the photographed map image with an already georeferenced map. In one embodiment, the georeferencing of another map is transferred to the photo.
  • Some embodiments solve a difficult image registration problem, since the photo of the map image usually contains completely different content and different map styles than the reference maps.
  • modern learning-based methods are used that enable robust correspondence finding and thus implement this application on mobile devices.
  • embodiments include online use of photographed maps with mobile devices.
  • Fig. 1 shows a device for georeferencing according to a
  • Fig. 2 shows an example of a recorded hiking map with marked route information (left) and an already georeferenced map (right) of the relevant area which is used as a reference map.
  • Fig. 3 shows an example of found correspondences of a camera image with a reference map.
  • Fig. 4 shows an example of the automatic registration of the map image with a reference map.
  • Fig. 5 shows examples of automatic georeferencing (left) of a
  • Fig. 6 shows another example of found correspondences of a
  • Fig. 7 shows another example of found correspondences of a camera image with a reference map.
  • Fig. 8 shows another example of automatic georeferencing of a photographed map image with a reference map.
  • Fig. 1 shows a device for georeferencing according to an embodiment.
  • the device includes a map image providing unit 110 for providing a map image captured by a camera.
  • the device comprises a correspondence determination unit 120 for determining one or more correspondences between the recorded map image and a reference map by assigning a point of the reference map to a point of the recorded map image in order to determine a correspondence of the one or more correspondences, and/or by assigning an area of the reference map to an area of the recorded map image in order to determine the correspondence.
  • the correspondence determination unit 120 is designed to determine a position of the device in the recorded map depending on a localization of a position of the device in the reference map. And/or, wherein the correspondence determination unit 120 is designed to determine a position of the other device in the recorded map depending on a localization of a position of another device in the reference map.
  • the device can have a localization unit, for example, which can be designed to determine a position of the device in the reference map.
  • the correspondence determination unit 120 can be designed to determine the position of the device in the recorded map, for example, depending on the localization of the position of the device in the reference map.
  • the localization unit can be designed, for example, to determine the position of the device in the reference map by means of GPS.
  • the localization unit can be designed, for example, to determine the position of the device in the reference map by means of text recognition of one or more place names and/or one or more street names on the recorded map.
  • the localization unit can be designed, for example, to determine map material containing the one or more place names and/or the one or more street names depending on the one or more place names and/or one or more street names recognized by means of text recognition.
  • the device may be, for example, a mobile device.
  • the mobile device may, for example, have an Internet connection that is configured to receive the reference card.
  • the mobile device may be, for example, a cellular device.
  • the map image providing unit 110 may, for example, comprise the camera, which may, for example, be configured to photograph or otherwise record a map to obtain the recorded map image.
  • the correspondence determination unit 120 for determining the one or more correspondences between the captured map image and the reference map may be configured, for example, to use a learning-based method that has been trained on map images.
  • the correspondence determination unit 120 can be designed, for example, to subdivide the recorded map image into a plurality of regions of the recorded map image.
  • the correspondence determination unit 120 can be designed, for example, to carry out the one or more correspondences depending on the subdivision into the plurality of regions.
  • the correspondence determination unit 120 may, for example, be configured to determine, depending on the one or more correspondences, a transformation that maps the reference map or one or more regions of the reference map to the recorded map image or to one or more regions of the recorded map image.
  • the correspondence determination unit 120 can, for example, be designed to determine a plurality of correspondences between the recorded map image and one of two or more reference maps that comprise said reference map for determination as the one or more correspondences by assigning a point of one of the two or more reference maps to a point of the recorded map image for determining a correspondence of the plurality of correspondences, and/or by assigning an area of one of the two or more reference maps to an area of the recorded map image for determining the correspondence, wherein the plurality of correspondences comprise at least two correspondences that relate to at least two different ones of the two or more reference maps.
  • the correspondence determination unit 120 may, for example, be configured to determine a plurality of correspondences.
  • the correspondence determination unit 120 can, for example, be designed to determine the plurality of correspondences such that a first correspondence of the plurality of correspondences is determined by assigning a point of the reference map to a point of the recorded map image or by assigning an area of the reference map to an area of the recorded map image, and that a further correspondence of the plurality of correspondences is determined by assigning a point of a further reference map to a further point of the recorded map image or by assigning an area of the further reference map to a further area of the recorded map image.
  • the correspondence determination unit 120 can be designed, for example, to determine a plurality of correspondences whose number corresponds to at least one threshold value.
  • the correspondence determination unit 120 can be designed, for example, if the reference map is not sufficient to determine the number of correspondences specified by the threshold value, to use another reference map to determine one or more additional correspondences by determining an additional correspondence of the one or more additional correspondences, by assigning a point of the other reference map to a point of the recorded map image, or by assigning an area of the other reference map to an area of the recorded map image.
  • the correspondence determination unit 120 may, for example, be configured to determine an order in which a plurality of reference cards are used to determine the plurality of correspondences depending on similarities that depend on the plurality of reference cards and the captured card.
  • the correspondence determination unit 120 may, for example, be configured to determine the order in which a plurality of reference maps are used to determine the plurality of correspondences depending on a similarity function of map styles, which was found on the basis of already registered maps and a number of found, correct correspondences by means of a metric learning approach.
  • the plurality of reference cards may comprise, for example, at least one of the following types of cards:
  • Maps which were obtained based on a conditional GAN network from already registered reference and query maps.
  • the device may, for example, comprise a user interface, wherein, when the device is in a manual mode, the User interface can, for example, enable user input by which a user can specify a location of the device in the captured map image.
  • the device can be designed, for example, to determine its current location by means of GPS and to display it to a user.
  • the user interface may enable user input at various locations where the device is located, e.g., by which a user may specify a location of the device at the various locations in the captured map image.
  • Embodiments are based on a robust and sufficient determination of 2D/2D correspondences in order to achieve a transformation of a pixel coordinate system into a geocoordinate system.
  • an algorithm for automatically georeferencing a photo of a map image may, for example, comprise a multi-stage process that may, for example, be implemented using two separate procedures.
  • the procedures are mutually optional, using an automatic procedure and using a manual fallback mode:
  • only one of the two processes is implemented, either the automatic process or the manual process.
  • An (automatic) process without manual interaction can be realized, for example, as follows: First, an initial rough localization is established. This can be done, for example, using a GPS position of the mobile device; and/or text recognition of place names on the map shown is carried out and a search is carried out for corresponding map material for automatic image registration. For example, the map material found can be used as the reference map.
  • maps of the area are used or generated as reference maps for image registration (see Fig. 2 to Fig. 5).
  • the maps can be used, for example, using a cascading approach. If a map does not find enough correspondences (the determination can be made, for example, using a statistically determined threshold value), an alternative map is used for registration.
  • the order of the maps can, for example, result from a similarity function of map styles, which was found using a metric learning approach based on maps already registered and the number of correct correspondences found.
  • the possible reference maps that can be selected here can include, for example, maps with elevation profiles, as well as already georeferenced hiking and road maps and/or maps that were obtained on the basis of a conditional GAN (Generative Adversarial Networks) from already registered reference and query maps.
  • GAN Geneative Adversarial Networks
  • correspondences are determined between the geo-registered reference maps and the recorded map image.
  • the correspondences can be determined, for example, using a learning-based method that was trained on corresponding map images.
  • the images can be divided into cells, for example, in order to limit the storage requirements on mobile devices (see Fig. 3, Fig. 6 and Fig. 7).
  • a 2D transformation is determined based on the 2D/2D correspondences found in 3.2c.
  • This transformation can, for example, have 4 degrees of freedom, e.g. translation (x,y), rotation and scaling, in the case of perspective rectification. Homography in the absence of perspective rectification can be realized, for example.
  • a parametric transformation field can be realized, for example, if geometric distortions are to be compensated.
  • a robust inlier method e.g. RANSAC
  • the geometrically consistent correspondences can be selected and accumulated (see Fig. 4), which enables both a robust registration of strongly different map styles as well as high-dimensional transformation definitions (e.g. transformation fields) are possible (see Fig. 4 and Fig. 8).
  • a process with manual interaction (e.g. as a fallback mode - if automatic georeferencing via image registration cannot be performed) can be implemented as follows:
  • the captured image of the map is perspectively corrected (parallel lines run parallel in the image; e.g. achievable by detecting the edges of the image
  • Position 1 is determined with a built-in GPS receiver and
  • the user In the captured image of the map, the user annotates the current location of position 1 .
  • This localization and annotation of one or more positions takes place at at least one or optionally one or more additional positions (i.e. the determination of the position with the built-in GPS receiver and the annotation of the current location by the user). From this, for example, a compensating transformation (for example using least squares optimization) can be calculated, on the basis of which the geo-registration can take place.
  • a compensating transformation for example using least squares optimization
  • Embodiments provide robust 2D/2D correspondence finding of widely differing map styles for determining georeferencing across reference maps.
  • a learning-based method can be trained on a large number of corresponding map images.
  • the training data is available in large quantities thanks to the large number of map providers and can be used on a global scale without great effort to train a highly robust matcher for this application.
  • the maps offered are usually georeferenced, supervised learning can be used in one embodiment.
  • so-called dense correspondence networks e.g. based on a vision transformer in combination with a cost volume
  • feature-based Methods including learning-based methods, e.g. sparse feature matching.
  • the method can work on a dense cost volume, for example, which is traversed recursively and analyzed for geometric consistency.
  • the geometric consistency can be analyzed in an aggregation phase, for example, and recursively cumulated, enriched and evaluated with consistency values.
  • Fig. 2 shows an example of a recorded hiking map with marked route information (left) and an already georeferenced map (right) of the relevant area which is used as a reference map.
  • the reference map shows strong differences in appearance, which must be compensated by means of the robust registration process.
  • Fig. 3 shows an example of correspondences found between a camera image and a reference map.
  • Fig. 3 shows all correspondences found without geometric filtering. The robustness of the learned method is clearly superior to conventional methods. In this example, no geometric filtering of the correspondences was carried out.
  • Fig. 4 shows an example of the automatic registration of the map image with a reference map.
  • the figure shows overlays of the recorded map with an already georeferenced map of the same area (left with edge overlay, right with alternating checkerboard overlay).
  • Fig. 5 shows examples of automatic georeferencing (left) of a camera image of a map and the map section (right). In order to be able to use the photographed map (left) and the map section (right) with a navigation application on a mobile device, this image is georeferenced.
  • Fig. 6 shows an example of found correspondences of a camera image with a reference map.
  • Fig. 6 shows all found correspondences without geometric filtering.
  • Fig. 7 shows an example of correspondences found between a camera image and a reference map.
  • Fig. 7 shows all correspondences found after geometric filtering.
  • Fig. 8 shows an example of automatic georeferencing of a photographed map image with a reference map.
  • the figure shows an overlay of the recorded map with an already georeferenced map of the same area.
  • the robust correspondence finding allows very different card styles to be registered with each other. This enables the application to function automatically and robustly on mobile devices.
  • imaging errors e.g. strongly differing map contents (additional symbols and deviating temporal contents in the maps) and geometric deformations (e.g. waves in books, etc.) can be compensated.
  • Some embodiments implement an automatic or manual procedure based on control points.
  • Embodiments can be used, for example, in the context of mobile devices.
  • a mobile solution is provided to be able to use maps or photos of maps directly with a mobile device.
  • Some embodiments can be implemented as an app.
  • such an app can be integrated into another app, e.g. in the area of navigation for pedestrians/hiking.
  • images taken can, for example, be stored and used for one or more various applications and services.
  • aspects described in connection with a device it is to be understood that these aspects also represent a description of the corresponding method, so that a block or a component of a device can also be referred to as a corresponding method step or as a feature of a method step.
  • aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
  • Some or all of the method steps may be performed by a hardware apparatus (or using a hardware apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the key method steps may be performed by such an apparatus.
  • embodiments of the invention may be implemented in hardware or in software, or at least partially in hardware or at least partially in software.
  • the implementation may be carried out using a digital storage medium, for example a floppy disk, a DVD, a BluRay disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, a hard disk or another magnetic or optical storage device on which electronically readable control signals are stored that can interact or do interact with a programmable computer system in such a way that the respective method is carried out. Therefore, the digital storage medium may be computer readable.
  • Some embodiments according to the invention thus comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is carried out.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product is run on a computer.
  • the program code can, for example, also be stored on a machine-readable medium.
  • Embodiment of the method according to the invention thus a computer program which has a program code for carrying out one of the methods described herein when the computer program runs on a computer.
  • a further embodiment of the methods according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for carrying out one of the methods described herein is recorded.
  • the data carrier or the digital storage medium or the computer-readable medium is typically tangible and/or non-transitory.
  • a further embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents the computer program for carrying out one of the methods described herein.
  • the data stream or the sequence of signals can be configured, for example, to be transferred via a data communication connection, for example via the Internet.
  • a further embodiment comprises a processing device, for example a computer or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.
  • a processing device for example a computer or a programmable logic device, which is configured or adapted to carry out one of the methods described herein.
  • a further embodiment comprises a computer on which the computer program for carrying out one of the methods described herein is installed.
  • a further embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a recipient.
  • the transmission can be carried out electronically or optically, for example.
  • the recipient can be, for example, a computer, a mobile device, a storage device or a similar device.
  • the device or system can, for example, comprise a file server for transmitting the computer program to the recipient.
  • a programmable logic device e.g., a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform any of the described methods.
  • the methods in some embodiments are carried out by any hardware device. This can be a universally applicable hardware such as a computer processor (CPU) or hardware specific to the method, such as an ASIC.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Eine Vorrichtung zur Georeferenzierung gemäß einer Ausführungsform wird bereitgestellt. Die Vorrichtung umfasst eine Kartenabbildungs-Bereitstellungseinheit (110) zur Bereitstellung einer von einer Kamera aufgenommenen Kartenabbildung. Des Weiteren umfasst die Vorrichtung eine Korrespondenz-Bestimmungseinheit (120) zur Bestimmung von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird.

Description

Vorrichtung und Verfahren zur Online-Georeferenzierung von Kameraaufnahmen von Kartenmaterial mit mobilen Endgeräten
Beschreibung
Die Anmeldung betrifft eine Vorrichtung und ein Verfahren zur Online-Georeferenzierung von Kameraaufnahmen von Kartenmaterial mit mobilen Endgeräten.
Oftmals zeigen Karten auf Schautafeln oder ausgedruckte Karten zusätzliche Informationen, z.B. Wanderwege, spezifische Orte und Informationen, etc., welche für den Nutzer einen Mehrwert aufweisen. Wünschenswert wäre es, wenn derartige Karten auf einem mobilen Endgerät nutzbar wären.
Generell können auf mobilen Endgeräten meist nur bereits georeferenzierte Karten verwendet werden. Die offline Georeferenzierung von analogen Karten oder anderweitigen Kartenmaterial ist hierbei mit mehreren Verfahren möglich, welche meist auf der Bestimmung von Passpunkten und eine daraus abgeleitete Transformation erfolgen.
So gibt es viele Arten der Registrierung von 2D-Kartenabbildungen. Hierbei können sowohl merkmalsbasierte, z.B. SIFT (scale invariant feature transform; deutsch: skalierungsinvariante Merkmalstransformation) , SURF (speeded up robust features; deutsch: beschleunigte, robuste Merkmale) als auch intensitätsbasierte Verfahren zum Einsatz kommen. Diese Verfahren haben aber jedoch den Nachteil der fehlenden Robustheit (merkmalsbasierte Verfahren) als auch einen geringen Konvergenzradius und das Bestehen von lokalen Minima (intensitätsbasierte Verfahren wie beispielsweise Mutual-Information)
Eine weitere Möglichkeit besteht in der Nutzung von Weginformationen als Quelle der Korrespondenz. Hierbei könnten mit Hilfe eines graphbasierten Ansatzes direkt die Wege aufeinander abgebildet werden. Dies setzt jedoch die robuste Extraktion des Weges auf der abfotografierten Karte voraus, was wiederum ein sehr schwieriges Bildverarbeitungsproblem darstellt.
Im Kontext der Georeferenzierung von Kartenmaterial ist unterschiedlicher Stand der Technik bekannt. WO 2001/073690 A2 und US 7167187 B2 zeigen ein System und ein Verfahren zum Georeferenzieren digitaler Rasterkarten, indem spezifische Punkte auf der Rasterkarte entsprechenden Punkten auf einer georeferenzierten Vektorkarte oder einer anderen georeferenzierten Rasterkarte zugeordnet werden. Beispielsweise werden einem Benutzer gleichzeitig eine Rasterkarte und eine entsprechende Vektorkarte angezeigt. Der Benutzer lokalisiert dann einen gemeinsamen geografischen Punkt oder ein Merkmal auf jeder Karte und markiert jeden von ihnen als ein einzigartiges Punktpaar. Wenn der Benutzer mindestens zwei Punktpaare markiert hat, berechnet das System dann eine Georeferenzierungsfunktion, basierend auf den Pixelkoordinaten der auf der Rasterkarte markierten Punkte und den entsprechenden geographischen Koordinaten der Punkte auf der Vektorkarte. Danach können die geographischen Koordinaten jedes Punktes auf der Karte leicht berechnet werden. In einem Beispiel ist vorgesehen, dass, wenn mehr Punktpaare identifiziert werden, die Georeferenzierungsfunktion für eine erhöhte Genauigkeit modifiziert wird.
US 7038681 B2 und US 2005/0073532 A1 zeigen, dass, nachdem Hochwasserkarten in Papierform in ein Computersystem eingescannt wurden, sie jeweils Seite an Seite mit dem relevanten Teil einer gespeicherten Vektorkarte angezeigt werden, die das geografische Gebiet abdeckt, das von allen Karten abgedeckt wird. Während der Anzeige werden entsprechende Punkte oder Punktpaare auf jeder Karte durch eine Tastatur oder eine Maus markiert. Die entsprechenden Punkte können z.B. Straßen, Flussbetten, Eisenbahnschienen, Kreuzungen, Gebäude, Berggipfel usw. sein, die auf jeder angezeigten Karte identifizierbar sind. Wenn zwei Punktpaare markiert werden, berechnet ein gespeicherter Algorithmus Georeferenzierungsfunktionen, die eine Übersetzung der x- und y-Koordinaten der Rasterkarte in die Breiten- und Längen-Koordinaten der Vektorkarte und umgekehrt ermöglichen. Wenn mehr Punktpaare markiert werden, werden die Georeferenzierungsfunktionen verfeinert. Ein anderer Algorithmus entfernt scheinbar schlechte Punkte aus den Georeferenzierungsberechnungen, die Punkte können später wieder verwendet werden, wenn es scheint, dass sie nicht schlecht sind.
US 2006/0041375 A1 zeigt ein System und Verfahren zum automatischen Georeferenzieren digitalisierter Bilder, die Bildmarkierungspunkte aus unterschiedlichen Quellen wählen und analysieren. Eine zusammengesetzte Ausrichtung von Rasterbildern und geografischen Zielvektoren wird automatisch unter Verwendung von Metadatenquellen zur Verwendung in geografischen Anzeige- und Bearbeitungsumgebungen generiert. Eine kartographische Ausrichtung von Rasterbildern an geographischen Vektordatensätzen wird durchgeführt, um Bilddaten mit geographischen Vektordatensätzen zusammen zu positionieren. Eine sinnvolle Überlagerung der Datensätze und einen verbesserten Vergleich von Vektordaten mit den Bildern basierend auf den physikalischen Beziehungen zwischen den Vektordaten und den zugrunde liegenden Bildmerkmalen wird ermöglicht. Durch die Integration von Metadaten zu Orientierungspunkten können Benutzer Zielvektoren abfragen, um Attribute der zugehörigen Orientierungspunkte anzuzeigen, und eine hochgenaue Flurstückkarte erstellen, um Bildinformationen in Gebieten zu validieren, in denen die Daten unter nicht optimalen Bedingungen erfasst wurden.
Wünschenswert wäre es, wenn verbesserte Konzepte bereitgestellt würden, die eine Verwendung von gedruckten Karten auf mobilen Endgeräten ermöglichen würden.
Eine Vorrichtung nach Anspruch 1 , ein Verfahren nach Anspruch 24 und ein Computerprogramm nach Anspruch 25 werden bereitgestellt.
Eine Vorrichtung zur Georeferenzierung gemäß einer Ausführungsform wird bereitgestellt. Die Vorrichtung umfasst eine Kartenabbildungs-Bereitstellungseinheit zur Bereitstellung einer von einer Kamera aufgenommenen Kartenabbildung. Des Weiteren umfasst die Vorrichtung eine Korrespondenz-Bestimmungseinheit zur Bestimmung von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird.
Ferner wird ein Verfahren zur Georeferenzierung gemäß einer Ausführungsform bereitgestellt. Das Verfahren umfasst:
Bereitstellen einer von einer Kamera aufgenommenen Kartenabbildung.
Bestimmen von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird. Des Weiteren wird ein Computerprogramm mit einem Programmcode zur Durchführung des oben beschriebenen Verfahrens gemäß einer Ausführungsform bereitgestellt.
Gemäß einer Ausführungsform werden Karten bzw. ein Foto der Karte mit einem mobilen Endgerät genutzt, indem eine Georeferenzierung des Fotos stattfindet. So kann in einer Ausführungsform beispielsweise der Standort des mobilen Endgeräts live auf dem Foto der Karte angezeigt werden.
Gemäß einer Ausführungsform werden beispielsweise, um diese Georeferenzierung zu erreichen, auf dem Foto der Kartenabbildung georeferenzierte Punkte bestimmt. Diese Bestimmung kann z.B. sowohl mit Hilfe eines GPS-Empfängers im Endgerät und manueller Interaktion mit der aufgenommenen Karte oder mit Hilfe eines automatischen Verfahrens zur Bildregistrierung der abfotografierten Kartenabbildung mit einer bereits georeferenzierten Karte erfolgen. Hierbei wird in einer Ausführungsform die Georeferenzierung einer anderen Karte auf das Foto übertragen.
Manche Ausführungsformen lösen ein schwieriges Bildregistrierungsproblem, da auf dem Foto der Kartenabbildung in der Regel ganz andere Inhalte und andere Kartenstile als bei den Referenzkarten vorherrschend sind. In einer Ausführungsform werden moderne lernbasierte Verfahren eingesetzt, die eine robuste Korrespondenzfindung ermöglichen und somit diese Anwendung auf mobilen Endgeräten realisieren.
In Ausführungsformen erfolgt z.B. insbesondere eine Online-Nutzung von abfotografierten Karten mit mobilen Endgeräten.
Nachfolgend werden bevorzugte Ausführungsformen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
In den Zeichnungen ist dargestellt:
Fig. 1 zeigt eine Vorrichtung zur Georeferenzierung gemäß einer
Ausführungsform.
Fig. 2 zeigt ein Beispiel für eine aufgenommene Wanderkarte mit eingezeichnetem Weginformationen (links) und einer bereits georeferenzierten Karte (rechts) des relevanten Gebiets welches als Referenzkarte herangezogen wird. Fig. 3 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte.
Fig. 4 zeigt ein Beispiel für die automatische Registrierung des Kartenbildes mit einer Referenz-Karte.
Fig. 5 zeigt Beispiele für eine automatische Georeferenzierung (links) eines
Kamerabildes einer Karte und den Kartenausschnitt (rechts).
Fig. 6 zeigt ein weiteres Beispiel für gefundene Korrespondenzen eines
Kamerabildes mit einer Referenzkarte.
Fig. 7 zeigt noch ein weiteres Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte.
Fig. 8 zeigt ein weiteres Beispiel für eine automatische Georeferenzierung eines abfotografierten Kartenbildes mit einer Referenz-Karte.
Fig. 1 zeigt eine Vorrichtung zur Georeferenzierung gemäß einer Ausführungsform.
Die Vorrichtung umfasst eine Kartenabbildungs-Bereitstellungseinheit 110 zur Bereitstellung einer von einer Kamera aufgenommenen Kartenabbildung.
Des Weiteren umfasst die Vorrichtung eine Korrespondenz-Bestimmungseinheit 120 zur Bestimmung von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird.
Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 ausgebildet ist, abhängig von einer Lokalisierung einer Position der Vorrichtung in der Referenzkarte eine Position der Vorrichtung in der aufgenommenen Karte zu bestimmen. Und/oder, wobei die Korrespondenz-Bestimmungseinheit 120 ausgebildet ist, abhängig von einer Lokalisierung einer Position eines anderen Geräts in der Referenzkarte eine Position des anderen Geräts in der aufgenommenen Karte zu bestimmen. In einer Ausführungsform kann die Vorrichtung z.B. eine Lokalisierungseinheit aufweisen, die z.B. ausgebildet sein kann, eine Position der Vorrichtung in der Referenzkarte zu bestimmen. Dabei kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, abhängig von der Lokalisierung der Position der Vorrichtung in der Referenzkarte die Position der Vorrichtung in der aufgenommenen Karte zu bestimmen.
Gemäß einer Ausführungsform kann die Lokalisierungseinheit z.B. ausgebildet sein, die Position der Vorrichtung in der Referenzkarte mittels GPS zu bestimmen.
In einer Ausführungsform kann die Lokalisierungseinheit z.B. ausgebildet sein, die Position der Vorrichtung in der Referenzkarte mittels Texterkennung von ein oder mehrere Ortsnamen und/oder ein oder mehrere Straßennahmen auf der aufgenommenen Karte zu bestimmen.
Gemäß einer Ausführungsform kann die Lokalisierungseinheit z.B. ausgebildet sein, abhängig von den mittels Texterkennung erkannten ein oder mehreren Ortsnamen und/oder ein oder mehreren Straßennamen Karten material zu bestimmen, das die ein oder mehreren Ortsnamen und/oder die ein oder mehreren Straßennamen enthält.
In einer Ausführungsform kann es sich bei der Vorrichtung z.B. um ein mobiles Gerät handeln.
Gemäß einer Ausführungsform kann das mobile Gerät z.B. einen Internet-Anschluss aufweisen, der ausgebildet ist, die Referenzkarte zu empfangen.
In einer Ausführungsform kann es sich bei dem mobilen Gerät z.B. um ein Mobilfunkgerät handeln.
Gemäß einer Ausführungsform kann die Kartenabbildungs-Bereitstellungseinheit 110 z.B. die Kamera umfassen, die z.B. ausgebildet sein kann, eine Karte zu fotografieren oder anderweitig aufzunehmen, um die um aufgenommene Kartenabbildung zu erhalten.
In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 zur Bestimmung der ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und der Referenzkarte z.B. ausgebildet sein, ein lernbasiertes Verfahren einzusetzen, welches auf Kartenabbildungen trainiert wurde. Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, für die aufgenommene Kartenabbildung eine Unterteilung in eine Mehrzahl von Bereichen der aufgenommenen Kartenabbildung vorzunehmen. Dabei kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, die ein oder mehreren Korrespondenzen abhängig von der Unterteilung in die Mehrzahl von Bereichen vorzunehmen.
In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, abhängig von den ein oder mehreren Korrespondenzen eine Transformation zu bestimmen, die die Referenzkarte oder ein oder mehrere Bereiche der Referenzkarte auf die aufgenommene Kartenabbildung oder auf ein oder mehrere Bereiche der aufgenommenen Kartenabbildung abbildet.
Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, zur Bestimmung als die ein oder mehreren Korrespondenzen eine Mehrzahl von Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer von zwei oder mehr Referenzkarten zu bestimmen, die die besagte Referenzkarte umfassen, indem zur Bestimmung einer Korrespondenz der Mehrzahl von Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt einer der zwei oder mehr Referenzkarten zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich einer der zwei oder mehr Referenzkarten zugeordnet wird, wobei die Mehrzahl von Korrespondenzen wenigstens zwei Korrespondenzen umfassen, die sich auf wenigstens zwei verschiedene der zwei oder mehr Referenzkarten beziehen.
In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, eine Mehrzahl von Korrespondenzen zu bestimmen.
Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, die Mehrzahl von Korrespondenzen derart zu bestimmen, dass eine erste Korrespondenz der Mehrzahl von Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugewiesen wird, und dass eine weitere Korrespondenz der Mehrzahl von Korrespondenzen bestimmt wird, indem einem weiteren Punkt der aufgenommenen Kartenabbildung ein Punkt einer weiteren Referenzkarte zugewiesen wird oder indem einem weiteren Bereich der aufgenommenen Kartenabbildung ein Bereich der weiteren Referenzkarte zugewiesen wird. In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, eine Mehrzahl von Korrespondenzen zu bestimmen deren Anzahl mindestens einem Schwellwert entspricht. Dabei kann die Korrespondenz- Bestimmungseinheit 120 z.B. ausgebildet sein, wenn die Referenzkarte nicht ausreicht, um die Anzahl der Korrespondenzen zu bestimmen, die durch den Schwellwert vorgegeben sind, eine andere Referenzkarte zur Bestimmung von ein oder mehreren zusätzlichen Korrespondenzen zu verwenden, indem eine zusätzliche Korrespondenz der ein oder mehreren zusätzlichen Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der anderen Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der anderen Referenzkarte zugewiesen wird.
Gemäß einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, eine Reihenfolge, in der eine Mehrzahl von Referenzkarten zur Bestimmung der Mehrzahl von Korrespondenzen verwendet werden, abhängig von Ähnlichkeiten zu bestimmen, die von der Mehrzahl der Referenzkarten und der aufgenommenen Karte abhängen.
In einer Ausführungsform kann die Korrespondenz-Bestimmungseinheit 120 z.B. ausgebildet sein, die Reihenfolge, in der eine Mehrzahl von Referenzkarten zur Bestimmung der Mehrzahl von Korrespondenzen verwendet werden, abhängig von einer Ähnlichkeitsfunktion von Kartenstilen zu bestimmen, welche auf Basis von bereits registrierten Karten und einer Anzahl von gefundenen, korrekten Korrespondenzen mittels eines Metrik Learning Ansatzes gefunden wurde.
Gemäß einer Ausführungsform kann die Mehrzahl von Referenzkarten z.B. zumindest eine der folgenden Arten von Karten umfassen:
Karten mit Höhenprofilen,
- bereits georeferenzierte Wander- oder Straßenkarten,
Karten welche auf Basis eines konditionellen GAN-Netzwerks aus bereits registrierten Referenz- und Anfragekarten gewonnen wurden.
In einer Ausführungsform kann die Vorrichtung z.B. eine Nutzerschnittstelle aufweisen, wobei, wenn sich die Vorrichtung in einem manuellen Modus befindet, die Nutzerschnittstelle z.B. eine Nutzereingabe ermöglichen kann, durch die ein Nutzer einen Standort der Vorrichtung in der aufgenommenen Kartenabbildung angeben kann.
Gemäß einer Ausführungsform kann die Vorrichtung z.B. ausgebildet sein, ihren aktuellen Standort mittels GPS zu bestimmen und einem Nutzer anzuzeigen.
In einer Ausführungsform kann, wenn sich die Vorrichtung in einem manuellen Modus befindet, die Nutzerschnittstelle an verschiedenen Positionen, an denen sich die Vorrichtung befindet, z.B. eine Nutzereingabe ermöglichten durch die ein Nutzer einen Standort der Vorrichtung an den verschiedenen Positionen in der aufgenommenen Kartenabbildung angeben kann.
Nachfolgend werden spezielle Ausführungsformen der Erfindung beschrieben.
Ausführungsformen basieren auf einer robusten und ausreichenden Bestimmung von 2D/2D Korrespondenzen, um damit eine Transformation eines Pixelkoordinatensystems in ein Geokoordinatensystem zu erreichen.
Gemäß Ausführungsformen kann ein Algorithmus für eine automatische Georeferenzierung eines Fotos einer Kartenabbildung (z.B. Wanderkarte auf einer Tafel) z.B. einen mehrstufigen Prozess umfassen, der z.B. mittels zwei separaten Abläufen realisiert werden kann. Die Abläufe sind hierbei wechselseitig optional, mittels eins automatischen Verfahren und mittels eines manuellen Rückfall-Modus:
In manchen Ausführungsformen ist nur einer der beiden Abläufe realisiert, entweder das automatische Verfahren oder das manuelle Verfahren.
Andere Ausführungsformen stellen beide Verfahren bereit, also sowohl das automatische Verfahren und das manuelle Verfahren. In besonderen Ausführungsformen sind die Abläufe hierbei wechselseitig optional: Das automatischen Verfahren wird dabei bereitgestellt und zudem ein manueller Rückfall-Modus.
Nachfolgend wird zunächst das Verfahren für die automatische Georeferenzierung beschrieben:
Ein (automatischer) Ablauf ohne manuelle Interaktion kann beispielsweise wie folgt realisiert werden: Zunächst erfolgt ein Herstellen einer initialen Groblokalisierung. Dies kann beispielsweise über eine GPS Position des mobilen Endgeräts erfolgen; und/oder es erfolgt eine Texterkennung von Ortsnamen auf der abgebildeten Karte und eine Suche nach entsprechendem Kartenmaterial zur automatischen Bildregistrierung. Beispielsweise kann das aufgefundene Kartenmaterial als die Referenzkarte verwendet werden.
Basierend auf der initialen Groblokalisierung werden Karten vom Gebiet als Referenzkarte zur Bildregistrierung genutzt, bzw. erzeugt (siehe die Fig. 2 bis Fig. 5). Die Nutzung der Karten kann hierbei z.B. mittels eines kaskadierenden Ansatzes erfolgen. Falls mit einer Karte nicht ausreichend (die Bestimmung kann z.B. durch einen statistisch ermittelten Schwellwert erfolgen) viele Korrespondenzen gefunden werden - wird eine alternative Karte zur Registrierung herangezogen. Die Reihenfolge der Karten kann sich z.B. aus einer Ähnlichkeitsfunktion von Kartenstilen ergeben, welche auf Basis von bereits registrierten Karten und der Anzahl der der gefundenen, korrekten Korrespondenzen mittels eines Metrik Learning Ansatzes gefunden wurde. Die möglichen Referenzkarten, welche hierbei zur Auswahl kommen können, können dabei beispielsweise Karten mit Höhenprofilen, sowie bereits georeferenzierte Wander- und Straßenkarten und/oder Karten welche auf Basis eines konditionellen GANs (Generative Adversarial Networks; deutsch: erzeugende gegnerische Netzwerke) aus bereits registrierten Referenz- und Anfragekarten gewonnen wurden, umfassen.
Dann erfolgt eine Bestimmung von (z.B. 2D/2D) Korrespondenzen zwischen den georegistrierten Referenzkarten und der aufgenommenen Kartenabbildung. Die Bestimmung der Korrespondenzen kann z.B. mittels eines lernbasierten Verfahrens welches auf korrespondierenden Kartenabbildungen trainiert wurde, erfolgen. Die Bilder können hierbei z.B. in Zellen unterteilt werden, um den Speicherbedarf auf mobilen Endgeräten zu beschränken (siehe Fig. 3, Fig. 6 und Fig. 7).
Schließlich erfolgt eine Bestimmung einer 2D-Transformation auf Basis der in 3.2c. gefundenen 2D/2D Korrespondenzen. Diese Transformation kann beispielsweise, z.B. im Fall einer perspektivischen Entzerrung, 4-Freiheitsgrade aufweisen, z.B. Translation (x,y), Rotation und Skalierung, im Fall einer perspektivischer Entzerrung. Homographie bei fehlender perspektivischer Entzerrung kann z.B. realisiert werden. Ein parametrisches Transformationsfeld kann z.B. realisiert sein, falls geometrische Verzeichnungen ausgeglichen werden sollen. Mit Hilfe eines robusten Inlierverfahrens (z.B. RANSAC) können hierbei z.B. die geometrisch konsistenten Korrespondenzen selektiert und akkumuliert werden (siehe Fig. 4) was sowohl eine robuste Registrierung von stark abweichenden Kartenstilen als auch hochdimensionale Transformationsbestimmungen (z.B. Transformationsfelder) ermöglicht (siehe Fig. 4 und Fig. 8).
Nun wird das manuelle Verfahren zur Georeferenzierung beschrieben:
Ein Ablauf mit manueller Interaktion (z.B. als Rückfall-Modus - falls keine automatische Georeferenzierung über eine Bildregistrierung erfolgen kann) kann beispielsweise wie folgt realisiert werden:
Das aufgenommene Bild der Karte wird perspektivisch entzerrt (parallele Linien verlaufen, z.B. parallel im Bild; beispielsweise erreichbar durch die Detektion der Ränder des Bildes
Position 1 wird mit einem eingebauten GPS Empfänger bestimmt und
In dem aufgenommenen Bild der Karte annotiert der Nutzer den aktuellen Standort von Position 1 .
An mindestens einer oder optional ein oder mehreren weiteren Positionen findet diese Lokalisierung und Annotation von ein oder mehreren Positionen statt (also die Bestimmung der Position mit dem eingebauten GPS-Empfänger und das Annotieren des aktuellen Standorts durch den Nutzer). Daraus kann z.B. eine ausgleichende Transformation (beispielsweise mittels Least-Squares-Optimierung) errechnet werden, auf Basis derer die Georegistrierung stattfinden kann.
Ausführungsformen stellen eine robuste 2D/2D Korrespondenzfindung von stark unterschiedlichen Kartenstilen für die Bestimmung der Georeferenzierung über Referenzkarten bereit.
Hierzu kann beispielsweise ein lernbasiertes Verfahrens auf einer Vielzahl von korrespondierenden Kartenabbildungen trainiert werden. Die Trainingsdaten sind hierbei durch die Vielzahl von Kartenanbietern in großer Menge vorhanden und können im globalen Maßstab ohne größeren Aufwand genutzt werden, um einen hochrobusten Matcher für diese Anwendung zu trainieren. Da die angebotenen Karten meist jeweils georeferenziert sind, kann in einer Ausführungsform z.B. überwachtes Lernen eingesetzt werden. Beispielsweise kommen als Architekturen sog. dichte Korrespondenznetzwerke (z.B. auf Vision Transformer Basis in Kombination mit einem Kostenvolumen) zum Einsatz, welche eine vielfach höhere Korrespondenzleistung als merkmalsbasierte Verfahren (inklusive lernbasierte Verfahren, z.B. sparse feature matching; deutsch: dünn besetzte Merkmalsübereinstimmung) aufweisen.
In Ausführungsformen kann das Verfahren hierbei z.B. auf einem dichten Kostenvolumen arbeiten, welches z.B. rekursiv traversiert und auf geometrische Konsistenz analysiert wird. Die geometrische Konsistenz kann hierbei z.B. in einer Aggregationsphase analysiert und entsprechend mit Konsistenzwerten rekursiv kumuliert, angereichert und ausgewertet werden.
Nachfolgend werden beispielhafte Anwendungsszenarien von Ausführungsformen unter Bezugnahme auf die Fig. 2 bis Fig. 8 beschrieben.
Fig. 2 zeigt ein Beispiel für eine aufgenommene Wanderkarte mit eingezeichnetem Weginformationen (links) und einer bereits georeferenzierten Karte (rechts) des relevanten Gebiets welches als Referenzkarte herangezogen wird. Die Referenzkarte weist, wie zu erwarten, starke Differenzen im Erscheinungsbild auf, welche mittels des robusten Registrierungsverfahrens kompensiert werden müssen.
Fig. 3 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. So zeigt Fig. 3 hierbei alle gefundenen Korrespondenzen ohne geometrische Filterung. Hierbei ist die Robustheit des gelernten Verfahrens zu eindeutig herkömmlichen Verfahren überlegen. Hierbei wurde in diesem Beispiel noch keine geometrische Filterung der Korrespondenzen vorgenommen.
Fig. 4 zeigt ein Beispiel für die automatische Registrierung des Kartenbildes mit einer Referenz- Karte. Die Abbildung zeigt hierbei Überlagerungen der aufgenommenen Karte mit einer bereits georeferenzierten Karte des gleichen Gebiets (links mit Kantenüberlagerung, rechts mit wechselseitiger Schachbrettüberlagerung.
Fig. 5 zeigt Beispiele für eine automatische Georeferenzierung (links) eines Kamerabildes einer Karte und den Kartenausschnitt (rechts). Um die abfotografierte Karte (links) und den Kartenausschnitt (rechts) mit einer Navigationsanwendung auf einem mobilen Endgerät verwenden zu können, wird diese Abbildung georeferenziert.
Fig. 6 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. So zeigt Fig. 6 hierbei alle gefundenen Korrespondenzen ohne geometrische Filterung. Fig. 7 zeigt ein Beispiel für gefundene Korrespondenzen eines Kamerabildes mit einer Referenzkarte. So zeigt Fig. 7 hierbei alle gefundenen Korrespondenzen nach einer geometrischen Filterung.
Fig. 8 zeigt ein Beispiel für eine automatische Georeferenzierung eines abfotografierten Kartenbildes mit einer Referenz- Karte. Die Abbildung zeigt hierbei eine Überlagerung der aufgenommenen Karte mit einer bereits georeferenzierten Karte des gleichen Gebiets.
In Ausführungsformen können durch die robuste Korrespondenzfindung können sehr stark abweichende Kartenstile aufeinander registriert werden. Dies ermöglicht ein automatisches, robustes Funktionieren der Anwendung auf mobilen Endgeräten.
Gemäß Ausführunsformen können bei ausreichend vielen Korrespondenzen Abbildungsfehler, z.B. stark differierende Karteninhalte (Zusatzsymbole und abweichende zeitliche Inhalte in den Karten) und geometrische Verformungen (z.B. Wellen in Bücher etc.) ausgeglichen werden.
Manche Ausführungsformen realisieren eine automatische oder händische Prozedur auf Basis von Passpunkten.
Ausführungsformen können beispielsweise im Rahmen von mobilen Endgeräten eingesetzt werden. So wird in Ausführungsformen wird eine mobile Lösung bereitgestellt, um Karten, bzw. Fotos von Karten direkt mit einem mobilen Endgerät nutzen zu können.
Weitere Ausführungsformen können bei der Digitalisierung und Georeferenzierung von analogen Kartenabbildungen eingesetzt werden.
Manche Ausführungsformen können als App realisiert werden. Eine derartige App kann in speziellen Ausführungsformen in eine andere App z.B. im Bereich Navigation für Fußgänger/Wandern integriert werden.
In manchen, speziellen Ausführungsformen können gemachte Bilder beispielsweise gespeichert und für ein oder mehrere diverse Anwendungen und Dienste genutzt werden.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware- Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder einer elektronischen Schaltung durchgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software oder zumindest teilweise in Hardware oder zumindest teilweise in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer BluRay Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinen-lesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Der Datenträger oder das digitale Speichermedium oder das computerlesbare Medium sind typischerweise greifbar und/oder nicht flüchtig.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei- Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor Zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen
Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.

Claims

Patentansprüche
1 . Vorrichtung zur Georeferenzierung, umfassend: eine Kartenabbildungs-Bereitstellungseinheit (110) zur Bereitstellung einer von einer Kamera aufgenommenen Kartenabbildung, eine Korrespondenz-Bestimmungseinheit (120) zur Bestimmung von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird.
2. Vorrichtung nach Anspruch 1 , wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, abhängig von einer Lokalisierung einer Position der Vorrichtung in der Referenzkarte eine Position der Vorrichtung in der aufgenommenen Karte zu bestimmen, und/oder wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, abhängig von einer Lokalisierung einer Position eines anderen Geräts in der Referenzkarte eine Position des anderen Geräts in der aufgenommenen Karte zu bestimmen.
3. Vorrichtung nach Anspruch 2, wobei die Vorrichtung eine Lokalisierungseinheit aufweist, die ausgebildet ist, eine Position der Vorrichtung in der Referenzkarte zu bestimmen, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, abhängig von der Lokalisierung der Position der Vorrichtung in der Referenzkarte die Position der Vorrichtung in der aufgenommenen Karte zu bestimmen.
4. Vorrichtung nach Anspruch 3, wobei die Lokalisierungseinheit ausgebildet ist, die Position der Vorrichtung in der Referenzkarte mittels GPS zu bestimmen.
5. Vorrichtung nach Anspruch 3 oder 4, wobei die Lokalisierungseinheit ausgebildet ist, die Position der Vorrichtung in der Referenzkarte mittels Texterkennung von ein oder mehrere Ortsnamen und/oder ein oder mehrere Straßennahmen auf der aufgenommenen Karte zu bestimmen.
6. Vorrichtung nach Anspruch 5, wobei die Lokalisierungseinheit ausgebildet ist, abhängig von den mittels Texterkennung erkannten ein oder mehreren Ortsnamen und/oder ein oder mehreren Straßennamen Kartenmaterial zu bestimmen, das die ein oder mehreren Ortsnamen und/oder die ein oder mehreren Straßennamen enthält.
7. Vorrichtung nach einem der vorherigen Ansprüche, wobei es sich bei der Vorrichtung um ein mobiles Gerät handelt.
8. Vorrichtung nach Anspruch 7, wobei das mobile Gerät einen Internet-Anschluss aufweist, der ausgebildet ist, die Referenzkarte zu empfangen.
9. Vorrichtung nach Anspruch 7 oder 8, wobei es sich bei dem mobilen Gerät um ein Mobilfunkgerät handelt.
10. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Kartenabbildungs-Bereitstellungseinheit (110) die Kamera umfasst, die ausgebildet ist, eine Karte zu fotografieren oder anderweitig aufzunehmen, um die um aufgenommene Kartenabbildung zu erhalten.
11 . Vorrichtung nach einem der vorherigen Ansprüche, wobei die Korrespondenz-Bestimmungseinheit (120) zur Bestimmung der ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und der Referenzkarte ausgebildet ist, ein lernbasiertes Verfahren einzusetzen, welches auf Kartenabbildungen trainiert wurde.
12. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, für die aufgenommene Kartenabbildung eine Unterteilung in eine Mehrzahl von Bereichen der aufgenommenen Kartenabbildung vorzunehmen, und wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, die ein oder mehreren Korrespondenzen abhängig von der Unterteilung in die Mehrzahl von Bereichen vorzunehmen.
13. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, abhängig von den ein oder mehreren Korrespondenzen eine Transformation zu bestimmen, die die Referenzkarte oder ein oder mehrere Bereiche der Referenzkarte auf die aufgenommene Kartenabbildung oder auf ein oder mehrere Bereiche der aufgenommenen Kartenabbildung abbildet.
14. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, zur Bestimmung als die ein oder mehreren Korrespondenzen eine Mehrzahl von Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer von zwei oder mehr Referenzkarten zu bestimmen, die die besagte Referenzkarte umfassen, indem zur Bestimmung einer Korrespondenz der Mehrzahl von Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt einer der zwei oder mehr Referenzkarten zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich einer der zwei oder mehr Referenzkarten zugeordnet wird, wobei die Mehrzahl von Korrespondenzen wenigstens zwei Korrespondenzen umfassen, die sich auf wenigstens zwei verschiedene der zwei oder mehr Referenzkarten beziehen.
15. Vorrichtung nach einem der vorherigen Ansprüche, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, eine Mehrzahl von Korrespondenzen zu bestimmen.
16. Vorrichtung nach Anspruch 15, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, die Mehrzahl von Korrespondenzen derart zu bestimmen, dass eine erste Korrespondenz der Mehrzahl von Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugewiesen wird, und dass eine weitere Korrespondenz der Mehrzahl von Korrespondenzen bestimmt wird, indem einem weiteren Punkt der aufgenommenen Kartenabbildung ein Punkt einer weiteren Referenzkarte zugewiesen wird oder indem einem weiteren Bereich der aufgenommenen Kartenabbildung ein Bereich der weiteren Referenzkarte zugewiesen wird.
17. Vorrichtung nach Anspruch 15 oder 16, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, eine Mehrzahl von Korrespondenzen zu bestimmen deren Anzahl mindestens einem Schwellwert entspricht, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, wenn die Referenzkarte nicht ausreicht, um die Anzahl der Korrespondenzen zu bestimmen, die durch den Schwellwert vorgegeben sind, eine andere Referenzkarte zur Bestimmung von ein oder mehreren zusätzlichen Korrespondenzen zu verwenden, indem eine zusätzliche Korrespondenz der ein oder mehreren zusätzlichen Korrespondenzen bestimmt wird, indem einem Punkt der aufgenommenen Kartenabbildung ein Punkt der anderen Referenzkarte zugewiesen wird oder indem einem Bereich der aufgenommenen Kartenabbildung ein Bereich der anderen Referenzkarte zugewiesen wird.
18. Vorrichtung nach Anspruch 17, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, eine Reihenfolge, in der eine Mehrzahl von Referenzkarten zur Bestimmung der Mehrzahl von Korrespondenzen verwendet werden, abhängig von Ähnlichkeiten zu bestimmen, die von der Mehrzahl der Referenzkarten und der aufgenommenen Karte abhängen.
19. Vorrichtung nach Anspruch 17 oder 18, wobei die Korrespondenz-Bestimmungseinheit (120) ausgebildet ist, die Reihenfolge, in der eine Mehrzahl von Referenzkarten zur Bestimmung der Mehrzahl von Korrespondenzen verwendet werden, abhängig von einer Ähnlichkeitsfunktion von Kartenstilen zu bestimmen, welche auf Basis von bereits registrierten Karten und einer Anzahl von gefundenen, korrekten Korrespondenzen mittels eines Metrik Learning Ansatzes gefunden wurde.
20. Vorrichtung nach Anspruch 18 oder 19, wobei die Mehrzahl von Referenzkarten zumindest eine der folgenden Arten von Karten umfasst:
Karten mit Höhenprofilen,
- bereits georeferenzierte Wander- oder Straßenkarten,
Karten welche auf Basis eines konditionellen GAN-Netzwerks aus bereits registrierten Referenz- und Anfragekarten gewonnen wurden.
21 . Vorrichtung nach einem der vorherigen Ansprüche, wobei die Vorrichtung eine Nutzerschnittstelle aufweist, wobei, wenn sich die Vorrichtung in einem manuellen Modus befindet, die Nutzerschnittstelle eine Nutzereingabe ermöglicht, durch die ein Nutzer einen Standort der Vorrichtung in der aufgenommenen Kartenabbildung angeben kann.
22. Vorrichtung nach Anspruch 21 , wobei die Vorrichtung ausgebildet ist, ihren aktuellen Standort mittels GPS zu bestimmen und einem Nutzer anzuzeigen.
23. Vorrichtung nach Anspruch 21 oder 22, wobei, wenn sich die Vorrichtung in einem manuellen Modus befindet, die Nutzerschnittstelle an verschiedenen Positionen, an denen sich die Vorrichtung befindet, eine Nutzereingabe ermöglicht, durch die ein Nutzer einen Standort der Vorrichtung an den verschiedenen Positionen in der aufgenommenen Kartenabbildung angeben kann.
24. Verfahren zur Georeferenzierung, umfassend:
Bereitstellen einer von einer Kamera aufgenommenen Kartenabbildung,
Bestimmen von ein oder mehreren Korrespondenzen zwischen der aufgenommenen Kartenabbildung und einer Referenzkarte, indem zur Bestimmung einer Korrespondenz der ein oder mehreren Korrespondenzen einem Punkt der aufgenommenen Kartenabbildung ein Punkt der Referenzkarte zugeordnet wird, und/oder indem zur Bestimmung der Korrespondenz einem Bereich der aufgenommenen Kartenabbildung ein Bereich der Referenzkarte zugeordnet wird.
25. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 24.
EP24700105.0A 2023-01-24 2024-01-10 Vorrichtung und verfahren zur online-georeferenzierung von kameraaufnahmen von kartenmaterial mit mobilen endgeräten Pending EP4655559A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023200507.7A DE102023200507B4 (de) 2023-01-24 2023-01-24 Vorrichtung und Verfahren zur Online-Georeferenzierung von Kameraaufnahmen von Kartenmaterial mit mobilen Endgeräten
PCT/EP2024/050447 WO2024156505A1 (de) 2023-01-24 2024-01-10 Vorrichtung und verfahren zur online-georeferenzierung von kameraaufnahmen von kartenmaterial mit mobilen endgeräten

Publications (1)

Publication Number Publication Date
EP4655559A1 true EP4655559A1 (de) 2025-12-03

Family

ID=89541973

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24700105.0A Pending EP4655559A1 (de) 2023-01-24 2024-01-10 Vorrichtung und verfahren zur online-georeferenzierung von kameraaufnahmen von kartenmaterial mit mobilen endgeräten

Country Status (3)

Country Link
EP (1) EP4655559A1 (de)
DE (1) DE102023200507B4 (de)
WO (1) WO2024156505A1 (de)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2384778A1 (en) 1999-09-13 2001-03-22 Tracey Olson Closed loop tracking system
US7038681B2 (en) 2000-03-29 2006-05-02 Sourceprose Corporation System and method for georeferencing maps
US7190377B2 (en) 2000-03-29 2007-03-13 Sourceprose Corporation System and method for georeferencing digital raster maps with resistance to potential errors
US20060041375A1 (en) 2004-08-19 2006-02-23 Geographic Data Technology, Inc. Automated georeferencing of digitized map images
US20110013014A1 (en) * 2009-07-17 2011-01-20 Sony Ericsson Mobile Communication Ab Methods and arrangements for ascertaining a target position
US8823513B2 (en) 2011-01-18 2014-09-02 Radio Systems Corporation Systems and methods to track movement of animals
KR101083245B1 (ko) 2011-01-31 2011-11-14 주식회사 서전지구 지역정보 추출방법, 지역정보 출력방법, 및 이를 위한 장치
KR101520908B1 (ko) * 2013-03-22 2015-06-18 한국과학기술연구원 팜플렛의 추가 컨텐츠를 휴대 단말기를 통해 제공하는 방법, 시스템 및 컴퓨터 판독가능 기록매체
US9449224B2 (en) * 2013-04-18 2016-09-20 Htc Corporation Method, electronic apparatus, and computer-readable medium for recognizing printed map
DE102014200658A1 (de) 2014-01-16 2015-06-18 Robert Bosch Gmbh Verfahren zur Navigation und Navigationssystem
US9435657B2 (en) * 2015-01-14 2016-09-06 Telenav, Inc. Navigation system with an itinerary planning mechanism and method of operation thereof
US12602948B2 (en) * 2020-01-30 2026-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Generating computer augmented maps from physical maps
US11703586B2 (en) 2021-03-11 2023-07-18 Qualcomm Incorporated Position accuracy using sensor data

Also Published As

Publication number Publication date
WO2024156505A1 (de) 2024-08-02
DE102023200507B4 (de) 2024-12-05
DE102023200507A1 (de) 2024-07-25

Similar Documents

Publication Publication Date Title
DE112011103690B4 (de) Erkennung und Verfolgung sich bewegender Objekte
EP2191233B1 (de) Vorrichtung und verfahren zum aktualisieren von kartendaten
DE112011103221T5 (de) Erweitern von Bilddaten basierend auf zugehörigen 3D-Punktwolkendaten
CN114331951A (zh) 图像检测方法、装置、计算机、可读存储介质及程序产品
DE102019005423A1 (de) Raum-Zeit-Speicher- bzw. Ablagenetzwerk zum Lokalisieren eines Zielobjektes in Videocontent
DE102016214875A1 (de) Schildbasierte Ortung
WO2020098250A1 (zh) 字符识别方法、服务器及计算机可读存储介质
DE102019102866A1 (de) Identifizierung eines Herstellungsteils unter Verwendung von Computervision und Maschinenlernen
DE102017010210A1 (de) Bild-Matting mittels tiefem Lernen
DE202014010843U1 (de) Ausrichten von bodenbasierten Bildern mit Luftbildern
DE202015009182U1 (de) Ausrichten von Panoramaaufnahmen und Luftaufnahmen
DE112017004302T5 (de) Fahrerunterstützungssystem zum Bestimmen einer Position eines Fahrzeugs
DE112018004108B4 (de) Bildsammelsystem
DE202014010922U1 (de) Erzeugung von Tiefenkarten
DE202009019124U1 (de) Bildinhalte zur einfacheren Navigation in Panorama-Bilddaten
DE112016001829T5 (de) Automatische Verbindung von Bildern unter Verwendung visueller Eigenschaftsquerverweise auf zugehörige Anwendungen
DE202016006110U1 (de) Erweiterung des Sichtfeldes von Fotografie
DE112020000590T5 (de) Karte und verfahren zum erstellen einer karte
Ardizzone et al. A tool to support the creation of datasets of tampered videos
DE102018006995A1 (de) Wieder Zusammensetzen und Reparieren von Teilen eines zerrissenen Bilds
DE102015200260A1 (de) Verfahren zum Erstellen eines Deskriptors für ein Szenenbild
DE202015009139U1 (de) Bildmodifikation
JP2013137604A (ja) 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム
DE102015009894B4 (de) Ausrichten von Mehrfachansichtsabtastungen
Scharwächter et al. Visual guard rail detection for advanced highway assistance systems

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250721

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)