DE102020213111A1 - Method and system for determining a pose or position of a mobile device - Google Patents

Method and system for determining a pose or position of a mobile device Download PDF

Info

Publication number
DE102020213111A1
DE102020213111A1 DE102020213111.2A DE102020213111A DE102020213111A1 DE 102020213111 A1 DE102020213111 A1 DE 102020213111A1 DE 102020213111 A DE102020213111 A DE 102020213111A DE 102020213111 A1 DE102020213111 A1 DE 102020213111A1
Authority
DE
Germany
Prior art keywords
mobile terminal
landmark
landmarks
database
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020213111.2A
Other languages
German (de)
Inventor
Rico Schady
Richard Fiebelkorn
Philipp Wagner
Felix Rothe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technische Hochschule Wildau De
Original Assignee
Fop Consult GmbH
TECHNISCHE HOCHSCHULE WILDAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fop Consult GmbH, TECHNISCHE HOCHSCHULE WILDAU filed Critical Fop Consult GmbH
Priority to DE102020213111.2A priority Critical patent/DE102020213111A1/en
Publication of DE102020213111A1 publication Critical patent/DE102020213111A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

Die Anmeldung betrifft ein Verfahren zur Bestimmung einer Position eines mobilen Endgeräts (100) basierend auf mindestens einer Landmarke (302a, 302b), deren Position in einer Datenbank (230) gespeichert sind. Eine erste Position des mobilen Endgeräts (100) wird basierend auf einer in der Datenbank (230) gespeicherten Position einer ersten Landmarke (302a) bestimmt; wobei sich die erste Landmarke (302a) in einem Detektionsbereich (304) eines Detektors (130, 140) des mobilen Endgeräts (100) befindet. Dann wird mindestens eine Zwischenposition des mobilen Endgeräts (100) basierend auf der anhand der ersten Landmarke (302a) bestimmten Position des mobilen Endgeräts (100) sowie Bewegungsdaten (303) des mobilen Endgeräts (100) bestimmt. Außerdem wird eine zweite Position des mobilen Endgeräts (100) basierend auf einer zuletzt bestimmten Zwischenposition des mobilen Endgeräts und einer in der Datenbank (230) gespeicherten Position einer zweiten Landmarke (302b) bestimmt; wobei sich die zweite Landmarke (302b), wenn sich das mobile Endgerät an der zuletzt bestimmten Zwischenposition befindet, im einem Detektionsbereich (304) des Detektors (130, 140) des mobilen Endgeräts (100) befindet.The application relates to a method for determining a position of a mobile terminal (100) based on at least one landmark (302a, 302b) whose position is stored in a database (230). A first position of the mobile terminal (100) is determined based on a position of a first landmark (302a) stored in the database (230); wherein the first landmark (302a) is in a detection range (304) of a detector (130, 140) of the mobile terminal (100). At least one intermediate position of the mobile terminal (100) is then determined based on the position of the mobile terminal (100) determined using the first landmark (302a) and movement data (303) of the mobile terminal (100). In addition, a second position of the mobile terminal (100) is determined based on a last determined intermediate position of the mobile terminal and a position of a second landmark (302b) stored in the database (230); wherein the second landmark (302b) is located in a detection range (304) of the detector (130, 140) of the mobile terminal device (100) when the mobile terminal device is located at the intermediate position last determined.

Description

Gegenstand der vorliegenden Schutzrechtsanmeldung ist ein Verfahren und System zur Bestimmung einer Pose oder Position eines mobilen Endgeräts.The subject matter of the present patent application is a method and system for determining a pose or position of a mobile terminal device.

Durch die fortschreitende Automatisierung und Digitalisierung, zum Beispiel industrieller Prozesse wie Fertigungsprozesse oder Logistikprozesse, kommen zunehmend mobile Geräte, wie sich autonom bewegende Roboter oder XR-Geräte wie Augmented Reality-Geräte zum Einsatz. Damit mobile Endgeräte sich sicher und zuverlässig innerhalb eines Gebäudes oder Geländes oder allgemein innerhalb eines Bereichs bewegen oder Daten und Informationen an bestimmten Positionen anzeigen können, ist eine möglichst genaue Ortung (Bestimmung einer Pose bzw. Position) der mobilen Geräte zu jedem Zeitpunkt notwendig.Due to the ongoing automation and digitization, for example of industrial processes such as manufacturing processes or logistics processes, mobile devices such as autonomously moving robots or XR devices such as augmented reality devices are increasingly being used. In order for mobile end devices to be able to move safely and reliably within a building or site or generally within an area or to display data and information at specific positions, the mobile devices must be located as precisely as possible (determination of a pose or position) at all times.

Aus dem Stand der Technik sind für die Ortung eines mobilen Endgeräts verschiedene Lösungen bekannt.Various solutions are known from the prior art for locating a mobile terminal device.

Eine funkbasierte Ortung über GPS oder andere funkbasierte Ortungssysteme auf Basis von Technologien wie BLE, UWB oder WLAN geht einher mit einem hohen Installationsaufwand. Die Systeme sind außerdem fehleranfällig, da die Signalstärke z. B. durch Hindernisse beeinträchtigt wird.Radio-based positioning via GPS or other radio-based positioning systems based on technologies such as BLE, UWB or WLAN is associated with a high installation effort. The systems are also error-prone because the signal strength z. B. is affected by obstacles.

Neben funkbasierten Verfahren besteht die Möglichkeit der Ortung mobiler Endgeräte mit visuellen Verfahren. Für die Ortung eines mobilen Endgeräts mit Hilfe visueller Verfahren sind aus dem Stand der Technik verschiedene Lösungen bekannt.In addition to radio-based methods, there is the possibility of locating mobile devices using visual methods. Various solutions are known from the prior art for locating a mobile terminal device using visual methods.

Zum einen kann eine Lokalisierung mittels inertialer oder visueller Bewegungsabschätzung (Odomertrie) autonom durch das mobile Endgerät erfolgen, wie beispielsweise beschrieben in „An Overview of Visual Odometry and Visual SLAM: Applications to Mobile Robotics“, by Yousif et al., DOI 10.1007/s40903-015-0032-7. Hierbei wird jedoch lediglich eine Veränderung der Pose (oder Position) relativ zur Startpose (bzw. -Position) ermittelt. Falls die Ortung zu einem Zeitpunkt verloren geht, beispielsweise durch einen Systemabsturz oder ähnliches, ist nach einem Reboot keine erneute Ortung ohne externe Hilfe möglich.On the one hand, localization can be carried out autonomously by the mobile device using inertial or visual movement estimation (odometry), as described, for example, in "An Overview of Visual Odometry and Visual SLAM: Applications to Mobile Robotics", by Yousif et al., DOI 10.1007/s40903 -015-0032-7. In this case, however, only a change in the pose (or position) relative to the starting pose (or position) is determined. If the location is lost at a point in time, for example due to a system crash or similar, it is not possible to locate it again after a reboot without external help.

Eine weitere aus dem Stand der Technik bekannte Option für die Ortung mobiler Endgeräte, die häufig mit der Verwendung von Odometrieverfahren einhergeht, ist die Lokalisierung mittels automatischer Kartenerstellung, auch bekannt als SLAM (Simultaneous Localization and Mapping). Hierbei werden die zurückgelegten Wegstrecken des mobilen Endgeräts und in der Umgebung erkannte Merkmale oder Keypoints im Speicher des mobilen Endgeräts hinterlegt, um auf diesem Weg eine möglichst vollständige Karte der Umgebung zu erstellen. Dieses Verfahren ist jedoch vergleichsweise sehr rechen- und speicherintensiv und daher für die Anwendung auf Mobilgeräten in größeren Bereichen nicht geeignet.Another option known from the prior art for locating mobile end devices, which is often associated with the use of odometry methods, is localization by means of automatic map creation, also known as SLAM (Simultaneous Localization and Mapping). The distances covered by the mobile device and features or key points recognized in the area are stored in the memory of the mobile device in order to create a map of the area that is as complete as possible. However, this method is comparatively very computationally and memory-intensive and therefore not suitable for use on mobile devices in larger areas.

Eine weitere Möglichkeit zur visuellen Ortung besteht in der Verwendung von künstlichen Landmarken. Künstliche Landmarken können beispielsweise zweidimensionale Datamatrixcodes oder anderweitig detektierbare 2D- oder 3D-Objekte sein, die zum Zweck der visuellen Lokalisierung in die Umgebung eingebracht wurden. Für die Ortung anhand derartiger künstlicher Landmarken, wie auch in EP 2 738 519 B1 beschrieben, müssen sehr viele Landmarken verwendet werden, da das mobile Endgerät bzw. die Kamera des mobilen Endgeräts, zu jedem Zeitpunkt eine der künstlichen Landmarken im Sichtbereich haben muss. Somit ist die Verwendung künstlicher Landmarken auch mit einem hohen Aufwand verbunden.Another possibility for visual location is the use of artificial landmarks. Artificial landmarks can be, for example, two-dimensional data matrix codes or other detectable 2D or 3D objects that have been introduced into the environment for the purpose of visual localization. For locating using such artificial landmarks, as also in EP 2 738 519 B1 described, a large number of landmarks must be used, since the mobile device or the camera of the mobile device must have one of the artificial landmarks in its field of vision at all times. The use of artificial landmarks is therefore also associated with a great deal of effort.

Es besteht somit die Aufgabe, ein Verfahren und System zur Bestimmung einer Pose oder Position eines mobilen Endgeräts in einer Umgebung zu entwickeln, welches eine genaue Lokalisierung auf effiziente Art ermöglicht.There is therefore the task of developing a method and system for determining a pose or position of a mobile terminal device in an environment, which enables precise localization in an efficient manner.

Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Weitere bevorzugte Ausführungsformen sind in den abhängigen Ansprüchen und der nachfolgenden Beschreibung beschrieben.This object is solved by the features of the independent claims. Further preferred embodiments are described in the dependent claims and the following description.

Das beschriebene Verfahren zur Bestimmung der Pose oder Position eines mobilen Endgeräts nutzt eine oder eine Vielzahl von Landmarken, deren jeweilige Pose in einer Datenbank gespeichert ist.The method described for determining the pose or position of a mobile terminal device uses one or a large number of landmarks whose respective pose is stored in a database.

Das Verfahren umfasst die folgenden Schritte, die vorzugsweise in dieser Reihenfolge ausgeführt werden:

  • - Bestimmen einer ersten Position des mobilen Endgeräts, basierend auf einer in der Datenbank gespeicherten Position einer ersten Landmarke sowie einer relativen Position des mobilen Endgeräts bezüglich der ersten Landmarke; wobei sich die erste Landmarke in einem Detektionsbereich eines Detektors des mobilen Endgeräts befindet;
  • - Bestimmen mindestens einer Zwischenposition des mobilen Endgeräts basierend auf der anhand der ersten Landmarke bestimmten Position des mobilen Endgeräts sowie Bewegungsdaten des mobilen Endgeräts;
  • - Bestimmen einer zweiten Position des mobilen Endgeräts basierend auf einer zuletzt bestimmten Zwischenposition des mobilen Endgeräts, einer in der Datenbank gespeicherten Position einer zweiten Landmarke sowie einer relativen Position des mobilen Endgeräts bezüglich der zweiten Landmarke; wobei sich die zweite Landmarke, wenn sich das mobile Endgerät an der zuletzt bestimmten Zwischenposition befindet, im Detektionsbereich des Detektors des mobilen Endgeräts befindet.
The method includes the following steps, preferably performed in this order:
  • - determining a first position of the mobile terminal, based on a position of a first landmark stored in the database and a relative position of the mobile terminal with respect to the first landmark; wherein the first landmark is located in a detection range of a detector of the mobile terminal;
  • - determining at least one intermediate position of the mobile terminal based on the position of the mobile terminal determined using the first landmark and movement data of the mobile terminal;
  • - determining a second position of the mobile terminal based on a last determined intermediate position of the mobile terminal, a position of a second landmark stored in the database and a relative position of the mobile terminal with respect to the second landmark; wherein the second landmark is located in the detection range of the detector of the mobile terminal device when the mobile terminal device is located at the last intermediate position determined.

Die zweite Landmarke kann hierbei identisch zur ersten Landmarke sein, oder die zweite Landmarke kann verschieden von der ersten Landmarke sein.The second landmark can be identical to the first landmark, or the second landmark can be different from the first landmark.

Statt Positionen und Zwischenpositionen können auch Posen bzw. Zwischenposen bestimmt werden, wobei eine Pose eine Position sowie eine räumliche Orientierung, bspw. weitere Richtungsdaten (Ausrichtung, Winkel etc.) umfasst.Instead of positions and intermediate positions, poses or intermediate poses can also be determined, with a pose including a position and a spatial orientation, for example further directional data (orientation, angle, etc.).

Bevorzugt verwendet das beschriebene Verfahren wahlweise nur künstliche Landmarken, nur natürliche Landmarken oder eine Kombination von künstlichen und natürlichen Landmarken, wie weiter unten detaillierter beschrieben wird.The described method preferably uses only artificial landmarks, only natural landmarks or a combination of artificial and natural landmarks, as will be described in more detail below.

Die Bestimmung der Zwischenposen oder Zwischenpositionen erfolgt bei dem beschriebenen Verfahren über Bewegungsdaten wie die relative Posenänderungen des mobilen Endgeräts, welche vorzugsweise durch inertiale und/oder visuelle Odometrie erfasst werden. Die Erfassung von Bewegungen und Bestimmung von Posen basierend auf Sensorik wird beispielsweise in OKVIS: Stefan Leutenegger, Simon Lynen, Michael Bosse, Roland Siegwart and Paul Timothy Furgale. Keyframe-based visual-inertial odometry using nonlinear optimization. The International Journal of Robotics Research, 2015 beschrieben.In the method described, the intermediate poses or intermediate positions are determined using movement data such as the relative pose changes of the mobile terminal device, which are preferably recorded by inertial and/or visual odometry. The detection of movements and determination of poses based on sensors is, for example, in OKVIS: Stefan Leutenegger, Simon Lynen, Michael Bosse, Roland Siegwart and Paul Timothy Furgale. Keyframe-based visual-inertial odometry using nonlinear optimization. The International Journal of Robotics Research, 2015.

Auf diese Weise ist eine Bestimmung der Pose oder Position des mobilen Endgeräts sowohl möglich, wenn sich eine Landmarke im Bereich des Detektors des mobilen Endgeräts befindet, als auch wenn sich momentan keine Landmarke im Bereich des Detektors des mobilen Endgeräts befindet.In this way, it is possible to determine the pose or position of the mobile terminal both when there is a landmark in the area of the detector of the mobile terminal and when there is currently no landmark in the area of the detector of the mobile terminal.

Die Bestimmung der Pose oder Position wird hierbei vorzugsweise durch das mobile Endgerät anhand einer Kombination aus den Informationen der Datenbank, welche die absolute Pose einer Landmarke beinhaltet und den bei der Detektion einer Landmarke durch den Detektor des mobilen Endgeräts gewonnenen Information bezüglich der relativen Pose des mobilen Endgeräts bezüglich einer Landmarke vorgenommen.The pose or position is preferably determined by the mobile terminal using a combination of the information from the database, which contains the absolute pose of a landmark and the information obtained when a landmark was detected by the detector of the mobile terminal regarding the relative pose of the mobile Terminal made with respect to a landmark.

Eine absolute Pose oder absolute Position ist hierbei eine Pose bzw. Position, die anhand eines vordefinierten Koordinatensystems definiert ist.An absolute pose or absolute position is a pose or position that is defined using a predefined coordinate system.

Der Detektor des mobilen Endgeräts kann beispielsweise aus einer oder mehreren Kameras mit einer angekoppelten Bildverarbeitungseinheit bestehen.The detector of the mobile end device can, for example, consist of one or more cameras with a coupled image processing unit.

Die Datenbank ist hierbei vorzugsweise nicht auf dem mobilen Endgerät gespeichert, sondern auf einem entfernt angeordneten Server, mit dem das mobile Endgerät kommunikativ verbunden ist, beispielsweise durch eine Funk oder WLAN Verbindung.In this case, the database is preferably not stored on the mobile terminal, but rather on a remotely located server to which the mobile terminal is communicatively connected, for example by a radio or WLAN connection.

Das mobile Endgerät hat dabei vorzugsweise keine vollständige Kenntnis über alle in der Datenbank gespeicherten Landmarken, sondern erhält vom Server nur die aktuell relevanten Informationen, beispielsweise Informationen zu Landmarken, die sich in der Nähe oder in einem Bereich des Detektors befinden. Hierbei kann der Bereich des Detektors beispielsweise anhand einer Entfernung zu dem mobilen Endgerät bzw. dem Detektor definiert werden, oder anhand eines Sichtfeldes des Detektors, oder anhand einer Kombination aus Entfernung und Sichtfeld des Detektors.In this case, the mobile terminal preferably does not have complete knowledge of all the landmarks stored in the database, but only receives the currently relevant information from the server, for example information on landmarks that are in the vicinity or in an area of the detector. In this case, the area of the detector can be defined, for example, based on a distance from the mobile terminal or the detector, or based on a field of view of the detector, or based on a combination of distance and field of view of the detector.

Das beschriebene Verfahren nutzt sowohl künstliche Landmarken als auch natürliche Landmarken.The method described uses both artificial landmarks and natural landmarks.

Die Detektion von künstlichen Landmarken und die Bestimmung einer Pose oder Position eines mobilen Endgeräts, zum Beispiel mit Datamatrixcodes, wird beispielsweise in EP 2 738 519 B1 beschrieben. Durch die vordefinierte Größe künstlicher Landmarken kann die Entfernung zu der jeweiligen Landmarke bestimmt werden, was die Posen- oder Positionsbestimmung erleichtert.The detection of artificial landmarks and the determination of a pose or position of a mobile device, for example with data matrix codes, is used, for example, in EP 2 738 519 B1 described. The distance to the respective landmark can be determined by the predefined size of artificial landmarks, which makes it easier to determine the pose or position.

Natürliche Landmarken werden im Gegensatz zu künstlichen Landmarken aus bereits vorhandenen Umgebungsmerkmalen bestimmt, die nicht explizit für eine Ortung bestimmt sind. Sie werden über die Erstellung einer 3D-Punktewolke für einen eingeschränkten Raumausschnitt erfasst. Durch die Aufzeichnung einer Mehrzahl von Bildern der Punkte der natürlichen Punktewolke (theoretisch aber mindestens zwei) von verschiedenen Blickwinkeln aus, lassen sich mit diesem Verfahren, unter Einbeziehung intrinsischer Informationen der Kamera und der Bewegung der Kamera zwischen den Aufnahmen, skalierte räumliche Informationen (3D-Koordinaten) über die Punkte berechnen, welche dann letztlich in einer Datenbank erfasst werden. Die relative räumliche Beziehung der erkannten Punkte zueinander kann dann in Kombination mit den Feature-Deskriptoren verwendet werden, um die natürliche Landmarke später wiedererkennen zu können und mit dieser das mobile Endgerät zu lokalisieren.In contrast to artificial landmarks, natural landmarks are determined from already existing environmental features that are not explicitly intended for a location. They are captured by creating a 3D point cloud for a limited section of space. By recording a plurality of images of the points of the natural point cloud (theoretically at least two) from different perspectives, this method, including intrinsic information of the camera and the movement of the camera between the images, allows scaled spatial information (3D coordinates) via the points, which are then ultimately recorded in a database. The relative spatial relationship of the detected points to each other can then be used in combination with the feature descriptors to determine the natural To be able to recognize the landmark later and use it to locate the mobile device.

Zur Erstellung einer dreidimensionalen Punktewolke sind mindestens zwei Bilder notwendig (ein Bild reicht theoretisch aus, wenn alle Punkte in einer Ebene liegen). Vorzugsweise werden zwei bis fünf Bilder verwendet. Die Anzahl der benötigten Bilder ist dabei abhängig von dem Inhalt der Bilder, beispielsweise von der Textur der aufgenommenen Umgebung. Die mindestens zwei Bilder können gleichzeitig durch mehrere Kameras aufgenommen werden oder nacheinander von derselben Kamera, wobei zwischen der Aufnahme verschiedener Bilder durch eine Kamera eine Posenänderung des mobilen Endgeräts erfolgt, damit mindestens zwei Bilder aus unterschiedlichen Blickwinkeln aufgenommen werden können.At least two images are required to create a three-dimensional point cloud (one image is theoretically sufficient if all points are in one plane). Preferably, two to five images are used. The number of images required depends on the content of the images, for example on the texture of the recorded environment. The at least two images can be recorded simultaneously by a number of cameras or one after the other by the same camera, with the pose of the mobile terminal changing between the recording of different images by a camera, so that at least two images can be recorded from different perspectives.

Zur Detektion natürlicher Landmarken können Tools wie Microsoft Azure Spatial Anchor oder Google ARCore Cloud Anchor verwendet werden.Tools such as Microsoft Azure Spatial Anchor or Google ARCore Cloud Anchor can be used to detect natural landmarks.

Zu beachten ist, dass bei dem beschriebenen Verfahren keine vollständige Karte der Umgebung, und vorzugsweise auch keine Teilkarte für einen Abschnitt, erstellt wird. Insbesondere wird vorzugsweise keine SLAM Karte erstellt. Die Navigation des mobilen Endgeräts erfolgt basierend auf Sensorik und den in der Datenbank gespeicherten Ortsinformationen der Landmarken. Verglichen mit einer vollständigen Kartierung kann somit Speicherplatz und Rechenkapazität gespart werden.It should be noted that the method described does not produce a complete map of the surroundings, and preferably also no partial map for a section. In particular, preferably no SLAM map is created. The navigation of the mobile device is based on sensors and the location information of the landmarks stored in the database. Compared to a complete mapping, storage space and computing capacity can thus be saved.

Als Referenzsystem für die Posen- oder Positionsbestimmung kann ein Gebäudegrundriss (z. B. Hallenplan), oder auch ein einziger festgelegter Punkt, wie beispielsweise eine Einfahrt zu einem Gelände dienen. Die ermittelte Pose oder Position des mobilen Endgerätes kann auf einer Karte dargestellt werden.A building floor plan (e.g. hall plan) or a single fixed point, such as an entrance to a site, can serve as a reference system for determining the pose or position. The determined pose or position of the mobile terminal can be displayed on a map.

Das Verfahren kann weiterhin, zwischen dem Bestimmen der zuletzt bestimmten Zwischenpose oder Zwischenposition und dem Bestimmen der zweiten Pose oder Position, die folgenden Schritte umfassen:

  • - Übermittlung der zuletzt bestimmten Zwischenpose oder Zwischenposition durch das mobile Endgerät an den Server. Die Übermittlung kann vorzugsweise in geregelten Abständen, zum Beispiel in Abhängigkeit von der erfolgten Bewegung oder in definierten zeitlichen Abständen erfolgen;
  • - Bestimmung durch den Server, basierend auf der zuletzt übermittelten bestimmten Zwischenposition und den in der Datenbank gespeicherten Positionen der mindestens einen Landmarke, dass die zweite Landmarke im Detektionsbereich des Detektors des mobilen Endgeräts ist, wenn das mobile Endgerät sich an der zuletzt bestimmten Zwischenpose oder Zwischenposition befindet;
  • - Übersenden von Landmarkeninformationen der zweiten Landmarke durch den Server an das mobile Endgerät, wobei dies Informationen zu der Pose oder Position der Landmarke und/oder Detektionsinformationen, wie beispielsweise visuelle Informationen, der Landmarke umfasst;
  • - Detektieren der zweiten Landmarke durch den Detektor des mobilen Endgeräts basierend auf den Informationen zu der zweiten Landmarke.
The method can further include the following steps between determining the last determined intermediate pose or position and determining the second pose or position:
  • - Transmission of the last intermediate pose or intermediate position determined by the mobile terminal device to the server. The transmission can preferably take place at regular intervals, for example depending on the movement that has taken place, or at defined time intervals;
  • - Determination by the server, based on the last transmitted determined intermediate position and the positions of the at least one landmark stored in the database, that the second landmark is in the detection range of the detector of the mobile terminal when the mobile terminal is at the last determined intermediate pose or intermediate position located;
  • - transmission of landmark information of the second landmark by the server to the mobile terminal, this comprising information on the pose or position of the landmark and/or detection information, such as visual information, of the landmark;
  • - detecting the second landmark by the detector of the mobile terminal based on the information on the second landmark.

Visuelle Informationen der Landmarke können hierbei beispielsweise ein Bild, eine Detektionsvorschrift (Kodierung) oder einen oder mehrere signifikante Punkte der Landmarke umfassen.In this case, visual information about the landmark can include, for example, an image, a detection rule (coding) or one or more significant points on the landmark.

Die Detektion der Landmarke erfolgt beispielsweise durch ein visuelles Abscannen der Umgebung, insbesondere in der Richtung, in der sich die Position der Landmarke befinden soll. Diese vermutete Position der Landmarke wird mittels der vom Server übermittelten Informationen über die Landmarke bestimmt.The landmark is detected, for example, by visually scanning the surroundings, in particular in the direction in which the landmark should be located. This presumed position of the landmark is determined using the information about the landmark transmitted by the server.

Die Speicherung der Datenbank auf dem Server erlaubt es, den Speicher des mobilen Endgeräts nicht unnötig mit diesen Daten zu belasten. Außerdem wird somit die Rechenlast des mobilen Endgeräts reduziert, da das mobile Endgerät vorzugsweise nur die eigene Zwischenpose oder Zwischenposition berechnet. Der rechenintensivere Abgleich, ob sich eine Landmarke in der Nähe bzw. im Bereich des Detektors befindet, wird vorzugsweise vom Server vorgenommen.Saving the database on the server means that the memory of the mobile device is not unnecessarily loaded with this data. In addition, the computing load on the mobile terminal device is thus reduced, since the mobile terminal device preferably only calculates its own intermediate pose or intermediate position. The more computationally intensive comparison as to whether a landmark is in the vicinity or in the area of the detector is preferably carried out by the server.

Wenn die Zwischenpose oder Zwischenposition durch das mobile Endgerät bestimmt wird, können durch Ungenauigkeiten der Sensoren, die die Bewegungsdaten erkennen, Abweichungen von der tatsächlichen Pose oder Position entstehen. Somit kann es passieren, dass sich die vom Server an das mobile Endgerät kommunizierte Landmarke aus Sicht des mobilen Endgeräts nicht genau an der übermittelten Stelle befindet. Das mobile Endgerät kann diese Abweichungen kompensieren, indem es, unter Verwendung des Detektors einen Bereich der Umgebung eines angenommenen Ortes der jeweiligen Landmarke absucht, um die Landmarke zu detektieren. Hierbei kann auf unterschiedliche Art vorgegangen werden. Beispielsweise kann vorgegeben sein, in welchem Umkreis der vermeintlichen Pose oder Position nach der Landmarke gesucht werden soll. Es kann dabei auch an der vermuteten Position begonnen werden und dann intervallförmig oder kreis- bzw. schneckenförmig um die vermutete Position der Landmarke herum gesucht werden.If the intermediate pose or intermediate position is determined by the mobile device, deviations from the actual pose or position can arise due to inaccuracies in the sensors that detect the movement data. It can therefore happen that the landmark communicated from the server to the mobile terminal device is not located exactly at the transmitted point from the point of view of the mobile terminal device. The mobile terminal can compensate for these deviations by using the detector to search an area in the vicinity of an assumed location of the respective landmark in order to detect the landmark. This can be done in different ways. For example, it can be specified in which area of the putative pose or position the landmark is to be searched for. It can also be started at the assumed position and then in intervals or in a circle or spiral around the suspected position of the landmark can be searched around.

Es ist auch möglich, dass das mobile Endgerät sich bei der Suche nach einer Landmarke zumindest in einem gewissen Umfang bewegt, um zu verhindern, dass eine Landmarke aufgrund eines optischen Hindernisses nicht erkannt wird. Vorzugsweise kann eine Time-Out Funktion verwendet werden, die nach einer gewissen, vorgegebenen Suchdauer eine Fehlermeldung an den Server übermittelt, falls die Landmarke nicht gefunden wurde.It is also possible for the mobile terminal to move at least to a certain extent when searching for a landmark in order to prevent a landmark from not being recognized due to an optical obstacle. A time-out function can preferably be used, which transmits an error message to the server after a certain, predetermined search time if the landmark was not found.

Die Nachverfolgung der Pose oder Position eines mobilen Endgerätes, das heißt die Bestimmung von Zwischenposen oder Zwischenpositionen unterliegt Ungenauigkeiten. Anhand einer oder, vorzugsweise, mehrerer Abweichungen des mobilen Endgeräts kann z. B. eine durchschnittliche Abweichung, beispielsweise eine durchschnittliche Abweichung pro Zeiteinheit oder Wegeinheit, gegebenenfalls in Abhängigkeit von vorgefundenen Umgebungsbedingungen, wie Feature-Reichtum oder Lichtverhältnissen, bestimmt werden. Die Berechnung der Abweichungen basiert auf der ersten, anhand der zuerst erkannten Landmarke bestimmten Pose oder Position und der danach, anhand der danach erkannten Landmarke bestimmten Pose oder Position sowie der bei der Detektion der zweiten Landmarke bestimmten Abweichung und einer Zeit- bzw. Weglänge zwischen der Detektion der ersten Landmarke und der zweiten Landmarke und gegebenenfalls eines oder mehrerer Faktoren, welche die vorgefundenen Umgebungsbedingungen repräsentieren.The tracking of the pose or position of a mobile terminal device, ie the determination of intermediate poses or intermediate positions is subject to inaccuracies. Based on one or, preferably, multiple deviations of the mobile device z. B. an average deviation, for example an average deviation per unit of time or unit of travel, optionally depending on the environmental conditions found, such as richness of features or lighting conditions, can be determined. The calculation of the deviations is based on the first pose or position determined on the basis of the landmark recognized first and the pose or position determined thereafter on the basis of the landmark recognized thereafter, as well as the deviation determined when the second landmark was detected and a time or distance between the Detection of the first landmark and the second landmark and optionally one or more factors that represent the environmental conditions found.

Alternativ oder zusätzlich ist es auch optional möglich, eine Art Wahrscheinlichkeits-Radius zu ermitteln, der angibt wie weit das mobile Endgerät von der aktuell bestimmten Position entfernt sein könnte. Beispielsweise können auch gängige Filteransätze (z. B. Kalmanfilter) verwendet werden, um Sensorikunsicherheiten probabilistisch zu reduzieren.Alternatively or additionally, it is also optionally possible to determine a type of probability radius that indicates how far away the mobile terminal device could be from the currently determined position. For example, common filter approaches (e.g. Kalman filter) can also be used in order to probabilistically reduce sensor uncertainties.

Die ermittelte Abweichung kann zum einen verwendet werden, um während der Bewegungen des mobilen Endgeräts bereits die Zwischenpose oder Zwischenposition kontinuierlich oder gelegentlich zu verbessern. Andererseits kann die durchschnittliche Abweichung verwendet werden, um bei der Suche nach einer Landmarke den Suchbereich einzugrenzen.On the one hand, the determined deviation can be used to continually or occasionally improve the intermediate pose or intermediate position during the movements of the mobile terminal device. On the other hand, the average deviation can be used to limit the search area when searching for a landmark.

Bedingt durch die Abweichungen des mobilen Endgeräts wird die Posen- oder Positionsbestimmung schwieriger, wenn nur wenige Landmarken verwendet werden. Es ist deshalb vorgesehen nach einer initialen Einrichtung der Landmarken im Betrieb des Systems zusätzliche natürliche oder künstliche Landmarken hinzuzufügen.Due to the deviations of the mobile end device, determining the pose or position becomes more difficult if only a few landmarks are used. Provision is therefore made to add additional natural or artificial landmarks during operation of the system after the landmarks have been initially set up.

Entsprechend einer Ausführungsform ist es daher möglich, nach dem Bestimmen einer aktuellen Zwischenposition oder nach dem Bestimmen der ersten Position, eine neue Landmarke hinzuzufügen entsprechend der folgenden Schritte:

  • - Aufnehmen mindestens eines Bildes einer Umgebung des mobilen Endgeräts durch mindestens eine Kamera des mobilen Endgeräts,
  • - Extrahieren identifizierender Merkmale aus dem mindestens einem aufgenommenen Bild und Erstellen der neuen Landmarke basierend auf der aktuellen Zwischenposition und den identifizierenden Merkmalen,
  • - Einfügen einer Referenzinformation der identifizierenden Merkmale als die neue Landmarke in die Datenbank zusammen mit einer Position der identifizierenden Merkmale, wobei die Position der identifizierenden Merkmale anhand der bestimmten aktuellen Zwischenposition des mobilen Endgeräts beim Aufnehmen des mindestens eines Bildes, aus denen die identifizierenden Merkmale extrahiert wurden, bestimmt wird.
According to one embodiment, it is therefore possible, after determining a current intermediate position or after determining the first position, to add a new landmark according to the following steps:
  • - Recording at least one image of an environment of the mobile device using at least one camera of the mobile device,
  • - Extracting identifying features from the at least one recorded image and creating the new landmark based on the current intermediate position and the identifying features,
  • - Inserting reference information of the identifying features as the new landmark in the database together with a position of the identifying features, the position of the identifying features based on the determined current intermediate position of the mobile terminal when recording the at least one image from which the identifying features were extracted , is determined.

Die identifizierenden Merkmale können hierbei einen Datensatz aus Vektoren, die jeweils entweder die relativen Positionen der einzelnen Merkmale und/oder deren Feature-Deskriptoren beinhalten, umfassen. Identifizierende Merkmale können somit beispielsweise in Form einer Punktewolke (ggf. zusammen mit einer Pose der Punktewolke) vorliegen.The identifying features can include a data set of vectors, each of which contains either the relative positions of the individual features and/or their feature descriptors. Identifying features can thus be present, for example, in the form of a cloud of points (possibly together with a pose of the cloud of points).

Die Referenzinformation sollte die Landmarke eindeutig charakterisieren, beispielsweise kann bei einer Punktewolke ein repräsentativer Punkt gemäß einer Rechenvorschrift ausgewählt werden, oder ein Mittelpunkt der Punktewolke bestimmt werden. Auch kann die relative Positionen und/oder Feature-Deskriptoren der erkannten Merkmale oder kodierte Textinformation einer künstlichen Landmarke als Referenzinformation verwendet werden.The reference information should characterize the landmark unambiguously, for example, in the case of a cloud of points, a representative point can be selected according to a calculation rule, or a center point of the cloud of points can be determined. The relative positions and/or feature descriptors of the recognized features or coded text information of an artificial landmark can also be used as reference information.

Entsprechend dieser Ausführungsform ist es daher möglich, zu neu hinzugefügten Landmarken, ohne Einmessung mit externen Messmitteln, Posen entsprechend der folgenden Schritte in der Datenbank zu speichern:

  • - Anlegen einer natürlichen Landmarke basierend auf Bildaufnahmen der Umgebung des mobilen Endgeräts und den extrahierten 3D Punktewolken oder bestimmen einer zusätzlichen künstlichen Landmarke;
  • - Speicherung der Pose oder Position der Landmarke, wobei die Pose oder Position über das mobile Endgerät ermittelt wird.
According to this embodiment, it is therefore possible to store poses for newly added landmarks in the database according to the following steps, without measuring with external measuring means:
  • - Creation of a natural landmark based on images of the surroundings of the mobile device and the extracted 3D point clouds or determine an additional artificial landmark;
  • - Storage of the pose or position of the landmark, the pose or position being determined via the mobile terminal device.

Die Anlage, Erkennung und Speicherung der Ortsinformation einer natürlichen Landmarke kann manuell durch den Nutzer des mobilen Endgerätes ausgelöst oder automatisiert erfolgen, zum Beispiel, wenn das mobile Endgerät eine Zwischenpose oder Zwischenposition an den Server sendet und sich herausstellt, das im umliegenden Bereich des mobilen Endgeräts noch keine oder zu wenige Landmarken vorhanden sind.The creation, detection and storage of the location information of a natural landmark can be triggered manually by the user of the mobile device or be automated, for example if the mobile device sends an intermediate pose or position to the server and it turns out that this is in the surrounding area of the mobile device there are still no or too few landmarks.

Da Landmarken, die beispielsweise mit einem Laser eingemessen wurden, im Allgemeinen als genauer anzusehen sind als Landmarken deren Pose über das mobile Endgerät bestimmt wurde, ist es vorzugsweise möglich, den Landmarken in der Datenbank und ihrer zugeordneten Ortsinformation jeweils einen Genauigkeitswert zuzuordnen. Die Genauigkeit ergibt sich zum Beispiel aus der berechneten oder vermuteten Abweichung des mobilen Endgeräts bei Ermittlung der eigenen Position oder Pose zur Berechnung der Ortsinformation der neuen Landmarke. Hierbei kann quantitative Genauigkeit ermittelt oder eine qualitative Genauigkeit beispielsweise durch eine diskrete Anzahl von Genauigkeitsklassen (wie „1“, „2“ und „3“, oder „hoch“, „eher hoch“, „mittel“, „eher niedrig“ und „niedrig“) definiert werden.Since landmarks that were measured with a laser, for example, are generally considered to be more accurate than landmarks whose pose was determined via the mobile terminal device, it is preferably possible to assign an accuracy value to each of the landmarks in the database and their associated location information. The accuracy results, for example, from the calculated or presumed deviation of the mobile terminal when determining its own position or pose for calculating the location information of the new landmark. Here, quantitative accuracy can be determined or qualitative accuracy can be determined, for example, by a discrete number of accuracy classes (such as "1", "2" and "3", or "high", "rather high", "medium", "rather low" and " low") can be defined.

Vorzugsweise haben hierbei Landmarken, deren Position eingemessen wurde eine erste Genauigkeit und Landmarken, die unter Verwendung einer aktuellen Zwischenposition hinzugefügt wurden, eine zweite Genauigkeit, wobei die erste Genauigkeit höher, oder genauer, als die zweite Genauigkeit ist.Landmarks whose position was measured preferably have a first accuracy and landmarks that were added using a current intermediate position have a second accuracy, the first accuracy being higher or more precise than the second accuracy.

Es ist weiterhin möglich, die Genauigkeit der Ortsinformation einer Landmarke nachträglich und wahlweise manuell, geführt oder automatisiert zu verbessern. Die Neubestimmung der Pose einer Landmarke sollte durchgeführt werden, wenn die aktuelle Abweichung des mobilen Endgerätes zum Zeitpunkt der Erkennung der Landmarke als geringer berechnet oder vermutet wird, als die Abweichung, die bei der vorherigen Bestimmung der Pose der Landmarke vorgelegen hat. Somit ist optional eine Verbesserung der Genauigkeit der Position einer hinzugefügte Landmarke anhand der Positionsdaten weiterer Landmarken in einer Umgebung der hinzugefügten Landmarke, bzw. in einer Umgebung der Position der hinzugefügten Landmarke, möglich.It is also possible to subsequently improve the accuracy of the location information of a landmark either manually, guided or automatically. The pose of a landmark should be redetermined if the current deviation of the mobile terminal at the time the landmark is detected is calculated or presumed to be smaller than the deviation that was present when the pose of the landmark was previously determined. It is thus optionally possible to improve the accuracy of the position of an added landmark using the position data of further landmarks in the vicinity of the added landmark or in the vicinity of the position of the added landmark.

Durch die zugeordneten Genauigkeiten der Ortsinformationen von Landmarken kann beispielsweise ein Suchraum für eine Landmarke präzisiert werden, da hierbei sowohl die Abweichung des mobilen Endgeräts als auch die Genauigkeit der Ortsinformation der Landmarke eine Rolle spielen und bei der Bestimmung des Suchraums verwendet werden können. Als Suchraum wird hierbei der Umkreis um die, auf Basis der vom Server übermittelten Informationen bestimmte, Position der Landmarke bezeichnet, in dem das mobile Endgerät die Landmarke suchen soll.The assigned accuracies of the location information of landmarks can, for example, specify a search area for a landmark, since both the deviation of the mobile terminal device and the accuracy of the location information of the landmark play a role and can be used to determine the search area. The search area is the radius around the position of the landmark, determined on the basis of the information transmitted by the server, in which the mobile terminal is to search for the landmark.

Vorzugsweise umfassen bei dem beschriebenen Verfahren die Bewegungsdaten die relativen Bewegungen und Rotationen des mobilen Endgeräts, welche vorzugsweise durch Inertialsensorik, Beschleunigungssensoren und/oder Drehratensensoren und/oder durch visuelle Odometrie erfasst werden. Hierbei können zusätzlich zu Bewegungen durch den Raum auch Bewegungen des mobilen Endgeräts an einem Ort bestimmt werden. Somit kann beispielsweise auch eine Pose des mobilen Endgeräts und/oder des Detektors des mobilen Endgeräts erfasst werden.In the method described, the movement data preferably include the relative movements and rotations of the mobile terminal device, which are preferably detected by inertial sensors, acceleration sensors and/or yaw rate sensors and/or by visual odometry. Here, in addition to movements through space, movements of the mobile terminal device can also be determined at a location. Thus, for example, a pose of the mobile terminal and/or the detector of the mobile terminal can also be detected.

Vorzugsweise umfasst eine erste Teilmenge der verwendeten Landmarken opto-elektronisch detektierbare Symbole, wie beispielsweise Datamatrixcodes oder Barcodes einer vorgesehenen Größe. Diese Art der Landmarken wird auch als künstliche Landmarken bezeichnet.A first subset of the landmarks used preferably includes opto-electronically detectable symbols, such as data matrix codes or barcodes of a specified size. This type of landmark is also referred to as an artificial landmark.

Zusätzlich oder alternativ umfasst eine zweite Teilmenge der verwendeten Landmarken Umgebungsmerkmale, die nicht explizit zum Zwecke der Gerätelokalisierung in die Umgebung eingebracht wurden, also Umgebungsmerkmale, die ursprünglich nicht als Landmarken vorgesehen sind. Derartige Landmarken, die auch als natürliche Landmarken bezeichnet werden, können beispielsweise als Punktewolke hinterlegt werden, oder durch andere markante Bildausschnitte. Diese Art der Landmarken wird auch als natürliche Landmarken bezeichnet.Additionally or alternatively, a second subset of the landmarks used includes environmental features that were not explicitly introduced into the environment for the purpose of device localization, ie environmental features that were not originally intended as landmarks. Such landmarks, which are also referred to as natural landmarks, can be stored, for example, as a cloud of points, or by other prominent image sections. This type of landmark is also referred to as a natural landmark.

Vorzugsweise ist eine der verwendeten Landmarken entweder Teil der ersten Teilmenge (künstliche Landmarken) oder der zweiten Teilmenge (natürliche Landmarken.Preferably, one of the landmarks used is either part of the first subset (artificial landmarks) or the second subset (natural landmarks.

Die gemeinsame Verwendung künstlicher und natürlicher Landmarken hat den Vorteil, dass weniger künstliche Landmarken verwendet werden, da künstliche Landmarken einen zusätzlichen Installationsaufwand bedingen und auch bei der bildlichen Erfassung der Umgebung stören können. Gleichzeitig stehen künstliche Landmarken aber in Bereichen, in denen es aufgrund fehlender Struktur der Umgebung keine oder wenige Punkte gibt, die sich als natürliche Landmarken eignen, trotzdem zur Verfügung.The joint use of artificial and natural landmarks has the advantage that fewer artificial landmarks are used, since artificial landmarks require additional installation effort and can also interfere with the imaging of the surroundings. At the same time, however, artificial landmarks are still available in areas where there are few or no points that are suitable as natural landmarks due to the lack of structure in the environment.

Durch die vorgegebene Größe der Symbole kann die Entfernung zu der jeweiligen Landmarke bestimmt werden, was die Positionsbestimmung erleichtert. Die Detektion von Datamatrixcodes und Bestimmung einer Position und Pose basierend auf Datamatrixcodes wird beispielsweise in EP 2 738 519 B1 beschrieben.Due to the given size of the symbols, the distance to the respective landmark be determined, which facilitates position determination. The detection of data matrix codes and determination of a position and pose based on data matrix codes is described, for example, in EP 2 738 519 B1 described.

Zu beachten ist, dass bei dem beschriebenen Verfahren vorzugsweise keine vollständige und beispielsweise noch nicht mal eine teilweise Karte erstellt wird. Die Navigation des mobilen Endgeräts erfolgt basierend auf Sensorik und den in der Datenbank gespeicherten Landmarken, die jeweils einen Punkt identifizieren. Verglichen mit einer vollständigen Kartierung kann somit Speicherplatz und Rechenkapazität gespart werden.It should be noted that with the method described, preferably no complete map is created and, for example, not even a partial map. The navigation of the mobile device is based on sensors and the landmarks stored in the database, each of which identifies a point. Compared to a complete mapping, storage space and computing capacity can thus be saved.

Das beschriebene Verfahren wird vorzugsweise zur Ortung des mobilen Endgeräts innerhalb geschlossener Bereiche, wie beispielsweise Fabrikhallen oder Fabrikgeländen eingesetzt.The method described is preferably used for locating the mobile terminal within closed areas, such as factory buildings or factory premises.

Als Referenzsystem für die Positionsbestimmung kann hierbei ein Hallenplan, oder auch ein einziger festgelegter Punkt, wie beispielsweise eine Einfahrt zu einem Werksgelände oder einer Fabrikhalle dienen.A hall plan or a single fixed point, such as an entrance to a factory site or a factory building, can serve as a reference system for determining the position.

Diese Anmeldung umfasst neben dem beschriebenen Verfahren auch ein System zur Positionsbestimmung oder Lokalisierung eines mobilen Endgeräts in einer Umgebung. Das System umfasst mindestens ein mobiles Endgerät und einen Server.In addition to the method described, this application also includes a system for determining the position or locating a mobile terminal device in an environment. The system includes at least one mobile device and one server.

Das mobile Endgerät umfasst hierbei einen Detektor, der zur Detektion von Landmarken konfiguriert ist; eine Sende-Empfangseinheit, die zum Senden von Daten an den Server und zum Empfangen von Daten vom Server konfiguriert ist, und eine Recheneinheit.In this case, the mobile terminal device comprises a detector that is configured to detect landmarks; a transceiver configured to send data to and receive data from the server, and a computing unit.

Die Recheneinheit ist konfiguriert zur Durchführung der oben beschriebenen Verfahrensschritte.The computing unit is configured to carry out the method steps described above.

Der Server umfasst vorzugsweise die Datenbank, eine Recheneinheit, und eine Sende-Empfangseinheit konfiguriert zum Senden von Daten an das mobile Endgerät und zum Empfangen von Daten vom mobilen Endgerät.The server preferably includes the database, a computing unit, and a transceiver configured to send data to the mobile terminal and to receive data from the mobile terminal.

Das beschriebene System kann weiterhin konfiguriert sein, die oben und im Weiteren beschriebenen Verfahrensschritte und Ausführungsformen durchzuführen. Alle im Zusammenhang mit dem Verfahren beschriebenen Merkmale können auch für das System verwendet werden und umgekehrt.The system described can also be configured to carry out the method steps and embodiments described above and below. All features described in connection with the method can also be used for the system and vice versa.

Die vorliegende Anmeldung umfasst weiterhin ein Computerprogrammprodukt, umfassend Befehle, die bewirken, dass das beschriebene System die beschriebenen Verfahrensschritte ausführt. Insbesondere können bei dem Computerprogrammprodukt Befehle zur Durchführung der Verfahrensschritte, die das mobile Endgerät betreffen, durch das mobile Endgerät und Befehle zur Durchführung der Verfahrensschritte, die den Server betreffen, durch den Server umfasst sein.The present application further comprises a computer program product comprising instructions that cause the system described to carry out the method steps described. In particular, the computer program product can include instructions for the mobile terminal to carry out the method steps that relate to the mobile terminal and instructions for the server to carry out the method steps that relate to the server.

Weiterhin umfasst die vorliegende Anmeldung ein computerlesbares Medium, auf dem das Computerprogrammprodukt gespeichert ist.Furthermore, the present application includes a computer-readable medium on which the computer program product is stored.

Weitere Merkmale und Vorteile der vorliegenden Erfindung werden nachfolgend anhand der Figuren beschrieben. Es zeigen:

  • 1 eine schematische Darstellung eines mobilen Endgeräts sowie eines Servers entsprechend eines Aspektes der vorliegenden Anmeldung;
  • 2A eine schematische Darstellung eines mobilen Endgeräts in einem Bereich mit zwei künstlichen Landmarken mit einem ersten Landmarke im Detektionsbereich;
  • 2B eine schematische Darstellung eines mobilen Endgeräts in einem Bereich mit zwei künstlichen Landmarken ohne Landmarken im Detektionsbereich;
  • 2C eine schematische Darstellung eines mobilen Endgeräts in einem Bereich mit zwei künstlichen Landmarken mit einer zweiten Landmarke im Detektionsbereich;
  • 2D eine schematische Darstellung eines mobilen Endgeräts in einem Bereich mit zwei künstlichen Landmarken und einer Punktewolke als natürlicher Landmarke;
  • 3 eine schematische Darstellung eines Ablaufdiagramms des beschriebenen Verfahrens gemäß einer Ausführungsform der Anmeldung.
  • 4 eine schematische Darstellung eines Ablaufdiagramms des beschriebenen Verfahrens gemäß einer weiteren Ausführungsform der Anmeldung.
  • 5 eine schematische Darstellung eines Ablaufdiagramms des beschriebenen Verfahrens gemäß einer weiteren Ausführungsform der Anmeldung.
Further features and advantages of the present invention are described below with reference to the figures. Show it:
  • 1 a schematic representation of a mobile terminal and a server according to an aspect of the present application;
  • 2A a schematic representation of a mobile terminal in an area with two artificial landmarks with a first landmark in the detection area;
  • 2 B a schematic representation of a mobile terminal in an area with two artificial landmarks without landmarks in the detection area;
  • 2C a schematic representation of a mobile terminal in an area with two artificial landmarks with a second landmark in the detection area;
  • 2D a schematic representation of a mobile terminal in an area with two artificial landmarks and a cloud of points as a natural landmark;
  • 3 a schematic representation of a flowchart of the described method according to an embodiment of the application.
  • 4 a schematic representation of a flowchart of the described method according to a further embodiment of the application.
  • 5 a schematic representation of a flowchart of the described method according to a further embodiment of the application.

1 zeigt eine schematische Darstellung eines mobilen Endgeräts 100 und eines Servers 200. Das mobile Endgerät 100 ist beispielsweise ein autonom fahrender Roboter und umfasst einen Prozessor 110, eine Sende-Empfangseinheit 120, eine Detektoreinheit 130 die mit einem Kamerasystem 140 (bestehend aus einer oder mehreren Kameras) verbunden ist, sowie einen oder mehrere Sensoren 150a, 150b. 1 shows a schematic representation of a mobile terminal device 100 and a server 200. The mobile terminal device 100 is, for example, an autonomously driving robot and comprises a processor 110, a transceiver unit 120, a detector unit 130 with a camera system 140 (consisting of one or more cameras ) is connected, as well as one or more sensors 150a, 150b.

Der Server 200 umfasst einen Prozessor 210, eine Sende-Empfangseinheit 220 und eine Datenbank 230.The server 200 comprises a processor 210, a transceiver 220 and a database 230.

In der Datenbank 230 des Servers 200 sind Landmarken mit ihren Posen entsprechend des verwendeten Koordinatensystems gespeichert.Landmarks with their poses corresponding to the coordinate system used are stored in the database 230 of the server 200 .

Der Prozessor 210 des Servers ist konfiguriert, lesend und schreibend auf die Datenbank zuzugreifen und weiterhin über die Sende-Empfangseinheit 220 mit der Sende-Empfangseinheit 120 des mobilen Endgeräts zu kommunizieren. Die Kommunikation erfolgt vorzugsweise kabellos, beispielsweise über WLAN, Funk, Bluetooth oder andere kontaktlose Übertragungsprotokolle.The processor 210 of the server is configured to have read and write access to the database and to continue to communicate via the transceiver unit 220 with the transceiver unit 120 of the mobile terminal device. The communication preferably takes place wirelessly, for example via WLAN, radio, Bluetooth or other contactless transmission protocols.

Die Kamera 140 ist konfiguriert, Bilder von der Umgebung aufzunehmen und diese an die Detektoreinheit 130 zu übertragen, wobei der Detektor wiederum konfiguriert ist, die empfangenen Bilder zu analysieren und in den Bildern enthaltene Landmarken zu detektieren. Wenn eine Landmarke detektiert wurde, so wird diese Information an den Prozessor 110 übermittelt.The camera 140 is configured to record images of the surroundings and transmit them to the detector unit 130, the detector in turn being configured to analyze the received images and to detect landmarks contained in the images. If a landmark has been detected, this information is transmitted to the processor 110 .

Die Sensoren 150a, 150b können Inertialsensoren wie Drehratensensoren oder Beschleunigungssensoren oder Sensoren zur visuellen Bewegungsabschätzung umfassen. Als Sensoren zur visuellen Bewegungsabschätzung können Kameras verwendet werden, beispielsweise auch dieselbe Kamera, die zur Erfassung der Landmarken verwendet wird.The sensors 150a, 150b can include inertial sensors such as angular rate sensors or acceleration sensors or sensors for visual movement estimation. Cameras can be used as sensors for visual motion estimation, for example the same camera that is used to detect the landmarks.

Die Sensoren 150a, 150b sind konfiguriert, die aufgenommenen Bewegungsdaten und Bilddaten an den Prozessor 110 zu übermitteln.The sensors 150a, 150b are configured to transmit the recorded movement data and image data to the processor 110.

Der Prozessor 110 ist konfiguriert, anhand der Daten, welche er von den Sensoren 150a, 150b, von der Detektoreinheit 130 und den Daten, die er vom Server 200 über die Sende-Empfangseinheit 120 erhält, eine eindeutige Pose oder Position des mobilen Endgeräts innerhalb eines absoluten Koordinatensystems zu berechnen, welches seinen Ursprung in einem festen unbeweglichen Bezugspunkt in der realen Welt und fest definierte Achsausrichtung besitzt. Dies könnte z.B. ein System sein, welches auf geographischen Koordinaten aufbaut. Die Ortsinformationen der Landmarken, welche in der Datenbank 230 hinterlegt sind, sind ebenfalls in diesem Koordinatensystem definiert.The processor 110 is configured, based on the data that it receives from the sensors 150a, 150b, from the detector unit 130 and the data that it receives from the server 200 via the transceiver unit 120, a unique pose or position of the mobile terminal within a absolute coordinate system, which has its origin in a fixed, immovable reference point in the real world and a firmly defined axis alignment. For example, this could be a system based on geographic coordinates. The location information of the landmarks, which is stored in the database 230, is also defined in this coordinate system.

2A, 2B, 2C und 2D zeigen jeweils eine Draufsicht einer Fabrikhalle 300, in der sich das mobile Endgerät 100 bewegt. An den Regalen 301 der Fabrikhalle sind zwei Landmarken 302a, 302b installiert. 2A , 2 B , 2C and 2D each show a plan view of a factory building 300 in which the mobile terminal device 100 is moving. Two landmarks 302a, 302b are installed on the shelves 301 of the factory floor.

Einige Aspekte der Wirkungsweise der vorliegenden Schutzrechtsanmeldung wird exemplarisch anhand der 2A - 2D erklärt.Some aspects of the operation of the present property right application is exemplified by the 2A - 2D explained.

Wie in 2A zu sehen, befindet sich das mobile Endgerät vor der ersten Landmarke 302a, die sich im Detektionsbereich 304 der Kamera des mobilen Endgeräts 100 befindet.As in 2A to see, the mobile terminal is in front of the first landmark 302a, which is in the detection range 304 of the camera of the mobile terminal 100.

Der Prozessor 110 des mobilen Endgeräts 100 ist in dieser Situation konfiguriert, die Pose oder Position des mobilen Endgeräts basierend auf der in der Datenbank 230 des Servers 200 gespeicherten Daten zu bestimmen, wobei die gespeicherten Daten Ortsinformationen zu der ersten Landmarke 302a sowie Informationen umfassen, die eine eindeutige Zuordnung dieser Landmarke 302a der durch die Detektoreinheit 130 detektierten Landmarke ermöglichen.The processor 110 of the mobile terminal 100 is configured in this situation to determine the pose or position of the mobile terminal based on the data stored in the database 230 of the server 200, the stored data comprising location information about the first landmark 302a and information that allow this landmark 302a to be unambiguously assigned to the landmark detected by the detector unit 130 .

Beim Bestimmen der Pose oder Position basierend auf der ersten Landmarke 302a, wie in 2A gezeigt, kann auf zweierlei Arten vorgegangen werden.When determining the pose or position based on the first landmark 302a, as in 2A shown, can be done in two ways.

Zum einen kann die Kamera 140 mit angeschlossener Detektoreinheit 130 kontinuierlich oder in gewissen, festgelegten Intervallen den Detektionsbereich 304 abscannen und somit künstliche Landmarken, wie die erste Landmarke 302a detektieren. In diesem Fall sind dann die Prozessoren 110, 210 weiterhin konfiguriert, die detektierte und aufgenommene erste Landmarke 302a mit Landmarken aus der Datenbank 230 abzugleichen.On the one hand, the camera 140 with the connected detector unit 130 can scan the detection area 304 continuously or at certain defined intervals and thus detect artificial landmarks, such as the first landmark 302a. In this case, the processors 110, 210 are then further configured to compare the detected and recorded first landmark 302a with landmarks from the database 230.

Es ist hierbei zu beachten, dass bei der Detektion künstlicher und natürlicher Landmarken grundsätzlich verschiedene Verfahren zum Einsatz kommen können. Da durch die Kommunikation mit der Datenbank 230 häufig vorab bekannt ist, um welche Art von Landmarke es sich handelt, kann dann jeweils ein angepasstes Verfahren zur Detektion verwendet werden. Bei der Detektion von natürlichen Landmarken, die in der Form von Punktewolken hinterlegt sind kann die Detektion beispielsweise auf einer Extraktion markanter Punkte, beispielsweise unter Verwendung eines externen Tools, beruhen. Bei der Detektion künstlicher Landmarken hingegen liegen oft weitere Informationen zur Größe, Struktur und Beschaffenheit der künstlichen Landmarken vor, so dass beispielsweise Kantenerkennung oder Farberkennung eingesetzt werden kann, um auf effiziente Art die künstliche Landmarke zu detektieren oder zumindest den Suchraum einzugrenzen.It should be noted here that in principle different methods can be used for the detection of artificial and natural landmarks. Since it is often known in advance through the communication with the database 230 what type of landmark is involved, an adapted method for detection can then be used in each case. When detecting natural landmarks that are stored in the form of point clouds, the detection can be based, for example, on an extraction of prominent points, for example using an external tool. When detecting artificial landmarks, on the other hand, there is often additional information about the size, structure and nature of the artificial landmarks, so that edge detection or color recognition can be used, for example, to efficiently detect the artificial landmark or at least to limit the search area.

Wenn es sich bei der ersten Landmarke 302a statt um eine künstliche Landmarke um eine natürliche Landmarke handelt, so kann die Detektoreinheit 130 ebenfalls den Detektionsbereich 304 abscannen und aus dem oder den aufgenommenen Bildern signifikante Punkte extrahieren, wie auch im Zusammenhang mit der Anlage einer natürlichen Landmarke beschrieben. Die extrahierten Punkte können dann mit einer natürlichen Landmarke abgeglichen werden, wobei die Informationen der natürlichen Landmarke auf dem Server 200 und/oder in einem weiteren entfernten Speicher abgelegt sein können. Die in der Datenbank 230 des Servers 200 gespeicherten Positionsinformation oder Posen beziehen sich dabei auf ein von dem System verwendeten Koordinatensystem.If the first landmark 302a is a natural landmark instead of an artificial landmark, then the detector unit 130 can also scan the detection area 304 and from the one or the recorded ones Extract significant points from images, as also described in connection with the creation of a natural landmark. The extracted points may then be matched to a natural landmark, where the natural landmark information may be stored on server 200 and/or other remote storage. The position information or poses stored in the database 230 of the server 200 relate to a coordinate system used by the system.

Beispielsweise könnte auf dem Server eine Pose oder Position der natürlichen Landmarke bezüglich eines repräsentativen Punktes der Landmarke, vorzugsweise unter Verwendung eines eindeutig definierten Koordinatensystems, gespeichert sein, während die Informationen zu der Punktewolke der natürlichen Landmarke bei einem externen Dienstleister oder einer zweiten externen Datenbank gespeichert sind. Die zusammengehörenden Informationen bezüglich derselben Landmarke in der Datenbank 230 und in der zweiten Datenbank oder bei dem externen Dienstleister sind mittels einer ID, eines Links oder auf ähnliche Art ein-eindeutig miteinander verknüpft.For example, a pose or position of the natural landmark with respect to a representative point of the landmark, preferably using a clearly defined coordinate system, could be stored on the server, while the information on the point cloud of the natural landmark is stored with an external service provider or a second external database . The related information regarding the same landmark in the database 230 and in the second database or at the external service provider is uniquely linked to one another by means of an ID, a link or in a similar way.

Zusammen mit der Punktewolke wird bei dem externen Dienstleister oder in der zweiten Datenbank vorzugsweise auch eine Orientierung oder Pose der Punktewolke bzgl. eines von der zweiten Datenbank bzw. dem externen Dienstleister verwendetem Koordinatensystem gespeichert. Hierbei können für unterschiedliche Landmarken auch unterschiedliche Koordinatensysteme seitens der zweiten Datenbank bzw. des externen Dienstleisters verwendet werden. Beispielsweise können die Koordinatensysteme relativ zum mobilen Endgerät oder zur Landmarke definiert sein. Das vom System verwendete Koordinatensystem kann, muss aber nicht, sich vom Koordinatensystem der zweiten Datenbank bzw. des externen Dienstleisters, unterscheiden. Falls verschiedene Koordinatensysteme verwendet werden, so muss zusätzlich die Transformation, die notwendig ist um die Koordinatensysteme ineinander abzubilden, bekannt oder aus der vorhandenen Information eindeutig bestimmbar sein.An orientation or pose of the point cloud with respect to a coordinate system used by the second database or the external service provider is preferably also stored together with the point cloud at the external service provider or in the second database. In this case, different coordinate systems can also be used by the second database or the external service provider for different landmarks. For example, the coordinate systems can be defined relative to the mobile device or to the landmark. The coordinate system used by the system can, but does not have to, differ from the coordinate system of the second database or the external service provider. If different coordinate systems are used, the transformation that is necessary to map the coordinate systems into one another must also be known or clearly determinable from the available information.

Falls ein repräsentativer Punkt verwendet wird, so kann dieser repräsentative Punkt Teil der Punktewolke sein, oder er kann aus der Punktewolke mittels einer eindeutigen Rechenvorschrift bestimmt werden.If a representative point is used, this representative point can be part of the point cloud, or it can be determined from the point cloud using a unique calculation rule.

Hierzu wird die detektierte erste Landmarke 302a, bzw. Informationen, welche diese eindeutig repräsentieren, vom Prozessor 110 des mobilen Endgeräts 100 mittels der Sende-Empfangseinheiten 120, 220 an den Prozessor 210 des Servers 200 übermittelt, und der Prozessor des Servers 200 ist wiederum konfiguriert, die detektierte erste Landmarke 302a mit der Datenbank 230 abzugleichen und die so ermittelten Ortsinformationen an das mobile Endgerät 100 zu übertragen. Diese Vorgehensweise bedingt jedoch einen Dauerbetrieb der Detektoreinheit 130 zum Überprüfen der von der Kamera 140 aufgenommenen Bilder auf mögliche Landmarken.For this purpose, the detected first landmark 302a, or information that clearly represents it, is transmitted from the processor 110 of the mobile terminal device 100 to the processor 210 of the server 200 by means of the transceiver units 120, 220, and the processor of the server 200 is in turn configured to compare the detected first landmark 302a with the database 230 and to transmit the location information determined in this way to the mobile terminal device 100. However, this procedure requires continuous operation of the detector unit 130 for checking the images recorded by the camera 140 for possible landmarks.

Alternativ, und mit weniger Rechenaufwand verbunden, wird durch das mobile Endgerät 100 kontinuierlich oder in gewissen vorgegebenen Abständen die aktuelle Position oder Pose oder Zwischenposition oder Zwischenpose mittels der Sende-Empfangseinheiten 120, 220 an den Server übermittelt.Alternatively, and with less computing effort, the current position or pose or intermediate position or intermediate pose is transmitted by the mobile terminal 100 to the server continuously or at certain predetermined intervals by means of the transceiver units 120, 220.

Der Prozessor 210 des Servers 230 ist konfiguriert, dem Prozessor des Endgeräts 110 über die Sende- und Empfangseinheiten 220 und 120 Informationen über die Landmarken zu übermitteln, welche sich in dem Bereich befinden, welcher aktuell von der Kamera 140 des mobilen Endgeräts 100 theoretisch erfasst werden kann, sowie Informationen über Landmarken die sich in näherer Umgebung dieses Bereichs befinden, um eventuellen Ungenauigkeiten der aktuellen Zwischenpose vorzubeugen. Mithilfe dieser Informationen können detektierte Landmarken in der Datenbank 230 hinterlegten Landmarken jeweils eindeutig zugeordnet werden.The processor 210 of the server 230 is configured to transmit information to the processor of the terminal device 110 via the transmitting and receiving units 220 and 120 about the landmarks that are located in the area that is currently being theoretically captured by the camera 140 of the mobile terminal device 100 as well as information about landmarks that are in the vicinity of this area, in order to prevent possible inaccuracies in the current intermediate pose. With the help of this information, detected landmarks in the database 230 can each be unambiguously assigned to landmarks stored.

In beiden Fällen wird jedoch eine Positions- oder Posenbestimmung des mobilen Endgeräts entsprechend der detektierten Landmarke und den in der Datenbank gespeicherten Ortsinformationen vorgenommen.In both cases, however, the position or pose of the mobile terminal device is determined according to the detected landmark and the location information stored in the database.

Wenn sich aktuell keine Landmarke im Bereich der Kamera befindet, wie in 2B gezeigt, so ist der Prozessor 110 des mobilen Endgeräts 100 zum Bestimmen der Pose oder Position des mobilen Endgeräts 100, basierend auf einer zuletzt anhand einer Landmarke, im vorliegenden Fall der ersten Landmarke 302a, bestimmten Pose oder Position, sowie Bewegungsdaten 303 des mobilen Endgeräts 100, die vorzugsweise nach der letzten erfolgten Detektion einer Landmarke gesammelt wurden, konfiguriert.If there is currently no landmark in the range of the camera, as in 2 B shown, processor 110 of mobile terminal device 100 is used to determine the pose or position of mobile terminal device 100, based on a pose or position last determined using a landmark, in this case the first landmark 302a, and movement data 303 of mobile terminal device 100 , which were preferably collected after the last detection of a landmark.

Wenn das mobile Endgerät 100 sich dann, wie in 2C gezeigt, soweit bewegt hat, dass es sich wieder in der Nähe einer Landmarke, in diesem Fall in der Nähe der zweiten Landmarke 302b, befindet, so kann wiederum eine Pose oder Position basierend auf einer Landmarke bestimmt werden, wie es oben schon mit Bezug zur ersten Landmarke 302a beschrieben wurde. Allerdings besteht bei der Detektion der zweiten Landmarke 302b, wie in 2C gezeigt, im Vergleich zu der in 2A gezeigten Detektion der ersten Landmarke 302a, der Unterschied, dass, bedingt durch die Bewegung 303, 303' des mobilen Endgeräts und die Ungenauigkeit der Sensoren 150a, 150b, eine Abweichung entstanden ist. Das mobile Endgerät 100 befindet sich auf einer Position, wie in 2C gezeigt, die durch das mobile Endgerät 100 bestimmte Zwischenposition platziert das mobile Endgerät jedoch an die Position 101'. Nach der Detektion der zweiten Landmarke 302b kann aber die interne Position des mobilen Endgeräts 100 korrigiert werden und es kann außerdem optional eine Abweichung bestimmt werden.If the mobile terminal 100 then, as in 2C shown, has moved so far that it is again in the vicinity of a landmark, in this case in the vicinity of the second landmark 302b, again a pose or position can be determined based on a landmark, as already explained above with reference to FIG first landmark 302a was described. However, when the second landmark 302b is detected, as in 2C shown, compared to the in 2A shown detection of the first landmark 302a, the difference being that due to the movement 303, 303' of the mobile terminal device and the inaccuracy of the sensors 150a, 150b, a deviation has arisen. The mobile terminal 100 is in a position as in 2C shown, but the intermediate position determined by mobile terminal 100 places the mobile terminal at position 101'. However, after the second landmark 302b has been detected, the internal position of the mobile terminal device 100 can be corrected and a deviation can also optionally be determined.

Um die Rechenlast des mobilen Endgeräts 100 möglichst reduziert zu halten, sind die Landmarken und ihre Ortsinformation in einer Ausführungsform nur in der Datenbank 230 auf dem Server gespeichert und der Server ist konfiguriert, nur die jeweils relevanten Landmarken bzw. die Information zu deren eindeutiger Erkennung an das mobile Endgerät zu übertragen. Dazu ist das mobile Endgerät konfiguriert, die zuletzt bestimmte Position an den Server zu übermitteln, wobei dann der Server konfiguriert ist, anhand der in der Datenbank 230 gespeicherten Information zu bestimmen, ob sich eine Landmarke im Bereich des mobilen Endgeräts 100 bzw. im Bereich der Kamera befindet. Wenn eine solche Landmarke in der Datenbank vorhanden ist, so ist der Server 200 bzw. der Prozessor 210 des Servers 200 konfiguriert, die Ortsinformation dieser Landmarke sowie Informationen zur eindeutigen Bestimmung der Landmarke an das mobile Endgerät zu übermitteln. Basierend auf den empfangenen Informationen kann dann das mobile Endgerät einen vorgegebenen Bereich visuell absuchen und die Landmarke detektieren und kann die Pose oder Position des mobilen Endgeräts basierend auf der detektierten Landmarke bestimmen.In order to keep the computing load of the mobile terminal device 100 as low as possible, in one embodiment the landmarks and their location information are stored only in the database 230 on the server and the server is configured to only display the relevant landmarks or the information for their unambiguous identification transfer to the mobile device. For this purpose, the mobile terminal is configured to transmit the last determined position to the server, in which case the server is configured to use the information stored in the database 230 to determine whether there is a landmark in the area of the mobile terminal 100 or in the area of the camera is located. If such a landmark is present in the database, the server 200 or the processor 210 of the server 200 is configured to transmit the location information of this landmark and information for the unambiguous determination of the landmark to the mobile terminal device. Based on the received information, the mobile terminal can then visually search a predetermined area and detect the landmark, and can determine the pose or position of the mobile terminal based on the detected landmark.

Durch Ungenauigkeiten der Sensoren 150a, 150b kann es zu Abweichungen zwischen der detektierten Pose oder Position und der tatsächlichen Pose oder Position des mobilen Endgeräts kommen, insbesondere, wenn die letzte Positions- oder Posenbestimmung basierend auf einer Landmarke bereits länger her ist oder sich die Geräteposition seitdem signifikant verändert hat. Durch die Abweichung kann auch die Detektion einer neuen Landmarke erschwert werden, da der Bereich, in dem sich die Landmarke aus Sicht des mobilen Endgeräts anhand der übermittelten Informationen befinden soll von der tatsächlichen Position der Landmarke abweicht.Inaccuracies in sensors 150a, 150b can lead to discrepancies between the detected pose or position and the actual pose or position of the mobile device, particularly if the last position or pose determination based on a landmark was some time ago or the device position has changed since then has changed significantly. The deviation can also make it more difficult to detect a new landmark, since the area in which the landmark is supposed to be located from the point of view of the mobile terminal deviates from the actual position of the landmark based on the transmitted information.

Wenn sich das mobile Endgerät 100 auf der in 2a gezeigten Position befindet, so kann das mobile Endgerät mit seiner Kamera 140 die Landmarke 302a detektieren und somit die Position des mobilen Endgeräts 100 wie oben beschrieben bestimmen. Wenn sich das mobile Endgerät 100 nun weiter bewegt, so befindet es sich in 2b an einer Position von der aus keiner der Landmarken 302a, 302b detektierbar sind. Somit bestimmt das mobile Endgerät in dieser Position seine Position basierend auf den anhand der Landmarke 302a bestimmten Position sowie Bewegungsdaten, die den Bewegungen 303 des mobilen Endgeräts 100 seit der Detektion der Landmarke 302a entsprechen.If the mobile terminal 100 is on the in 2a is in the position shown, the mobile terminal device can detect the landmark 302a with its camera 140 and thus determine the position of the mobile terminal device 100 as described above. If the mobile terminal 100 now moves further, it is in 2 B at a position from which none of the landmarks 302a, 302b are detectable. The mobile terminal device thus determines its position in this position based on the position determined using the landmark 302a and on movement data which correspond to the movements 303 of the mobile terminal device 100 since the landmark 302a was detected.

Wenn sich das mobile Endgerät nun bis zu der in 2c gezeigten Position weiterbewegt, so erhält das mobile Endgerät vom Server, basierend auf der vom mobilen Endgerät übermittelten Position, die von der tatsächlichen Position des mobilen Endgeräts etwas abweicht, Informationen zur Landmarke 302b und das mobile Endgerät sucht im Bereich 304 nach der Landmarke 302b. Nach der Detektion der Landmarke 302b korrigiert das mobile Endgerät seine Position basierend auf den Positionsinformationen der Landmarke 302b. Weiterhin wird die Entfernung zur Landmarke 302b und die Ausrichtung der Kamera bei der Bestimmung der Position berücksichtigt.If the mobile end device is now up to the in 2c shown position, the mobile terminal receives information from the server about the landmark 302b based on the position transmitted by the mobile terminal, which deviates somewhat from the actual position of the mobile terminal, and the mobile terminal searches in the area 304 for the landmark 302b. After detecting the landmark 302b, the mobile terminal corrects its position based on the position information of the landmark 302b. Furthermore, the distance to the landmark 302b and the orientation of the camera are taken into account when determining the position.

Das mobile Endgerät kann weiterhin in der Position, wie in 2b und 2d gezeigt, eine neue Landmarke in die Datenbank einfügen. Dazu werden zunächst ein oder mehrere Bilder der Umgebung aufgenommen und aus diesen Bildern wird z.B. unter Verwendung von Tools wie z.B. Microsoft Azure Spatial Anchors oder Google Cloud Anchors eine Punktewolke 305 extrahiert, die charakteristisch für die aufgenommenen Bilder ist. In praktischen Anwendungen können Punktewolken ca. 100 bis 300 Punkte umfassen, mindestens erforderlich sind jedoch vier um eine Posenbestimmung zu ermöglichen.The mobile end device can continue to be in the position as in 2 B and 2d shown to insert a new landmark into the database. For this purpose, one or more images of the environment are first recorded and a point cloud 305 that is characteristic of the recorded images is extracted from these images, for example using tools such as Microsoft Azure Spatial Anchors or Google Cloud Anchors. In practical applications, point clouds can contain around 100 to 300 points, but a minimum of four is required to enable pose determination.

Diese Punktewolke bzw. eine möglichst eindeutige Repräsentation dieser Punktewolke wird dann gemeinsam mit der Pose oder Position der Punktewolke bezüglich des vom beschriebenen System verwendeten Koordinatensystems in 2d in die Datenbank eingefügt. Zur Verbesserung der Genauigkeit der Ortsinformation der Punktewolke kann das mobile Endgerät auch noch weitere Landmarken in der Umgebung, beispielsweise die zweite Landmarke 302b, wie in 2c gezeigt, verwenden. Dazu wird, wenn das mobile Endgerät nach dem Hinzufügen der Punktewolke wieder die zweite Landmarke 302b detektiert, die ermittelte Abweichung an den Server übermittelt und der Prozessor 210 des Servers 200 korrigiert die Position der Punktewolke basierend auf der Abweichung.This point cloud or a representation of this point cloud that is as unambiguous as possible is then displayed together with the pose or position of the point cloud with respect to the coordinate system used by the system described 2d inserted into the database. To improve the accuracy of the location information of the point cloud, the mobile device can also use other landmarks in the area, for example the second landmark 302b, as in 2c shown, use. For this purpose, when the mobile terminal device detects the second landmark 302b again after the point cloud has been added, the determined deviation is transmitted to the server and the processor 210 of the server 200 corrects the position of the point cloud based on the deviation.

In der Datenbank ist weiterhin optional eine Genauigkeit der Ortsinformationen der jeweiligen Landmarken gespeichert. Hierbei können beispielsweise künstliche Landmarken, wie Datamatrixcodes, die manuell hinzugefügt und mit einem Laser mit hoher Genauigkeit eingemessen wurden die höchste Genauigkeit „hoch“ erhalten. Landmarken, die automatisch basierend auf einer Punktewolke hinzugefügt wurden erhalten initial die Genauigkeit „niedrig“. Wenn die Ortsinformation einer hinzugefügten Landmarke, der auf einer Punktewolke basiert durch weitere Landmarken korrigiert wurde, so kann die Genauigkeit dieser Landmarke dann in „mittel“ geändert werden. Weitere Abstufungen oder eine quantitative Genauigkeit sind ebenfalls möglich.An accuracy of the location information of the respective landmarks is also optionally stored in the database. Here, for example, artificial landmarks such as data matrix codes that were added manually and measured with a laser with high accuracy can be given the highest accuracy "high". Landmarks, the auto added automatically based on a point cloud initially have the accuracy "low". If the location information of an added landmark based on a point cloud has been corrected by other landmarks, the accuracy of this landmark can then be changed to "medium". Further gradations or quantitative accuracy are also possible.

Die Ortung des mobilen Endgeräts erfolgt somit primär basierend auf einzelnen mit Landmarken markierten Punkten und es wird keine vollständige Karte erstellt.The location of the mobile terminal device is thus primarily based on individual points marked with landmarks and no complete map is created.

3 zeigt schematisch den Ablauf des Verfahrens zur Bestimmung der Position des mobilen Endgeräts. Hierbei umfasst das Verfahren entsprechend einer Ausführungsform die folgenden Schritte:

  • - S401: Bestimmen einer ersten Pose oder Position des mobilen Endgeräts 100 basierend auf den in der Datenbank 230 gespeicherten Ortsinformationen einer ersten Landmarke 302a sowie einer relativen Pose oder Position des mobilen Endgeräts 100 bezüglich der ersten Landmarke 302a, 302b; wobei sich die erste Landmarke 302a in einem Detektionsbereich 304 eines Detektors 130, 140 des mobilen Endgeräts 100 befindet;
  • - S402: Bestimmen mindestens einer Zwischenposition oder Zwischenpose des mobilen Endgeräts 100 basierend auf der anhand der ersten Landmarke 302a bestimmten Pose oder Position des mobilen Endgeräts 100 sowie Bewegungsdaten 303 des mobilen Endgeräts 100; und
  • - S403: Bestimmen einer zweiten Pose oder Position des mobilen Endgeräts 100 basierend auf einer zuletzt bestimmten Zwischenposition des mobilen Endgeräts, einer in der Datenbank 230 gespeicherten Ortsinformationen einer zweiten Landmarke 302b, sowie einer relativen Pose oder Position des mobilen Endgeräts 100 bezüglich der zweiten Landmarke 302b; wobei sich die zweite Landmarke 302b, wenn sich das mobile Endgerät an der zuletzt bestimmten Zwischenposition befindet, in einem Detektionsbereich 304 des Detektors 130, 140 des mobilen Endgeräts 100 befindet.
3 shows schematically the sequence of the method for determining the position of the mobile terminal device. According to one embodiment, the method comprises the following steps:
  • - S401: determining a first pose or position of the mobile terminal 100 based on the location information stored in the database 230 of a first landmark 302a and a relative pose or position of the mobile terminal 100 with respect to the first landmark 302a, 302b; wherein the first landmark 302a is in a detection range 304 of a detector 130, 140 of the mobile terminal device 100;
  • - S402: determining at least one intermediate position or intermediate pose of the mobile terminal device 100 based on the pose or position of the mobile terminal device 100 determined using the first landmark 302a and movement data 303 of the mobile terminal device 100; and
  • - S403: determining a second pose or position of the mobile terminal device 100 based on a last determined intermediate position of the mobile terminal device, location information of a second landmark 302b stored in the database 230, and a relative pose or position of the mobile terminal device 100 with respect to the second landmark 302b ; the second landmark 302b being in a detection range 304 of the detector 130, 140 of the mobile terminal device 100 when the mobile terminal device is located at the last intermediate position determined.

Die Verfahrensschritte S401, S402 und S403 werden dabei vorzugsweise durch den Prozessor bzw. die Recheneinheit 110 des mobilen Endgeräts ausgeführt, wobei die Datenbank 230 vorzugsweise auf dem Server 200 gespeichert ist und der Server 200 somit die Positionsinformationen der Landmarken 302a, 302b bereitstellt.The method steps S401, S402 and S403 are preferably carried out by the processor or the computing unit 110 of the mobile terminal, the database 230 preferably being stored on the server 200 and the server 200 thus providing the position information of the landmarks 302a, 302b.

4 zeigt ebenfalls ein Ablaufdiagramm entsprechend einer Ausführungsform der vorliegenden Anmeldung. Hierbei werden zu den bereits beschriebenen Verfahrensschritten S401, S402 und S403 noch die weiteren Verfahrensschritte S404 bis S407 hinzugefügt, die vorzugsweise zwischen den bereits beschriebenen Verfahrensschritten S402 und S403 ausgeführt werden.

  • - S404: Übermitteln der zuletzt bestimmten Zwischenposition oder Zwischenpose an den Server 200;
  • - S405: Bestimmen, basierend auf der zuletzt übermittelten bestimmten Zwischenposition oder Zwischenpose und den in der Datenbank 230 gespeicherten Ortsinformationen der mindestens einen Landmarke 302a, 302b, dass, wenn das mobile Endgerät sich an der bestimmten Zwischenposition befindet, die zweite Landmarke 302b im Detektionsbereich des Detektors 130, 140 des mobilen Endgeräts 100 ist;
  • - S406: Übersenden von Informationen der zweiten Landmarke 302b durch den Server 200 an das mobile Endgerät 100, wobei die Information der zweiten Landmarke 302b Ortsinformationen der zweiten Landmarke 302b und/oder Detektionsinformationen der zweiten Landmarke 302b umfassen;
  • - S407: Detektieren der zweiten Landmarke 302b basierend auf den Informationen der zweiten Landmarke 302b durch den Detektor 130, 140 des mobilen Endgeräts 100.
4 also shows a flowchart according to an embodiment of the present application. In this case, the further method steps S404 to S407, which are preferably carried out between the method steps S402 and S403 already described, are added to the method steps S401, S402 and S403 already described.
  • - S404: Transmitting the last determined intermediate position or intermediate pose to the server 200;
  • - S405: Determine, based on the last transmitted specific intermediate position or intermediate pose and the location information of the at least one landmark 302a, 302b stored in database 230, that when the mobile terminal device is at the specific intermediate position, the second landmark 302b is in the detection range of the detector 130, 140 of the mobile terminal 100;
  • - S406: Transmission of information of the second landmark 302b by the server 200 to the mobile terminal 100, wherein the information of the second landmark 302b include location information of the second landmark 302b and / or detection information of the second landmark 302b;
  • - S407: Detection of the second landmark 302b based on the information of the second landmark 302b by the detector 130, 140 of the mobile terminal device 100.

Hierbei werden die Verfahrensschritte S404 und S407 vorzugsweise durch das mobile Endgerät 100, bzw. durch den Prozessor 110 des mobilen Endgeräts 100 ausgeführt, während die Verfahrensschritte S405 und S406 vorzugsweise durch den Server 200, bzw. den Prozessor 210 des Servers 200 ausgeführt werden. Verfahrensschritt S405 kann auch durch das mobile Endgerät durchgeführt werden.The method steps S404 and S407 are preferably executed by the mobile terminal 100 or by the processor 110 of the mobile terminal 100, while the method steps S405 and S406 are preferably executed by the server 200 or the processor 210 of the server 200. Method step S405 can also be carried out by the mobile terminal.

5 zeigt ein weiteres Ablaufdiagramm entsprechend einer weiteren Ausführungsform der vorliegenden Anmeldung. Hierbei werden zu den bereits im Zusammenhang mit 3 beschriebenen Verfahrensschritten S401, S402 und S403 noch die weiteren Verfahrensschritte S408 bis S410 hinzugefügt, die vorzugsweise zwischen den bereits beschriebenen Verfahrensschritten S402 und S403 ausgeführt werden. Es ist weiterhin auch möglich die in den 4 und 5 gezeigten Ausführungsformen zu kombinieren.

  • - S408: Aufnehmen mehrerer Bilder (im Normalfall mindestens zwei, ein Bild reicht aus, wenn sich alle Punkte in einer Ebene befinden) einer Umgebung des mobilen Endgeräts 100 durch eine Kamera des mobilen Endgeräts 100 aus verschiedenen Blickwinkeln, oder durch mehrere Kameras,
  • - S409: Extrahieren identifizierender Merkmale, wie beispielsweise einer 3D-Punktewolke 305 aus den mindestens zwei aufgenommenen Bildern, und Erstellen der neuen Landmarke basierend auf der aktuellen Zwischenposition und den identifizierenden Merkmalen,
  • - S410: Einfügen der Punktewolke 305 als neue Landmarke in die Datenbank 230 bzw. von Informationen, die diese möglichst eindeutig identifizieren, zusammen mit Ortsinformationen der identifizierenden Merkmale oder Punktewolke 305, wobei die Ortsinformation der identifizierenden Merkmale oder Punktewolke 305 anhand der bestimmten Zwischenposition oder Zwischenpose des mobilen Endgeräts 100 beim Aufnehmen der Bilder, aus denen die identifizierenden Merkmale oder Punktewolke 305 extrahiert wurde, bestimmt wird.
5 Figure 12 shows another flow chart according to another embodiment of the present application. Here are to the already in connection with 3 The further method steps S408 to S410 are added to the method steps S401, S402 and S403 described, which are preferably carried out between the method steps S402 and S403 already described. It is still also possible in the 4 and 5 to combine embodiments shown.
  • - S408: Taking multiple images (normally at least two, one image is sufficient if all points are in one plane) of an area surrounding the mobile terminal device 100 by a camera of the mobile terminal device 100 from different angles, or by multiple cameras,
  • - S409: Extracting identifying features, such as a 3D point cloud 305 from the at least two recorded images, and creating the new landmark based on the current intermediate position and the identifying features,
  • - S410: Insertion of the point cloud 305 as a new landmark in the database 230 or of information that identifies it as clearly as possible, together with location information of the identifying features or point cloud 305, the location information of the identifying features or point cloud 305 based on the determined intermediate position or intermediate pose of the mobile terminal 100 when capturing the images from which the identifying features or point cloud 305 was extracted.

Hierbei wird der Verfahrensschritt S408 vorzugsweise von dem mobilen Endgerät 100 ausgeführt, während der Verfahrensschritt S410 vorzugsweise von dem Server 200 ausgeführt wird. Der Verfahrensschritt S409 kann entweder von dem mobilen Endgerät 100 oder vom Server 200 ausgeführt werden. Wenn der Server 200 zur Ausführung des Verfahrensschritts S409 konfiguriert ist, so werden die aufgenommenen Bilder vorher vorzugsweise durch das mobile Endgerät unter Verwendung der Sende-Empfangseinheiten 120, 220 an den Server 200 übertragen.In this case, the method step S408 is preferably carried out by the mobile terminal 100, while the method step S410 is preferably carried out by the server 200. The method step S409 can be carried out either by the mobile terminal device 100 or by the server 200. If the server 200 is configured to execute method step S409, the captured images are preferably transmitted to the server 200 beforehand by the mobile terminal device using the transceiver units 120, 220.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • EP 2738519 B1 [0008, 0024, 0054]EP 2738519 B1 [0008, 0024, 0054]

Claims (14)

Verfahren zur Bestimmung einer Position eines mobilen Endgeräts (100) basierend auf mindestens einer Landmarke (302a, 302b), wobei die jeweilige Position der mindestens einen Landmarke in einer Datenbank (230) gespeichert ist, umfassend, in dieser Reihenfolge, - Bestimmen (S401) einer ersten Position des mobilen Endgeräts (100) basierend auf einer in der Datenbank (230) gespeicherten Position einer ersten Landmarke (302a) sowie einer relativen Position des mobilen Endgeräts (100) bezüglich der ersten Landmarke (302a, 302b); wobei sich die erste Landmarke (302a) in einem Detektionsbereich (304) eines Detektors (130, 140) des mobilen Endgeräts (100) befindet; - Bestimmen (S402) mindestens einer Zwischenposition des mobilen Endgeräts (100) basierend auf der anhand der ersten Landmarke (302a) bestimmten Position des mobilen Endgeräts (100) sowie Bewegungsdaten (303) des mobilen Endgeräts (100); und - Bestimmen (S403) einer zweiten Position des mobilen Endgeräts (100) basierend auf einer zuletzt bestimmten Zwischenposition des mobilen Endgeräts, einer in der Datenbank (230) gespeicherten Position einer zweiten Landmarke (302b) sowie einer relativen Position des mobilen Endgeräts (100) bezüglich der zweiten Landmarke (302b); wobei sich die zweite Landmarke (302b), wenn sich das mobile Endgerät an der zuletzt bestimmten Zwischenposition befindet, im Detektionsbereich (304) des Detektors (130, 140) des mobilen Endgeräts (100) befindet.Method for determining a position of a mobile terminal device (100) based on at least one landmark (302a, 302b), the respective position of the at least one landmark being stored in a database (230), comprising, in this order, - Determining (S401) a first position of the mobile terminal (100) based on a position of a first landmark (302a) stored in the database (230) and a relative position of the mobile terminal (100) with respect to the first landmark (302a, 302b) ; wherein the first landmark (302a) is located in a detection range (304) of a detector (130, 140) of the mobile terminal (100); - Determining (S402) at least one intermediate position of the mobile terminal (100) based on the position of the mobile terminal (100) determined using the first landmark (302a) and movement data (303) of the mobile terminal (100); and - Determining (S403) a second position of the mobile terminal (100) based on a last determined intermediate position of the mobile terminal, a position of a second landmark (302b) stored in the database (230) and a relative position of the mobile terminal (100) with respect the second landmark (302b); wherein the second landmark (302b) is located in the detection range (304) of the detector (130, 140) of the mobile terminal device (100) when the mobile terminal device is located at the intermediate position last determined. Verfahren gemäß Anspruch 1, wobei die Datenbank (230) auf einem Server (200) gespeichert ist, der sich entfernt von dem mobilen Endgerät (100) befindet und das Verfahren, zwischen dem Bestimmen (S402) der zuletzt bestimmten Zwischenposition und dem Bestimmen (S403) der zweiten Position, weiterhin umfasst: - Übermitteln (S404) der zuletzt bestimmten Zwischenposition an den Server (200); - Bestimmen (S405), basierend auf der zuletzt übermittelten bestimmten Zwischenposition und den in der Datenbank (230) gespeicherten Positionen der mindestens einen Landmarke (302a, 302b), dass, wenn das mobile Endgerät sich an der zuletzt bestimmten Zwischenposition befindet, die zweite Landmarke (302b) im Detektionsbereich des Detektors (130, 140) des mobilen Endgeräts (100) ist; - Übersenden (S406) von Informationen der zweiten Landmarke (302b) durch den Server (200) an das mobile Endgerät (100), wobei die Information der zweiten Landmarke (302b) Informationen zu einer Position der zweiten Landmarke (302b) und/oder Detektionsinformationen der zweiten Landmarke (302b) umfassen; - Detektieren (S407) der zweiten Landmarke (302b) basieren auf den Informationen der zweiten Landmarke (302b) durch den Detektor (130, 140) des mobilen Endgeräts (100).procedure according to claim 1 , wherein the database (230) is stored on a server (200) remote from the mobile terminal (100) and the method between determining (S402) the last determined intermediate position and determining (S403) the second position , further comprising: - transmitting (S404) the last determined intermediate position to the server (200); - Determining (S405), based on the last transmitted determined intermediate position and the positions of the at least one landmark (302a, 302b) stored in the database (230), that when the mobile terminal is at the last determined intermediate position, the second landmark (302b) is in the detection range of the detector (130, 140) of the mobile terminal (100); - Transmission (S406) of information of the second landmark (302b) by the server (200) to the mobile terminal (100), wherein the information of the second landmark (302b) information about a position of the second landmark (302b) and / or detection information the second landmark (302b); - Detecting (S407) the second landmark (302b) based on the information of the second landmark (302b) by the detector (130, 140) of the mobile terminal (100). Verfahren gemäß einem der Ansprüche 1-2, wobei zumindest eine der mindestens einen Landmarken eine qualitative und/oder quantitative Genauigkeit der für die jeweilige Landmarke hinterlegten Position zugeordnet ist.Method according to one of Claims 1 - 2 , wherein at least one of the at least one landmark is assigned a qualitative and/or quantitative accuracy of the position stored for the respective landmark. Verfahren nach einem der Ansprüche 1-3, wobei das Verfahren weiterhin, nach dem Bestimmen (S402) einer aktuellen Zwischenposition, ein Hinzufügen einer neuen Landmarke entsprechend der folgenden Schritte umfasst: - Aufnehmen (S408) mindestens eines Bildes einer Umgebung des mobilen Endgeräts (100) durch mindestens eine Kamera des mobilen Endgeräts (100), - Extrahieren (S409) identifizierender Merkmale (305) aus dem mindestens einen aufgenommenen Bild und Erstellen der neuen Landmarke basierend auf der aktuellen Zwischenposition und den identifizierenden Merkmalen, - Einfügen (S410) einer Referenzinformation der identifizierenden Merkmale (305) als die neue Landmarke in die Datenbank (230) zusammen mit einer Position der identifizierenden Merkmale (305), wobei die Position der identifizierenden Merkmale (305) anhand der bestimmten aktuellen Zwischenposition des mobilen Endgeräts (100) beim Aufnehmen des mindestens einen Bildes, aus denen die identifizierenden Merkmale (305) extrahiert wurden, bestimmt wird.Procedure according to one of Claims 1 - 3 , wherein the method further comprises, after determining (S402) a current intermediate position, adding a new landmark according to the following steps: - Recording (S408) at least one image of an area surrounding the mobile terminal (100) by at least one camera of the mobile terminal (100), - Extracting (S409) identifying features (305) from the at least one recorded image and creating the new landmark based on the current intermediate position and the identifying features, - Inserting (S410) reference information of the identifying features (305) as the new landmark in the database (230) together with a position of the identifying features (305), the position of the identifying features (305) based on the determined current intermediate position of the mobile terminal (100) when recording the at least one image from which the identifying features (305) have been extracted is determined. Verfahren gemäß Anspruch 4, wobei die identifizierenden Merkmale des neuen Markers eine Punktewolke sind.procedure according to claim 4 , where the identifying features of the new marker are a cloud of points. Verfahren gemäß einem der Ansprüche 4 oder 5, wobei Landmarken, deren Positionen eingemessen wurden, eine erste Genauigkeit zugeordnet ist, und Landmarken, die unter Verwendung einer aktuell bestimmten Zwischenposition hinzugefügt wurden eine zweite Genauigkeit zugeordnet wird, wobei die erste Genauigkeit genauer als die zweite Genauigkeit ist.Method according to one of Claims 4 or 5 , wherein a first accuracy is assigned to landmarks whose positions have been measured, and a second accuracy is assigned to landmarks that were added using a currently determined intermediate position, the first accuracy being more precise than the second accuracy. Verfahren gemäß Anspruch 6, weiterhin umfassend eine Verbesserung der Genauigkeit der Position einer hinzugefügten Landmarke anhand der Positionsdaten weiterer Landmarken in einer Umgebung der hinzugefügten Landmarke.procedure according to claim 6 , further comprising an improvement in the accuracy of the position of an added landmark based on the position data of other landmarks in an area surrounding the added landmark. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die Bewegungsdaten die relative Bewegung und Rotation des mobilen Endgeräts umfassen, welche vorzugsweise durch visuelle Odometrie und/oder Inertialsensorik wie Rotationssensoren, Beschleunigungssensoren oder Drehratensensoren erfasst werden.Method according to one of the preceding claims, wherein the movement data comprise the relative movement and rotation of the mobile terminal device, which is preferably determined by visual odometry and/or inertial sensors such as rotation sensors Sensors, acceleration sensors or yaw rate sensors are detected. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei eine erste Teilmenge der Landmarken opto-elektronisch detektierbare Symbole wie beispielsweise Datamatrixcodes umfassen und eine zweite Teilmenge der Landmarken Umgebungsmerkmale umfassen, die nicht explizit zum Zweck der Gerätelokalisierung in die Umgebung eingebracht wurden.Method according to one of the preceding claims, wherein a first subset of the landmarks include opto-electronically detectable symbols such as data matrix codes and a second subset of the landmarks include environmental features that were not explicitly introduced into the environment for the purpose of device localization. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei keine Karte erstellt wird.A method according to any one of the preceding claims, wherein no map is created. System zur Lokalisierung eines mobilen Endgeräts (100) in einer Umgebung umfassend das mobile Endgerät (100) und einen Server (200), das mobile Endgerät umfassend: - mindestens einen Detektor (130, 140) konfiguriert zur Detektion von Landmarken, wobei die Landmarken wenigstens eine Landmarke (302a, 302b) umfassen; - eine Sende-Empfangseinheit (120) konfiguriert zum Senden von Daten an den Server (200) und zum Empfangen von Daten vom Server (200); - eine Recheneinheit (110) konfiguriert zum - Bestimmen einer ersten Position des mobilen Endgeräts (100) basierend auf einer in der Datenbank (230) gespeicherten Position der ersten Landmarke (302a) sowie einer relativen Position des mobilen Endgeräts (100) bezüglich der ersten Landmarke (302a); wobei sich die erste Landmarke (302a) in einem Detektionsbereich (304) des Detektors (130, 140) des mobilen Endgeräts (100) befindet; - Bestimmen mindestens einer Zwischenposition des mobilen Endgeräts (100) basierend auf der anhand des ersten Markers (302a) bestimmten Position des mobilen Endgeräts (100) sowie Bewegungsdaten (303) des mobilen Endgeräts (100); und - Bestimmen einer zweiten Position des mobilen Endgeräts (100) basierend auf einer zuletzt bestimmten Zwischenposition des mobilen Endgeräts, einer in der Datenbank (230) gespeicherten Position einer zweiten Landmarke (302b) sowie einer relativen Position des mobilen Endgeräts (100) bezüglich der zweiten Landmarke (302b); wobei sich die zweite Landmarke (302b), wenn sich das mobile Endgerät an der zuletzt bestimmten Zwischenposition befindet, im Detektionsbereich (304) des Detektors (130, 140) des mobilen Endgeräts (100) befindet; der Server (200) umfassend die Datenbank (230), eine Recheneinheit (210), und eine Sende-Empfangseinheit (220) konfiguriert zum Senden von Daten an das mobile Endgerät (100) und zum Empfangen von Daten vom mobilen Endgerät (100).System for locating a mobile terminal (100) in an environment comprising the mobile terminal (100) and a server (200), the mobile terminal comprising: - At least one detector (130, 140) configured to detect landmarks, wherein the landmarks include at least one landmark (302a, 302b); - a transceiver unit (120) configured to send data to the server (200) and to receive data from the server (200); - a computing unit (110) configured for - Determining a first position of the mobile terminal (100) based on a position of the first landmark (302a) stored in the database (230) and a relative position of the mobile terminal (100) with respect to the first landmark (302a); wherein the first landmark (302a) is located in a detection range (304) of the detector (130, 140) of the mobile terminal (100); - Determining at least one intermediate position of the mobile terminal (100) based on the position of the mobile terminal (100) determined using the first marker (302a) and movement data (303) of the mobile terminal (100); and - Determining a second position of the mobile terminal (100) based on a last determined intermediate position of the mobile terminal, a position of a second landmark (302b) stored in the database (230) and a relative position of the mobile terminal (100) with respect to the second landmark (302b); wherein the second landmark (302b) is in the detection range (304) of the detector (130, 140) of the mobile terminal (100) when the mobile terminal is located at the last determined intermediate position; the server (200) comprising the database (230), a computing unit (210), and a transceiver unit (220) configured to send data to the mobile terminal (100) and to receive data from the mobile terminal (100). System gemäß Anspruch 11, weiterhin konfiguriert zur Durchführung des Verfahrens gemäß einem der Ansprüche 2-10.system according to claim 11 , further configured to carry out the method according to one of claims 2 - 10 . Computerprogrammprodukt, umfassend Befehle, die bewirken, dass das System des Anspruchs 11 oder 12 die Verfahrensschritte nach einem der Ansprüche 1-10 ausführt.Computer program product comprising instructions that cause the system of Claim 11 or 12 the method steps according to one of Claims 1 - 10 executes Computerlesbares Medium, auf dem das Computerprogrammprodukt nach Anspruch 13 gespeichert ist.Computer-readable medium on which the computer program product Claim 13 is saved.
DE102020213111.2A 2020-10-16 2020-10-16 Method and system for determining a pose or position of a mobile device Pending DE102020213111A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020213111.2A DE102020213111A1 (en) 2020-10-16 2020-10-16 Method and system for determining a pose or position of a mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020213111.2A DE102020213111A1 (en) 2020-10-16 2020-10-16 Method and system for determining a pose or position of a mobile device

Publications (1)

Publication Number Publication Date
DE102020213111A1 true DE102020213111A1 (en) 2022-04-21

Family

ID=80929250

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020213111.2A Pending DE102020213111A1 (en) 2020-10-16 2020-10-16 Method and system for determining a pose or position of a mobile device

Country Status (1)

Country Link
DE (1) DE102020213111A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019167A (en) * 2022-05-26 2022-09-06 中国电信股份有限公司 Fusion positioning method, system, equipment and storage medium based on mobile terminal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167667A1 (en) 2002-12-17 2004-08-26 Goncalves Luis Filipe Domingues Systems and methods for filtering potentially unreliable visual data for visual simultaneous localization and mapping
EP2738519B1 (en) 2012-11-29 2019-10-02 Technische Fachhochschule Wildau Localisation of a mobile terminal using visually detectable landmarks
DE102018125397A1 (en) 2018-10-15 2020-04-16 Visualix GmbH Method and device for determining an area map
US20200159238A1 (en) 2018-11-19 2020-05-21 Mobile Industrial Robots A/S Detecting a location of an autonomous device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167667A1 (en) 2002-12-17 2004-08-26 Goncalves Luis Filipe Domingues Systems and methods for filtering potentially unreliable visual data for visual simultaneous localization and mapping
EP2738519B1 (en) 2012-11-29 2019-10-02 Technische Fachhochschule Wildau Localisation of a mobile terminal using visually detectable landmarks
DE102018125397A1 (en) 2018-10-15 2020-04-16 Visualix GmbH Method and device for determining an area map
US20200159238A1 (en) 2018-11-19 2020-05-21 Mobile Industrial Robots A/S Detecting a location of an autonomous device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEUTENEGGER, Stefan [u.a.]: Keyframe-based visual–inertial odometry using nonlinear optimization. In: International Journal of Robotics Research, The, Bd. 34, 2015, H. 3, S. 314-334. - ISSN 0278-3649 (p); 1741-3176 (e). DOI: 10.1177/0278364914554813. URL: https://journals.sagepub.com/doi/pdf/10.1177/0278364914554813 [abgerufen am 2020-11-27].
YOUSIF, Khalid ; BAB-HADIASHAR, Alireza ; HOSEINNEZHAD, Reza: An overview to visual odometry and visual SLAM: Applications to mobile robotics. In: Intelligent Industrial Systems, Bd. 1, 2015, S. 289-311. - ISSN 2363-6912 (p); 2199-854X (e). DOI: 10.1007/s40903-015-0032-7. URL: https://link.springer.com/content/pdf/10.1007/s40903-015-0032-7.pdf [abgerufen am 2020-11-27].

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019167A (en) * 2022-05-26 2022-09-06 中国电信股份有限公司 Fusion positioning method, system, equipment and storage medium based on mobile terminal
CN115019167B (en) * 2022-05-26 2023-11-07 中国电信股份有限公司 Fusion positioning method, system, equipment and storage medium based on mobile terminal

Similar Documents

Publication Publication Date Title
EP3105547B1 (en) Method for determining the absolute position of a mobile unit, and mobile unit
EP3659001B1 (en) Magnetometer for robot navigation
EP3491417B1 (en) Method and system for detecting landmarks in a traffic environment of a mobile unit
EP3824247A1 (en) Method and system for determining a position of a vehicle
EP3872525A1 (en) Scanning assembly and method for scanning an object
DE102016214028A1 (en) Method and system for determining a position of a mobile unit
AT509438A1 (en) Method and system for detecting the position of a vehicle in a defined area
DE102007043534A1 (en) Arrangement for detecting an environment
DE102019207448A1 (en) Simultaneous localization and map creation in 2D using a 3D scanner
DE102019216548A1 (en) Method and mobile detection device for the detection of infrastructure elements of an underground line network
EP3722910A1 (en) Method for optimized simultaneous locating and mapping of a mobile robot
DE102020213111A1 (en) Method and system for determining a pose or position of a mobile device
DE102021206075A1 (en) Vehicle localization as a ride-sharing option and occupant identification for autonomous vehicles
EP4055459B1 (en) Computer-implemented method for creating a map of the surrounding area for the operation of a mobile agent
EP3164850A1 (en) Method for ascertaining in a backend, and providing for a vehicle, a data record, describing a landmark, for the vehicle to determine its own position
DE102008008499B4 (en) Method for computer-aided calculation of the movement of an object from sensor data
DE212019000129U1 (en) System for inspecting an electrical power system using an unmanned aerial vehicle
EP4148386A1 (en) Determination of an absolute initial position of a vehicle
EP3534297A2 (en) Method for determining the position of a mobile object, method for path planning for a mobile object, device therefor, data carrier
DE102019209117A1 (en) Method for locating a vehicle
DE102021130631A1 (en) Method and system for navigating an industrial truck
EP3534112B1 (en) Method for determining an electronically usable representation of an environment, apparatus therefor, data carrier
EP3534110B1 (en) Method and device for supplementing an electronically usable representation of an environment
DE102020216317A1 (en) Indoor localization of moving objects
DE102020210637A1 (en) Computer program, method and device for monitoring an environment

Legal Events

Date Code Title Description
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: TECHNISCHE HOCHSCHULE WILDAU, DE

Free format text: FORMER OWNERS: FOP CONSULT GMBH, 10249 BERLIN, DE; TECHNISCHE HOCHSCHULE WILDAU, 15745 WILDAU, DE