Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen einer aktuellen Position eines Mobilgeräts innerhalb eines Interessenbereichs.The invention relates to a method and a device for providing a current position of a mobile device within an area of interest.
Mobilgeräte, insbesondere Smartphones, werden häufig für Kommunikationszwecke und für viele Arten von Informationsdiensten eingesetzt. Ein Mobilgerät kann sich innerhalb von Zellen eines Mobilfunksystems eines Netzbetreibers bewegen. Ein Mobilgerät kann eine Verbindung zu einem oder mehreren Zugangspunkten des Kommunikationsnetzes aufweisen. Der Netzbetreiber des Kommunikationsnetzes kann einen aktuellen Standort des Mobilgeräts bereitstellen. Darüber hinaus ist es möglich, dass ein GPS-Anbieter eines Satellitensystems ein Mobilgerät lokalisiert, insbesondere wenn sich das Mobilgerät in einem Gebiet befindet, das nicht von einem Anbieter eines Kommunikationsnetzes abgedeckt wird. Aus den vom Netzbetreiber und/oder vom Anbieter des Satellitensystems bereitgestellten Standortdaten kann ein aktueller Standort des Mobilgeräts abgeleitet werden. Es ist jedoch schwierig oder kaum möglich, einen genauen aktuellen Standort eines Mobilgeräts zu bestimmen, wenn sich das Mobilgerät in einem mehrstöckigen Gebäude oder in einem Bereich befindet, in dem sowohl ein Netzwerksignal eines Kommunikationsnetzes als auch ein GPS-Signal fehlen. Dementsprechend hat ein Nutzer, der sein Mobilgerät in einem mehrstöckigen Gebäude wie zum Beispiel einem Einkaufszentrum trägt, nur sehr begrenzte Möglichkeiten, sich über seinen aktuellen Standort und/oder die Standorte anderer Objekte in seiner Nähe zu informieren. Mobile devices, especially smartphones, are often used for communication purposes and for many types of information services. A mobile device may move within cells of a mobile operator's cellular system. A mobile device may have a connection to one or more access points of the communication network. The network operator of the communication network can provide a current location of the mobile device. Moreover, it is possible for a GPS provider of a satellite system to locate a mobile device, in particular if the mobile device is located in an area that is not covered by a provider of a communications network. From the location data provided by the network operator and / or the provider of the satellite system, a current location of the mobile device can be derived. However, it is difficult or almost impossible to determine a precise current location of a mobile device when the mobile device is in a multi-storey building or in an area where both a network signal of a communication network and a GPS signal are missing. Accordingly, a user carrying his mobile device in a multi-storey building, such as a mall, has very limited opportunities to learn about his current location and / or the locations of other nearby objects.
Dementsprechend ist es ein Gegenstand der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zum Bereitstellen eines aktuellen Standorts eines Mobilgeräts bereitzustellen, auch wenn eine Lokalisierung basierend auf Netzwerk- und/oder Satellitensignalübertragung nicht möglich ist.Accordingly, it is an object of the present invention to provide an apparatus and method for providing a current location of a mobile device, even though location based on network and / or satellite signal transmission is not possible.
Dieser Gegenstand wird gemäß einem ersten Aspekt der vorliegenden Erfindung durch eine Standortbestimmungsvorrichtung erreicht, welche die Merkmale nach Anspruch 1 umfasst.This object is achieved according to a first aspect of the present invention by a location determining apparatus comprising the features of claim 1.
Die Erfindung stellt gemäß dem ersten Aspekt der vorliegenden Erfindung eine Standortbestimmungsvorrichtung zum Bereitstellen eines aktuellen Standorts eines Mobilgeräts bereit, wobei die Standortbestimmungsvorrichtung umfasst: eine Bildverarbeitungseinheit, die ausgebildet ist, um wenigstens ein Kamerabild der Umgebung des Mobilgeräts zu verarbeiten, das von einer Kamera des Mobilgeräts aufgenommen wurde, um darin wenigstens ein Orientierungspunkt-Objekt mit Orientierungspunkt-Merkmalen zu identifizieren, das verarbeitet wurde, um eine relative Position des identifizierten Orientierungspunkt-Objekts in der Umgebung des Mobilgeräts in Bezug auf das Mobilgerät zu bestimmen, und eine Standortberechnungseinheit, die ausgebildet ist, um eine aktuelle Position des Mobilgeräts auf der Grundlage einer Position des identifizierten Orientierungspunkt-Objekts zu berechnen, das aus einem Orientierungspunkt-Objekt-Speicher abgerufen wird, und auf der Grundlage der bestimmten relativen Position des identifizierten Orientierungspunkt-Objekts.The invention provides, in accordance with the first aspect of the present invention, a location determining device for providing a current location of a mobile device, the positioning device comprising: an image processing unit configured to process at least one camera image of the environment of the mobile device received from a camera of the mobile device to identify therein at least one landmark object having landmark features that has been processed to determine a relative location of the identified landmark object in the environment of the mobile device with respect to the mobile device, and a location calculator that is formed to calculate a current position of the mobile device based on a position of the identified landmark object retrieved from a landmark-object memory and based on the determined relative posi tion of the identified landmark object.
In einer möglichen Ausführungsform der Standortbestimmungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung umfassen die verarbeiteten Orientierungspunkt-Merkmale des identifizierten Orientierungspunkt-Objekts (LO) eine Gestalt, eine Form, eine Kontur und/oder ein Oberflächenmuster des Orientierungspunkt-Objekts.In one possible embodiment of the location determination apparatus according to the first aspect of the present invention, the processed landmark features of the identified landmark object (LO) include a shape, a shape, a contour, and / or a surface pattern of the landmark object.
In noch einer weiteren möglichen Ausführungsform der Standortbestimmungsvorrichtung nach dem ersten Aspekt der vorliegenden Erfindung umfasst das Orientierungspunkt-Objekt ein Gebäude, ein Denkmal, eine Ladenfront innerhalb eines Gebäudes, ein Markenlogo oder Markenkennzeichen und/oder jede Art von Landschaftsobjekten.In yet another possible embodiment of the location determination apparatus according to the first aspect of the present invention, the landmark object comprises a building, a monument, a shop front within a building, a brand logo or branding mark, and / or any kind of landscape objects.
In einer weiteren möglichen Ausführungsform der Standortbestimmungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung umfasst die relative Position des identifizierten Orientierungspunkt-Objekts eine relative Richtung und einen relativen Abstand zwischen dem Orientierungspunkt-Objekt und dem Mobilgerät.In another possible embodiment of the location determination device according to the first aspect of the present invention, the relative position of the identified landmark object comprises a relative direction and a relative distance between the landmark object and the mobile device.
In einer noch weiter möglichen Ausführungsform der Standortbestimmungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung wird die relative Richtung zwischen dem identifizierten Orientierungspunkt-Objekt und dem Mobilgerät als Reaktion auf Kompassdaten bestimmt, die von einem Kompass-Sensor des Mobilgeräts bereitgestellt werden.In a still further embodiment of the location determining apparatus according to the first aspect of the present invention, the relative direction between the identified landmark object and the mobile device is determined in response to compass data provided by a compass sensor of the mobile device.
In einer noch weiter möglichen Ausführungsform der Standortbestimmungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung speichert der Orientierungspunkt-Objekt-Speicher die absoluten Positionen einer Vielzahl von identifizierbaren Orientierungspunkt-Objekten innerhalb wenigstens eines vorbestimmten Bereichs.In a still further embodiment of the location determining apparatus according to the first aspect of the present invention, the landmark-object memory stores the absolute positions of a plurality of identifiable landmark objects within at least one predetermined area.
In einer noch weiter möglichen Ausführungsform der Standortbestimmungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung umfasst der Orientierungspunkt-Objekt-Speicher eine entfernte Datenbank, auf die das Mobilgerät über ein Netzwerk Zugriff hat, und/oder einen lokalen Speicher des Mobilgeräts. In a still further embodiment of the location determination device according to the first aspect of the present invention, the landmark object memory comprises a remote database to which the mobile device has access via a network and / or a local memory of the mobile device.
In einer noch weiter möglichen Ausführungsform der Standortbestimmungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung wird eine Schätzung der aktuellen Position des Mobilgeräts durch eine GNSS-Einheit des Mobilgeräts bereitgestellt, die verwendet wird, um den Interessenbereich einzugrenzen und relevante Orientierungspunkt-Objekte im Orientierungspunkt-Objekt-Speicher zu filtern.In a still further embodiment of the location determining apparatus according to the first aspect of the present invention, an estimate of the current position of the mobile device is provided by a GNSS unit of the mobile device used to narrow the area of interest and locate relevant landmark objects in the landmark object. Memory to filter.
Die Erfindung sieht weiterhin gemäß einem zweiten Aspekt ein Verfahren zum Bereitstellen eines aktuellen Standorts eines Mobilgeräts mit den Merkmalen nach Anspruch 11 vor.The invention further provides, according to a second aspect, a method for providing a current location of a mobile device having the features according to claim 11.
Die Erfindung sieht gemäß dem zweiten Aspekt ein Verfahren zum Bereitstellen eines aktuellen Standorts eines Mobilgeräts vor, wobei das Verfahren die folgenden Schritte umfasst: Verarbeiten wenigstens eines Kamerabilds der Umgebung des Mobilgeräts, das von einer Kamera des Mobilgeräts aufgenommen wurde, um darin wenigstens ein Orientierungspunkt-Objekt zu identifizieren,
Bewerten von Merkmalen des identifizierten Orientierungspunkt-Objekts, um eine relative Position des identifizierten Orientierungspunkt-Objekts in Bezug auf das Mobilgerät zu bestimmen, und
Berechnen des aktuellen Standorts des Mobilgeräts auf der Grundlage einer Position des identifizierten Orientierungspunkt-Objekts, das aus einem Orientierungspunkt-Objekt-Speicher abgerufen wird, und auf der Grundlage der bestimmten relativen Position des identifizierten Orientierungspunkt-Objekts in Bezug auf das Mobilgerät.According to the second aspect, the invention provides a method for providing a current location of a mobile device, the method comprising the following steps: processing at least one camera image of the environment of the mobile device that was taken by a camera of the mobile device in order to at least Identify object
Evaluating features of the identified landmark object to determine a relative position of the identified landmark object relative to the mobile device, and
Calculating the current location of the mobile device based on a location of the identified landmark object retrieved from landmark object memory and based on the determined relative location of the identified landmark object relative to the mobile device.
Im Folgenden werden mögliche Ausführungsformen des Verfahrens und der Vorrichtung gemäß der vorliegenden Erfindung anhand der beigefügten Figuren näher beschrieben.
- 1 zeigt ein Blockdiagramm einer möglichen beispielhaften Ausführungsform einer Standortbestimmungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung;
- 2 zeigt ein weiteres schematisches Diagramm zur Veranschaulichung einer möglichen Ausführungsform einer Standortbestimmungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung;
- 3 zeigt ein Flussdiagramm einer möglichen beispielhaften Ausführungsform eines Verfahrens zum Bereitstellen einer aktuellen Position eines Mobilgeräts gemäß dem zweiten Aspekt der vorliegenden Erfindung;
- 4 zeigt einen möglichen Anwendungsfall für das Verfahren und die Vorrichtung gemäß der vorliegenden Erfindung;
- 5 veranschaulicht einen weiteren möglichen Anwendungsfall für das Verfahren und die Vorrichtung nach der vorliegenden Erfindung.
In the following, possible embodiments of the method and the device according to the present invention will be described in more detail with reference to the attached figures. - 1 FIG. 12 is a block diagram of one possible exemplary embodiment of a location determination apparatus according to the first aspect of the present invention; FIG.
- 2 shows another schematic diagram illustrating a possible embodiment of a positioning device according to the first aspect of the present invention;
- 3 FIG. 12 shows a flowchart of one possible exemplary embodiment of a method for providing a current position of a mobile device according to the second aspect of the present invention; FIG.
- 4 shows a possible application for the method and apparatus according to the present invention;
- 5 illustrates another possible application for the method and apparatus of the present invention.
Wie aus dem Blockdiagramm von 1 ersichtlich ist, umfasst die Standortbestimmungsvorrichtung 1 gemäß dem ersten Aspekt der vorliegenden Erfindung in der veranschaulichten Ausführungsform zwei Hauptkomponenten. Die in 1 dargestellte Standortbestimmungsvorrichtung 1 dient dazu, einen aktuellen Standort eines Mobilgeräts, wie beispielsweise eines Smartphones oder einer anderen Art eines Mobilgeräts, insbesondere eines Laptops oder mobilen Computers, bereitzustellen. Die in das Mobilgerät MD integrierte oder mit dem Mobilgerät verbundene Standortbestimmungsvorrichtung 1 umfasst in der dargestellten Ausführungsform eine Bildverarbeitungseinheit 2 und eine Standortberechnungseinheit 3. In einer möglichen Ausführungsform kann die Bildverarbeitungseinheit 2 und/oder die Standortberechnungseinheit 3 durch einen Prozessor umgesetzt werden. Die Bildverarbeitungseinheit 2 empfängt wenigstens ein Kamerabild von einer Kamera 4. Die Bildverarbeitungseinheit 2 ist ausgebildet, um wenigstens ein Kamerabild der Umgebung des Mobilgeräts zu verarbeiten, das von der Kamera 4 des Mobilgeräts erfasst wird, um darin wenigstens ein Orientierungspunkt-Objekt zu identifizieren. Das Orientierungspunkt-Objekt kann beispielsweise ein Gebäude wie ein öffentliches oder privates Gebäude, ein Denkmal, eine Ladenfront innerhalb eines Gebäudes, ein Markenlogo oder Markenzeichen oder ein Landschaftsobjekt umfassen. Das Gebäude kann beispielsweise ein öffentliches Gebäude sein, wie z.B. ein Bahnhof oder ein Flughafen-Tower. Darüber hinaus kann das Orientierungspunkt-Objekt auch ein Denkmal wie eine Statue oder ein Kunstobjekt sein. Das Orientierungspunkt-Objekt kann sich innerhalb oder außerhalb eines Gebäudes befinden. Der Nutzer eines Mobilgeräts wie beispielsweise eines Smartphones kann ein oder mehrere Bilder von einem Orientierungspunkt-Objekt innerhalb oder außerhalb eines Gebäudes aufnehmen. So kann der Nutzer beispielsweise ein Bild von einem Orientierungspunkt-Objekt außerhalb eines Gebäudes durch ein Glasfenster eines Gebäudes aufnehmen. Darüber hinaus kann der Nutzer in einem Einkaufszentrum ein Foto machen, das die Ladenfront verschiedener Geschäfte zeigt. Der Nutzer kann ein einzelnes Bild oder sogar ein Video mit einer Folge von Kamerabildern aufnehmen. In der in 1 dargestellten Ausführungsform empfängt die Bildverarbeitungseinheit 2 Kamerabilder von einer einzelnen Kamera 4. In einer noch weiter möglichen Ausführungsform kann das Mobilgerät eine Anzahl von Kameras 4 umfassen, wobei die Bildverarbeitungseinheit 2 Kamerabilder von einer Gruppe von Kameras 4 empfängt. Ein Orientierungspunkt-Objekt, wie ein fotografiertes Gebäude oder Denkmal, umfasst verschiedene Orientierungspunktmerkmale, einschließlich einer Orientierungspunktform, einer Orientierungspunktgestalt, einer Orientierungspunktkontur und/oder eines Oberflächenmusters des jeweiligen Orientierungspunkt-Objekts. Das Orientierungspunkt-Objekt könnte beispielsweise der Eiffelturm in Paris sein. Der Eiffelturm hat eine sehr charakteristische Form, Gestalt und Kontur, die es erlaubt, das Orientierungspunkt-Objekt zu identifizieren. Der Eiffelturm umfasst weiterhin eine bekannte Größe und Höhe. Die verschiedenen Orientierungspunkt-Merkmale des Orientierungspunkt-Objekts können von der Bildverarbeitungseinheit 2 ausgewertet werden, um eine relative Position des identifizierten Orientierungspunkt-Objekts in der Umgebung des Mobilgeräts in Bezug auf das Mobilgerät zu bestimmen. So ist es beispielsweise möglich, anhand der Größe des Eiffelturms innerhalb des aufgenommenen Kamerabildes einen Abstand zwischen der Kamera 4 des Mobilgerätes und dem Eiffelturm aus der gespeicherten Höhe des Eiffelturms zu berechnen. Weiterhin ist es durch die Auswertung der Kontur des aufgenommenen Bildes vom Orientierungspunkt-Objekt möglich, eine relative Richtung zwischen der Kamera des Mobilgerätes und dem jeweiligen Orientierungspunkt-Objekt zu bewerten. Die Bestimmung der relativen Richtung kann unterstützt werden, indem auch Kompassdaten ausgewertet werden, die von einem Kompass-Sensor des Mobilgerätes bereitgestellt werden. Weiterhin kann die relative Richtung zwischen dem Mobilgerät und dem Orientierungspunkt-Objekt verbessert werden, wenn mehr als ein Orientierungspunkt-Objekt untersucht wird. Besteht das Orientierungspunkt-Objekt beispielsweise aus Zwillingstürmen, ist es möglich, eine relative Position zu bestimmen, die einen relativen Abstand und eine relative Richtung des identifizierten Orientierungspunkt-Objekts beinhaltet, das von den Zwillingstürmen gebildet wird.As from the block diagram of 1 can be seen, the location determination device comprises 1 according to the first aspect of the present invention, in the illustrated embodiment, two main components. In the 1 illustrated location determination device 1 serves to provide a current location of a mobile device, such as a smartphone or other type of mobile device, in particular a laptop or mobile computer. The positioning device integrated into the mobile device MD or connected to the mobile device 1 In the illustrated embodiment, it includes an image processing unit 2 and a location calculation unit 3 , In one possible embodiment, the image processing unit 2 and / or the location calculation unit 3 be implemented by a processor. The image processing unit 2 receives at least one camera image from a camera 4 , The image processing unit 2 is configured to process at least one camera image of the environment of the mobile device that is from the camera 4 of the mobile device to identify therein at least one landmark object. The landmark object may include, for example, a building such as a public or private building, a monument, a store front within a building, a brand logo or trademark, or a landscape object. For example, the building may be a public building, such as a train station or an airport tower. In addition, the landmark object may also be a monument such as a statue or an art object. The landmark object may be inside or outside a building. The user of a mobile device, such as a smartphone, may take one or more images of a landmark object inside or outside a building. For example, the user may take a picture of a landmark object outside a building through a glass window of a building. In addition, the user can take a picture in a shopping center showing the shop front of various shops. The user can take a single image or even a video with a sequence of camera images. In the in 1 The embodiment receives the image processing unit 2 Camera pictures from a single camera 4 , In a still further possible embodiment, the mobile device may include a number of cameras 4 comprising, wherein the image processing unit 2 Camera images of a group of cameras 4 receives. On Landmark object, such as a photographed building or monument, includes various landmark features, including a landmark shape, a landmark shape, a landmark contour, and / or a surface pattern of the landmark landmark object. The landmark object could be, for example, the Eiffel Tower in Paris. The Eiffel Tower has a very characteristic shape, shape and contour that allows it to identify the landmark object. The Eiffel Tower continues to have a known size and height. The various landmark features of the landmark object may be provided by the image processing unit 2 evaluated to determine a relative position of the identified landmark object in the environment of the mobile device with respect to the mobile device. For example, it is possible to determine a distance between the camera based on the size of the Eiffel Tower within the captured camera image 4 of the mobile device and the Eiffel Tower from the stored height of the Eiffel Tower. Furthermore, by evaluating the contour of the captured image from the landmark object, it is possible to evaluate a relative direction between the camera of the mobile device and the respective landmark object. The determination of the relative direction can be assisted by also evaluating compass data provided by a compass sensor of the mobile device. Furthermore, the relative direction between the mobile device and the landmark object can be improved if more than one landmark object is examined. For example, if the landmark object consists of twin towers, it is possible to determine a relative position that includes a relative distance and a relative direction of the identified landmark object formed by the twin towers.
Die Bildverarbeitungseinheit 2 führt der Standortberechnungseinheit 3 der Standortbestimmungsvorrichtung 1 das identifizierte Orientierungspunkt-Objekt und die bestimmte relative Position des identifizierten Orientierungspunkt-Objekts zu. So kann beispielsweise die Bildverarbeitungseinheit 2 der Standortberechnungseinheit 3 anzeigen, dass das identifizierte Objekt der Eiffelturm ist und dass die relative Position dieses Orientierungspunkt-Objekts in einer Entfernung von drei Kilometern in einem bestimmten Winkel α liegt.The image processing unit 2 leads the location calculation unit 3 the location determining device 1 the identified landmark object and the determined relative position of the identified landmark object. For example, the image processing unit 2 the location calculation unit 3 indicate that the identified object is the Eiffel Tower and that the relative position of this landmark object is at a certain angle α at a distance of three kilometers.
Die Standortberechnungseinheit 3 ist ausgebildet, um den aktuellen Standort des Mobilgeräts auf der Grundlage des Standorts des identifizierten, in einem Speicher gespeicherten Orientierungspunkt-Objekts und auf der Grundlage der bestimmten relativen Position des identifizierten Orientierungspunkt-Objekts zu berechnen. In einer möglichen Ausführungsform kann die Standortberechnungseinheit 3 eine absolute Position einschließlich der Koordinaten des identifizierten Orientierungspunkt-Objekts aus einem Orientierungspunkt-Objekt-Speicher 5 abrufen, wie es in 1 dargestellt ist. Aus der absoluten Position des identifizierten Orientierungspunkt-Objekts einschließlich der Koordinaten des identifizierten Orientierungspunkt-Objekts und auf der Grundlage der relativen Position des Mobilgeräts mit der Standortbestimmungsvorrichtung 1 in Bezug auf das identifizierte Orientierungspunkt-Objekt kann die Standortberechnungseinheit 3 die absolute aktuelle Position des Mobilgeräts MD berechnen. Der gefundene aktuelle Standort des Mobilgerätes MD kann für verschiedene Zwecke verwendet werden. So ist es beispielsweise möglich, dem Nutzer des Mobilgeräts MD den aktuellen Standort des Mobilgeräts MD auf einer Anzeige einer Nutzeroberfläche anzuzeigen. Das identifizierte Orientierungspunkt-Objekt kann in einer möglichen Ausführungsform mit zugehörigen Informationsdaten ergänzt werden, die auf der Anzeige der Nutzeroberfläche des Mobilgerätes MD visualisiert werden, um den Nutzer des Mobilgerätes MD detaillierter über das identifizierte Orientierungspunkt-Objekt zu informieren und/oder den Nutzer zum identifizierten Orientierungspunkt-Objekt zu führen. So kann der Nutzer beispielsweise über den Namen und die Historie des identifizierten Orientierungspunkt-Objekts informiert werden. Darüber hinaus kann der Nutzer Informationen erhalten, wie er das identifizierte Orientierungspunkt-Objekt beispielsweise mit Verkehrsmitteln wie einer U-Bahn eines öffentlichen Verkehrssystems erreichen kann. So kann beispielsweise ein Nutzer in Paris informiert werden, wie er mit der Metro das identifizierte Orientierungspunkt-Objekt „Eiffelturm“ erreicht. Das identifizierte Orientierungspunkt-Objekt kann auch ein Landschaftsobjekt wie einen Berg oder einen Berggipfel umfassen. Hier kann ein Nutzer informiert werden, wie er den Berggipfel mit Bahnen und/oder Seilbahnen erreicht. Der Orientierungspunkt-Objekt-Speicher 5 speichert die absoluten Positionen einer Vielzahl von identifizierten Objekten innerhalb wenigstens eines vordefinierten Bereichs. Der Orientierungspunkt-Objekt-Speicher 5 kann auch zugehörige Informationsdaten über die identifizierbaren Orientierungspunkt-Objekte wie Namen und andere nützliche Informationsdaten speichern. Der Orientierungspunkt-Objekt-Speicher 5 kann einen lokalen Speicher des Mobilgeräts MD und/oder eine entfernte Datenbank umfassen, auf die das Mobilgerät MD über eine Netzwerkverbindung Zugriff hat. In einer möglichen Ausführungsform kann die Standortbestimmungsvorrichtung 1 auch eine Satellitenempfangseinheit oder eine GNSS-Einheit umfassen, die eine grobe Schätzung der aktuellen Position des Mobilgeräts MD ermöglicht. Diese Schätzung kann verwendet werden, um den Interessenbereich einzugrenzen. Die Grobposition des Mobilgeräts MD kann auch dazu verwendet werden, relevante Orientierungspunkt-Objekte im Orientierungspunkt-Objekt-Speicher 5 zu filtern.The location calculation unit 3 is configured to calculate the current location of the mobile device based on the location of the identified landmark object stored in a memory and based on the determined relative location of the identified landmark object. In one possible embodiment, the location calculation unit 3 an absolute position including the coordinates of the identified landmark object from a landmark-object memory 5 retrieve it as in 1 is shown. From the absolute position of the identified landmark object including the coordinates of the identified landmark object and based on the relative position of the mobile device with the locator 1 with respect to the identified landmark object, the location calculation unit 3 the absolute current position of the mobile device MD to calculate. The found current location of the mobile device MD can be used for different purposes. For example, it is possible for the user of the mobile device MD the current location of the mobile device MD on a display of a user interface. In one possible embodiment, the identified landmark object can be supplemented with associated information data that is displayed on the display of the user interface of the mobile device MD be visualized to the user of the mobile device MD to inform in more detail about the identified landmark object and / or to guide the user to the identified landmark object. For example, the user can be informed about the name and the history of the identified landmark object. In addition, the user can obtain information as to how he can reach the identified landmark object, for example, by means of transportation such as a subway of a public transportation system. For example, a user in Paris can be informed on how to reach the identified landmark object "Eiffel Tower" by metro. The identified landmark object may also include a landscape object such as a mountain or a mountain peak. Here a user can be informed, how he reaches the mountain summit with railways and / or cable cars. The landmark object store 5 stores the absolute positions of a plurality of identified objects within at least one predefined area. The landmark object store 5 may also store associated information data about the identifiable landmark objects such as names and other useful informational data. The landmark object store 5 can be a local memory of the mobile device MD and / or a remote database to which the mobile device MD has access via a network connection. In one possible embodiment, the location determination device 1 Also include a satellite receiving unit or a GNSS unit that provides a rough estimate of the current location of the mobile device MD allows. This estimate can be used to narrow the area of interest. The coarse position of the mobile device MD can also be used to relevant landmark objects in the landmark-object memory 5 to filter.
2 zeigt ein weiteres Blockdiagramm zur Veranschaulichung einer Standortbestimmungsvorrichtung 1 gemäß dem ersten Aspekt der vorliegenden Erfindung. In der veranschaulichten Ausführungsform ist die Standortbestimmungsvorrichtung 1 Teil eines Mobilgeräts MD, wie beispielsweise eines Smartphones, das von einem Nutzer U getragen wird, wie in 2 dargestellt ist. Das Mobilgerät MD verfügt über eine Kamera 4, die ausgebildet ist, um Bilder von der Umgebung des Mobilgeräts aufzunehmen. Im Sichtfeld (FOV = „field of view“) der Kamera 4 sind Orientierungspunkt-Objekte LO sichtbar. Das in 2 dargestellte Orientierungspunkt-Objekt LO kann beispielsweise ein Turm oder ein Gebäude sein. Das Orientierungspunkt-Objekt LO kann auch ein Objekt innerhalb eines Gebäudes sein, wie z.B. eine Ladenfront oder ein Markenlogo eines Ladens innerhalb eines Einkaufszentrums. In der veranschaulichten Ausführungsform von 2 hat die Standortberechnungseinheit 3 der Standortbestimmungsvorrichtung 1 Zugriff auf einen lokalen Speicher 5A des Mobilgeräts MD. Weiterhin hat die Standortberechnungseinheit 3 über eine Netzwerkschnittstelle 6 des Mobilgeräts MD und ein Netzwerk 7 sowie einen Server 8 Zugriff auf eine entfernte Datenbank 5B eines Dienstanbieters. In der veranschaulichten Ausführungsform umfasst das Mobilgerät MD weiterhin eine Nutzeroberfläche 9 mit einer Anzeige zum Visualisieren von erweiterten Orientierungspunkt-Objekten LO und/oder zum Visualisieren einer Route zum Erreichen des Orientierungspunkt-Objekts LO durch den Nutzer. In der veranschaulichten Ausführungsform von 2 umfasst das Mobilgerät MD weiterhin einen Kompass-Sensor 10 zum Bereitstellen von Kompassdaten, die die Kompassrichtung des Mobilgeräts MD anzeigen. In der veranschaulichten Ausführungsform von 2 umfasst das Mobilgerät MD weiterhin eine GNSS-Einheit 11, die Satellitenpositionsdaten an die Standortbestimmungsvorrichtung 1 liefert. Eine grobe Schätzung der aktuellen Position des Mobilgeräts MD kann auf der Grundlage der von der GNSS-Einheit 11 bereitgestellten Satellitendaten vorgenommen werden, mit denen der Interessenbereich eingegrenzt werden kann. Diese Informationen können auch verwendet werden, um relevante Orientierungspunkt-Objekte LO im Orientierungspunkt-Objekt-Speicher 5 zu filtern. In einer möglichen Ausführungsform wird der Speicherinhalt des lokalen Speichers 5A kontinuierlich mit Datensätzen von Orientierungspunkt-Objekten LO aktualisiert, die sich im aktuell geschätzten Interessenbereich befinden. Wenn sich ein Nutzer beispielsweise in Paris umher bewegt, werden die Daten im lokalen Speicher 5A des Mobilgeräts kontinuierlich mit den Orientierungspunkt-Objekten LO innerhalb des aktuellen Gebiets von Paris, das der Nutzer gerade besucht, aktualisiert. Dementsprechend enthält der lokale Speicher 5A in einer möglichen Ausführungsform eine aktualisierte Liste von Orientierungspunkt-Objekten, die in einem Sichtfeld einer Kamera 4 des Mobilgeräts MD möglicherweise sichtbar sind. Dementsprechend enthält der lokale Speicher 5 beispielsweise nur Orientierungspunkt-Objekte LO innerhalb eines vorbestimmten Bereichs, der für eine Kamera sichtbar ist, beispielsweise innerhalb eines Bereichs von fünf Kilometern der geschätzten Position des Mobilgeräts MD. Solange sich das Mobilgerät MD innerhalb einer Abdeckung eines Mobilfunksystems bewegt, kann die grobe Position des Mobilgeräts MD geschätzt werden. Sobald sich der Nutzer jedoch mit seinem Mobilgerät MD in ein mehrstöckiges Gebäude begibt, kann die Netzwerksignalübertragung unterbrochen werden. Wenn der Nutzer beispielsweise ein Einkaufszentrum betritt, kann die aktuelle Position seines Mobilgeräts MD durch die Standortbestimmungsvorrichtung 1 basierend auf dem sichtbaren Orientierungspunkt-Objekt LO berechnet werden, das in den aufgenommenen Kamerabildern angezeigt wird. Wenn der Nutzer ein Gebäude wie ein Einkaufszentrum betritt, kann eine aktualisierte Liste der Orientierungspunkt-Objekte LO innerhalb des Einkaufszentrums im lokalen Speicher 5A des Mobilgeräts MD gespeichert werden. Wenn der Nutzer ein Bild eines Orientierungspunkt-Objekts LO innerhalb des Einkaufszentrums oder Gebäudes macht, kann das Orientierungspunkt-Objekt LO identifiziert werden, indem seine sichtbaren Orientierungspunkt-Merkmale bewertet werden, die eine Form, eine Gestalt, eine Farbe, eine Kontur und/oder ein Oberflächenmuster des jeweiligen Orientierungspunkt-Objekts LO umfassen. Ein Orientierungspunkt-Objekt LO kann beispielsweise ein Logo oder eine Zeichenmarke sein, die am Eingang eines Geschäfts innerhalb des Einkaufszentrums platziert ist. Nach der Aufnahme des Markenlogos kann die Standortbestimmungsvorrichtung 1 das jeweilige Orientierungspunkt-Objekt LO identifizieren, und kann weiterhin eine relative Position des identifizierten Orientierungspunkt-Objekts (Logo) in Bezug auf das Mobilgerät MD bestimmen. Diese relative Position umfasst einen Abstand zwischen dem Orientierungspunkt-Objekt (Logo) und dem Mobilgerät MD sowie die relative Richtung oder Richtung des Orientierungspunkt-Objekts LO in Bezug auf das Mobilgerät MD. In einer möglichen Ausführungsform kann die Lage des Orientierungsobjekts LO in Bezug auf das Mobilgerät MD auf der Grundlage von Sensordaten berechnet werden, die von einem Kompass-Sensor 10 des Mobilgeräts MD bereitgestellt werden. Der lokale Speicher 5A enthält eine aktualisierte Liste der Orientierungspunkt-Objekte LO innerhalb des Einkaufszentrums mit der absoluten Position des Orientierungspunkt-Objekts LO sowie weitere Informationsdaten wie den Namen des Geschäfts, Produkte, die im Geschäft gekauft werden können, Öffnungszeiten und sogar Produktpreise. Aus der relativen Position des identifizierten Orientierungspunkt-Objekts LO (z.B. des Laden-Logos) in Bezug auf das Mobilgerät MD und basierend auf der bekannten absoluten Position des Orientierungspunkt-Objekts kann die Standortberechnungseinheit 3 den aktuellen Standort des Mobilgeräts MD auch ohne eine verfügbare Netzwerksignalübertragung des Kommunikationsnetzes und/oder ein verfügbares GPS-Signal genau berechnen. Der von der Standortberechnungseinheit 3 bereitgestellte aktuelle Standort kann weiterverarbeitet werden, um eine Route zu berechnen, auf der der Nutzer das jeweilige Orientierungspunkt-Objekt LO erreicht. So kann der Nutzer beispielsweise angewiesen werden, mit welchem Aufzug er innerhalb des Gebäudes in den Laden gelangen kann, wo das Logo angebracht ist. Darüber hinaus kann der Nutzer auf dem Display der Nutzeroberfläche 9 ein angereichertes Bild erhalten, das zusätzliche Informationen über das Orientierungspunkt-Objekt LO wie Name, Historie oder Produktinformationen enthält. 2 shows another block diagram illustrating a location determining device 1 according to the first aspect of the present invention. In the illustrated embodiment, the location determining device is 1 Part of a mobile device MD , such as a smartphone carried by a user U, as in 2 is shown. The mobile device MD has a camera 4 , which is designed to take pictures of the environment of the mobile device. In the field of view ( FOV = "Field of view") of the camera 4 are landmark objects LO visible. This in 2 illustrated landmark object LO may be, for example, a tower or a building. The landmark object LO may also be an object within a building, such as a store front or brand logo of a store within a mall. In the illustrated embodiment of FIG 2 has the location calculation unit 3 the location determining device 1 Access to a local storage 5A of the mobile device MD , Furthermore, the location calculation unit has 3 over a network interface 6 of the mobile device MD and a network 7 as well as a server 8th Access to a remote database 5B a service provider. In the illustrated embodiment, the mobile device includes MD continue a user interface 9 with a display for visualizing advanced landmark objects LO and / or visualizing a route to reach the landmark object LO by the user. In the illustrated embodiment of FIG 2 includes the mobile device MD continue a compass sensor 10 for providing compass data representing the compass direction of the mobile device MD Show. In the illustrated embodiment of FIG 2 includes the mobile device MD continue a GNSS unit 11 , the satellite position data to the location device 1 supplies. A rough estimate of the current location of the mobile device MD can be based on the GNSS unit 11 provided satellite data to narrow down the area of interest. This information can also be used to reference relevant landmark objects LO in the landmark object memory 5 to filter. In one possible embodiment, the memory contents of the local memory 5A continuously with datasets of landmark objects LO updated within the currently estimated range of interest. For example, if a user moves around in Paris, the data will be in local storage 5A of the mobile device continuously with the landmark objects LO updated within the current area of Paris that the user is currently visiting. Accordingly, the local memory contains 5A in one possible embodiment, an updated list of landmark objects that are in a field of view of a camera 4 of the mobile device MD may be visible. Accordingly, the local memory contains 5 For example, only landmark objects LO within a predetermined range that is visible to a camera, for example, within a five kilometer range of the estimated position of the mobile device MD , As long as the mobile device MD moved within a cover of a mobile system, the coarse position of the mobile device MD to be appreciated. Once the user, however, with his mobile device MD in a multi-storey building, the network signal transmission can be interrupted. For example, when the user enters a mall, the current location of their mobile device may be displayed MD by the location determining device 1 based on the visible landmark object LO which is displayed in the recorded camera images. When the user enters a building like a mall, an updated list of landmark objects can be displayed LO inside the mall in the local store 5A of the mobile device MD get saved. When the user takes a picture of a landmark object LO within the mall or building, the landmark object may be LO are identified by evaluating its visible landmark features, which are a shape, a shape, a color, a contour and / or a surface pattern of the respective landmark object LO include. A landmark object LO may be, for example, a logo or a mark placed at the entrance of a store within the mall. After recording the brand logo, the location determination device 1 the respective landmark object LO and, further, a relative position of the identified landmark object (logo) with respect to the mobile device MD determine. This relative position includes a distance between the landmark object (logo) and the mobile device MD and the relative direction or direction of the landmark object LO in terms of the mobile device MD , In one possible embodiment, the position of the orientation object LO in terms of the mobile device MD calculated on the basis of sensor data obtained from a compass sensor 10 of the mobile device MD to be provided. The local store 5A contains an updated list of landmark objects LO within the mall with the absolute location of the landmark object LO and other information such as the name of the store, products that can be bought in the store, opening hours and even product prices. From the relative position of the identified landmark object LO (eg the shop logo) in relation to the mobile device MD and based on the known absolute position of the landmark object, the location calculation unit 3 the current location of the mobile device MD accurately calculate even without an available network signal transmission of the communication network and / or an available GPS signal. The one from the location calculation unit 3 provided current location can be further processed to calculate a route on which the user the respective landmark object LO reached. For example, the user can be instructed with which elevator he can reach the store inside the building where the logo is located. In addition, the user on the display of the user interface 9 receive an enriched image containing additional information about the landmark object LO like name, history or product information.
In der in 2 dargestellten Ausführungsform weist das Mobilgerät MD eine einzelne Kamera 4 auf, die ein oder mehrere Kamerabilder an die Bildverarbeitungseinheit 2 liefert. In einer noch weiteren möglichen Ausführungsform umfasst das Mobilgerät MD wenigstens zwei getrennte Kameras, die ein stereoskopisches Bild des Orientierungspunkt-Objekts LO liefern. Das stereoskopische Bild wird der Bildverarbeitungseinheit 2 zugeführt, die das empfangene stereoskopische Bild verarbeitet, um die Lage des Orientierungspunkt-Objekts LO innerhalb der aufgenommenen Bilder in Bezug auf das Mobilgerät MD zu berechnen und einen Abstand zwischen dem identifizierten Orientierungspunkt-Objekt LO und den Kameras des Mobilgeräts MD zu berechnen.In the in 2 illustrated embodiment, the mobile device MD a single camera 4 on which one or more camera images are sent to the image processing unit 2 supplies. In yet another possible embodiment, the mobile device includes MD at least two separate cameras providing a stereoscopic image of the landmark object LO deliver. The stereoscopic image is the image processing unit 2 which processes the received stereoscopic image to the position of the landmark object LO within the captured images in relation to the mobile device MD to calculate and a distance between the identified landmark object LO and the cameras of the mobile device MD to calculate.
In einer möglichen Ausführungsform kann der Orientierungspunkt-Objekt-Speicher 5 einschließlich des lokalen Speichers 5A und/oder der entfernten Datenbank 5B eine Vielzahl von identifizierten Orientierungspunkt-Objekten LO speichern, die in der Vergangenheit aufgezeichnet und im Speicher 5 gespeichert wurden, zusammen mit Standortinformationen der aufgezeichneten Orientierungspunkt-Objekte. In einer weiteren Ausführungsform kann der Orientierungspunkt-Objekt-Speicher 5 auch Daten speichern, die aus anderen Datenquellen abgerufen wurden, insbesondere Stadtpläne, Gebäudepläne und/oder aus Datenbanken von Navigationssystemen. In einer möglichen Ausführungsform kann das in 2 dargestellte Mobilgerät MD mit einem Navigationssystem eines Fahrzeugs, wie beispielsweise eines Autos, verbunden werden. So kann beispielsweise in einem Stadtgebiet mit vielen Wolkenkratzern ein Navigationssystem eines Fahrzeugs die Satellitensignalübertragung verlieren und sich dann auf die aktuelle Position verlassen, die von der Standortbestimmungsvorrichtung 1 gemäß dem ersten Aspekt der vorliegenden Erfindung gefunden wurde. In dieser Ausführungsform können auch Kamerabilder von Kameras des Navigationssystems verwendet werden, um Orientierungspunkt-Objekte LO in der Umgebung des Fahrzeugs zu identifizieren. So kann beispielsweise ein Fahrzeug, das ein Navigationssystem umfasst, nachdem der Kontakt zur Satellitensignalübertragung unterbrochen wurde, in eine Betriebsart umgeschaltet werden, in der der aktuelle Standort des fahrenden Fahrzeugs unter Verwendung der Standortbestimmungsvorrichtung 1 gemäß dem ersten Aspekt der vorliegenden Erfindung gesucht wird. Die Standortbestimmungsvorrichtung 1 kann Kamerabilder auswerten, um ein bestimmtes Gebäude wie einen Wolkenkratzer innerhalb eines Bereichs zu identifizieren, um den aktuellen Standort des fahrenden Fahrzeugs genau zu berechnen.In one possible embodiment, the landmark object memory may be 5 including the local storage 5A and / or the remote database 5B a variety of identified landmark objects LO save that recorded in the past and in memory 5 stored along with location information of the recorded landmark objects. In a further embodiment, the landmark object memory 5 also store data retrieved from other data sources, in particular city maps, floor plans and / or navigation system databases. In one possible embodiment, the in 2 illustrated mobile device MD be connected to a navigation system of a vehicle, such as a car. For example, in a city area with many skyscrapers, a navigation system of a vehicle may lose satellite signal transmission and then rely on the current location determined by the location determining device 1 was found according to the first aspect of the present invention. In this embodiment, camera images from cameras of the navigation system can also be used to locate landmark objects LO to identify in the environment of the vehicle. For example, a vehicle including a navigation system after the satellite signal transmission contact has been disconnected may be switched to a mode in which the current location of the traveling vehicle is using the positioning device 1 according to the first aspect of the present invention is sought. The location determination device 1 can evaluate camera images to identify a particular building, such as a skyscraper within an area, to accurately calculate the current location of the moving vehicle.
Das in 2 dargestellte Orientierungspunkt-Objekt LO kann ganz oder teilweise von der Kamera 4 des Mobilgeräts MD oder der Standortbestimmungsvorrichtung 1 sichtbar sein. So kann beispielsweise ein Orientierungspunkt wie der Eiffelturm nur teilweise sichtbar sein. So kann beispielsweise nur die Spitze des Orientierungspunkt-Objekts im Sichtfeld sein und nicht das gesamte Orientierungspunkt-Objekt LO. Der sichtbare Teil des Orientierungspunkt-Objekts LO kann ausreichende Orientierungspunkt-Merkmale wie Form, Gestalt und Kontur aufweisen, die es ermöglichen, gerade noch das jeweilige Orientierungspunkt-Objekt LO zu identifizieren. Verliert beispielsweise ein Navigationssystem eines Mobilgeräts MD wie eines fahrenden Fahrzeugs die Orientierung, weil die Satellitensignalübertragung durch benachbarte Gebäude unterbrochen wird, kann ein entferntes riesiges Orientierungspunkt-Objekt LO wie ein Turm oder Wolkenkratzer noch sichtbar sein und sich im Sichtfeld der Kamera 4 befinden, wobei die bekannte absolute Position des identifizierten Orientierungspunkt-Objekts dann als Grundlage für das Auffinden der aktuellen Position des fahrenden Fahrzeugs verwendet werden kann, indem der aktuelle relative Abstand und die aktuelle Position des Orientierungspunkt-Objekts LO gegenüber der Kamera 4 bestimmt werden. In dieser Ausführungsform kann das Verfahren und die Vorrichtung 1 nach der vorliegenden Erfindung als Rückfallsystem verwendet werden, wenn eine Satellitensignalübertragung eines Navigationssystems ausfällt oder unterbrochen wird.This in 2 illustrated landmark object LO may be completely or partially from the camera 4 of the mobile device MD or the location determination device 1 being visible. For example, a landmark such as the Eiffel Tower may only partially be visible. For example, only the top of the landmark object may be within the field of view and not the entire landmark object LO , The visible part of the landmark object LO can have sufficient landmark features such as shape, shape, and contour that allow just the respective landmark object LO to identify. For example, loses a navigation system of a mobile device MD As a moving vehicle, the orientation, because the satellite signal transmission is interrupted by adjacent buildings, can be a distant huge landmark object LO like a tower or skyscraper still be visible and in the field of view of the camera 4 The known absolute position of the identified landmark object may then be used as the basis for finding the current position of the vehicle being traveled by the current relative distance and the current position of the landmark object LO opposite the camera 4 be determined. In this embodiment, the method and apparatus 1 be used as a fallback system according to the present invention, when a satellite signal transmission of a navigation system fails or is interrupted.
3 zeigt ein Flussdiagramm einer möglichen beispielhaften Ausführungsform eines Verfahrens zum Bereitstellen einer aktuellen Position eines Mobilgeräts MD gemäß dem zweiten Aspekt der vorliegenden Erfindung. 3 FIG. 12 shows a flowchart of one possible exemplary embodiment of a method for providing a current position of a mobile device MD according to the second aspect of the present invention.
In der veranschaulichten beispielhaften Ausführungsform umfasst das Verfahren drei Hauptschritte.In the illustrated exemplary embodiment, the method includes three major steps.
In einem ersten Schritt S1 wird wenigstens ein Kamerabild der Umgebung des Mobilgeräts, das von einer Kamera 4 des Mobilgeräts MD aufgenommen wurde, verarbeitet, um darin wenigstens ein Orientierungspunkt-Objekt LO wie ein Gebäude, Denkmal oder Markenlogo zu identifizieren.In a first step S1 at least one camera image of the environment of the mobile device, the from a camera 4 of the mobile device MD has been processed to at least one landmark object therein LO how to identify a building, monument or brand logo.
In einem weiteren Schritt S2 werden Merkmale des identifizierten Orientierungspunkt-Objekts LO ausgewertet, um eine relative Position des identifizierten Orientierungspunkt-Objekts LO in Bezug auf das Mobilgerät MD zu bestimmen. Die relative Position umfasst einen relativen Abstand zwischen dem Orientierungspunkt-Objekt LO und dem Mobilgerät MD sowie eine relative Richtung oder Lage des Orientierungspunkt-Objekts LO in Bezug auf das Mobilgerät MD. In a further step S2 become features of the identified landmark object LO evaluated to a relative position of the identified landmark object LO in terms of the mobile device MD to determine. The relative position includes a relative distance between the landmark object LO and the mobile device MD and a relative direction or location of the landmark object LO in terms of the mobile device MD ,
In einem weiteren Schritt S3 wird der aktuelle Standort des Mobilgeräts MD auf dem bekannten Standort des aus einem Orientierungspunkt-Objekt-Speicher 5 abgerufenen identifizierten Orientierungspunkt-Objekts LO und auf der Grundlage des bestimmten relativen Standorts des identifizierten Orientierungspunkt-Objekts LO in Bezug auf das Mobilgerät MD berechnet. Der gefundene aktuelle Standort des Mobilgeräts MD kann einem Nutzer angezeigt und zur Führung des Nutzers, der das Mobilgerät MD trägt oder in einem fahrenden Fahrzeug sitzt, zum Orientierungsobjekt LO verwendet werden. Darüber hinaus kann der berechnete aktuelle Standort für die Navigation des Nutzers innerhalb eines vordefinierten Bereichs verwendet werden, z.B. in einem Innenstadtbereich einer Stadt mit Wolkenkratzern, die Satellitensignale blockieren.In a further step S3 becomes the current location of the mobile device MD on the known location of the landmark object store 5 retrieved identified landmark object LO and based on the determined relative location of the identified landmark object LO in terms of the mobile device MD calculated. The found current location of the mobile device MD may be displayed to a user and to guide the user of the mobile device MD carries or sits in a moving vehicle, to the orientation object LO be used. In addition, the calculated current location may be used to navigate the user within a predefined area, eg, in an inner city area of a city with skyscrapers that block satellite signals.
Mit dem Verfahren und der Vorrichtung 1 nach der vorliegenden Erfindung ist es möglich, ein Mobilgerät MD zu lokalisieren, auch wenn eine Mobilfunknetzsignalübertragung oder Satellitensignalübertragung ausgefallen oder unterbrochen ist. Das Verfahren und die Vorrichtung 1 nach der vorliegenden Erfindung verwendet eine Kombination aus Bild-/3D-Modellerkennung, Richtungspositionierung mit einem Kompass eines Mobilgeräts MD und möglicherweise vorkonfigurierten Informationsdaten einschließlich verfügbarer Pläne, insbesondere Schemapläne, Stadtpläne, Gebäudepläne oder tatsächliche Aufnahmen der Umgebung. Das Verfahren und die Vorrichtung 1 nach der vorliegenden Erfindung können verwendet werden, um bestehende Kommunikationsnetzwerke/GPS-Ortungssysteme zu ergänzen, indem eine genauere Position eines Mobilgeräts MD bereitgestellt wird. Das Mobilgerät MD kann beispielsweise ein Smartphone eines Nutzers oder ein fahrendes Fahrzeug sein, das den Nutzer transportiert. With the method and the device 1 According to the present invention, it is possible to use a mobile device MD to locate, even if a mobile network signal transmission or satellite signal transmission has failed or is interrupted. The method and the device 1 according to the present invention uses a combination of image / 3D model recognition, directional positioning with a compass of a mobile device MD and possibly preconfigured informational data including available plans, in particular schematics, city maps, building plans or actual images of the environment. The method and the device 1 According to the present invention, it may be used to supplement existing communication networks / GPS positioning systems by providing a more accurate location of a mobile device MD provided. The mobile device MD For example, it may be a user's smartphone or a moving vehicle that transports the user.
4 zeigt einen Anwendungsfall für das Verfahren und die Vorrichtung 1 gemäß der vorliegenden Erfindung. In dem in 4 dargestellten Beispiel kann der Nutzer, der ein Mobilgerät MD in einem Einkaufszentrum trägt, ein Bild vom Inneren des Einkaufszentrums machen, das einen Interessenbereich anzeigt. In einer möglichen Ausführungsform wurde die tatsächliche Umgebung des Einkaufszentrums vorab aufgezeichnet, einschließlich einer Vielzahl von verschiedenen Arten von Orientierungspunkt-Objekten LO, insbesondere Zeichen oder Markenzeichen oder Logos. Die Bildverarbeitungseinheit 2 ist in der Lage, bestimmte Merkmale innerhalb des Einkaufszentrums zu erkennen, wie beispielsweise das in 4 dargestellte „Union“-Logo. Basierend auf der Form und der Platzierung des Mobilgeräts MD, d.h. seiner relativen Richtung oder Lage in Bezug auf das „Union“-Logo, ist die Bildverarbeitungseinheit 2 dazu ausgebildet, um eine relative Position des Mobilgeräts MD in Bezug auf das Orientierungspunkt-Objekt LO, d.h. das „Union“-Logo, zu bestimmen. Die von der Bildverarbeitungseinheit 2 bestimmte relative Position beinhaltet die relative Richtung und den relativen Abstand zwischen dem Mobilgerät MD und dem vom Kamerabild erfassten Bildlogo. Das Ergebnis kann so ergänzt werden, dass der Nutzer genau weiß, wo er sich gerade im Einkaufszentrum befindet. Darüber hinaus können dem Nutzer auch Informationen über den Laden mit dem „Union“-Logo angezeigt werden. 4 shows a use case for the method and the device 1 according to the present invention. In the in 4 The example shown may be the user of a mobile device MD in a shopping mall, take a picture of the mall's interior, which indicates an area of interest. In one possible embodiment, the actual environment of the mall has been pre-recorded, including a variety of different types of landmark objects LO , in particular signs or trademarks or logos. The image processing unit 2 is able to recognize certain features within the mall, such as the one in 4 displayed "Union" logo. Based on the shape and placement of the mobile device MD , ie, its relative direction or location with respect to the "union" logo, is the image processing unit 2 adapted to a relative position of the mobile device MD with respect to the landmark object LO ie the "Union" logo. The of the image processing unit 2 certain relative position includes the relative direction and relative distance between the mobile device MD and the image logo captured by the camera image. The result can be supplemented so that the user knows exactly where he is currently in the shopping center. In addition, the user can also view information about the store with the "Union" logo.
5 zeigt einen weiteren Anwendungsfall für das Verfahren und die Vorrichtung 1 nach der vorliegenden Erfindung. In der veranschaulichten Ausführungsform macht der Nutzer mit einem Mobilgerät MD ein Bild von einem Ort innerhalb einer Stadt, wie es in 5 dargestellt ist. Die Bildverarbeitungseinheit 2 kann vorgegebene physische Objekte als Orientierungspunkt-Objekte LO wie ein Gebäude, einen Turm oder ein Denkmal an Ort und Stelle erkennen und identifizieren. Basierend auf der Form und der Lage der im Kamerabild identifizierten Orientierungspunkt-Objekte kann die relative Position des identifizierten Orientierungspunkt-Objekts bestimmt werden. Basierend auf der absoluten Position des identifizierten Orientierungspunkt-Objekts LO und den bestimmten relativen Positionen der jeweiligen Orientierungspunkt-Objekte wird die aktuelle genaue Position des Mobilgerätes MD berechnet. Ein Nutzer kennt genau seinen Standort innerhalb der Stadt und kann Anweisungen erhalten, wie er sich innerhalb der Stadt bewegen kann, insbesondere wie er ein bestimmtes Orientierungspunkt-Objekt LO erreicht. In einer möglichen Ausführungsform können mit dem Verfahren und der Vorrichtung 1 nach der vorliegenden Erfindung mehrere Orientierungspunkt-Objekte LO gleichzeitig verwendet werden, um den aktuellen Standort des Mobilgeräts MD zu berechnen. Im Beispiel von 5 sind beispielsweise mehrere einzigartige Orientierungspunkt-Objekte im Sichtfeld (FOV = „field of view“) des Kamerabildes sichtbar. Für jedes Orientierungspunkt-Objekt LO kann eine relative Position bestimmt und verwendet werden, um die aktuelle genaue Position des Mobilgeräts MD zu berechnen. In dieser Ausführungsform kann auch die relative Position zwischen zwei Orientierungspunkt-Objekten LO berücksichtigt werden, um eine noch genauere aktuelle Position des Mobilgeräts MD zu erhalten. So kann beispielsweise die relative Position zwischen zwei Wolkenkratzern innerhalb des Sichtfeldes des aufgenommenen Bildes genutzt werden, um die Genauigkeit der berechneten aktuellen Position des Mobilgeräts MD zu verbessern. 5 shows a further application for the method and the device 1 according to the present invention. In the illustrated embodiment, the user is using a mobile device MD a picture of a place within a city as it is in 5 is shown. The image processing unit 2 can specify given physical objects as landmark objects LO how to recognize and identify a building, a tower or a monument on the spot. Based on the shape and location of the landmark objects identified in the camera image, the relative position of the identified landmark object can be determined. Based on the absolute position of the identified landmark object LO and the determined relative positions of the respective landmark objects becomes the current exact location of the mobile device MD calculated. A user knows exactly his location within the city and can receive instructions on how he can move within the city, especially as he is a particular landmark object LO reached. In one possible embodiment, with the method and the device 1 according to the present invention, multiple landmark objects LO be used simultaneously to the current location of the mobile device MD to calculate. In the example of 5 For example, there are several unique landmark objects in the field of view ( FOV = "Field of view") of the camera image. For each landmark object LO A relative position can be determined and used to determine the current exact position of the mobile device MD to calculate. In this embodiment, also the relative position between two landmark objects LO be taken into account to an even more accurate current position of the mobile device MD to obtain. For example, the relative position between two skyscrapers within the field of view of the captured image may be used to determine the accuracy of the calculated current position of the mobile device MD to improve.
In einer möglichen Ausführungsform können das Verfahren und die Vorrichtung 1 nach der vorliegenden Erfindung als Rückfallsystem verwendet werden, falls die Signalübertragung von Satellitensignalen oder Kommunikationsnetzen unterbrochen wird/ist. In einer alternativen Ausführungsform können das Verfahren und die Vorrichtung 1 gemäß der vorliegenden Erfindung als Ergänzungssystem verwendet werden, um die Genauigkeit der Standortabschätzung zu verbessern, die von einem bestehenden System bereitgestellt wird. Das Verfahren und die Vorrichtung 1 nach der vorliegenden Erfindung können für verschiedene Arten von Mobilgeräten MD verwendet werden, einschließlich tragbarer Mobilgeräte wie Smartphones oder Laptops oder fahrender Fahrzeuge. In einer weiteren möglichen Ausführungsform kann der Nutzer auch ein Gerät mit erweiterter Realität („Augmented-Reality“) wie eine Augmented-Reality-Brille tragen.In one possible embodiment, the method and the device 1 be used according to the present invention as a fallback system, if the signal transmission from satellite signals or communication networks is / is interrupted. In an alternative embodiment, the method and the device 1 according to the present invention may be used as a supplemental system to improve the accuracy of location estimation provided by an existing system. The method and the device 1 According to the present invention, for different types of mobile devices MD including portable mobile devices such as smartphones or laptops or moving vehicles. In another possible embodiment, the user may also wear an augmented reality device such as augmented reality goggles.
