DE102018107894A1

DE102018107894A1 - Navigation in a supermarket

Info

Publication number: DE102018107894A1
Application number: DE102018107894.3A
Authority: DE
Inventors: Felix Milazeck; Rebecca Knutti
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2018-04-04
Filing date: 2018-04-04
Publication date: 2019-10-10

Abstract

Verfahren zur Navigation eines Nutzers mithin eines Kunden in einem Supermarkt mit Hilfe einer auf seinem mobilen Endgerät laufenden Applikation („App“) umfassend folgende Schritte:- Auswählen einer Ware mittels der App auf dem mobilen Endgerät,- Verbindungsaufbau zwischen der App und einem Server auf dem in einer Datenbank Ortsinformationen der Waren des Supermarktes hinterlegt sind,- Ermitteln des Aufenthaltsortes des Kunden anhand seines mobilen Endgerätes innerhalb des Supermarktes- Abfragen der Ortsinformation der gewählten Ware in der Datenbank, wodurch eine Zielposition ermittelt wird,- Navigation des Kunden von dem Aufenthaltsortes zu der Zielposition der Ware mittels der App auf seinem mobilen Endgerät,- wobei der Kunde von seinem Aufenthaltsort mit einer Kamera des mobilen Endgeräts eine Bildaufnahme einer Ware und/oder von einem der Ware zugeordneten Informationsfeld macht,- wobei diese Bildaufnahme von dem mobilen Endgerät an den Server übertragen wird,- wobei die Bildaufnahme auf dem Server einer Ware zugeordnet wird, deren Ortsinformation bekannt ist, wobei die zugeordnete Ortsinformation extrahiert wird,- und wobei die extrahierte Ortsinformation der Bildaufnahme als Aufenthaltsort des Nutzers festgelegt wird.A method for navigating a user of a customer in a supermarket with the help of running on his mobile device application ("App") comprising the following steps: - Selecting a product using the app on the mobile device, - Establishing a connection between the app and a server the location of the customer's location based on his mobile device within the supermarket-Queries the location information of the selected goods in the database, whereby a target position is determined, - navigation of the customer from the whereabouts to the target position of the goods by means of the app on his mobile device, - wherein the customer of his whereabouts with a camera of the mobile device takes a picture of a product and / or one of the goods associated information field, - this image taken from the mobile terminal to the Server is transferred, - where the image recording on the server is assigned to a product whose location information is known, wherein the associated location information is extracted, and wherein the extracted location information of the image acquisition is determined as the location of the user.

Description

Die Erfindung betrifft ein Verfahren zur Navigation eines Nutzers, mithin eines Kunden, in einem Supermarkt sowie ein System zur Navigation, das zur Durchführung des Verfahrens geeignet ist.The invention relates to a method for navigating a user, thus a customer, in a supermarket and a system for navigation, which is suitable for carrying out the method.

Mithilfe einer Applikation („App“) auf seinem mobilen Endgerät wählt der Kunde eine Ware aus, die er in dem Supermarkt kaufen möchte. Es findet ein Verbindungsaufbau zwischen dem mobilen Endgerät und einem Server, auf dem in einer Datenbank Ortsinformationen in Form von Positionsdaten der Waren des Supermarkts hinterlegt sind, statt. Die entsprechende Datenübertragung von dem Server auf das mobile Endgerät kann über das mobile Internet, über in dem Supermarkt verteilte Hotspots und/oder über NFC-Chips realisiert werden. Bezüglich der NFC-Chips können von dem Supermarkt entsprechende NFC-Säulen, bevorzugt im Eingangsbereich, aufgestellt sein.Using an application ("App") on his mobile device, the customer selects a product that he wants to buy in the supermarket. There is a connection between the mobile terminal and a server on which in a database location information in the form of position data of the goods of the supermarket are stored instead. The corresponding data transmission from the server to the mobile terminal can be realized via the mobile Internet, via hotspots distributed in the supermarket and / or via NFC chips. With regard to the NFC chips, it is possible for the supermarket to set up corresponding NFC columns, preferably in the entrance area.

Im Rahmen des Verfahrens wird der Aufenthaltsort des Kunden innerhalb des Supermarktes anhand seines mobilen Endgeräts ermittelt, sodass eine Startposition für die Navigation festgelegt werden kann. Zur Ermittlung einer Zielposition wird die Ortsinformation der gewählten Ware innerhalb des Supermarkts in der Datenbank abgefragt. Sind der Aufenthaltsort des Kunden und die Zielposition der Ware bekannt, wird der Kunde mittels der App von seinem Aufenthaltsort zu der Zielposition der Ware navigiert.As part of the procedure, the location of the customer within the supermarket is determined by means of his mobile terminal, so that a starting position for the navigation can be determined. To determine a destination position, the location information of the selected goods within the supermarket is queried in the database. If the location of the customer and the destination position of the goods are known, the customer is navigated by means of the app from his whereabouts to the destination position of the goods.

Bei den bekannten Outdoor-Navigationssystemen, wie sie beispielsweise zur Routenführung von Autos eingesetzt werden, wird eine Satellitennavigation verwendet, um einen Nutzer von seinem Startpunkt zu seinem Ziel zu navigieren. Damit die Satellitennavigation, insbesondere die GPS-Navigation, funktionieren kann, ist eine möglichst ungestörte Verbindung zwischen einer Mehrzahl an Satelliten und dem entsprechenden Navigationsgerät notwendig. Bei der Navigation innerhalb von Gebäuden, insbesondere in einem Supermarkt, versagt die GPS-Navigation, weil die Kommunikation mit den Satelliten durch die Wände des Gebäudes gestört ist. Insbesondere bei Supermärkten ist aber eine wesentlich genauere Navigation als auf der Straße nötig.In the known outdoor navigation systems, such as those used for route guidance of cars, a satellite navigation is used to navigate a user from its starting point to its destination. In order for satellite navigation, in particular GPS navigation, to function, an undisturbed connection between a plurality of satellites and the corresponding navigation device is necessary. When navigating within buildings, especially in a supermarket, the GPS navigation fails because the communication with the satellites through the walls of the building is disturbed. Especially for supermarkets, however, a much more accurate navigation than on the road is needed.

Schon länger bekannt ist die Indoor-Navigation mithilfe von WLAN. Hierbei werden Sendeleistungen von WLAN-Access-Points erfasst. Anhand der empfangenen WLAN-Signale und ihrer entsprechenden Signalstärke kann die Position des Navigationsgerätes recht genau trianguliert werden. Auf einem ähnlichen Verfahren basiert die Ortung mittels eines sogenannten Beacons. Dieser nutzt beispielsweise eine Bluetooth Verbindung, insbesondere nach dem Standard Bluetooth 4.0 LE (für „Low Energy“), und bietet den Vorteil, dass Geräte und Positionierung-Signale wenig Strom verbrauchen. Die Orientierung funktioniert ähnlich wie bei WLAN, nämlich durch die Messung der Empfangsstärken der im Gebäude verteilten Bluetooth-Sender, mithin der Beacons. Dieses Verfahren wird beispielsweise zur Orientierung in Museen eingesetzt. Diese bekannten Verfahren der Indoor-Navigation sind jedoch aufwendig, da innerhalb des gesamten Gebäudes zahlreiche WLAN-Access-Points bzw. Beacons installiert werden müssen, um eine flächendeckende Navigation zu ermöglichen.Indoor navigation has been known for a long time with the help of WLAN. In this case, transmission powers of WLAN access points are detected. On the basis of the received WLAN signals and their corresponding signal strength, the position of the navigation device can be triangulated quite accurately. On a similar method, the location is based on a so-called beacon. This uses, for example, a Bluetooth connection, in particular according to the standard Bluetooth 4.0 LE (for "Low Energy"), and has the advantage that devices and positioning signals consume little power. The orientation works in a similar way as with WLAN, namely by measuring the reception strengths of the Bluetooth transmitters distributed throughout the building, ie the beacons. This method is used, for example, for orientation in museums. However, these known methods of indoor navigation are expensive, since numerous WLAN access points or beacons must be installed within the entire building in order to enable nationwide navigation.

Dem Verfahren liegt demnach die Aufgabe zu Grunde ein Verfahren sowie eine Navigationsvorrichtung anzugeben mit dem die Indoor-Navigation mit einfachen Mitteln realisiert werden kann.The method is therefore based on the object to provide a method and a navigation device with which the indoor navigation can be realized with simple means.

Diese Aufgabe wird gelöst durch die Merkmale der unabhängigen Ansprüche 1 und 8. Vorteilhafte Ausgestaltung der Erfindung ergeben sich aus den abhängigen Ansprüchen.This object is achieved by the features of the independent claims 1 and 8. Advantageous embodiment of the invention will become apparent from the dependent claims.

Der wesentliche Gesichtspunkt der Erfindung ist, dass der Kunde von seinem Aufenthaltsort aus mit einer Kamera seines mobilen Endgeräts, insbesondere seines Smartphones, eine Bildaufnahme von Waren oder von den Waren zugeordneten Informationsfeldern anfertigt. Die App überträgt diese Bildaufnahme mittels des mobilen Endgeräts, insbesondere über WLAN oder den Mobilfunk, an den Server. Der Server ordnet die Bildaufnahme einer Ware zu, die in seiner Datenbank vorhanden ist. Da in der Datenbank die Ortsinformation der entsprechenden Ware hinterlegt ist, kann die Ortsinformation von dem Server extrahiert und als Aufenthaltsort des Kunden festgelegt werden. Nunmehr sind also der Aufenthaltsort des Kunden und sein Zielort, an der sich die vom Kunden gewünschte Ware befindet, bekannt, sodass eine durch die App geführt Navigation des Kunden erfolgen kann.The essential aspect of the invention is that the customer makes from his whereabouts with a camera of his mobile device, in particular his smartphone, a picture of goods or information fields associated with the goods. The app transmits this image acquisition by means of the mobile terminal, in particular via WLAN or mobile, to the server. The server associates the image capture with a commodity that exists in its database. Since the location information of the corresponding goods is stored in the database, the location information can be extracted from the server and set as the location of the customer. Now, therefore, the whereabouts of the customer and his destination, at which the goods desired by the customer is known, so that can be done by the app guided navigation of the customer.

Vorzugsweise werden durch die Kamera des mobilen Endgeräts während der Navigation durch den Kunden weitere Bildaufnahmen „quasi in Echtzeit“ von an dem Navigationspfad liegenden Waren gemacht und deren Ortsinformation ebenfalls von dem Server extrahiert, so dass der aktuelle Aufenthaltsort des Kunden bestimmt und beständig aktualisiert werden kann, um den Kunden entlang des Weges, also des Navigationspfads, zu navigieren. Ist für diese Navigation eine Information bezüglich der Orientierung des mobilen Endgeräts im Raum notwendig, kann hierfür bevorzugt ein in das mobile Endgerät eingebautes Gyroskop verwendet werden. Die Lage des mobilen Endgeräts kann mittels der jeweiligen Bildaufnahmen „geeicht“ und überprüft werden.Preferably, the camera of the mobile terminal during navigation by the customer further images taken "virtually in real time" lying on the navigation path goods and their location information also extracted from the server, so that the current whereabouts of the customer can be determined and constantly updated to navigate the customer along the way, the navigation path. If information relating to the orientation of the mobile terminal in the room is necessary for this navigation, a gyroscope built into the mobile terminal can preferably be used for this purpose. The position of the mobile terminal can be "calibrated" and checked by means of the respective image recordings.

Bevorzugt wird eine Mustererkennung respektive. eine Bildanalyse der Bildaufnahme auf dem Server durch eine Recheneinheit mit einem implementierten geeigneten Algorithmus durchgeführt. Die Mustererkennung oder die Bildanalyse ist hilfreich, um bestimmte Merkmale der fotografierten Ware zu erkennen und diese eindeutig einer Ware in der Datenbank zuordnen zu können. So kann es beispielsweise zweckmäßig sein bei einer Flasche zunächst nur die Umrisse zu analysieren, falls es nicht möglich ist, zum Beispiel aufgrund einer qualitativ schlechten Bildaufnahme, der Fotografie ein ganz bestimmtes Produkt in der Datenbank zuzuordnen. Die Mustererkennung erkennt dann zwar nicht, dass es sich um die Flasche der Marke XYZ handelt, kann aber den Kunden trotzdem in die Getränkeabteilung navigieren, da die Form der Flasche als Muster erkannt wird. Die Mustererkennung oder die Bildanalyse ist auch dann zweckmäßig, falls den Waren zugeordnete Informationstafeln analysiert werden. Auf diese Weise ist es möglich einen QR-Code oder einen Barcode zu dekodieren und die in ihm vorhandenen Informationen, insbesondere die Ortsinformationen, zu extrahieren. Auch Preisschilder der Waren können auf diese Weise einfach analysiert und Produkten in der Datenbank zugeordnet werden. Hierbei wählt der Algorithmus auf dem Server automatisch die für ihn ressourcenschonendste Methode. So kann beispielsweise die Mustererkennung eines QR-Codes weniger Rechenleistung erfordern als eine aufwändige Bildanalyse der Ware.Preference is given to a pattern recognition respectively. an image analysis of the image capture on the server performed by a computing unit with an implemented appropriate algorithm. The Pattern recognition or image analysis is useful to identify certain features of the photographed product and to be able to unambiguously associate them with a commodity in the database. For example, it may be useful to analyze only the outlines of a bottle if it is not possible, for example due to poor quality image acquisition, to associate photography with a very specific product in the database. Although the pattern recognition does not recognize that it is the bottle of the brand XYZ, but can still navigate the customer in the beverage department, since the shape of the bottle is recognized as a pattern. The pattern recognition or the image analysis is also useful if the information boards associated with the goods are analyzed. In this way it is possible to decode a QR code or a bar code and to extract the information present in it, in particular the location information. Also price tags of the goods can be easily analyzed in this way and assigned to products in the database. The algorithm automatically selects the most resource-efficient method on the server. For example, the pattern recognition of a QR code may require less computing power than a complex image analysis of the product.

In einer zweckmäßigen Ausgestaltung der Erfindung fordert die App den Kunden zu einer weiteren Bildaufnahme auf, falls durch die Mustererkennung oder die Bildanalyse der vorherigen Bildaufnahme keine Ware eindeutig zugeordnet werden kann. In einem Supermarkt kann es vorkommen, dass sich ähnliche Waren an verschiedenen Standorten befinden, sodass es für eine Bestimmung des Aufenthaltsorts des Nutzers nicht ausreicht nur die „Gattung“ einer Ware zu bestimmen. Eine schlechte Bildaufnahme kann beispielsweise durch ein Wackeln während der Bildaufnahme verursacht sein oder dadurch entstehen, dass sich andere Kunden zum Zeitpunkt der Bildaufnahme in dem Bild befinden und die Ware verdecken. Durch eine weitere Bildaufnahme kann die Qualität des Bildes gegebenenfalls verbessert und die Ware eindeutig zugeordnet werden. Ist eine eindeutige Zuordnung auch bei weiteren Bildaufnahme nicht möglich, kann der Kunde die Bezeichnung der Ware auch interaktiv über sein mobiles Endgerät, beispielsweise über eine Tastatureingabe „Ich befinde mich vor dem Hochland Hüttenkäse“, eingeben, sodass sein Aufenthaltsort ermittelt werden kann.In an expedient embodiment of the invention, the app prompts the customer for further image acquisition, if no product can be unambiguously assigned by the pattern recognition or the image analysis of the previous image acquisition. In a supermarket it may happen that similar goods are located in different locations, so that it is not sufficient to determine the whereabouts of the user just to determine the "category" of a product. Poor image acquisition can be caused, for example, by shaking during image acquisition or arise because other customers are in the image at the time of image acquisition and obscure the goods. By further image acquisition, the quality of the image may be improved and the goods clearly assigned. If an unambiguous assignment is also not possible with further image acquisition, the customer can also enter the name of the product interactively via his mobile terminal, for example via a keyboard input "I am in front of the highland cottage cheese", so that his whereabouts can be determined.

Es kann sich für den Kunden zur Aktualisierung seines Standortes als mühsam erweisen beständig Bildaufnahmen von weiteren Waren anzufertigen, sodass alternativ oder unterstützend weitere Navigationsmethoden Verwendung finden können, die vor allem dann geeignet sind, wenn eine sehr genaue Ortsauflösung nicht mehr notwendig ist, weil für die Navigation auch zusätzlich Kartenmaterial des Supermarktes unterstützend verwendet werden kann. So kann es ausreichen, wenn der Kunde am Anfang der Navigation, nachdem sein aktueller Aufenthaltsort genau bestimmt wurde, zunächst ungefähr in die Richtung des Zielortes bzw. der Zielposition navigiert wird und in einem späteren Stadium, also kurz vor dem Zielort, die Navigation wieder durch die genauere Standortbestimmung mittels der Analyse der Bildaufnahmen realisiert wird. Eine dieser weiteren Navigationsmethoden kann durch die Navigation mittels eines eingebauten Schrittzählers und/oder eines eingebauten Gyroskops des mobilen Endgeräts realisiert sein, wodurch die Änderung des Aufenthaltsortes des Kunden erfasst werden kann. Hierdurch kann zumindest näherungsweise ermittelt werden, wie weit sich der Kunde in welche Richtung innerhalb des Supermarkts bewegt hat. Gegebenenfalls können vereinzelte Bildaufnahmen angefertigt werden, um die Position zu bestätigen und/oder das mobile Endgerät, bzw. den auf diesem hinterlegten Algorithmus, auf die Schrittweite des Nutzers anzupassen und zu eichen. Ein weiteres dieser Navigationsverfahren kann durch die Messung von Empfangsstärken von in dem Supermarkt verteilter Funksender ermittelt werden. Vorteilhaft sind hierbei deutlich weniger Funksender innerhalb des Supermarkts als beim beschriebenen Stand der Technik notwendig, da die „genaue“ Bestimmung des Aufenthaltsorts eben über die Bildaufnahme stattfindet und nur eine grobe Orientierung vermittels der Funksender bereitgestellt werden muss. Alle diese Verfahren können auch kombiniert werden.It may prove cumbersome for the customer to update his location to constantly take pictures of other goods, so that alternative or supportive other navigation methods can be used, which are particularly suitable when a very precise spatial resolution is no longer necessary because of the Navigation also map material of the supermarket can be used supportingly. So it may be sufficient if the customer at the beginning of the navigation, after his current location was determined exactly, initially navigated approximately in the direction of the destination or the target position and at a later stage, ie shortly before the destination, the navigation through again the more accurate location determination is realized by means of the analysis of the image recordings. One of these other navigation methods can be realized by the navigation by means of a built-in pedometer and / or a built-in gyroscope of the mobile terminal, whereby the change of the location of the customer can be detected. This can at least approximately determine how far the customer has moved in which direction within the supermarket. If necessary, occasional image recordings can be made to confirm the position and / or to adapt and calibrate the mobile terminal, or the algorithm stored thereon, to the step size of the user. Another of these navigation methods can be determined by measuring reception levels of radio transmitters distributed in the supermarket. Advantageously, significantly less radio transmitters are required within the supermarket than in the described prior art, since the "exact" determination of the location takes place just about the image capture and only a rough orientation must be provided by means of the radio transmitter. All of these methods can also be combined.

Bevorzugt wird die ausgewählte Ware an der Zielposition auf einem Display des Endgeräts und/oder auf einer Virtual-Reality Brille in ihrer Umgebung optisch hervorgehoben. Der Kunde kann hierbei in der Art der Augmented Reality („AR“) das Display seines Smartphones als Auge in die umgebende Welt verwenden, wobei das von ihm ausgewählte Produkt erkannt und auf dem Display optisch hervorgehoben wird. Da ähnliche Produkte meistens in einem Supermarktregal nebeneinanderstehen wird der Kunden hierdurch zielgerichtet zu seiner ausgewählten Ware geführt. Vorzugsweise kann der Kunde auch entlang des gesamten Navigationspfades mittels der Augmented Reality navigiert werden.Preferably, the selected product is visually highlighted at the destination position on a display of the terminal and / or on a virtual reality glasses in their environment. In this case, the customer can use the display of his smartphone as an eye into the surrounding world in the manner of Augmented Reality ("AR"), whereby the product selected by him is recognized and visually highlighted on the display. Since similar products usually stand next to one another in a supermarket shelf, the customer is thereby purposefully guided to his selected goods. Preferably, the customer can also be navigated along the entire navigation path by means of augmented reality.

In einer bevorzugten Ausgestaltung der Erfindung wird der Kunde durch eine grafische Ausgabe auf dem Display und/oder durch eine Sprachausgabe und/oder durch ein Vibrationsmuster auf dem mobilen Endgerät oder einem weiteren mobilen Endgerät, welches mit dem mobilen Endgerät in Verbindung steht, navigiert. Die grafische Ausgabe auf dem Display kann dem Nutzer mit Pfeilen und metrischen Angaben zu den entsprechenden Richtungsänderungen anleiten. Bei einer alleinigen Sprachausgabe muss der Kunde das mobile Endgerät vorteilhaft nicht notwendigerweise in der Hand halten, sondern kann die Sprachbefehle auch durch Kopfhörer wahrnehmen. Bei einem Vibrationsmuster kann der Kunde sein mobiles Endgerät beispielsweise in seiner Hosentasche belassen und entlang des Weges gezielt zu Richtungsänderung veranlasst werden. So kann ein kürzer werdender Abstand von Vibrationsimpulsen auf das Erreichen einer Weggabelung hinweisen bei der die Richtung geändert werden muss. Beispielsweise kann dann beim Erreichen der Weggabelung eine vorher bestimmte Anzahl von kurzen Impulsen dem Kunden anzeigen, dass er dem linken Weg zu folgen hat und eine vorher bestimmte Anzahl von längeren Vibrationsimpulsen dem Kunden anzeigen, dass er dem rechten Weg zu folgen hat, um an sein Ziel zu kommen. Bevorzugt kann das Vibrationsmuster von dem Kunden über die App selbst definiert und festgelegt werden. Es ist auch möglich, dass das mobile Endgerät mit einer Smartwatch in Verbindung steht und dass die Navigationsanweisungen über die Smartwatch realisiert werden. Auch dies ermöglicht dem Nutzer das mobile Endgerät nicht beständig in der Hand halten zu müssen.In a preferred embodiment of the invention, the customer is navigated by a graphical output on the display and / or by a voice output and / or by a vibration pattern on the mobile terminal or another mobile terminal, which is in communication with the mobile terminal. The graphic output on the display can guide the user with arrows and metric information about the corresponding direction changes. With a sole speech output, the customer advantageously does not necessarily have to hold the mobile terminal in his hand, but can also perceive the voice commands through headphones. In a vibration pattern, the customer can leave his mobile device, for example, in his trouser pocket and be directed along the way to change direction. Thus, a shortening of the distance of vibration pulses may indicate the achievement of a fork in the way in which the direction must be changed. For example, upon reaching the fork-off, a predetermined number of short pulses may then indicate to the customer that he has to follow the left path and indicate a predetermined number of longer vibration pulses to the customer to follow the right path to be on Goal to come. Preferably, the vibration pattern can be defined and defined by the customer via the app itself. It is also possible that the mobile terminal is in communication with a smartwatch and that the navigation instructions are realized via the smartwatch. This also does not allow the user to constantly hold the mobile device in his hand.

Gemäß eines weiteren Aspekts der Erfindung wird ein System zur Navigation angegeben, das zur Durchführung des vorstehend beschriebenen erfindungsgemäßen Verfahrens ausgebildet ist und ein mobiles Endgerät mit einer zur Navigation geeigneten App, eine Datenbank mit Marktdaten auf einem Server und eine Datenverbindung zwischen dem Server und dem Endgerät umfasst.According to a further aspect of the invention, a system for navigation is provided, which is designed to carry out the method according to the invention described above, and a mobile terminal with an app suitable for navigation, a database with market data on a server and a data connection between the server and the terminal includes.

Bevorzugt sind die den Waren zugeordneten Informationsfelder QR-Codes, Barcodes oder anders kodierte Zeichen- oder Bildersequenzen. Hierdurch wird ermöglicht, dass eine hohe Flexibilität in der Bereitstellung von Informationen und gegebenenfalls eine leichte Mustererkennung ermöglicht wird. Bevorzugt wird als mobiles Endgerät ein Smartphone, ein Tablet und/oder eine Virtual-Reality Brille verwendet. Falls auf der Virtual-Reality Brille keine entsprechende App installiert werden kann, kann die Virtual-Reality Brille in Verbindung mit dem Smartphone verwendet werden, wobei beide beispielsweise via Bluetooth kommunizieren. All diese Geräte zeichnet aus, dass sie über eine Kamera verfügen, die für das erfindungsgemäße Verfahren vorausgesetzt wird.The information fields assigned to the goods are preferably QR codes, barcodes or differently coded character or picture sequences. This makes it possible to provide a high degree of flexibility in the provision of information and possibly easy pattern recognition. Preferably, a smartphone, a tablet and / or a virtual reality glasses is used as a mobile terminal. If no corresponding app can be installed on the virtual reality goggles, the virtual reality goggles can be used in conjunction with the smartphone, whereby both communicate via Bluetooth, for example. All of these devices are characterized by the fact that they have a camera which is required for the method according to the invention.

Weitere Vorteile, Eigenschaften und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen sowie aus der nachstehenden Beschreibung eines bevorzugten Ausführungsbeispiels.Further advantages, features and developments of the invention will become apparent from the dependent claims and from the following description of a preferred embodiment.

Die Erfindung wird nachstehend unter Bezugnahme auf die anliegenden Zeichnungen anhand eines bevorzugten Ausführungsbeispiels näher erläutert.

1: zeigt ein erfindungsgemäßes Verfahren zur Navigation in einem Supermarkt.
2: zeigt eine optisch hervorgehobene Ware auf einem Smartphone-Display.

The invention will be explained in more detail below with reference to the accompanying drawings with reference to a preferred embodiment.

1 : shows an inventive method for navigation in a supermarket.
2 : shows an optically highlighted product on a smartphone display.

Nachfolgend werden zahlreiche Merkmale der vorliegenden Erfindung anhand von bevorzugten Ausführungsformen erläutert. Die vorliegende Offenbarung ist dabei nicht auf die konkret genannten Merkmalskombinationen beschränkt. Hereinafter, numerous features of the present invention will be explained with reference to preferred embodiments. The present disclosure is not limited to the specific feature combinations mentioned.

Vielmehr lassen sich die hier genannten Merkmale beliebig zu erfindungsgemäßen Ausführungsformen kombinieren, sofern dies nachfolgend nicht explizit ausgeschlossen ist.On the contrary, the features mentioned here can be combined as desired with embodiments according to the invention, unless this is explicitly excluded below.

Der Erfindung liegt die Idee eines smarten Supermarkts zu Grunde, der ähnlich wie andere Geräte im Bereich des Internet-of-Things „IoT“ das Leben von Kunden vereinfachen soll. Hierbei ist der Grundgedanke eine Art Navigationssystem für das Einkaufen in einem Supermarkt anzugeben. Das Navigationssystem wird durch das nachfolgend genauer beschriebene erfindungsgemäße Verfahren realisiert, welches folgende Eigenschaften aufweist: Die Hauptaufgabe ist die Navigation des Kunden zu Waren seiner Wahl. Um auf dem schnellsten Weg zu seinem gewünschten Produkt zu gelangen, ist im Rahmen der Erfindung vorgesehen, dass der Kunde vor dem Einkauf Einkaufslisten erstellen kann. Bei diesen Einkaufslisten können Budgets und Rezepte berücksichtigt werden und Vorschläge für Produkte entgegengenommen werden und zu der Einkaufsliste hinzugefügt werden. Es findet zudem bevorzugt eine Zeitkalkulation statt, welche die Dauer an Kassen in Echtzeit berechnet und den Kunden so zu einer Kasse umleiten kann, deren Wartezeit minimal ist. Realisiert wird dies vorzugsweise über eine Applikation, eine sogenannte App, die auf einem Smartphone läuft. Hierdurch ist zudem ein nahtloses Einfügen von Gesundheitsapplikationen, beispielsweise Apple Health, möglich, wodurch der aktuelle Fitnesszustand bei der Navigation in dem Supermarkt berücksichtigt wird. Beispielsweise kann der Kunde gezielt um die Süßwarenabteilung herumgeleitet werden, wenn seine Gewichtsentwicklung in eine unvorteilhafte Richtung weist oder er dies in der App angibt. Es können automatisiert Warnungen vor Allergien ausgegeben und die entsprechenden Produkte gemieden werden, aber es kann auch nach einer vorgegebenen Diät eingekauft werden.The invention is based on the idea of a smart supermarket, which is similar to other devices in the field of Internet of Things "IoT" to simplify the lives of customers. Here, the basic idea is to specify a type of navigation system for shopping in a supermarket. The navigation system is realized by the method according to the invention described in more detail below, which has the following characteristics: The main task is the navigation of the customer to goods of his choice. In order to get to the desired product in the fastest way, it is provided within the scope of the invention that the customer can create shopping lists before purchasing. With these shopping lists, budgets and recipes can be taken into account and suggestions for products can be accepted and added to the shopping list. It also preferably takes place a time calculation, which calculates the duration of funds in real time and can redirect the customer to a cash register whose waiting time is minimal. This is preferably realized via an application, a so-called app, which runs on a smartphone. This also allows a seamless insertion of health applications, such as Apple Health, whereby the current fitness state is taken into account in the navigation in the supermarket. For example, the customer can be specifically routed around the confectionery department if his weight development points in an unfavorable direction or he indicates this in the app. Automated warnings of allergies can be issued and the corresponding products avoided, but it can also be purchased according to a given diet.

Durch Augmented Reality kann das Einkaufen noch weiter interaktiv gestaltet werden, wobei durch die Kamera des Smartphones Aufnahmen von dem Supermarkt in Echtzeit gemacht werden und der Weg in 3D auf dem Display des Smartphones angezeigt wird. Die Produkte können dann leuchtend dargestellt werden und gegebenenfalls mit Zusatzinformationen (Kalorien, Inhalt, Bio etc.) versehen werden. Gerade für Jugendliche und Kinder kann hierbei ein Bewusstsein beim Einkaufen von Waren geschaffen werden. Die App kann zweckmäßig in der Lage sein bargeldloses Bezahlen zu ermöglichen.Through augmented reality, shopping can be made even more interactive, with the camera of the smartphone taking pictures of the supermarket in real time and showing the way in 3D on the screen of the smartphone. The products can then be displayed in a luminous way and, if necessary, provided with additional information (calories, content, organic etc.) become. Especially for teenagers and children this can create an awareness when shopping for goods. The app may conveniently be able to make cashless payments.

Die Erfindung ermöglicht dem Kunden seine Ausgaben und. seinen Lebensstil zu überwachen und die Waren für Rezepte schnell zu finden, selbst zu kochen und gesünder zu leben. Einem Erstkonsumenten können durch das erfindungsgemäße Verfahren Push-Nachrichten zugestellt, empfohlene Produkte angezeigt und Statistiken und Bewertungen über Einkäufe angezeigt werden, wobei von dem Erstkonsumenten zweckmäßigerweise Daten gesammelt und ausgewertet werden.The invention allows the customer his expenses and. monitor his lifestyle and quickly find the goods for recipes, cook for himself and live healthier. A first consumer can be delivered by the inventive method push messages, recommended products displayed and statistics and reviews of purchases are displayed, with the first consumer expediently data collected and evaluated.

Das Verfahren mithilfe des eigenen Smartphones des Kunden umzusetzen, bietet den Vorteil, dass das kein zusätzliches Navigationsgerät fix an einen Einkaufswagen anzubringen ist, wodurch der Supermarkt Hardwarekosten einspart und nicht extra eine eigene Stromversorgung für diese Geräte bereitstellen muss. Zudem wird auf diese Weise verhindert, dass dem Supermarkt die entsprechenden Navigationsgeräte gestohlen werden können. Bei dem Verfahren kann es zudem vorgesehen sein, dass der Kunde zunächst einmal zum Supermarkt seiner Wahl navigiert wird, wobei sich bei seiner Ankunft sein Smartphone vermittels der installierten App mit einer NFC Säule des Supermarkts verbinden kann, wodurch Marktdaten synchronisiert werden können, da die NFC-Säule auf eine Datenbank mit Marktdaten Zugriff hat, die auf einem Server hinterlegt ist. Der Zugriff auf die Datenbank kann allerdings auch über das mobile Datennetz erfolgen. Die App zeigt dem Kunden zudem eine Checkliste an, welche automatisch oder manuell abgehackt werden kann. Eine automatische Abarbeitung der Checkliste ist möglich, da das mobile Endgerät „weiß“, dass sich der Kunde soeben am Ort einer ganz bestimmten Ware auf seine Einkaufsliste befunden hat. Vermittels der App kann der Kunde den Supermarkt bewerten. Bevorzugt findet die gesamte Kommunikation des Smartphones mit dem dem Supermarkt zugeordneten Server verschlüsselt statt.Implementing the method using the customer's own smartphone offers the advantage that there is no need for an additional navigation device to be fixed to a shopping cart, which saves the supermarket hardware costs and does not have to provide its own power supply for these devices. In addition, it prevents in this way that the supermarket can be stolen the corresponding navigation devices. In the method, it may also be provided that the customer is first navigated to the supermarket of his choice, on arrival, his smartphone can connect using the installed app with an NFC pillar of the supermarket, which market data can be synchronized, since the NFC Pillar has access to a database of market data stored on a server. However, access to the database can also be made via the mobile data network. The app also shows the customer a checklist, which can be chopped off automatically or manually. An automatic processing of the checklist is possible because the mobile device "knows" that the customer has just been on the spot of a particular product on his shopping list. By means of the app, the customer can rate the supermarket. Preferably, the entire communication of the smartphone with the supermarket associated server takes place encrypted.

1 zeigt das erfindungsgemäße Verfahren zur Navigation in dem Supermarkt 10, in dem eine Vielzahl von Warenregalen 12 vorhanden sind in denen die Waren 14 bzw. die Produkte 14 gelagert sind. Der Kunde 16 betritt den Supermarkt durch einen Eingang 18 mit seinem Smartphone auf dem die App zur Navigation installiert ist. Der Kunde 16 möchte in möglichst kurzer Zeit, also auf möglichst kurzem Weg, die Produkte 14B-D kaufen, von denen er allerdings nicht weiß, wo sich diese befinden. Um das erfindungsgemäße Verfahren zu ermöglichen, ist eine möglichst genau Kenntnis des aktuellen Aufenthaltsortes 22A des Kunden 16 notwendig. Zu diesem Zweck macht der Kunde 16, nachdem er den Supermarkt 10 betritt, mit der Kamera seines Smartphones eine Bildaufnahme von der Ware 14A. Die App sendet nun diese Bildaufnahme entweder über ein mobiles Datennetz oder über das WLAN des Supermarkts an einen Server 20 der dem Supermarkt 10 zugeordnet ist und auf dem in einer Datenbank die Ortsinformation der Waren 14 innerhalb des Supermarkts 10 hinterlegt sind. 1 shows the inventive method for navigation in the supermarket 10 in which a variety of goods shelves 12 are present in which the goods 14 or the products 14 are stored. The customer 16 enters the supermarket through an entrance 18 with his smartphone on which the app is installed for navigation. The customer 16 would like to have the products in as short a time as possible, so as short as possible 14B-D but he does not know where they are. In order to enable the method according to the invention, as accurate a knowledge as possible of the current location is 22A of the customer 16 necessary. For this purpose, the customer does 16 after having the supermarket 10 enters, with the camera of his smartphone a picture of the goods 14A , The app now sends this image either via a mobile data network or via the supermarket's WLAN to a server 20 the supermarket 10 is assigned and on the in a database the location information of the goods 14 inside the supermarket 10 are deposited.

Eine Recheneinheit des Servers 20 führt eine Bildanalyse oder eine Mustererkennung durch und sucht hierbei nach einer Übereinstimmung der Bildaufnahme der Ware 14A mit anderen in dem Datensatz hinterlegten Waren. Hierzu können in dem Datensatz ebenfalls Bildaufnahmen der Waren oder ganz bestimmte optisch zuordenbare Eigenschaften der Waren hinterlegt sein. Ist eine eindeutige Übereinstimmung gefunden, so wird in einem nächsten Schritt aus dem Datensatz die Ortsinformation der eindeutig übereinstimmenden Ware 14A extrahiert und als aktueller Aufenthaltsort 22A des Kunden markiert.An arithmetic unit of the server 20 performs an image analysis or a pattern recognition and looks for a match of the image recording of the goods 14A with other goods stored in the record. For this purpose, image recordings of the goods or very specific optically assignable properties of the goods can also be stored in the data record. If a unique match is found, then in a next step from the data record the location information of the clearly matching product 14A extracted and as current location 22A marked by the customer.

Vermittels der zuvor erstellten Einkaufsliste wird die Ortsinformation der Waren 14B-D ebenfalls extrahiert. Ein auf dem Server 20 implementierte Algorithmus berechnet nun einen optimalen Navigationspfad 24 für den Kunden 16. Hierbei wird die Ortsinformation bzw. die Ortsposition der Ware 14B als ein erstes Zwischenziel 22B festgelegt, die Ortsinformation der Ware 14C als ein zweites Zwischenziel 22C festgelegt und die Ortsinformation der Ware 14D als Zielposition 14D definiert. Das Smartphone führt den Kunden 16 nun in der Reihenfolge 22B, 22C und 22D entlang der optimierten Route an allen seinen ausgewählten Waren 14B-D vorbei.By means of the previously created shopping list, the location information of the goods 14B-D also extracted. One on the server 20 implemented algorithm now calculates an optimal navigation path 24 for the customer 16 , Here, the location information or the location of the goods 14B as a first intermediate destination 22B determined, the location information of the goods 14C as a second intermediate destination 22C set and the location information of the goods 14D as target position 14D Are defined. The smartphone guides the customer 16 now in the order 22B . 22C and 22D along the optimized route on all his selected goods 14B-D past.

Durch weitere Bildaufnahmen von Waren 14 entlang des Navigationspfads 24 kann die Ortsposition des Smartphones, wenn nötig, erneut bestimmt werden. Dem Kunden 16 kann allerdings auch auf dem Display seines Smartphones der gesamte Navigationspfad 24 wie in 1 optisch dargestellt werden, sodass sich dieser den Navigationspfad 24 nur noch merken muss, um seine Waren 14 zu finden. Je größer ein Supermarkt ist, desto schwerer dürfte es allerdings für den Kunden 16 sein diese geistige Navigationsleistung zu erbringen. In diesem Fall wird der Kunde 16 von seinem Smartphone entlang des gesamten Navigationspfades 24 navigiert. Hierzu kann sich das Verfahren einen eingebauten Schrittzähler und ein eingebautes Gyroskop des Smartphones in Verbindung mit Kartenmaterial des Supermarkts zu Nutze machen. Auch die Funkstärken von WLAN Hotspots innerhalb des Supermarkts 10 können zur Navigation verwendet werden, wobei zur genauen Ortsbestimmung wiederum Bildaufnahmen von Waren verwendet werden. Eine alleinige Navigation mittels der Bildaufnahmen ist möglich.By taking further pictures of goods 14 along the navigation path 24 The location of the smartphone can be redetermined if necessary. The customer 16 However, on the display of his smartphone, the entire navigation path 24 as in 1 visually displayed so that this is the navigation path 24 just have to remember about his goods 14 to find. The bigger a supermarket, the harder it is for the customer 16 to provide this mental navigation performance. In this case, the customer becomes 16 from his smartphone along the entire navigation path 24 navigated. For this purpose, the method can make use of a built-in pedometer and a built-in gyroscope of the smartphone in conjunction with maps of the supermarket. Also the wireless broadcasts of WLAN hotspots within the supermarket 10 can be used for navigation, in turn, to capture the exact location images of goods are used. A sole navigation by means of the image recordings is possible.

Die Navigationsanweisungen des Smartphones können in grafischer Form, in der Form von Sprachbefehlen und/oder als Vibrationsmuster an den Kunden 16 kommuniziert werden. Hierbei kann das Smartphone auch mit anderen Geräten, wie beispielsweise einer Smartwatch oder VR-Brillen, interagieren.The navigation instructions of the smartphone may be in graphical form, in the form of voice commands and / or as a vibration pattern to the customer 16 be communicated. Here, the smartphone can also interact with other devices, such as a smartwatch or VR glasses.

Der Kunde 16 kann auch mittels Augmented Reality durch den Supermarkt 10 navigiert werden, indem die Kamera des Smartphones oder der VR-Brillen in Echtzeit die den Kunde 16 umgebende Umgebung des Supermarkts aufnimmt und diese auf dem Display des Smartphones oder auf der VR-Brille zusammen mit den Navigationsanweisungen anzeigen. Parallel werden die Von der Kamera gemachten Bildaufnahmen an den Server 20, vorzugsweise in komprimierter Form, übermittelt und die aktuelle Ortsposition durch den Algorithmus mittels Zugriff auf die Datenbank ermittelt.The customer 16 can also by means of augmented reality through the supermarket 10 be navigated by the camera of the smartphone or the VR glasses in real time the the customer 16 surrounding environment of the supermarket and display them on the display of the smartphone or on the VR glasses together with the navigation instructions. At the same time, the pictures taken by the camera are sent to the server 20 , preferably in compressed form, transmitted and determines the current location position by the algorithm by accessing the database.

2 zeigt, wie die Augmented Reality verwendet werden kann, um das ausgewählte Produkt in einem Warenregal 12 auf dem Display 26 des Smartphones optisch hervorzuheben. 2 zeigt, dass die ausgewählte Ware 14D im Gegensatz zu den übrigen Waren 14 in dem Warenregal 12 optisch hervorgehoben dargestellt ist und zusätzlich durch optische Positionsbezeichnungen, insbesondere durch Pfeile 28, markiert wird, damit der Kunde 16 die Ware 14D möglichst leicht und schnell finden kann. 2 shows how the Augmented Reality can be used to display the selected product in a shelf 12 on the display 26 of the smartphone visually emphasize. 2 shows that the selected product 14D unlike the rest of the goods 14 in the goods shelf 12 is shown highlighted and in addition by optical position designations, in particular by arrows 28 , is marked to allow the customer 16 the goods 14D as easy and fast as possible.

Claims

Method for navigating a user (16) thus a customer in a supermarket (10) by means of an application running on his mobile terminal ("app") comprising the following steps: - selecting a product (14D) by means of the app on the mobile terminal, Connection establishment between the app and a server (20) on which are stored in a database location information of the goods (14) of the supermarket (10), - determining the location (22A) of the customer based on his mobile device within the supermarket (10) Querying the location information of the selected product (14D) in the database, whereby a target position is determined, navigating the customer from the location (22A) to the destination position (22D) of the product (14D) by means of the app on his mobile terminal, characterized in that - the customer of his whereabouts (22A) with a camera of the mobile terminal, a picture of a product (14A) and / or of an article associated with the Infor - that this image acquisition is transmitted from the mobile terminal to the server (20), - that the image acquisition on the server (20) is assigned to a product whose location information is known, the associated location information is extracted, - and the extracted location information of the image capture is determined as the location (22A) of the user.

Method according to Claim 1 , characterized in that a pattern recognition or an image analysis of the image recording on the server (20) is performed.

Method according to one of the preceding claims, characterized in that the app prompts the user to further image capture, if no goods can be clearly assigned by the pattern recognition of the previous image acquisition.

Method according to one of the preceding claims, characterized in that further whereabouts (22B, 22C) of the customer during its navigation to the destination (22D) are determined by means of a built-in mobile terminal pedometer and / or a gyroscope.

Method according to one of the preceding claims, characterized in that further whereabouts (22B, 22C) of the user during its navigation to the destination (22D) is determined by measuring reception strengths of radio transmitters distributed in the supermarket (10).

Method according to one of the preceding claims, characterized in that the selected product (14D) is visually highlighted at the destination position on a display of the mobile terminal and / or on a virtual reality glasses in their environment.

Method according to one of the preceding claims, characterized in that the user by a graphical output on a display and / or a voice output and / or a vibration pattern on the mobile terminal or another mobile terminal, which communicates with the mobile terminal, navigated becomes.

System for navigating a customer in a supermarket by means of a mobile terminal for performing a method according to one of Claims 1 - 7 comprising: a mobile terminal with a camera and an app suitable for navigation, a server (20) associated with the supermarket (10) on which a database with location information of the goods of the supermarket (10) is stored, on the server (20) implemented algorithm for calculating a navigation path (24) and a data connection between the server (20) and the mobile terminal.

Navigation device after Claim 8 , characterized in that the associated information fields are price labels of the goods, QR codes, bar codes and / or other codable character or image sequences.

Navigation device according to one of Claims 1 to 9 , characterized in that the mobile terminal is a smartphone, a tablet and / or a virtual reality glasses.