DE102019203372A1

DE102019203372A1 - Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested

Info

Publication number: DE102019203372A1
Application number: DE102019203372.5A
Authority: DE
Inventors: Franziska Wagenpfeil
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2019-03-13
Filing date: 2019-03-13
Publication date: 2020-09-17
Anticipated expiration: 2039-03-14
Also published as: DE102019203372B4

Abstract

Die Erfindung betrifft ein Verfahren und ein System zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs (10) zu einem Standardmodell des zu prüfenden Fahrzeugs. In dem Verfahren werden mehrerer Einzelaufnahmen des zu prüfenden Fahrzeugs erfasst (S10), wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden. Anschließend wird ein 3D-Fahrzeugbild aus den mehreren Einzelaufnahmen berechnet (S12) und die Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 3D-Fahrzeugbilds bestimmt (S14), wobei für das Bestimmen der Abweichung das 3D-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird.The invention relates to a method and a system for determining a deviation of a vehicle to be tested (10) from a standard model of the vehicle to be tested. In the method, several individual images of the vehicle to be tested are recorded (S10), the several individual images each being recorded from a different perspective. A 3D vehicle image is then calculated from the multiple individual recordings (S12) and the deviation of the vehicle to be tested from the standard model of the vehicle to be tested is determined by means of the 3D vehicle image, the 3D vehicle image being determined using a Detection algorithm is analyzed.

Description

Die Erfindung betrifft ein Verfahren und ein System zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs sowie eine Speichervorrichtung mit einem Programmcode.The invention relates to a method and a system for determining a discrepancy between a vehicle to be tested and a standard model of the vehicle to be tested, and to a memory device with a program code.

Ein Fahrzeug kann mit verschiedenen Fahrzeugausstattungen, die beispielsweise von einem Standardmodell des Fahrzeugs abweichen, ausgerüstet sein, was zum Beispiel eine Reparatur des Fahrzeugs erschweren kann, da bestimmte Sonderausstattungen und auch Schäden schwerer zu identifizieren sind. Insbesondere müssen Betriebsanleitungen und Daten über Ersatzteile, wie beispielsweise ein Preis des Ersatzteils, mühsam über verschiedene Datenquellen herausgesucht werden. Bisher besteht hierzu die Möglichkeit, Sonderausstattungen über mehrere 2D-Bilder zu identifizieren und lange Ausstattungsübersichten zu durchforsten. Dabei muss ein Benutzer sich jedoch durch verschiedene Ansichten und Dateien klicken, um einen guten Überblick zu bekommen, was einen hohen Zeitbedarf erfordert.A vehicle can be equipped with various vehicle equipment that deviate from a standard model of the vehicle, for example, which can make repairs to the vehicle more difficult, for example, since certain optional equipment and damage are more difficult to identify. In particular, operating instructions and data on spare parts, such as a price of the spare part, have to be laboriously searched out from various data sources. So far, it has been possible to identify optional equipment using several 2D images and to search through long equipment overviews. However, a user has to click through various views and files in order to get a good overview, which takes a lot of time.

Aus der DE 10 2014 005 983 A1 ist ein gattungsgemäßes Verfahren zur Anzeige von Kraftfahrzeuginformationen bekannt, wobei ein Bild eines Kraftfahrzeugs aufgenommen wird und das Bild mittels Bildauswertealgorithmen analysiert und der Typ des aufgenommenen Kraftfahrzeugs identifiziert wird. Anschließend werden aus einer Datenbank Informationen über das Kraftfahrzeug abgerufen und zusammen mit dem aufgenommenen Realbild des bestehenden Kraftfahrzeugs angezeigt. Nachteilig dabei ist es, dass hierbei schwer ersichtlich ist, wo Schäden, Systeme oder Sonderausstattungen zu lokalisieren sind und ein Benutzer keine Übersicht auf einen Blick erhält. Zudem können beispielsweise nicht alle Seiten des Kraftfahrzeugs abgebildet werden, wodurch Schäden verdeckt sein können.From the DE 10 2014 005 983 A1 a generic method for displaying motor vehicle information is known, an image of a motor vehicle being recorded and the image being analyzed by means of image evaluation algorithms and the type of motor vehicle being identified. Information about the motor vehicle is then retrieved from a database and displayed together with the recorded real image of the existing motor vehicle. The disadvantage here is that it is difficult to see where damage, systems or special equipment are to be located and a user does not get an overview at a glance. In addition, for example, not all sides of the motor vehicle can be displayed, which means that damage can be hidden.

Aus der DE 10 2014 208 048 A1 ist ein System zur Personalisierung einer Umgebung, insbesondere eines Ausstellungsraums, in welcher ein Objekt, insbesondere ein Fahrzeug, angeordnet ist, bekannt.From the DE 10 2014 208 048 A1 a system for personalizing an environment, in particular an exhibition space, in which an object, in particular a vehicle, is arranged, is known.

Aus der DE 10 2018 001 628 A1 ist ein Verfahren zur Darstellung von Informationen auf einer Anzeigeeinheit, die ein Fahrzeug betreffen, bekannt.From the DE 10 2018 001 628 A1 a method for displaying information relating to a vehicle on a display unit is known.

Der Erfindung liegt die Aufgabe zugrunde, eine einfache und schnelle Identifizierung von Schäden eines Fahrzeugs bereitzustellen.The invention is based on the object of providing a simple and quick identification of damage to a vehicle.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.The object is achieved by the subjects of the independent claims. Advantageous developments of the invention are disclosed by the dependent claims, the following description and the figures.

Die Erfindung basiert auf der Erkenntnis, dass hervorgehobene Abweichungen eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs in einem einzigen 3D-Fahrzeugbild von einem Algorithmus erkannt und angezeigt werden können und somit alle Abweichungen zu dem Standardmodell schnell und einfach zugänglich sind.The invention is based on the knowledge that highlighted deviations of a vehicle to be tested from a standard model of the vehicle to be tested can be recognized and displayed in a single 3D vehicle image by an algorithm and thus all deviations from the standard model are quickly and easily accessible.

Durch die Erfindung ist ein Verfahren zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs bereitgestellt. Das Verfahren umfasst als Schritt a) ein Erfassen mehrerer Einzelaufnahmen des zu prüfenden Fahrzeugs, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden, als Schritt b) ein Berechnen eines 3D-Fahrzeugbilds aus den mehreren Einzelaufnahmen und als Schritt c) ein Bestimmen der Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 3D-Fahrzeugbilds, wobei für das Bestimmen der Abweichung das 3D-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird. Mit anderen Worten können mehrere Einzelaufnahmen des zu prüfenden Fahrzeugs aufgenommen werden, wobei die Einzelaufnahmen jeweils aus einer anderen Perspektive, das bedeutet einem anderen Blickwinkel, aufgenommen werden. Vorzugsweise können die mehreren Einzelaufnahmen rund um das Fahrzeugs aufgenommen werden, so dass eine 360 Grad Rundumsicht von dem zu prüfenden Fahrzeugs aufgenommen wird. Dabei ist das zu prüfende Fahrzeug bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus ausgestaltet.The invention provides a method for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested. The method comprises, as step a), capturing multiple individual images of the vehicle to be tested, the multiple individual images each being recorded from a different perspective, as step b) calculating a 3D vehicle image from the multiple individual images, and as step c) determining the Deviation of the vehicle to be tested from the standard model of the vehicle to be tested by means of the 3D vehicle image, the 3D vehicle image being analyzed by means of a recognition algorithm to determine the deviation. In other words, several individual recordings of the vehicle to be tested can be recorded, the individual recordings each being recorded from a different perspective, that is to say a different viewing angle. The multiple individual recordings can preferably be recorded around the vehicle, so that a 360 degree all-round view of the vehicle to be tested is recorded. The vehicle to be tested is preferably designed as a motor vehicle, in particular as a passenger vehicle or truck, or as a passenger bus.

Anschließend kann aus den mehreren Einzelaufnahmen ein 3D-Fahrzeugbild zusammengesetzt werden, ähnlich einem Panoramabild, das vorzugsweise eine 360-Grad-Betrachtung des zu prüfenden Fahrzeugs ermöglicht. Dieses berechnete 3D-Fahrzeugbild kann dann beispielsweise bei einer Darstellung auf einer Anzeige gedreht werden, um das Fahrzeug, beziehungsweise den Innenraum des Fahrzeugs, aus jeder Richtung zu betrachten.A 3D vehicle image can then be put together from the multiple individual images, similar to a panorama image, which preferably enables a 360-degree view of the vehicle to be checked. This calculated 3D vehicle image can then, for example, be rotated when it is displayed on a display in order to view the vehicle or the interior of the vehicle from any direction.

Ferner kann vorgesehen sein, dass vor der Berechnung des 3D-Fahrzeugbilds bestimmt wird, ob die mehreren Einzelaufnahmen für die Berechnung des 3D-Fahrzeugbilds geeignet sind und eine Mitteilung ausgegeben wird, falls die mehreren Einzelaufnahmen nicht für die Berechnung geeignet sind. Beispielsweise kann hierbei die Mitteilung die Information enthalten, aus welcher Perspektive weitere Einzelaufnahmen durchzuführen sind. Vorzugsweise kann hierbei ein Signal gegeben werden, wann ausreichend viele Einzelbilder für die Berechnung des 3D-Fahrzeugbilds vorhanden sind. Das anschließende Berechnen des 3D-Fahrzeugbilds kann beispielsweise über sogenannte „Stitching“-Techniken durchgeführt werden.Furthermore, it can be provided that before the calculation of the 3D vehicle image it is determined whether the multiple individual recordings are suitable for the calculation of the 3D vehicle image and a message is output if the multiple individual recordings are not suitable for the calculation. For example, the message can contain the information from which perspective further individual recordings are to be made. A signal can preferably be given here as to when there are enough individual images available for the calculation of the 3D vehicle image. The subsequent calculation of the 3D vehicle image can be carried out using so-called “stitching” techniques, for example.

Anschließend kann ein Erkennungsalgorithmus das 3D-Fahrzeugbild analysieren und Unterschiede zu dem Standardmodell des zu prüfenden Fahrzeugs bestimmen. Der Erkennungsalgorithmus kann hierbei eine Mustererkennung durchführen und Unterschiede zwischen dem 3D-Fahrzeugbild und dem Standardmodell des zu überprüfenden Fahrzeugs bestimmen. Vorzugsweise können der Erkennungsalgorithmus sowie die Berechnung des 3D-Fahrzeugbilds auf einer Recheneinrichtung wie einem Computer, einem Server und/oder einer mobilen Recheneinrichtung durchgeführt werden. Das Erfassen der mehreren Einzelaufnahmen kann vorzugsweise mit einer Kamera durchgeführt werden, die mit der Rechenvorrichtung gekoppelt ist, wobei in diesem Fall insbesondere ein Smartphone oder ein Tablet-PC mit integrierter Kamera verwendet werden kann.A recognition algorithm can then analyze the 3D vehicle image and determine differences to the standard model of the vehicle to be tested. The recognition algorithm can perform a pattern recognition and determine differences between the 3D vehicle image and the standard model of the vehicle to be checked. The recognition algorithm and the calculation of the 3D vehicle image can preferably be carried out on a computing device such as a computer, a server and / or a mobile computing device. The acquisition of the multiple individual recordings can preferably be carried out with a camera which is coupled to the computing device, in which case in particular a smartphone or a tablet PC with an integrated camera can be used.

Durch die Erfindung ergibt sich der Vorteil, dass alle Abweichungen des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs aus einem 3D-Fahrzeugbild erkannt werden können und dass das Bestimmen der Abweichung schnell und automatisiert durchgeführt werden kann. Hierdurch können Schäden, insbesondere an Sonderausstattungen, und mögliche Ersatzteile schnell und einfach bestimmt werden.The invention has the advantage that all deviations of the vehicle to be tested from the standard model of the vehicle to be tested can be recognized from a 3D vehicle image and that the deviation can be determined quickly and automatically. This allows damage, especially to special equipment, and possible spare parts to be determined quickly and easily.

Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.The invention also includes embodiments which result in additional advantages.

Eine Ausführungsform sieht vor, dass das Standardmodell des zu prüfenden Fahrzeugs vorgegeben wird und/oder dass ein Fahrzeugtyp von dem Erkennungsalgorithmus erkannt wird und das zu dem Fahrzeugtyp passende Standardmodell des zu prüfenden Fahrzeugs bestimmt wird. Mit anderen Worten kann ein Benutzer das Standardmodell des zu prüfenden Fahrzeugs auswählen und zusätzlich oder alternativ kann von dem Erkennungsalgorithmus der Fahrzeugtyp bestimmt werden, wodurch entweder die Auswahl des Benutzers verifiziert werden kann oder automatisch das passende Standardmodell des zu prüfenden Fahrzeugs ausgewählt werden kann. Hierdurch ergibt sich der Vorteil, dass die Bestimmung der Abweichung verbessert und vereinfacht werden kann.One embodiment provides that the standard model of the vehicle to be tested is specified and / or that a vehicle type is recognized by the recognition algorithm and the standard model of the vehicle to be tested that matches the vehicle type is determined. In other words, a user can select the standard model of the vehicle to be tested and, additionally or alternatively, the vehicle type can be determined by the recognition algorithm, whereby either the user's selection can be verified or the suitable standard model of the vehicle to be tested can be selected automatically. This has the advantage that the determination of the deviation can be improved and simplified.

Eine weitere Ausführungsform sieht vor, dass der Erkennungsalgorithmus die Abweichung anhand eines Bildverarbeitungsalgorithmus erkennt. Der Bildverarbeitungsalgorithmus kann vorzugsweise mithilfe von Machine-Learning-Methoden angelernt werden, indem 3D-Bilder von Fahrzeugen mit bekannten Ausstattungsinformationen beziehungsweise 3D-Bilder des Standardmodells ohne Fahrzeugschäden vorgegeben werden. Anschließend kann dann der Bildverarbeitungsalgorithmus über ein neuronales Netz Abweichungen zu dem Standardmodell des zu prüfenden Fahrzeugs erkennen und gleichzeitig Daten zu den Abweichungen ermitteln. Vorzugsweise kann das Bestimmen der Abweichung ein Erkennen eines Ortes der Abweichung und eine Art der Abweichung umfassen. Das bedeutet, dass nicht nur der Ort der Abweichung an dem zu prüfenden Fahrzeug bestimmt wird, sondern auch, um was für eine Art es sich bei der Abweichung handelt, zum Beispiel um einen Schaden oder eine Sonderausstattung. Durch diese Ausführungsform ergibt sich der Vorteil, dass Daten über die Abweichung schnell erhalten werden können.Another embodiment provides that the detection algorithm detects the discrepancy using an image processing algorithm. The image processing algorithm can preferably be learned with the help of machine learning methods by specifying 3D images of vehicles with known equipment information or 3D images of the standard model without vehicle damage. The image processing algorithm can then use a neural network to identify deviations from the standard model of the vehicle to be tested and at the same time determine data on the deviations. The determination of the deviation can preferably include a recognition of a location of the deviation and a type of deviation. This means that not only the location of the deviation on the vehicle to be tested is determined, but also what kind of deviation it is, for example damage or special equipment. This embodiment has the advantage that data on the deviation can be obtained quickly.

Eine weitere Ausführungsform sieht vor, dass für das Standardmodell des zu prüfenden Fahrzeugs ein 3D-Bild des Standardmodells des zu prüfenden Fahrzeugs verwendet wird. Hierfür können beispielsweise zu einem früheren Zeitpunkt mehrere Einzelaufnahmen des Standardmodells aufgenommen werden und diese zu einem 3D-Bild des Standardmodells berechnet werden. Durch diese Ausführungsform ergibt sich der Vorteil, dass der Erkennungsalgorithmus das 3D-Fahrzeugbild und das 3D-Bild des Standardmodells des zu prüfenden Fahrzeugs übereinanderlegen und vergleichen kann, was zu einer verbesserten Bestimmung von Abweichungen führt.Another embodiment provides that a 3D image of the standard model of the vehicle to be tested is used for the standard model of the vehicle to be tested. For this purpose, for example, several individual recordings of the standard model can be recorded at an earlier point in time and these can be calculated to form a 3D image of the standard model. This embodiment has the advantage that the recognition algorithm can superimpose and compare the 3D vehicle image and the 3D image of the standard model of the vehicle to be checked, which leads to an improved determination of deviations.

Eine Ausführungsform sieht vor, dass nach Schritt c) ferner als ein Schritt d) ein Hervorheben der Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs in einer Anzeige des 3D-Fahrzeugbilds durchgeführt wird, wobei die Hervorhebung der Abweichung in zumindest einer Perspektive des 3D-Fahrzeugbilds auf der Anzeige sichtbar wird. Mit anderen Worten kann das 3D-Fahrzeugbild auf einer Anzeige angezeigt werden, wobei die Abweichung als Hervorhebung, beispielsweise als eine farbliche Codierung oder animierte Hervorhebung, in zumindest einer Anzeige des 3D-Fahrzeugbilds hervorgehoben wird. Beispielsweise kann die Hervorhebung der Abweichung in einer Ansicht auf das 3D-Fahrzeugbild auf einer Rückseite des Fahrzeugs vorhanden sein, wodurch diese von dem Fahrzeug verdeckt wird. Bei einer Drehung des Fahrzeugs in der Anzeige kann diese Hervorhebung in den Vordergrund gebracht werden, wodurch sie nicht mehr durch das Fahrzeug verdeckt wird und sichtbar wird. Alternativ kann auch vorgesehen sein, dass die Hervorhebung auch in der Anzeige sichtbar ist, wenn diese durch das Fahrzeug verdeckt wird. Dies kann beispielsweise dadurch erreicht werden, indem Transparenz-Effekte oder farbliche Codierungen einen Benutzer auf die verdeckte Hervorhebung hinweisen. Die Anzeige des 3D-Fahrzeugbildes kann beispielsweise auf einer Anzeigevorrichtung angezeigt werden, die insbesondere ein Bildschirm beziehungsweise ein Display eines Computers, eines Tablet-PC und/oder eines Smartphones sein kann. Durch diese Ausführungsform ergibt sich der Vorteil, dass Abweichungen schnell für einen Benutzer sichtbar gemacht werden können.One embodiment provides that after step c), as step d), the deviation of the vehicle to be tested from the standard model of the vehicle to be tested is highlighted in a display of the 3D vehicle image, the deviation being highlighted in at least one perspective of the 3D vehicle image becomes visible on the display. In other words, the 3D vehicle image can be displayed on a display, the deviation being highlighted as a highlight, for example as a color coding or animated highlighting, in at least one display of the 3D vehicle image. For example, the highlighting of the deviation can be present in a view of the 3D vehicle image on a rear side of the vehicle, as a result of which it is covered by the vehicle. When the vehicle is rotated in the display, this highlighting can be brought to the foreground, so that it is no longer covered by the vehicle and becomes visible. Alternatively, it can also be provided that the highlighting is also visible in the display when it is covered by the vehicle. This can be achieved, for example, in that transparency effects or color coding notify a user of the concealed highlighting. The display of the 3D vehicle image can for example be on a Display device are displayed, which can in particular be a screen or a display of a computer, a tablet PC and / or a smartphone. This embodiment has the advantage that deviations can quickly be made visible to a user.

Vorzugsweise ist vorgesehen, dass zusätzliche Daten zu der Abweichung auf der Anzeige bereitgestellt werden, wenn die Hervorhebung der Abweichung in der zumindest einen Perspektive des 3D-Fahrzeugbilds auf der Anzeige sichtbar wird oder wenn die Hervorhebung von einem Benutzer ausgewählt wird. Mit anderen Worten können zusätzliche Daten zu der Abweichung bereitgestellt werden, sobald die Hervorhebung in einem Vordergrundbereich für einen Benutzer sichtbar wird. Alternativ kann der Benutzer Hervorhebungen aktiv auswählen, um zusätzliche Daten zu der Abweichung zu erhalten. Durch diese Ausführungsform ergibt sich der Vorteil, dass zusätzliche Daten zu der Abweichung schnell und einfach erhalten werden können.Provision is preferably made for additional data on the deviation to be provided on the display when the highlighting of the deviation becomes visible in the at least one perspective of the 3D vehicle image on the display or when the highlighting is selected by a user. In other words, additional data on the deviation can be provided as soon as the highlighting becomes visible to a user in a foreground area. Alternatively, the user can actively select highlights in order to obtain additional data on the deviation. This embodiment has the advantage that additional data on the deviation can be obtained quickly and easily.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass die zusätzlichen Daten zu der Abweichung über eine mobile Datenverbindung empfangen werden. Die mobile Datenverbindung kann insbesondere eine WLAN-Datenverbindung und/oder einen 2G-, 3G-, 4G- und 5G-Mobilfunkstandard umfassen. Die zusätzlichen Daten können beispielsweise Betriebsanleitungen, Datenblätter, Fotos und Videos eines Bauteils, an dem die Abweichung vorhanden ist, umfassen. Durch diese Ausführungsform ergibt sich der Vorteil, dass die zusätzlichen Daten zu der Abweichung auf dem neuesten Stand gehalten werden können und schnell für einen Benutzer verfügbar sind.In an advantageous embodiment it is provided that the additional data on the deviation are received via a mobile data connection. The mobile data connection can in particular comprise a WLAN data connection and / or a 2G, 3G, 4G and 5G mobile radio standard. The additional data can include, for example, operating instructions, data sheets, photos and videos of a component on which the deviation is present. This embodiment has the advantage that the additional data on the deviation can be kept up to date and are quickly available to a user.

Eine Ausführungsform sieht vor, dass die mehreren Einzelaufnahmen einen Außenraum des zu prüfenden Fahrzeugs und/oder einen Innenraum des zu prüfenden Fahrzeugs erfassen. Hierdurch können Schäden und Sonderausstattungen an einem Außenraum und zusätzlich oder alternativ in einem Innenraum des zu prüfenden Fahrzeugs schnell und einfach erfasst werden.One embodiment provides that the multiple individual recordings capture an exterior of the vehicle to be tested and / or an interior of the vehicle to be tested. In this way, damage and special equipment in an exterior space and, additionally or alternatively, in an interior space of the vehicle to be tested can be recorded quickly and easily.

Ein weiterer Aspekt der Erfindung betrifft ein System zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs mit einer Kamera, die dazu ausgebildet ist, mehrere Einzelaufnahmen des zu prüfenden Fahrzeugs zu erfassen, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden. Zusätzlich umfasst das System eine Rechenvorrichtung, die dazu ausgebildet ist, ein 3D-Fahrzeugbild aus den Einzelaufnahmen zu berechnen und eine Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 3D-Fahrzeugbilds zu bestimmen, wobei für das Bestimmen der Abweichung das 3D-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird. Vorzugsweise kann hier das System durch eine mobile Recheneinrichtung, wie beispielsweise ein Smartphone oder ein Tabletcomputer, realisiert sein. Das hat den Vorteil, dass eine Kamera zum Aufnehmen der Einzelaufnahmen und die Rechenvorrichtung zum Berechnen des 3D-Fahrzeugbilds und der Abweichung in einem Gerät kompakt und mobil mitgeführt werden können. Eine weitere Möglichkeit ist die Aufnahme der Bilder durch das Smartphone oder den Tabletcomputer und das Versenden der Einzelaufnahmen an eine externe Rechenvorrichtung, wie beispielsweise einen Server, der anschließend die Berechnung des 3D-Fahrzeugbilds und das Bestimmen der Abweichung vornimmt. Durch das System ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Verfahren.Another aspect of the invention relates to a system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested with a camera that is designed to capture multiple individual images of the vehicle to be checked, the multiple individual images each from a different perspective be included. In addition, the system includes a computing device that is designed to calculate a 3D vehicle image from the individual recordings and to determine a deviation of the vehicle to be tested from the standard model of the vehicle to be tested by means of the 3D vehicle image, with the 3D vehicle image is analyzed by means of a recognition algorithm. The system can preferably be implemented here by a mobile computing device, such as a smartphone or a tablet computer. This has the advantage that a camera for taking the individual recordings and the computing device for calculating the 3D vehicle image and the deviation can be carried in a compact and mobile manner in one device. Another option is to take the images with the smartphone or tablet computer and send the individual images to an external computing device, such as a server, which then calculates the 3D vehicle image and determines the deviation. The system results in the same advantages and possible variations as with the method.

Erfindungsgemäß ist auch eine Speichervorrichtung mit einem Programmcode vorgesehen, wobei der Programmcode dazu eingerichtet ist, bei Ausführen durch eine Prozessoreinrichtung eines mobilen Endgerätes die Schritte b) und c) des Verfahrens nach Anspruch 1 durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Vorzugsweise kann der Programmcode als eine App ausgebildet sein, die einem Benutzer eine Anleitung bereitstellen kann, zum Beispiel wie mehrere Einzelaufnahmen eines zu prüfenden Fahrzeugs aufgenommen werden sollen, um standardisierte 3D-Fahrzeugbilder für das Bestimmen der Abweichung zu dem Standardmodell des zu prüfenden Fahrzeugs zu erhalten.According to the invention, a memory device with a program code is also provided, the program code being set up to carry out steps b) and c) of the method according to claim 1 when executed by a processor device of a mobile terminal. For this purpose, the processor device can have at least one microprocessor and / or at least one microcontroller. The program code can preferably be designed as an app that can provide a user with instructions, for example how several individual images of a vehicle to be tested are to be recorded in order to obtain standardized 3D vehicle images for determining the deviation from the standard model of the vehicle to be tested .

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Systems, das Merkmale aufweist, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Systems hier nicht noch einmal beschrieben.The invention also includes developments of the system according to the invention which has features as they have already been described in connection with the further developments of the method according to the invention. For this reason, the corresponding developments of the system according to the invention are not described again here.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.The invention also includes the combinations of the features of the described embodiments.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Draufsicht auf ein Fahrzeug mit einem System nach einer beispielhaften Ausführungsform;
2 ein schematisches Verfahrensdiagramm nach einer beispielshaften Ausführungsform.

Exemplary embodiments of the invention are described below. This shows:

1 a schematic representation of a top view of a vehicle with a system according to an exemplary embodiment;
2 a schematic process diagram according to an exemplary embodiment.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. The exemplary embodiments explained below are preferred Embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and that also develop the invention independently of one another.

Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.Therefore, the disclosure is intended to include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by further features of the invention already described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference symbols denote functionally identical elements.

In 1 ist eine schematische Darstellung einer Draufsicht auf ein Fahrzeug 10 und ein System 12 zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs 10 zu einem Standardmodell des zu prüfenden Fahrzeugs dargestellt. Das System 12, das in diesem Beispiel ein Smartphone 12 sein kann, kann eine Kamera 14, eine Rechenvorrichtung 16 und eine Anzeigevorrichtung 18 umfassen. In diesem Ausführungsbeispiel können die Kamera 14, die Rechenvorrichtung 16 und die Anzeigevorrichtung 18 in dem Smartphone 12 integriert sein, es ist jedoch auch möglich, dass diese separat voneinander in unterschiedlichen Geräten vorgesehen sein können. Auch ist in diesem Ausführungsbeispiel das Smartphone 12 in einem Außenraum des zu prüfenden Fahrzeugs 10 angeordnet, alternativ oder zusätzlich ist es jedoch auch möglich, dass ein weiteres oder das gleiche System im Innenraum des Fahrzeugs angewendet wird.In 1 Figure 3 is a schematic illustration of a top view of a vehicle 10 and a system 12 for determining a deviation of a vehicle to be tested 10 to a standard model of the vehicle to be tested. The system 12 , which in this example is a smartphone 12 can be, can be a camera 14th , a computing device 16 and a display device 18th include. In this embodiment, the camera 14th , the computing device 16 and the display device 18th in the smartphone 12 be integrated, but it is also possible that these can be provided separately from one another in different devices. The smartphone is also used in this exemplary embodiment 12 in an exterior space of the vehicle to be tested 10 arranged, but alternatively or additionally it is also possible that a further or the same system is used in the interior of the vehicle.

Dem hier gezeigten Ausführungsbeispiel kann folgende Situation zugrundeliegen. Das Fahrzeug 10 kann beispielsweise einen Schaden an einer Fahrzeugkomponente aufweisen, wobei die Fahrzeugkomponente eine Sonderausstattung des Fahrzeugs sein kann. Um schnell und einfach feststellen zu können, welche Sonderausstattungen und Schäden das Fahrzeug 10 aufweist, kann eine Abweichung des Fahrzeugs 10 zu einem Standardmodell des Fahrzeugs bestimmt werden, indem mit der Kamera 14 des Smartphones mehrere Einzelaufnahmen des Fahrzeugs 10 erfasst werden, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden.The exemplary embodiment shown here can be based on the following situation. The vehicle 10 can for example have damage to a vehicle component, wherein the vehicle component can be a special equipment of the vehicle. In order to be able to determine quickly and easily which optional equipment and damage the vehicle is 10 may have a deviation of the vehicle 10 A standard model of the vehicle can be determined by using the camera 14th the smartphone several individual images of the vehicle 10 are recorded, the multiple individual recordings are each recorded from a different perspective.

In diesem Ausführungsbeispiel nimmt die Kamera 14 eine Perspektive 19 der vorderen linken Seite des Fahrzeugs auf. Für eine nächste Perspektive kann das Smartphone 12 von oben betrachtet gegen den Uhrzeigersinn A oder mit dem Uhrzeigersinn B um das Fahrzeug 10 herum weiterbewegt werden, um die nächste Perspektive aufzunehmen. Hierbei kann insbesondere ein Computerprogramm helfen, welches dem Benutzer Positionen vorgeben kann und/oder eine Anleitung vorsieht, wie der Benutzer das Fahrzeug 10 aufzunehmen hat. Vorzugsweise wird hierbei das Fahrzeug 10 aus Perspektiven von 360 Grad um das Fahrzeug 10 herum aufgenommen. Alternativ oder zusätzlich kann auch ein Innenraum des Fahrzeugs aufgenommen werden, wobei sich hierbei das Smartphone 12 vorzugsweise im Innenraum befindet und sich um 360 Grad um seine senkrechte Achse dreht, während Einzelaufnahmen aufgenommen werden.In this embodiment, the camera takes 14th a perspective 19th the front left side of the vehicle. For a closer perspective, the smartphone can 12 Counterclockwise A or clockwise B around the vehicle when viewed from above 10 moved around to take in the next perspective. In particular, a computer program can help here, which can specify positions for the user and / or provide instructions on how the user can drive the vehicle 10 has to include. The vehicle is preferably used here 10 from 360 degree perspectives around the vehicle 10 recorded around. Alternatively or additionally, an interior of the vehicle can also be recorded, with the smartphone 12 preferably located in the interior and rotates 360 degrees around its vertical axis, while individual images are recorded.

Sind die Einzelaufnahmen des Fahrzeugs 10 aus unterschiedlichen Perspektiven um das Fahrzeug 10 aufgenommen, kann die Rechenvorrichtung 16, die insbesondere ein Prozessor des Smartphones 12 sein kann, ein 3D-Fahrzeugbild aus den Einzelaufnahmen berechnen. Dies kann beispielsweise mittels bekannter Stitching-Verfahren durchgeführt werden. Anhand des 3D-Fahrzeugbilds kann dann eine Abweichung zu einem Standardmodell des Fahrzeugs 10 bestimmt werden, indem ein Erkennungsalgorithmus das 3D-Fahrzeugbild analysiert.Are the individual shots of the vehicle 10 from different perspectives around the vehicle 10 added, the computing device 16 that in particular is a processor of the smartphone 12 can be to calculate a 3D vehicle image from the individual images. This can be done, for example, by means of known stitching processes. A deviation from a standard model of the vehicle can then be determined on the basis of the 3D vehicle image 10 can be determined by a recognition algorithm analyzing the 3D vehicle image.

Vorzugsweise erkennt hierfür der Erkennungsalgorithmus automatisch den Fahrzeugtyp des zu prüfenden Fahrzeugs 10 und wählt das passende Standardmodell des zu prüfenden Fahrzeugs aus. Alternativ oder zusätzlich kann jedoch auch vorgesehen sein, dass ein Benutzer beispielsweise aus einer Liste das Standardmodell des Fahrzeugs auswählt. Der Erkennungsalgorithmus kann insbesondere ein Bildverarbeitungsalgorithmus sein, der das 3D-Fahrzeugbild analysiert. Hierfür kann zunächst das Fahrzeug 10 aus den 3D-Fahrzeugbild segmentiert werden und Fahrzeugcharakteristika, wie beispielsweise Fahrzeuggröße oder Karosseriebauform, mit einer Bilddatenbank verglichen werden, um mittels Mustererkennung das passende Standardmodell zu identifizieren. Anschließend kann das 3D-Fahrzeugbild mit einem 3D-Bild des Standardmodells verglichen werden, wobei strukturelle Unterschiede beispielsweise durch ein Übereinanderlegen der jeweiligen 3D-Bilder erkannt werden können. Auch können Kanten und Mustererkennungen angewandt werden, die die jeweiligen 3D-Bilder untersuchen und Unterschiede feststellen können. Vorzugsweise kann hierfür der Bildverarbeitungsalgorithmus mithilfe von Machine-Learning-Methoden angelernt werden, indem 3D-Bilder mit Abweichungen zu dem 3D-Bild des Standardmodells zum Anlernen verwendet werden. Vorzugsweise kann mittels des Bildverarbeitungsalgorithmus auch erkannt werden, um was für eine Art der Abweichung es sich handelt und an welchem Bauteil des Fahrzeugs 10 diese Abweichung auftritt.For this purpose, the recognition algorithm preferably automatically recognizes the vehicle type of the vehicle to be tested 10 and selects the appropriate standard model of the vehicle to be tested. Alternatively or additionally, however, it can also be provided that a user selects the standard model of the vehicle from a list, for example. The recognition algorithm can in particular be an image processing algorithm that analyzes the 3D vehicle image. The vehicle can first do this 10 are segmented from the 3D vehicle image and vehicle characteristics, such as vehicle size or body shape, are compared with an image database in order to identify the appropriate standard model using pattern recognition. The 3D vehicle image can then be compared with a 3D image of the standard model, with structural differences being able to be recognized, for example, by superimposing the respective 3D images. Edges and pattern recognition can also be used to examine the respective 3D images and identify differences. For this purpose, the image processing algorithm can preferably be taught with the aid of machine learning methods, in that 3D images with deviations from the 3D image of the standard model are used for teaching. The image processing algorithm can preferably also be used to identify what type of deviation it is and on which component of the vehicle 10 this deviation occurs.

Beispielsweise kann ein Blechschaden an einem Kotflügel des Fahrzeugs 10 vorhanden sein, wobei der Kotflügel zum Beispiel zu einer Sonderausstattung gehört, die abweichend von einem Standardmodell des Fahrzeugs 10 ist. In diesem Beispiel würde der Bildverarbeitungsalgorithmus vorzugsweise den Kotflügel als Abweichung zu dem Standardmodell bestimmen und zusätzlich den Schaden an dem Kotflügel. Außerdem kann der Erkennungsalgorithmus anhand des Musters, der Form und der Position der Abweichung einen Typ der Fahrzeugkomponente bestimmen, die als Abweichung markiert wurde. Mittels des festgestellten Typs der Fahrzeugkomponente können dann zusätzliche Daten über diese Komponente abgerufen werden.For example, sheet metal damage can occur on a fender of the vehicle 10 be present, the fender, for example, belongs to an optional extra that differs from a Standard model of the vehicle 10 is. In this example, the image processing algorithm would preferably determine the fender as a deviation from the standard model and, in addition, the damage to the fender. In addition, the detection algorithm can use the pattern, shape and position of the deviation to determine a type of vehicle component that has been marked as a deviation. Using the determined type of vehicle component, additional data about this component can then be called up.

Sind die Abweichungen zu dem Standardmodell des zu prüfenden Fahrzeugs bestimmt, kann das 3D-Fahrzeugbild, das heißt die 360-Grad-Aufnahme des Fahrzeugs, auf einer Anzeige der Anzeigevorrichtung 18 des Smartphones 12 dargestellt werden. Vorzugsweise kann ein Benutzer durch Drehen des 3D-Fahrzeugbilds auf der Anzeige der Anzeigevorrichtung 18 verschiedene Perspektiven auf das 3D-Fahrzeugbild einstellen und zusätzlich können Abweichungen des zu prüfenden Fahrzeugs 10 zu dem Standardmodell des zu prüfenden Fahrzeugs als eine Hervorhebung dargestellt werden. Die Hervorhebung kann beispielsweise eine farbliche Markierung umfassen, die sichtbar ist, wenn diese durch die entsprechende Perspektive im Vordergrund ist. Zusätzlich kann dann, wenn die Hervorhebung sichtbar wird, auf der Anzeigevorrichtung eine weitere Einblendung mit zusätzlichen Daten zu der Abweichung erscheinen. Die zusätzlichen Daten können beispielsweise Datenblätter zu einer bestimmten Fahrzeugkomponente, Bilder und Videos umfassen. Auch können die zusätzlichen eingeblendeten Daten beispielsweise einen Preis für ein Ersatzbauteil anzeigen und ein Video zur Installation des neuen Bauteils. Alternativ können die zusätzlichen Daten auch erst bereitgestellt werden, wenn die Hervorhebung von einem Benutzer ausgewählt beziehungsweise aktiviert wird.If the deviations from the standard model of the vehicle to be tested are determined, the 3D vehicle image, that is to say the 360-degree image of the vehicle, can be displayed on a display of the display device 18th of the smartphone 12 being represented. Preferably, a user can rotate the 3D vehicle image on the display of the display device 18th Set different perspectives on the 3D vehicle image and, in addition, deviations of the vehicle to be tested 10 to the standard model of the vehicle to be tested as a highlight. The highlighting can include, for example, a colored marking that is visible when it is in the foreground from the corresponding perspective. In addition, when the highlighting becomes visible, a further overlay with additional data on the deviation can appear on the display device. The additional data can include, for example, data sheets for a specific vehicle component, images and videos. The additional data displayed can also display a price for a replacement component, for example, and a video showing the installation of the new component. Alternatively, the additional data can only be made available when the highlighting is selected or activated by a user.

Die zusätzlichen Daten können beispielsweise über eine Datenverbindung 20 von einem Server 22 abgerufen werden. Die Datenverbindung 20 kann hierfür insbesondere eine WLAN-Verbindung und eine Verbindung nach einem Mobilfunkstandard 4G (LTE) und/oder 5G umfassen. Mittels des Servers 22 können vorzugsweise auf Anforderung des Benutzers auch weitere Informationen wie empfohlene Handlungen, Einflüsse auf einen Gesamtpreis des Fahrzeugs, weitere Sonderausstattungen inklusive Werbematerial, Bedienanleitungen oder Nachrüstlösungen abgerufen werden. Beispielsweise kann auch vorgesehen sein, dass mehrere Einzelaufnahmen des Fahrzeugs 10 erfasst werden und nach dem Berechnen des 3D-Fahrzeugbilds aus den Einzelaufnahmen ein Benutzer manuell einen Bereich markiert, zu dem zusätzliche Daten angefordert werden können.The additional data can for example be via a data connection 20th from a server 22nd can be accessed. The data connection 20th In particular, a WLAN connection and a connection based on a cellular standard can be used for this purpose 4G (LTE) and / or 5G. Using the server 22nd Further information such as recommended actions, influences on the total price of the vehicle, further special equipment including advertising material, operating instructions or retrofit solutions can preferably be called up at the request of the user. For example, it can also be provided that several individual recordings of the vehicle 10 are recorded and after the calculation of the 3D vehicle image from the individual recordings, a user manually marks an area for which additional data can be requested.

In 2 ist ein schematisches Verfahrensdiagramm zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs 10 zu einem Standardmodell des zu prüfenden Fahrzeugs dargestellt. Dieses Verfahren kann beispielsweise als ein Programmcode vorliegen, insbesondere eine App, die auf einer Speichervorrichtung, beispielsweise eines Smartphones, gespeichert ist. Das Verfahren kann in einem Schritt S10 mehrere Einzelaufnahmen des zu prüfenden Fahrzeugs 10 erfassen, wobei mehrere Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden. In einem Schritt S12 kann dann ein 3D-Fahrzeugbild aus den Einzelaufnahmen berechnet werden.In 2 FIG. 13 is a schematic process diagram for determining a deviation of a vehicle under test 10 to a standard model of the vehicle to be tested. This method can be present, for example, as a program code, in particular an app, which is stored on a storage device, for example a smartphone. The process can be done in one step S10 several individual images of the vehicle to be tested 10 capture, with several individual recordings are each recorded from a different perspective. In one step S12 a 3D vehicle image can then be calculated from the individual images.

In einem Schritt S14 kann dann die Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 3D-Fahrzeugbilds bestimmt werden, wobei für das Bestimmen der Abweichung das 3D-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird.In one step S14 The deviation of the vehicle to be tested from the standard model of the vehicle to be tested can then be determined by means of the 3D vehicle image, the 3D vehicle image being analyzed by means of a recognition algorithm to determine the deviation.

Anschließend kann in einem Schritt S16 die Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs in einer Anzeige des 3D-Fahrzeugbilds hervorgehoben werden, wobei die Hervorhebung der Abweichung in zumindest einer Perspektive des 3D-Fahrzeugbilds auf der Anzeige sichtbar wird.Then in one step S16 the deviation of the vehicle to be tested from the standard model of the vehicle to be tested is highlighted in a display of the 3D vehicle image, the highlighting of the deviation being visible in at least one perspective of the 3D vehicle image on the display.

Insgesamt zeigen die Beispiele, wie durch die Erfindung ein 3D-Fahrzeugbild (360 Grad-Fahrzeugbild) inklusive definierter/automatisierter Hervorhebungen bei beispielsweise Schäden oder Sonderausstattungen bereitgestellt werden kann.Overall, the examples show how the invention can provide a 3D vehicle image (360 degree vehicle image) including defined / automated highlighting for, for example, damage or special equipment.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102014005983 A1 [0003]
DE 102014208048 A1 [0004]
DE 102018001628 A1 [0005]

Claims

Method for determining a deviation of a vehicle to be tested (10) from a standard model of the vehicle to be tested, comprising the steps: a) recording (S10) several individual recordings of the vehicle to be tested, the several individual recordings being recorded from a different perspective; characterized by b) calculating (S12) a 3D vehicle image from the plurality of individual images; c) Determining (S14) the deviation of the vehicle to be tested from the standard model of the vehicle to be tested using the 3D vehicle image, the 3D vehicle image being analyzed using a recognition algorithm to determine the deviation.

Procedure according to Claim 1 wherein the standard model of the vehicle to be tested is specified and / or wherein a vehicle type is recognized by the recognition algorithm and the standard model of the vehicle to be tested that matches the vehicle type is determined.

Method according to one of the preceding claims, wherein the detection algorithm detects the discrepancy using an image processing algorithm.

Method according to one of the preceding claims, wherein a 3D image of the standard model of the vehicle to be tested is used for the standard model of the vehicle to be tested.

Method according to one of the preceding claims, wherein after step c) the following step is also carried out: d) Highlighting (S16) the deviation of the vehicle to be tested from the standard model of the vehicle to be tested in a display of the 3D vehicle image, the highlighting of the deviation being visible in at least one perspective of the 3D vehicle image on the display.

Procedure according to Claim 5 , wherein additional data on the deviation are provided on the display when the highlighting of the deviation becomes visible in the at least one perspective of the 3D vehicle image on the display or when the highlighting is selected by a user.

Procedure according to Claim 6 wherein the additional data on the deviation are received via a mobile data connection (20).

Method according to one of the preceding claims, wherein the multiple individual recordings capture an exterior of the vehicle to be tested and / or an interior of the vehicle to be tested.

System (12) for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested, - with a camera (14) which is designed to capture multiple individual images of the vehicle to be checked, the multiple individual images each from a different one Perspective to be included; and - with a computing device (16); characterized in that the computing device (16) is designed to calculate a 3D vehicle image from the multiple individual recordings and to determine a deviation of the vehicle to be tested from the standard model of the vehicle to be tested by means of the 3D vehicle image, with the Deviation, the 3D vehicle image is analyzed using a detection algorithm.

Storage device with a program code which is set up to perform steps b) and c) of the method according to when executed by a processor device of a mobile terminal (12) Claim 1 perform.