DE102019203372B4 - Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested - Google Patents

Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested Download PDF

Info

Publication number
DE102019203372B4
DE102019203372B4 DE102019203372.5A DE102019203372A DE102019203372B4 DE 102019203372 B4 DE102019203372 B4 DE 102019203372B4 DE 102019203372 A DE102019203372 A DE 102019203372A DE 102019203372 B4 DE102019203372 B4 DE 102019203372B4
Authority
DE
Germany
Prior art keywords
vehicle
tested
deviation
image
standard model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102019203372.5A
Other languages
German (de)
Other versions
DE102019203372A1 (en
Inventor
Franziska Wagenpfeil
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102019203372.5A priority Critical patent/DE102019203372B4/en
Publication of DE102019203372A1 publication Critical patent/DE102019203372A1/en
Application granted granted Critical
Publication of DE102019203372B4 publication Critical patent/DE102019203372B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • G01M17/007Wheeled or endless-tracked vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Verfahren zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs (10) zu einem Standardmodell des zu prüfenden Fahrzeugs, mit den Schritten:a) Erfassen (S10) mehrerer Einzelaufnahmen des zu prüfenden Fahrzeugs, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden; gekennzeichnet durchb) Berechnen (S12) eines 360 Grad-Fahrzeugbildes aus den mehreren Einzelaufnahmen;c) Bestimmen (S14) der Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 360 Grad-Fahrzeugbildes, wobei für das Bestimmen der Abweichung das 360 Grad-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird; wobei eine 360 Grad Rundumsicht von dem zu prüfenden Fahrzeug aufgenommen wird; undwobei der Erkennungsalgorithmus die Abweichung anhand eines Bildverarbeitungsalgorithmus erkennt.Method for determining a deviation of a vehicle to be tested (10) from a standard model of the vehicle to be tested, with the steps: a) capturing (S10) several individual images of the vehicle to be tested, the several individual images each being recorded from a different perspective; characterized byb) calculating (S12) a 360 degree vehicle image from the multiple individual images; c) determining (S14) the deviation of the vehicle to be tested from the standard model of the vehicle to be tested using the 360 degree vehicle image, whereby for determining the deviation the 360 degree vehicle image is analyzed using a recognition algorithm; wherein a 360 degree all-round view of the vehicle under test is recorded; andwherein the detection algorithm detects the deviation using an image processing algorithm.

Description

Die Erfindung betrifft ein Verfahren und ein System zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs sowie eine Speichervorrichtung mit einem Programmcode.The invention relates to a method and a system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested and to a storage device with a program code.

Ein Fahrzeug kann mit verschiedenen Fahrzeugausstattungen, die beispielsweise von einem Standardmodell des Fahrzeugs abweichen, ausgerüstet sein, was zum Beispiel eine Reparatur des Fahrzeugs erschweren kann, da bestimmte Sonderausstattungen und auch Schäden schwerer zu identifizieren sind. Insbesondere müssen Betriebsanleitungen und Daten über Ersatzteile, wie beispielsweise ein Preis des Ersatzteils, mühsam über verschiedene Datenquellen herausgesucht werden. Bisher besteht hierzu die Möglichkeit, Sonderausstattungen über mehrere 2D-Bilder zu identifizieren und lange Ausstattungsübersichten zu durchforsten. Dabei muss ein Benutzer sich jedoch durch verschiedene Ansichten und Dateien klicken, um einen guten Überblick zu bekommen, was einen hohen Zeitbedarf erfordert.A vehicle can be equipped with various vehicle equipment that differs, for example, from a standard model of the vehicle, which can, for example, make it more difficult to repair the vehicle because certain special equipment and damage are more difficult to identify. In particular, operating instructions and data about spare parts, such as a price for the spare part, have to be laboriously searched for using various data sources. So far it has been possible to identify special equipment using several 2D images and to search through long equipment overviews. However, a user has to click through different views and files to get a good overview, which takes a lot of time.

Aus der DE 10 2014 005 983 A1 ist ein gattungsgemäßes Verfahren zur Anzeige von Kraftfahrzeuginformationen bekannt, wobei ein Bild eines Kraftfahrzeugs aufgenommen wird und das Bild mittels Bildauswertealgorithmen analysiert und der Typ des aufgenommenen Kraftfahrzeugs identifiziert wird. Anschließend werden aus einer Datenbank Informationen über das Kraftfahrzeug abgerufen und zusammen mit dem aufgenommenen Realbild des bestehenden Kraftfahrzeugs angezeigt. Nachteilig dabei ist es, dass hierbei schwer ersichtlich ist, wo Schäden, Systeme oder Sonderausstattungen zu lokalisieren sind und ein Benutzer keine Übersicht auf einen Blick erhält. Zudem können beispielsweise nicht alle Seiten des Kraftfahrzeugs abgebildet werden, wodurch Schäden verdeckt sein können.From the DE 10 2014 005 983 A1 a generic method for displaying motor vehicle information is known, wherein an image of a motor vehicle is recorded and the image is analyzed using image evaluation algorithms and the type of motor vehicle recorded is identified. Information about the motor vehicle is then retrieved from a database and displayed together with the recorded real image of the existing motor vehicle. The disadvantage is that it is difficult to see where damage, systems or special equipment can be located and a user cannot get an overview at a glance. In addition, for example, not all sides of the motor vehicle can be depicted, which can mean that damage can be hidden.

Aus der DE 10 2014 208 048 A1 ist ein System zur Personalisierung einer Umgebung, insbesondere eines Ausstellungsraums, in welcher ein Objekt, insbesondere ein Fahrzeug, angeordnet ist, bekannt.From the DE 10 2014 208 048 A1 a system for personalizing an environment, in particular an exhibition room, in which an object, in particular a vehicle, is arranged is known.

Aus der DE 10 2018 001 628 A1 ist ein Verfahren zur Darstellung von Informationen auf einer Anzeigeeinheit, die ein Fahrzeug betreffen, bekannt.From the DE 10 2018 001 628 A1 a method for displaying information relating to a vehicle on a display unit is known.

Aus der DE 10 2013 005 120 A1 ist ein Verfahren zur Bestimmung einer Beschädigung eines Fahrzeugs bekannt, wobei Raumkoordinaten eines Beschädigungsbereichs mit hinterlegten Norm-Raumkoordinaten verglichen werden und wobei eine Verformungstiefe unter Zuordnung zu Flächenkoordinaten bestimmt wird.From the DE 10 2013 005 120 A1 a method for determining damage to a vehicle is known, in which spatial coordinates of a damage area are compared with stored standard spatial coordinates and in which a depth of deformation is determined in association with surface coordinates.

Aus der DE 10 2015 223 427 A1 ist eine Vorrichtung und ein Verfahren zur Visualisierung und Dokumentation von Schäden bekannt.From the DE 10 2015 223 427 A1 a device and a method for visualizing and documenting damage are known.

Der Erfindung liegt die Aufgabe zugrunde, eine einfache und schnelle Identifizierung von Schäden eines Fahrzeugs bereitzustellen.The invention is based on the object of providing a simple and quick identification of damage to a vehicle.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.The task is solved by the subject matter of the independent patent claims. Advantageous developments of the invention are disclosed by the dependent claims, the following description and the figures.

Die Erfindung basiert auf der Erkenntnis, dass hervorgehobene Abweichungen eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs in einem einzigen 3D-Fahrzeugbild (360 Grad-Fahrzeugbild) von einem Algorithmus erkannt und angezeigt werden können und somit alle Abweichungen zu dem Standardmodell schnell und einfach zugänglich sind. The invention is based on the knowledge that highlighted deviations of a vehicle to be tested from a standard model of the vehicle to be tested can be recognized and displayed by an algorithm in a single 3D vehicle image (360 degree vehicle image) and thus all deviations from the standard model can be detected quickly and are easily accessible.

Durch die Erfindung ist ein Verfahren zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs bereitgestellt. Das Verfahren umfasst als Schritt a) ein Erfassen mehrerer Einzelaufnahmen des zu prüfenden Fahrzeugs, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden, als Schritt b) ein Berechnen eines 3D-Fahrzeugbilds aus den mehreren Einzelaufnahmen und als Schritt c) ein Bestimmen der Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 3D-Fahrzeugbilds, wobei für das Bestimmen der Abweichung das 3D-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird. Mit anderen Worten können mehrere Einzelaufnahmen des zu prüfenden Fahrzeugs aufgenommen werden, wobei die Einzelaufnahmen jeweils aus einer anderen Perspektive, das bedeutet einem anderen Blickwinkel, aufgenommen werden. Vorzugsweise können die mehreren Einzelaufnahmen rund um das Fahrzeugs aufgenommen werden, so dass eine 360 Grad Rundumsicht von dem zu prüfenden Fahrzeugs aufgenommen wird. Dabei ist das zu prüfende Fahrzeug bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus ausgestaltet.The invention provides a method for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested. The method includes as step a) capturing a plurality of individual images of the vehicle to be tested, whereby the several individual images are each taken from a different perspective, as step b) calculating a 3D vehicle image from the multiple individual images and as step c) determining the Deviation of the vehicle to be tested from the standard model of the vehicle to be tested using the 3D vehicle image, the 3D vehicle image being analyzed using a recognition algorithm to determine the deviation. In other words, several individual photos of the vehicle to be tested can be taken, with the individual photos each being taken from a different perspective, that is, a different viewing angle. Preferably, the multiple individual images can be taken around the vehicle, so that a 360 degree all-round view of the vehicle to be inspected is recorded. The vehicle to be tested is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus.

Anschließend kann aus den mehreren Einzelaufnahmen ein 3D-Fahrzeugbild zusammengesetzt werden, ähnlich einem Panoramabild, das vorzugsweise eine 360-Grad-Betrachtung des zu prüfenden Fahrzeugs ermöglicht. Dieses berechnete 3D-Fahrzeugbild kann dann beispielsweise bei einer Darstellung auf einer Anzeige gedreht werden, um das Fahrzeug, beziehungsweise den Innenraum des Fahrzeugs, aus jeder Richtung zu betrachten.A 3D vehicle image can then be put together from the several individual images, similar to a panoramic image, which preferably enables a 360-degree view of the vehicle to be inspected. This calculated 3D vehicle image can then be rotated, for example when displayed on a display, in order to view the vehicle, or the interior of the vehicle, from any direction.

Ferner kann vorgesehen sein, dass vor der Berechnung des 3D-Fahrzeugbilds bestimmt wird, ob die mehreren Einzelaufnahmen für die Berechnung des 3D-Fahrzeugbilds geeignet sind und eine Mitteilung ausgegeben wird, falls die mehreren Einzelaufnahmen nicht für die Berechnung geeignet sind. Beispielsweise kann hierbei die Mitteilung die Information enthalten, aus welcher Perspektive weitere Einzelaufnahmen durchzuführen sind. Vorzugsweise kann hierbei ein Signal gegeben werden, wann ausreichend viele Einzelbilder für die Berechnung des 3D-Fahrzeugbilds vorhanden sind. Das anschließende Berechnen des 3D-Fahrzeugbilds kann beispielsweise über sogenannte „Stitching“-Techniken durchgeführt werden.Furthermore, it can be provided that before the 3D vehicle image is calculated, it is determined whether the multiple individual images are suitable for calculating the 3D vehicle image and a message is issued if the multiple individual images are not suitable for the calculation. For example, the message can contain information about the perspective from which further individual recordings are to be made. Preferably, a signal can be given as to when a sufficient number of individual images are available for the calculation of the 3D vehicle image. The subsequent calculation of the 3D vehicle image can be carried out, for example, using so-called “stitching” techniques.

Anschließend kann ein Erkennungsalgorithmus das 3D-Fahrzeugbild analysieren und Unterschiede zu dem Standardmodell des zu prüfenden Fahrzeugs bestimmen. Der Erkennungsalgorithmus kann hierbei eine Mustererkennung durchführen und Unterschiede zwischen dem 3D-Fahrzeugbild und dem Standardmodell des zu überprüfenden Fahrzeugs bestimmen. Vorzugsweise können der Erkennungsalgorithmus sowie die Berechnung des 3D-Fahrzeugbilds auf einer Recheneinrichtung wie einem Computer, einem Server und/oder einer mobilen Recheneinrichtung durchgeführt werden. Das Erfassen der mehreren Einzelaufnahmen kann vorzugsweise mit einer Kamera durchgeführt werden, die mit der Rechenvorrichtung gekoppelt ist, wobei in diesem Fall insbesondere ein Smartphone oder ein Tablet-PC mit integrierter Kamera verwendet werden kann.A recognition algorithm can then analyze the 3D vehicle image and determine differences to the standard model of the vehicle being inspected. The recognition algorithm can carry out pattern recognition and determine differences between the 3D vehicle image and the standard model of the vehicle to be checked. Preferably, the recognition algorithm and the calculation of the 3D vehicle image can be carried out on a computing device such as a computer, a server and/or a mobile computing device. The capture of the multiple individual images can preferably be carried out with a camera that is coupled to the computing device, in which case in particular a smartphone or a tablet PC with an integrated camera can be used.

Ferner ist vorgesehen, dass der Erkennungsalgorithmus die Abweichung anhand eines Bildverarbeitungsalgorithmus erkennt. Der Bildverarbeitungsalgorithmus kann vorzugsweise mithilfe von Machine-Learning-Methoden angelernt werden, indem 3D-Bilder von Fahrzeugen mit bekannten Ausstattungsinformationen beziehungsweise 3D-Bilder des Standardmodells ohne Fahrzeugschäden vorgegeben werden. Anschließend kann dann der Bildverarbeitungsalgorithmus über ein neuronales Netz Abweichungen zu dem Standardmodell des zu prüfenden Fahrzeugs erkennen und gleichzeitig Daten zu den Abweichungen ermitteln. Vorzugsweise kann das Bestimmen der Abweichung ein Erkennen eines Ortes der Abweichung und eine Art der Abweichung umfassen. Das bedeutet, dass nicht nur der Ort der Abweichung an dem zu prüfenden Fahrzeug bestimmt wird, sondern auch, um was für eine Art es sich bei der Abweichung handelt, zum Beispiel um einen Schaden oder eine Sonderausstattung. Durch diese Ausführungsform ergibt sich der Vorteil, dass Daten über die Abweichung schnell erhalten werden können.Furthermore, it is provided that the detection algorithm detects the deviation using an image processing algorithm. The image processing algorithm can preferably be trained using machine learning methods by specifying 3D images of vehicles with known equipment information or 3D images of the standard model without vehicle damage. The image processing algorithm can then use a neural network to detect deviations from the standard model of the vehicle to be tested and at the same time determine data on the deviations. Preferably, determining the deviation may include recognizing a location of the deviation and a type of deviation. This means that not only the location of the deviation on the vehicle being tested is determined, but also what type of deviation it is, for example damage or special equipment. This embodiment has the advantage that data about the deviation can be obtained quickly.

Durch die Erfindung ergibt sich der Vorteil, dass alle Abweichungen des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs aus einem 3D-Fahrzeugbild erkannt werden können und dass das Bestimmen der Abweichung schnell und automatisiert durchgeführt werden kann. Hierdurch können Schäden, insbesondere an Sonderausstattungen, und mögliche Ersatzteile schnell und einfach bestimmt werden.The invention has the advantage that all deviations of the vehicle to be tested from the standard model of the vehicle to be tested can be recognized from a 3D vehicle image and that the determination of the deviation can be carried out quickly and automatically. This allows damage, especially to special equipment, and possible replacement parts to be determined quickly and easily.

Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.The invention also includes embodiments that result in additional advantages.

Eine Ausführungsform sieht vor, dass das Standardmodell des zu prüfenden Fahrzeugs vorgegeben wird und/oder dass ein Fahrzeugtyp von dem Erkennungsalgorithmus erkannt wird und das zu dem Fahrzeugtyp passende Standardmodell des zu prüfenden Fahrzeugs bestimmt wird. Mit anderen Worten kann ein Benutzer das Standardmodell des zu prüfenden Fahrzeugs auswählen und zusätzlich oder alternativ kann von dem Erkennungsalgorithmus der Fahrzeugtyp bestimmt werden, wodurch entweder die Auswahl des Benutzers verifiziert werden kann oder automatisch das passende Standardmodell des zu prüfenden Fahrzeugs ausgewählt werden kann. Hierdurch ergibt sich der Vorteil, dass die Bestimmung der Abweichung verbessert und vereinfacht werden kann.One embodiment provides that the standard model of the vehicle to be tested is specified and/or that a vehicle type is recognized by the recognition algorithm and the standard model of the vehicle to be tested that matches the vehicle type is determined. In other words, a user can select the standard model of the vehicle to be tested and, additionally or alternatively, the vehicle type can be determined by the recognition algorithm, whereby either the user's selection can be verified or the appropriate standard model of the vehicle to be tested can be automatically selected. This has the advantage that the determination of the deviation can be improved and simplified.

Eine weitere Ausführungsform sieht vor, dass für das Standardmodell des zu prüfenden Fahrzeugs ein 3D-Bild des Standardmodells des zu prüfenden Fahrzeugs verwendet wird. Hierfür können beispielsweise zu einem früheren Zeitpunkt mehrere Einzelaufnahmen des Standardmodells aufgenommen werden und diese zu einem 3D-Bild des Standardmodells berechnet werden. Durch diese Ausführungsform ergibt sich der Vorteil, dass der Erkennungsalgorithmus das 3D-Fahrzeugbild und das 3D-Bild des Standardmodells des zu prüfenden Fahrzeugs übereinanderlegen und vergleichen kann, was zu einer verbesserten Bestimmung von Abweichungen führt.A further embodiment provides that a 3D image of the standard model of the vehicle to be tested is used for the standard model of the vehicle to be tested. For this purpose, for example, several individual images of the standard model can be taken at an earlier point in time and these can be calculated into a 3D image of the standard model. This embodiment has the advantage that the detection algorithm can superimpose and compare the 3D vehicle image and the 3D image of the standard model of the vehicle to be tested, which leads to an improved determination of deviations.

Eine Ausführungsform sieht vor, dass nach Schritt c) ferner als ein Schritt d) ein Hervorheben der Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs in einer Anzeige des 3D-Fahrzeugbilds durchgeführt wird, wobei die Hervorhebung der Abweichung in zumindest einer Perspektive des 3D-Fahrzeugbilds auf der Anzeige sichtbar wird. Mit anderen Worten kann das 3D-Fahrzeugbild auf einer Anzeige angezeigt werden, wobei die Abweichung als Hervorhebung, beispielsweise als eine farbliche Codierung oder animierte Hervorhebung, in zumindest einer Anzeige des 3D-Fahrzeugbilds hervorgehoben wird. Beispielsweise kann die Hervorhebung der Abweichung in einer Ansicht auf das 3D-Fahrzeugbild auf einer Rückseite des Fahrzeugs vorhanden sein, wodurch diese von dem Fahrzeug verdeckt wird. Bei einer Drehung des Fahrzeugs in der Anzeige kann diese Hervorhebung in den Vordergrund gebracht werden, wodurch sie nicht mehr durch das Fahrzeug verdeckt wird und sichtbar wird. Alternativ kann auch vorgesehen sein, dass die Hervorhebung auch in der Anzeige sichtbar ist, wenn diese durch das Fahrzeug verdeckt wird. Dies kann beispielsweise dadurch erreicht werden, indem Transparenz-Effekte oder farbliche Codierungen einen Benutzer auf die verdeckte Hervorhebung hinweisen. Die Anzeige des 3D-Fahrzeugbildes kann beispielsweise auf einer Anzeigevorrichtung angezeigt werden, die insbesondere ein Bildschirm beziehungsweise ein Display eines Computers, eines Tablet-PC und/oder eines Smartphones sein kann. Durch diese Ausführungsform ergibt sich der Vorteil, dass Abweichungen schnell für einen Benutzer sichtbar gemacht werden können.One embodiment provides that after step c), further as step d), the deviation of the vehicle to be tested from the standard model of the vehicle to be tested is highlighted in a display of the 3D vehicle image, the deviation being highlighted in at least one perspective of the 3D vehicle image becomes visible on the display. In other words, the 3D vehicle image can be displayed on a display, with the deviation being highlighted as a highlight, for example as a color coding or animated highlight, in at least one display of the 3D vehicle image. For example, highlighting the deviation Chung in a view of the 3D vehicle image on a back of the vehicle, whereby it is covered by the vehicle. When the vehicle is rotated in the display, this highlight can be brought to the foreground, meaning it is no longer obscured by the vehicle and becomes visible. Alternatively, it can also be provided that the highlighting is also visible in the display if it is covered by the vehicle. This can be achieved, for example, by using transparency effects or color coding to alert a user to the hidden highlighting. The display of the 3D vehicle image can be displayed, for example, on a display device, which can in particular be a screen or a display of a computer, a tablet PC and/or a smartphone. This embodiment has the advantage that deviations can be quickly made visible to a user.

Vorzugsweise ist vorgesehen, dass zusätzliche Daten zu der Abweichung auf der Anzeige bereitgestellt werden, wenn die Hervorhebung der Abweichung in der zumindest einen Perspektive des 3D-Fahrzeugbilds auf der Anzeige sichtbar wird oder wenn die Hervorhebung von einem Benutzer ausgewählt wird. Mit anderen Worten können zusätzliche Daten zu der Abweichung bereitgestellt werden, sobald die Hervorhebung in einem Vordergrundbereich für einen Benutzer sichtbar wird. Alternativ kann der Benutzer Hervorhebungen aktiv auswählen, um zusätzliche Daten zu der Abweichung zu erhalten. Durch diese Ausführungsform ergibt sich der Vorteil, dass zusätzliche Daten zu der Abweichung schnell und einfach erhalten werden können.It is preferably provided that additional data about the deviation is provided on the display when the highlighting of the deviation in the at least one perspective of the 3D vehicle image becomes visible on the display or when the highlighting is selected by a user. In other words, additional data about the deviation may be provided once the highlight in a foreground area becomes visible to a user. Alternatively, the user can actively select highlights to obtain additional data about the deviation. This embodiment has the advantage that additional data on the deviation can be obtained quickly and easily.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass die zusätzlichen Daten zu der Abweichung über eine mobile Datenverbindung empfangen werden. Die mobile Datenverbindung kann insbesondere eine WLAN-Datenverbindung und/oder einen 2G-, 3G-, 4G- und 5G-Mobilfunkstandard umfassen. Die zusätzlichen Daten können beispielsweise Betriebsanleitungen, Datenblätter, Fotos und Videos eines Bauteils, an dem die Abweichung vorhanden ist, umfassen. Durch diese Ausführungsform ergibt sich der Vorteil, dass die zusätzlichen Daten zu der Abweichung auf dem neuesten Stand gehalten werden können und schnell für einen Benutzer verfügbar sind.In an advantageous embodiment it is provided that the additional data on the deviation is received via a mobile data connection. The mobile data connection can in particular include a WLAN data connection and/or a 2G, 3G, 4G and 5G mobile radio standard. The additional data can include, for example, operating instructions, data sheets, photos and videos of a component where the deviation exists. This embodiment has the advantage that the additional data on the deviation can be kept up to date and is quickly available to a user.

Eine Ausführungsform sieht vor, dass die mehreren Einzelaufnahmen einen Außenraum des zu prüfenden Fahrzeugs und/oder einen Innenraum des zu prüfenden Fahrzeugs erfassen. Hierdurch können Schäden und Sonderausstattungen an einem Außenraum und zusätzlich oder alternativ in einem Innenraum des zu prüfenden Fahrzeugs schnell und einfach erfasst werden.One embodiment provides that the multiple individual recordings capture an exterior of the vehicle to be inspected and/or an interior of the vehicle to be inspected. This means that damage and special equipment on an exterior and additionally or alternatively in an interior of the vehicle to be inspected can be recorded quickly and easily.

Ein weiterer Aspekt der Erfindung betrifft ein System zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs mit einer Kamera, die dazu ausgebildet ist, mehrere Einzelaufnahmen des zu prüfenden Fahrzeugs zu erfassen, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden. Zusätzlich umfasst das System eine Rechenvorrichtung, die dazu ausgebildet ist, ein 3D-Fahrzeugbild aus den Einzelaufnahmen zu berechnen und eine Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 3D-Fahrzeugbilds zu bestimmen, wobei für das Bestimmen der Abweichung das 3D-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird. Vorzugsweise kann hier das System durch eine mobile Recheneinrichtung, wie beispielsweise ein Smartphone oder ein Tabletcomputer, realisiert sein. Das hat den Vorteil, dass eine Kamera zum Aufnehmen der Einzelaufnahmen und die Rechenvorrichtung zum Berechnen des 3D-Fahrzeugbilds und der Abweichung in einem Gerät kompakt und mobil mitgeführt werden können. Eine weitere Möglichkeit ist die Aufnahme der Bilder durch das Smartphone oder den Tabletcomputer und das Versenden der Einzelaufnahmen an eine externe Rechenvorrichtung, wie beispielsweise einen Server, der anschließend die Berechnung des 3D-Fahrzeugbilds und das Bestimmen der Abweichung vornimmt. Durch das System ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Verfahren.A further aspect of the invention relates to a system for determining a deviation of a vehicle to be inspected from a standard model of the vehicle to be inspected with a camera which is designed to capture multiple individual images of the vehicle to be inspected, the multiple individual images each from a different perspective be included. In addition, the system includes a computing device that is designed to calculate a 3D vehicle image from the individual images and to determine a deviation of the vehicle to be tested from the standard model of the vehicle to be tested using the 3D vehicle image, wherein for determining the deviation 3D vehicle image is analyzed using a recognition algorithm. Here the system can preferably be implemented by a mobile computing device, such as a smartphone or a tablet computer. This has the advantage that a camera for taking the individual images and the computing device for calculating the 3D vehicle image and the deviation can be carried in a compact and mobile device in one device. Another option is to record the images using a smartphone or tablet computer and send the individual images to an external computing device, such as a server, which then calculates the 3D vehicle image and determines the deviation. The system offers the same advantages and variation options as the process.

Erfindungsgemäß ist auch eine Speichervorrichtung mit einem Programmcode vorgesehen, wobei der Programmcode dazu eingerichtet ist, bei Ausführen durch eine Prozessoreinrichtung eines mobilen Endgerätes die Schritte b) und c) des Verfahrens nach Anspruch 1 durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Vorzugsweise kann der Programmcode als eine App ausgebildet sein, die einem Benutzer eine Anleitung bereitstellen kann, zum Beispiel wie mehrere Einzelaufnahmen eines zu prüfenden Fahrzeugs aufgenommen werden sollen, um standardisierte 3D-Fahrzeugbilder für das Bestimmen der Abweichung zu dem Standardmodell des zu prüfenden Fahrzeugs zu erhalten.According to the invention, a storage device with a program code is also provided, the program code being designed to carry out steps b) and c) of the method according to claim 1 when executed by a processor device of a mobile terminal. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller. Preferably, the program code can be designed as an app that can provide a user with instructions on, for example, how to take multiple individual images of a vehicle to be inspected in order to obtain standardized 3D vehicle images for determining the deviation from the standard model of the vehicle to be inspected .

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Systems, das Merkmale aufweist, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Systems hier nicht noch einmal beschrieben.The invention also includes developments of the system according to the invention, which have features as have already been described in connection with the developments of the method according to the invention. For this reason, the corresponding further training courses are required of the system according to the invention is not described again here.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.The invention also includes the combinations of the features of the described embodiments.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

  • 1 eine schematische Darstellung einer Draufsicht auf ein Fahrzeug mit einem System nach einer beispielhaften Ausführungsform;
  • 2 ein schematisches Verfahrensdiagramm nach einer beispielshaften Ausführungsform.
Examples of embodiments of the invention are described below. This shows:
  • 1 a schematic representation of a top view of a vehicle with a system according to an exemplary embodiment;
  • 2 a schematic process diagram according to an exemplary embodiment.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and which also further develop the invention independently of one another. Therefore, the disclosure is intended to include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference numerals designate functionally identical elements.

In 1 ist eine schematische Darstellung einer Draufsicht auf ein Fahrzeug 10 und ein System 12 zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs 10 zu einem Standardmodell des zu prüfenden Fahrzeugs dargestellt. Das System 12, das in diesem Beispiel ein Smartphone 12 sein kann, kann eine Kamera 14, eine Rechenvorrichtung 16 und eine Anzeigevorrichtung 18 umfassen. In diesem Ausführungsbeispiel können die Kamera 14, die Rechenvorrichtung 16 und die Anzeigevorrichtung 18 in dem Smartphone 12 integriert sein, es ist jedoch auch möglich, dass diese separat voneinander in unterschiedlichen Geräten vorgesehen sein können. Auch ist in diesem Ausführungsbeispiel das Smartphone 12 in einem Außenraum des zu prüfenden Fahrzeugs 10 angeordnet, alternativ oder zusätzlich ist es jedoch auch möglich, dass ein weiteres oder das gleiche System im Innenraum des Fahrzeugs angewendet wird.In 1 is a schematic representation of a top view of a vehicle 10 and a system 12 for determining a deviation of a vehicle to be tested 10 from a standard model of the vehicle to be tested. The system 12, which in this example may be a smartphone 12, may include a camera 14, a computing device 16 and a display device 18. In this exemplary embodiment, the camera 14, the computing device 16 and the display device 18 can be integrated in the smartphone 12, but it is also possible that these can be provided separately from one another in different devices. In this exemplary embodiment, the smartphone 12 is also arranged in an exterior space of the vehicle 10 to be tested, but alternatively or additionally it is also possible for a further or the same system to be used in the interior of the vehicle.

Dem hier gezeigten Ausführungsbeispiel kann folgende Situation zugrundeliegen. Das Fahrzeug 10 kann beispielsweise einen Schaden an einer Fahrzeugkomponente aufweisen, wobei die Fahrzeugkomponente eine Sonderausstattung des Fahrzeugs sein kann. Um schnell und einfach feststellen zu können, welche Sonderausstattungen und Schäden das Fahrzeug 10 aufweist, kann eine Abweichung des Fahrzeugs 10 zu einem Standardmodell des Fahrzeugs bestimmt werden, indem mit der Kamera 14 des Smartphones mehrere Einzelaufnahmen des Fahrzeugs 10 erfasst werden, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden.The exemplary embodiment shown here may be based on the following situation. The vehicle 10 may, for example, have damage to a vehicle component, wherein the vehicle component may be a special equipment of the vehicle. In order to be able to quickly and easily determine which special equipment and damage the vehicle 10 has, a deviation of the vehicle 10 from a standard model of the vehicle can be determined by using the camera 14 of the smartphone to capture several individual shots of the vehicle 10, the multiple individual shots each recorded from a different perspective.

In diesem Ausführungsbeispiel nimmt die Kamera 14 eine Perspektive 19 der vorderen linken Seite des Fahrzeugs auf. Für eine nächste Perspektive kann das Smartphone 12 von oben betrachtet gegen den Uhrzeigersinn A oder mit dem Uhrzeigersinn B um das Fahrzeug 10 herum weiterbewegt werden, um die nächste Perspektive aufzunehmen. Hierbei kann insbesondere ein Computerprogramm helfen, welches dem Benutzer Positionen vorgeben kann und/oder eine Anleitung vorsieht, wie der Benutzer das Fahrzeug 10 aufzunehmen hat. Vorzugsweise wird hierbei das Fahrzeug 10 aus Perspektiven von 360 Grad um das Fahrzeug 10 herum aufgenommen. Alternativ oder zusätzlich kann auch ein Innenraum des Fahrzeugs aufgenommen werden, wobei sich hierbei das Smartphone 12 vorzugsweise im Innenraum befindet und sich um 360 Grad um seine senkrechte Achse dreht, während Einzelaufnahmen aufgenommen werden.In this exemplary embodiment, the camera 14 records a perspective 19 of the front left side of the vehicle. For a next perspective, the smartphone 12 viewed from above can be moved counterclockwise A or clockwise B around the vehicle 10 to capture the next perspective. In particular, a computer program can help here, which can specify positions for the user and/or provides instructions on how the user should pick up the vehicle 10. Preferably, the vehicle 10 is recorded from perspectives of 360 degrees around the vehicle 10. Alternatively or additionally, an interior of the vehicle can also be recorded, in which case the smartphone 12 is preferably located in the interior and rotates 360 degrees about its vertical axis while individual images are taken.

Sind die Einzelaufnahmen des Fahrzeugs 10 aus unterschiedlichen Perspektiven um das Fahrzeug 10 aufgenommen, kann die Rechenvorrichtung 16, die insbesondere ein Prozessor des Smartphones 12 sein kann, ein 3D-Fahrzeugbild aus den Einzelaufnahmen berechnen. Dies kann beispielsweise mittels bekannter Stitching-Verfahren durchgeführt werden. Anhand des 3D-Fahrzeugbilds kann dann eine Abweichung zu einem Standardmodell des Fahrzeugs 10 bestimmt werden, indem ein Erkennungsalgorithmus das 3D-Fahrzeugbild analysiert.If the individual images of the vehicle 10 are taken from different perspectives around the vehicle 10, the computing device 16, which can in particular be a processor of the smartphone 12, can calculate a 3D vehicle image from the individual images. This can be carried out, for example, using known stitching methods. Based on the 3D vehicle image, a deviation from a standard model of the vehicle 10 can then be determined by a recognition algorithm analyzing the 3D vehicle image.

Vorzugsweise erkennt hierfür der Erkennungsalgorithmus automatisch den Fahrzeugtyp des zu prüfenden Fahrzeugs 10 und wählt das passende Standardmodell des zu prüfenden Fahrzeugs aus. Alternativ oder zusätzlich kann jedoch auch vorgesehen sein, dass ein Benutzer beispielsweise aus einer Liste das Standardmodell des Fahrzeugs auswählt. Der Erkennungsalgorithmus kann insbesondere ein Bildverarbeitungsalgorithmus sein, der das 3D-Fahrzeugbild analysiert. Hierfür kann zunächst das Fahrzeug 10 aus den 3D-Fahrzeugbild segmentiert werden und Fahrzeugcharakteristika, wie beispielsweise Fahrzeuggröße oder Karosseriebauform, mit einer Bilddatenbank verglichen werden, um mittels Mustererkennung das passende Standardmodell zu identifizieren. Anschließend kann das 3D-Fahrzeugbild mit einem 3D-Bild des Standardmodells verglichen werden, wobei strukturelle Unterschiede beispielsweise durch ein Übereinanderlegen der jeweiligen 3D-Bilder erkannt werden können. Auch können Kanten und Mustererkennungen angewandt werden, die die jeweiligen 3D-Bilder untersuchen und Unterschiede feststellen können. Vorzugsweise kann hierfür der Bildverarbeitungsalgorithmus mithilfe von Machine-Learning-Methoden angelernt werden, indem 3D-Bilder mit Abweichungen zu dem 3D-Bild des Standardmodells zum Anlernen verwendet werden. Vorzugsweise kann mittels des Bildverarbeitungsalgorithmus auch erkannt werden, um was für eine Art der Abweichung es sich handelt und an welchem Bauteil des Fahrzeugs 10 diese Abweichung auftritt.For this purpose, the detection algorithm preferably automatically recognizes the vehicle type of the vehicle 10 to be tested and selects the appropriate standard model of the vehicle to be tested. Alternatively or additionally, however, it can also be provided that a user selects the standard model of the vehicle from a list, for example. The recognition algorithm can in particular be an image processing algorithm that analyzes the 3D vehicle image. For this purpose, the vehicle 10 can first be segmented from the 3D vehicle image and vehicle characteristics, such as vehicle size or body design, can be compared with an image database in order to identify the appropriate standard model using pattern recognition. The 3D vehicle image can then be compared with a 3D image of the standard model, with structural differences being identified, for example, by a coincidence the respective 3D images can be recognized. Edges and pattern recognition can also be used to examine the respective 3D images and determine differences. For this purpose, the image processing algorithm can preferably be trained using machine learning methods by using 3D images with deviations from the 3D image of the standard model for training. Preferably, the image processing algorithm can also be used to identify what type of deviation it is and on which component of the vehicle 10 this deviation occurs.

Beispielsweise kann ein Blechschaden an einem Kotflügel des Fahrzeugs 10 vorhanden sein, wobei der Kotflügel zum Beispiel zu einer Sonderausstattung gehört, die abweichend von einem Standardmodell des Fahrzeugs 10 ist. In diesem Beispiel würde der Bildverarbeitungsalgorithmus vorzugsweise den Kotflügel als Abweichung zu dem Standardmodell bestimmen und zusätzlich den Schaden an dem Kotflügel. Außerdem kann der Erkennungsalgorithmus anhand des Musters, der Form und der Position der Abweichung einen Typ der Fahrzeugkomponente bestimmen, die als Abweichung markiert wurde. Mittels des festgestellten Typs der Fahrzeugkomponente können dann zusätzliche Daten über diese Komponente abgerufen werden.For example, there may be sheet metal damage on a fender of the vehicle 10, the fender, for example, being part of special equipment that differs from a standard model of the vehicle 10. In this example, the image processing algorithm would preferably determine the fender as a deviation from the standard model and additionally the damage to the fender. Additionally, based on the pattern, shape, and location of the deviation, the detection algorithm may determine a type of vehicle component that has been marked as a deviation. Using the determined type of vehicle component, additional data about this component can then be retrieved.

Sind die Abweichungen zu dem Standardmodell des zu prüfenden Fahrzeugs bestimmt, kann das 3D-Fahrzeugbild, das heißt die 360-Grad-Aufnahme des Fahrzeugs, auf einer Anzeige der Anzeigevorrichtung 18 des Smartphones 12 dargestellt werden. Vorzugsweise kann ein Benutzer durch Drehen des 3D-Fahrzeugbilds auf der Anzeige der Anzeigevorrichtung 18 verschiedene Perspektiven auf das 3D-Fahrzeugbild einstellen und zusätzlich können Abweichungen des zu prüfenden Fahrzeugs 10 zu dem Standardmodell des zu prüfenden Fahrzeugs als eine Hervorhebung dargestellt werden. Die Hervorhebung kann beispielsweise eine farbliche Markierung umfassen, die sichtbar ist, wenn diese durch die entsprechende Perspektive im Vordergrund ist. Zusätzlich kann dann, wenn die Hervorhebung sichtbar wird, auf der Anzeigevorrichtung eine weitere Einblendung mit zusätzlichen Daten zu der Abweichung erscheinen. Die zusätzlichen Daten können beispielsweise Datenblätter zu einer bestimmten Fahrzeugkomponente, Bilder und Videos umfassen. Auch können die zusätzlichen eingeblendeten Daten beispielsweise einen Preis für ein Ersatzbauteil anzeigen und ein Video zur Installation des neuen Bauteils. Alternativ können die zusätzlichen Daten auch erst bereitgestellt werden, wenn die Hervorhebung von einem Benutzer ausgewählt beziehungsweise aktiviert wird.If the deviations from the standard model of the vehicle to be tested are determined, the 3D vehicle image, that is, the 360-degree image of the vehicle, can be displayed on a display of the display device 18 of the smartphone 12. Preferably, a user can set different perspectives on the 3D vehicle image by rotating the 3D vehicle image on the display of the display device 18 and in addition, deviations of the vehicle to be inspected 10 from the standard model of the vehicle to be inspected can be displayed as a highlight. The highlighting can, for example, include a colored marking that is visible when it is in the foreground through the corresponding perspective. Additionally, when the highlighting becomes visible, another overlay may appear on the display device with additional data about the deviation. The additional data can include, for example, data sheets for a specific vehicle component, images and videos. The additional data displayed can also display, for example, a price for a replacement component and a video on how to install the new component. Alternatively, the additional data can only be provided when the highlighting is selected or activated by a user.

Die zusätzlichen Daten können beispielsweise über eine Datenverbindung 20 von einem Server 22 abgerufen werden. Die Datenverbindung 20 kann hierfür insbesondere eine WLAN-Verbindung und eine Verbindung nach einem Mobilfunkstandard 4G (LTE) und/oder 5G umfassen. Mittels des Servers 22 können vorzugsweise auf Anforderung des Benutzers auch weitere Informationen wie empfohlene Handlungen, Einflüsse auf einen Gesamtpreis des Fahrzeugs, weitere Sonderausstattungen inklusive Werbematerial, Bedienanleitungen oder Nachrüstlösungen abgerufen werden. Beispielsweise kann auch vorgesehen sein, dass mehrere Einzelaufnahmen des Fahrzeugs 10 erfasst werden und nach dem Berechnen des 3D-Fahrzeugbilds aus den Einzelaufnahmen ein Benutzer manuell einen Bereich markiert, zu dem zusätzliche Daten angefordert werden können.The additional data can be retrieved from a server 22, for example via a data connection 20. For this purpose, the data connection 20 can in particular include a WLAN connection and a connection according to a 4G (LTE) and/or 5G mobile communications standard. By means of the server 22, additional information such as recommended actions, influences on the overall price of the vehicle, other special equipment including advertising material, operating instructions or retrofit solutions can also be retrieved, preferably at the user's request. For example, it can also be provided that several individual images of the vehicle 10 are captured and, after calculating the 3D vehicle image from the individual images, a user manually marks an area for which additional data can be requested.

In 2 ist ein schematisches Verfahrensdiagramm zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs 10 zu einem Standardmodell des zu prüfenden Fahrzeugs dargestellt. Dieses Verfahren kann beispielsweise als ein Programmcode vorliegen, insbesondere eine App, die auf einer Speichervorrichtung, beispielsweise eines Smartphones, gespeichert ist. Das Verfahren kann in einem Schritt S10 mehrere Einzelaufnahmen des zu prüfenden Fahrzeugs 10 erfassen, wobei mehrere Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden. In einem Schritt S12 kann dann ein 3D-Fahrzeugbild aus den Einzelaufnahmen berechnet werden.In 2 a schematic process diagram for determining a deviation of a vehicle to be tested 10 from a standard model of the vehicle to be tested is shown. This method can be present, for example, as a program code, in particular an app, which is stored on a storage device, for example a smartphone. In a step S10, the method can capture several individual images of the vehicle 10 to be tested, with several individual images each being taken from a different perspective. In a step S12, a 3D vehicle image can then be calculated from the individual images.

In einem Schritt S14 kann dann die Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 3D-Fahrzeugbilds bestimmt werden, wobei für das Bestimmen der Abweichung das 3D-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird.In a step S14, the deviation of the vehicle to be tested from the standard model of the vehicle to be tested can then be determined using the 3D vehicle image, the 3D vehicle image being analyzed using a recognition algorithm to determine the deviation.

Anschließend kann in einem Schritt S16 die Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs in einer Anzeige des 3D-Fahrzeugbilds hervorgehoben werden, wobei die Hervorhebung der Abweichung in zumindest einer Perspektive des 3D-Fahrzeugbilds auf der Anzeige sichtbar wird.Subsequently, in a step S16, the deviation of the vehicle to be tested from the standard model of the vehicle to be tested can be highlighted in a display of the 3D vehicle image, with the highlighting of the deviation becoming visible in at least one perspective of the 3D vehicle image on the display.

Insgesamt zeigen die Beispiele, wie durch die Erfindung ein 3D-Fahrzeugbild (360 Grad-Fahrzeugbild) inklusive definierter/automatisierter Hervorhebungen bei beispielsweise Schäden oder Sonderausstattungen bereitgestellt werden kann.Overall, the examples show how the invention can provide a 3D vehicle image (360 degree vehicle image) including defined/automated highlighting of, for example, damage or special equipment.

Claims (9)

Verfahren zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs (10) zu einem Standardmodell des zu prüfenden Fahrzeugs, mit den Schritten: a) Erfassen (S10) mehrerer Einzelaufnahmen des zu prüfenden Fahrzeugs, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden; gekennzeichnet durch b) Berechnen (S12) eines 360 Grad-Fahrzeugbildes aus den mehreren Einzelaufnahmen; c) Bestimmen (S14) der Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 360 Grad-Fahrzeugbildes, wobei für das Bestimmen der Abweichung das 360 Grad-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird; wobei eine 360 Grad Rundumsicht von dem zu prüfenden Fahrzeug aufgenommen wird; und wobei der Erkennungsalgorithmus die Abweichung anhand eines Bildverarbeitungsalgorithmus erkennt.Method for determining a deviation of a vehicle to be tested (10) from a standard model of the vehicle to be tested, with the Steps: a) Capturing (S10) several individual images of the vehicle to be tested, the several individual images each being taken from a different perspective; characterized by b) calculating (S12) a 360 degree vehicle image from the multiple individual images; c) determining (S14) the deviation of the vehicle to be tested from the standard model of the vehicle to be tested using the 360 degree vehicle image, the 360 degree vehicle image being analyzed using a recognition algorithm to determine the deviation; wherein a 360 degree all-round view of the vehicle under test is recorded; and wherein the detection algorithm detects the deviation using an image processing algorithm. Verfahren nach Anspruch 1, wobei das Standardmodell des zu prüfenden Fahrzeugs vorgegeben wird und/oder wobei ein Fahrzeugtyp von dem Erkennungsalgorithmus erkannt wird und das zu dem Fahrzeugtyp passende Standardmodell des zu prüfenden Fahrzeugs bestimmt wird.Procedure according to Claim 1 , wherein the standard model of the vehicle to be tested is specified and/or wherein a vehicle type is recognized by the recognition algorithm and the standard model of the vehicle to be tested that matches the vehicle type is determined. Verfahren nach einem der vorhergehenden Ansprüche, wobei für das Standardmodell des zu prüfenden Fahrzeugs ein 3D-Bild des Standardmodells des zu prüfenden Fahrzeugs verwendet wird.Method according to one of the preceding claims, wherein a 3D image of the standard model of the vehicle to be tested is used for the standard model of the vehicle to be tested. Verfahren nach einem der vorhergehenden Ansprüche, wobei nach Schritt c) ferner folgender Schritt durchgeführt wird: d) Hervorheben (S16) der Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs in einer Anzeige des 360 Grad-Fahrzeugbildes, wobei die Hervorhebung der Abweichung in zumindest einer Perspektive des 360 Grad-Fahrzeugbildes auf der Anzeige sichtbar wird.Method according to one of the preceding claims, wherein the following step is further carried out after step c): d) highlighting (S16) the deviation of the vehicle to be tested from the standard model of the vehicle to be tested in a display of the 360 degree vehicle image, the highlighting of the deviation becoming visible in at least one perspective of the 360 degree vehicle image on the display. Verfahren nach Anspruch 4, wobei zusätzliche Daten zu der Abweichung auf der Anzeige bereitgestellt werden, wenn die Hervorhebung der Abweichung in der zumindest einen Perspektive des 360 Grad-Fahrzeugbildes auf der Anzeige sichtbar wird oder wenn die Hervorhebung von einem Benutzer ausgewählt wird.Procedure according to Claim 4 , wherein additional data about the deviation is provided on the display when the highlighting of the deviation becomes visible in the at least one perspective of the 360 degree vehicle image on the display or when the highlighting is selected by a user. Verfahren nach Anspruch 5, wobei die zusätzlichen Daten zu der Abweichung über eine mobile Datenverbindung (20) empfangen werden.Procedure according to Claim 5 , whereby the additional data on the deviation is received via a mobile data connection (20). Verfahren nach einem der vorhergehenden Ansprüche, wobei die mehreren Einzelaufnahmen einen Außenraum des zu prüfenden Fahrzeugs und/oder einen Innenraum des zu prüfenden Fahrzeugs erfassen.Method according to one of the preceding claims, wherein the multiple individual recordings capture an exterior of the vehicle to be tested and/or an interior of the vehicle to be tested. System (12) zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs, - mit einer Kamera (14), die dazu ausgebildet ist, mehrere Einzelaufnahmen des zu prüfenden Fahrzeugs zu erfassen, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden; und - mit einer Rechenvorrichtung (16); dadurch gekennzeichnet, dass die Rechenvorrichtung (16) dazu ausgebildet ist, ein 360 Grad-Fahrzeugbild aus den mehreren Einzelaufnahmen zu berechnen und eine Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 360 Grad-Fahrzeugbildes zu bestimmen, wobei für das Bestimmen der Abweichung das 360 Grad-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird; wobei eine 360 Grad Rundumsicht von dem zu prüfenden Fahrzeug aufgenommen ist; und wobei der Erkennungsalgorithmus dazu ausgebildet ist, die Abweichung anhand eines Bildverarbeitungsalgorithmus zu erkennen.System (12) for determining a deviation of a vehicle to be inspected from a standard model of the vehicle to be inspected, - with a camera (14) which is designed to capture several individual images of the vehicle to be inspected, the several individual images each being taken from a different one perspective is taken into account; and - with a computing device (16); characterized in that the computing device (16) is designed to calculate a 360 degree vehicle image from the multiple individual images and to determine a deviation of the vehicle to be tested from the standard model of the vehicle to be tested using the 360 degree vehicle image, for which Determining the deviation, the 360 degree vehicle image is analyzed using a detection algorithm; wherein a 360 degree all-round view of the vehicle to be tested is recorded; and wherein the detection algorithm is designed to detect the deviation using an image processing algorithm. Speichervorrichtung mit einem Programmcode, der dazu eingerichtet ist, bei Ausführen durch eine Prozessoreinrichtung eines mobilen Endgerätes (12) die Schritte b) und c) des Verfahrens nach Anspruch 1 durchzuführen.Storage device with a program code which is designed to carry out steps b) and c) of the method when executed by a processor device of a mobile terminal (12). Claim 1 to carry out.
DE102019203372.5A 2019-03-13 2019-03-13 Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested Active DE102019203372B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019203372.5A DE102019203372B4 (en) 2019-03-13 2019-03-13 Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019203372.5A DE102019203372B4 (en) 2019-03-13 2019-03-13 Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested

Publications (2)

Publication Number Publication Date
DE102019203372A1 DE102019203372A1 (en) 2020-09-17
DE102019203372B4 true DE102019203372B4 (en) 2024-03-14

Family

ID=72289511

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019203372.5A Active DE102019203372B4 (en) 2019-03-13 2019-03-13 Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested

Country Status (1)

Country Link
DE (1) DE102019203372B4 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022129300A1 (en) 2022-11-07 2024-05-08 Bayerische Motoren Werke Aktiengesellschaft Device and method for central detection of functional errors in the vehicle interior

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014005983A1 (en) 2014-04-24 2014-09-25 Daimler Ag Method for displaying vehicle information
DE102013005120A1 (en) 2013-03-26 2014-10-02 API - Automotive Process Institute GmbH Method for determining damage to a vehicle
DE102014208048A1 (en) 2014-04-29 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft System and method for personalizing an exhibition space
DE102015223427A1 (en) 2015-11-26 2017-06-01 Robert Bosch Gmbh Device and method for visualizing and documenting damage
DE102018001628A1 (en) 2018-03-01 2018-09-20 Daimler Ag Method for displaying information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013005120A1 (en) 2013-03-26 2014-10-02 API - Automotive Process Institute GmbH Method for determining damage to a vehicle
DE102014005983A1 (en) 2014-04-24 2014-09-25 Daimler Ag Method for displaying vehicle information
DE102014208048A1 (en) 2014-04-29 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft System and method for personalizing an exhibition space
DE102015223427A1 (en) 2015-11-26 2017-06-01 Robert Bosch Gmbh Device and method for visualizing and documenting damage
DE102018001628A1 (en) 2018-03-01 2018-09-20 Daimler Ag Method for displaying information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Stereokamera – Aus Wikipedia, der freien Enzyklopädie. Stand 14.04.2018. URL https://de.wikipedia.org/w/index.php?title=Stereokamera&oldid=176507427 [abgerufen am 27.02.2020]

Also Published As

Publication number Publication date
DE102019203372A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
DE102014213553B4 (en) Tracking support device, tracking support system and tracking support method
DE102012223730B4 (en) DEVICE AND METHOD FOR ADJUSTING A PARKING POSITION BASED ON AN AV IMAGE
DE102011013760B4 (en) Method, device and computer program product for conveying information by means of augmented reality in connection with a road vehicle
DE102014115399B4 (en) Device and method for parking assistance
DE102014213556A1 (en) Tracking support device, tracking support system and tracking support method
DE102014213554A1 (en) Tracking support device, tracking support system and tracking support method
DE112016006262T5 (en) Three-dimensional scanner and processing method for measuring support for this
EP2546778A2 (en) Method for evaluating an object detection device of a motor vehicle
DE102021203020A1 (en) GENERATIVE ADVERSARIAL NETWORK MODELS FOR DETECTING SMALL STREET OBJECTS
DE112020003171T5 (en) Method and device for linking targets
DE102019203372B4 (en) Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested
DE102014209170A1 (en) PROCESS FOR PROVIDING A VISUAL IMAGE OF A TRANSPORT CONDITION
EP2996327A2 (en) Surround view system for vehicles with attachments
EP3614299A1 (en) Method and assembly for identifying objects on installations
DE102013215408A1 (en) A vehicle display system and method for displaying a vehicle environment
DE102019208448A1 (en) Procedure for checking a device or a machine
DE102014201409A1 (en) PARKING - TRACKING DEVICE AND METHODS THEREOF
DE102021206625A1 (en) Computer-implemented method and system for supporting an imaging sensor installation and training method
DE112017007812T5 (en) Vehicle peripheral image display device and vehicle peripheral image display method
EP2602739A1 (en) Device and method for automatic detection of an event in sensor data
DE112020003788T5 (en) Peripheral video generation apparatus, peripheral video generation method, and program
EP3754544A1 (en) Detection system, work method and training method
DE102018128184A1 (en) Method, device, computer program and computer program product for generating a labeled image
DE102014225883A1 (en) A camera system and method for visualizing at least one vehicle surrounding area of a vehicle environment of a vehicle
DE102014226448A1 (en) Vehicle and method for calculating a view of a vehicle environment

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division