DE102019203372B4 - Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested - Google Patents
Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested Download PDFInfo
- Publication number
- DE102019203372B4 DE102019203372B4 DE102019203372.5A DE102019203372A DE102019203372B4 DE 102019203372 B4 DE102019203372 B4 DE 102019203372B4 DE 102019203372 A DE102019203372 A DE 102019203372A DE 102019203372 B4 DE102019203372 B4 DE 102019203372B4
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- tested
- deviation
- image
- standard model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005477 standard model Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Processing Or Creating Images (AREA)
Abstract
Verfahren zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs (10) zu einem Standardmodell des zu prüfenden Fahrzeugs, mit den Schritten:a) Erfassen (S10) mehrerer Einzelaufnahmen des zu prüfenden Fahrzeugs, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden; gekennzeichnet durchb) Berechnen (S12) eines 360 Grad-Fahrzeugbildes aus den mehreren Einzelaufnahmen;c) Bestimmen (S14) der Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 360 Grad-Fahrzeugbildes, wobei für das Bestimmen der Abweichung das 360 Grad-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird; wobei eine 360 Grad Rundumsicht von dem zu prüfenden Fahrzeug aufgenommen wird; undwobei der Erkennungsalgorithmus die Abweichung anhand eines Bildverarbeitungsalgorithmus erkennt.Method for determining a deviation of a vehicle to be tested (10) from a standard model of the vehicle to be tested, with the steps: a) capturing (S10) several individual images of the vehicle to be tested, the several individual images each being recorded from a different perspective; characterized byb) calculating (S12) a 360 degree vehicle image from the multiple individual images; c) determining (S14) the deviation of the vehicle to be tested from the standard model of the vehicle to be tested using the 360 degree vehicle image, whereby for determining the deviation the 360 degree vehicle image is analyzed using a recognition algorithm; wherein a 360 degree all-round view of the vehicle under test is recorded; andwherein the detection algorithm detects the deviation using an image processing algorithm.
Description
Die Erfindung betrifft ein Verfahren und ein System zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs sowie eine Speichervorrichtung mit einem Programmcode.The invention relates to a method and a system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested and to a storage device with a program code.
Ein Fahrzeug kann mit verschiedenen Fahrzeugausstattungen, die beispielsweise von einem Standardmodell des Fahrzeugs abweichen, ausgerüstet sein, was zum Beispiel eine Reparatur des Fahrzeugs erschweren kann, da bestimmte Sonderausstattungen und auch Schäden schwerer zu identifizieren sind. Insbesondere müssen Betriebsanleitungen und Daten über Ersatzteile, wie beispielsweise ein Preis des Ersatzteils, mühsam über verschiedene Datenquellen herausgesucht werden. Bisher besteht hierzu die Möglichkeit, Sonderausstattungen über mehrere 2D-Bilder zu identifizieren und lange Ausstattungsübersichten zu durchforsten. Dabei muss ein Benutzer sich jedoch durch verschiedene Ansichten und Dateien klicken, um einen guten Überblick zu bekommen, was einen hohen Zeitbedarf erfordert.A vehicle can be equipped with various vehicle equipment that differs, for example, from a standard model of the vehicle, which can, for example, make it more difficult to repair the vehicle because certain special equipment and damage are more difficult to identify. In particular, operating instructions and data about spare parts, such as a price for the spare part, have to be laboriously searched for using various data sources. So far it has been possible to identify special equipment using several 2D images and to search through long equipment overviews. However, a user has to click through different views and files to get a good overview, which takes a lot of time.
Aus der
Aus der
Aus der
Aus der
Aus der
Der Erfindung liegt die Aufgabe zugrunde, eine einfache und schnelle Identifizierung von Schäden eines Fahrzeugs bereitzustellen.The invention is based on the object of providing a simple and quick identification of damage to a vehicle.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.The task is solved by the subject matter of the independent patent claims. Advantageous developments of the invention are disclosed by the dependent claims, the following description and the figures.
Die Erfindung basiert auf der Erkenntnis, dass hervorgehobene Abweichungen eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs in einem einzigen 3D-Fahrzeugbild (360 Grad-Fahrzeugbild) von einem Algorithmus erkannt und angezeigt werden können und somit alle Abweichungen zu dem Standardmodell schnell und einfach zugänglich sind. The invention is based on the knowledge that highlighted deviations of a vehicle to be tested from a standard model of the vehicle to be tested can be recognized and displayed by an algorithm in a single 3D vehicle image (360 degree vehicle image) and thus all deviations from the standard model can be detected quickly and are easily accessible.
Durch die Erfindung ist ein Verfahren zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs bereitgestellt. Das Verfahren umfasst als Schritt a) ein Erfassen mehrerer Einzelaufnahmen des zu prüfenden Fahrzeugs, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden, als Schritt b) ein Berechnen eines 3D-Fahrzeugbilds aus den mehreren Einzelaufnahmen und als Schritt c) ein Bestimmen der Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 3D-Fahrzeugbilds, wobei für das Bestimmen der Abweichung das 3D-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird. Mit anderen Worten können mehrere Einzelaufnahmen des zu prüfenden Fahrzeugs aufgenommen werden, wobei die Einzelaufnahmen jeweils aus einer anderen Perspektive, das bedeutet einem anderen Blickwinkel, aufgenommen werden. Vorzugsweise können die mehreren Einzelaufnahmen rund um das Fahrzeugs aufgenommen werden, so dass eine 360 Grad Rundumsicht von dem zu prüfenden Fahrzeugs aufgenommen wird. Dabei ist das zu prüfende Fahrzeug bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus ausgestaltet.The invention provides a method for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested. The method includes as step a) capturing a plurality of individual images of the vehicle to be tested, whereby the several individual images are each taken from a different perspective, as step b) calculating a 3D vehicle image from the multiple individual images and as step c) determining the Deviation of the vehicle to be tested from the standard model of the vehicle to be tested using the 3D vehicle image, the 3D vehicle image being analyzed using a recognition algorithm to determine the deviation. In other words, several individual photos of the vehicle to be tested can be taken, with the individual photos each being taken from a different perspective, that is, a different viewing angle. Preferably, the multiple individual images can be taken around the vehicle, so that a 360 degree all-round view of the vehicle to be inspected is recorded. The vehicle to be tested is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus.
Anschließend kann aus den mehreren Einzelaufnahmen ein 3D-Fahrzeugbild zusammengesetzt werden, ähnlich einem Panoramabild, das vorzugsweise eine 360-Grad-Betrachtung des zu prüfenden Fahrzeugs ermöglicht. Dieses berechnete 3D-Fahrzeugbild kann dann beispielsweise bei einer Darstellung auf einer Anzeige gedreht werden, um das Fahrzeug, beziehungsweise den Innenraum des Fahrzeugs, aus jeder Richtung zu betrachten.A 3D vehicle image can then be put together from the several individual images, similar to a panoramic image, which preferably enables a 360-degree view of the vehicle to be inspected. This calculated 3D vehicle image can then be rotated, for example when displayed on a display, in order to view the vehicle, or the interior of the vehicle, from any direction.
Ferner kann vorgesehen sein, dass vor der Berechnung des 3D-Fahrzeugbilds bestimmt wird, ob die mehreren Einzelaufnahmen für die Berechnung des 3D-Fahrzeugbilds geeignet sind und eine Mitteilung ausgegeben wird, falls die mehreren Einzelaufnahmen nicht für die Berechnung geeignet sind. Beispielsweise kann hierbei die Mitteilung die Information enthalten, aus welcher Perspektive weitere Einzelaufnahmen durchzuführen sind. Vorzugsweise kann hierbei ein Signal gegeben werden, wann ausreichend viele Einzelbilder für die Berechnung des 3D-Fahrzeugbilds vorhanden sind. Das anschließende Berechnen des 3D-Fahrzeugbilds kann beispielsweise über sogenannte „Stitching“-Techniken durchgeführt werden.Furthermore, it can be provided that before the 3D vehicle image is calculated, it is determined whether the multiple individual images are suitable for calculating the 3D vehicle image and a message is issued if the multiple individual images are not suitable for the calculation. For example, the message can contain information about the perspective from which further individual recordings are to be made. Preferably, a signal can be given as to when a sufficient number of individual images are available for the calculation of the 3D vehicle image. The subsequent calculation of the 3D vehicle image can be carried out, for example, using so-called “stitching” techniques.
Anschließend kann ein Erkennungsalgorithmus das 3D-Fahrzeugbild analysieren und Unterschiede zu dem Standardmodell des zu prüfenden Fahrzeugs bestimmen. Der Erkennungsalgorithmus kann hierbei eine Mustererkennung durchführen und Unterschiede zwischen dem 3D-Fahrzeugbild und dem Standardmodell des zu überprüfenden Fahrzeugs bestimmen. Vorzugsweise können der Erkennungsalgorithmus sowie die Berechnung des 3D-Fahrzeugbilds auf einer Recheneinrichtung wie einem Computer, einem Server und/oder einer mobilen Recheneinrichtung durchgeführt werden. Das Erfassen der mehreren Einzelaufnahmen kann vorzugsweise mit einer Kamera durchgeführt werden, die mit der Rechenvorrichtung gekoppelt ist, wobei in diesem Fall insbesondere ein Smartphone oder ein Tablet-PC mit integrierter Kamera verwendet werden kann.A recognition algorithm can then analyze the 3D vehicle image and determine differences to the standard model of the vehicle being inspected. The recognition algorithm can carry out pattern recognition and determine differences between the 3D vehicle image and the standard model of the vehicle to be checked. Preferably, the recognition algorithm and the calculation of the 3D vehicle image can be carried out on a computing device such as a computer, a server and/or a mobile computing device. The capture of the multiple individual images can preferably be carried out with a camera that is coupled to the computing device, in which case in particular a smartphone or a tablet PC with an integrated camera can be used.
Ferner ist vorgesehen, dass der Erkennungsalgorithmus die Abweichung anhand eines Bildverarbeitungsalgorithmus erkennt. Der Bildverarbeitungsalgorithmus kann vorzugsweise mithilfe von Machine-Learning-Methoden angelernt werden, indem 3D-Bilder von Fahrzeugen mit bekannten Ausstattungsinformationen beziehungsweise 3D-Bilder des Standardmodells ohne Fahrzeugschäden vorgegeben werden. Anschließend kann dann der Bildverarbeitungsalgorithmus über ein neuronales Netz Abweichungen zu dem Standardmodell des zu prüfenden Fahrzeugs erkennen und gleichzeitig Daten zu den Abweichungen ermitteln. Vorzugsweise kann das Bestimmen der Abweichung ein Erkennen eines Ortes der Abweichung und eine Art der Abweichung umfassen. Das bedeutet, dass nicht nur der Ort der Abweichung an dem zu prüfenden Fahrzeug bestimmt wird, sondern auch, um was für eine Art es sich bei der Abweichung handelt, zum Beispiel um einen Schaden oder eine Sonderausstattung. Durch diese Ausführungsform ergibt sich der Vorteil, dass Daten über die Abweichung schnell erhalten werden können.Furthermore, it is provided that the detection algorithm detects the deviation using an image processing algorithm. The image processing algorithm can preferably be trained using machine learning methods by specifying 3D images of vehicles with known equipment information or 3D images of the standard model without vehicle damage. The image processing algorithm can then use a neural network to detect deviations from the standard model of the vehicle to be tested and at the same time determine data on the deviations. Preferably, determining the deviation may include recognizing a location of the deviation and a type of deviation. This means that not only the location of the deviation on the vehicle being tested is determined, but also what type of deviation it is, for example damage or special equipment. This embodiment has the advantage that data about the deviation can be obtained quickly.
Durch die Erfindung ergibt sich der Vorteil, dass alle Abweichungen des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs aus einem 3D-Fahrzeugbild erkannt werden können und dass das Bestimmen der Abweichung schnell und automatisiert durchgeführt werden kann. Hierdurch können Schäden, insbesondere an Sonderausstattungen, und mögliche Ersatzteile schnell und einfach bestimmt werden.The invention has the advantage that all deviations of the vehicle to be tested from the standard model of the vehicle to be tested can be recognized from a 3D vehicle image and that the determination of the deviation can be carried out quickly and automatically. This allows damage, especially to special equipment, and possible replacement parts to be determined quickly and easily.
Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.The invention also includes embodiments that result in additional advantages.
Eine Ausführungsform sieht vor, dass das Standardmodell des zu prüfenden Fahrzeugs vorgegeben wird und/oder dass ein Fahrzeugtyp von dem Erkennungsalgorithmus erkannt wird und das zu dem Fahrzeugtyp passende Standardmodell des zu prüfenden Fahrzeugs bestimmt wird. Mit anderen Worten kann ein Benutzer das Standardmodell des zu prüfenden Fahrzeugs auswählen und zusätzlich oder alternativ kann von dem Erkennungsalgorithmus der Fahrzeugtyp bestimmt werden, wodurch entweder die Auswahl des Benutzers verifiziert werden kann oder automatisch das passende Standardmodell des zu prüfenden Fahrzeugs ausgewählt werden kann. Hierdurch ergibt sich der Vorteil, dass die Bestimmung der Abweichung verbessert und vereinfacht werden kann.One embodiment provides that the standard model of the vehicle to be tested is specified and/or that a vehicle type is recognized by the recognition algorithm and the standard model of the vehicle to be tested that matches the vehicle type is determined. In other words, a user can select the standard model of the vehicle to be tested and, additionally or alternatively, the vehicle type can be determined by the recognition algorithm, whereby either the user's selection can be verified or the appropriate standard model of the vehicle to be tested can be automatically selected. This has the advantage that the determination of the deviation can be improved and simplified.
Eine weitere Ausführungsform sieht vor, dass für das Standardmodell des zu prüfenden Fahrzeugs ein 3D-Bild des Standardmodells des zu prüfenden Fahrzeugs verwendet wird. Hierfür können beispielsweise zu einem früheren Zeitpunkt mehrere Einzelaufnahmen des Standardmodells aufgenommen werden und diese zu einem 3D-Bild des Standardmodells berechnet werden. Durch diese Ausführungsform ergibt sich der Vorteil, dass der Erkennungsalgorithmus das 3D-Fahrzeugbild und das 3D-Bild des Standardmodells des zu prüfenden Fahrzeugs übereinanderlegen und vergleichen kann, was zu einer verbesserten Bestimmung von Abweichungen führt.A further embodiment provides that a 3D image of the standard model of the vehicle to be tested is used for the standard model of the vehicle to be tested. For this purpose, for example, several individual images of the standard model can be taken at an earlier point in time and these can be calculated into a 3D image of the standard model. This embodiment has the advantage that the detection algorithm can superimpose and compare the 3D vehicle image and the 3D image of the standard model of the vehicle to be tested, which leads to an improved determination of deviations.
Eine Ausführungsform sieht vor, dass nach Schritt c) ferner als ein Schritt d) ein Hervorheben der Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs in einer Anzeige des 3D-Fahrzeugbilds durchgeführt wird, wobei die Hervorhebung der Abweichung in zumindest einer Perspektive des 3D-Fahrzeugbilds auf der Anzeige sichtbar wird. Mit anderen Worten kann das 3D-Fahrzeugbild auf einer Anzeige angezeigt werden, wobei die Abweichung als Hervorhebung, beispielsweise als eine farbliche Codierung oder animierte Hervorhebung, in zumindest einer Anzeige des 3D-Fahrzeugbilds hervorgehoben wird. Beispielsweise kann die Hervorhebung der Abweichung in einer Ansicht auf das 3D-Fahrzeugbild auf einer Rückseite des Fahrzeugs vorhanden sein, wodurch diese von dem Fahrzeug verdeckt wird. Bei einer Drehung des Fahrzeugs in der Anzeige kann diese Hervorhebung in den Vordergrund gebracht werden, wodurch sie nicht mehr durch das Fahrzeug verdeckt wird und sichtbar wird. Alternativ kann auch vorgesehen sein, dass die Hervorhebung auch in der Anzeige sichtbar ist, wenn diese durch das Fahrzeug verdeckt wird. Dies kann beispielsweise dadurch erreicht werden, indem Transparenz-Effekte oder farbliche Codierungen einen Benutzer auf die verdeckte Hervorhebung hinweisen. Die Anzeige des 3D-Fahrzeugbildes kann beispielsweise auf einer Anzeigevorrichtung angezeigt werden, die insbesondere ein Bildschirm beziehungsweise ein Display eines Computers, eines Tablet-PC und/oder eines Smartphones sein kann. Durch diese Ausführungsform ergibt sich der Vorteil, dass Abweichungen schnell für einen Benutzer sichtbar gemacht werden können.One embodiment provides that after step c), further as step d), the deviation of the vehicle to be tested from the standard model of the vehicle to be tested is highlighted in a display of the 3D vehicle image, the deviation being highlighted in at least one perspective of the 3D vehicle image becomes visible on the display. In other words, the 3D vehicle image can be displayed on a display, with the deviation being highlighted as a highlight, for example as a color coding or animated highlight, in at least one display of the 3D vehicle image. For example, highlighting the deviation Chung in a view of the 3D vehicle image on a back of the vehicle, whereby it is covered by the vehicle. When the vehicle is rotated in the display, this highlight can be brought to the foreground, meaning it is no longer obscured by the vehicle and becomes visible. Alternatively, it can also be provided that the highlighting is also visible in the display if it is covered by the vehicle. This can be achieved, for example, by using transparency effects or color coding to alert a user to the hidden highlighting. The display of the 3D vehicle image can be displayed, for example, on a display device, which can in particular be a screen or a display of a computer, a tablet PC and/or a smartphone. This embodiment has the advantage that deviations can be quickly made visible to a user.
Vorzugsweise ist vorgesehen, dass zusätzliche Daten zu der Abweichung auf der Anzeige bereitgestellt werden, wenn die Hervorhebung der Abweichung in der zumindest einen Perspektive des 3D-Fahrzeugbilds auf der Anzeige sichtbar wird oder wenn die Hervorhebung von einem Benutzer ausgewählt wird. Mit anderen Worten können zusätzliche Daten zu der Abweichung bereitgestellt werden, sobald die Hervorhebung in einem Vordergrundbereich für einen Benutzer sichtbar wird. Alternativ kann der Benutzer Hervorhebungen aktiv auswählen, um zusätzliche Daten zu der Abweichung zu erhalten. Durch diese Ausführungsform ergibt sich der Vorteil, dass zusätzliche Daten zu der Abweichung schnell und einfach erhalten werden können.It is preferably provided that additional data about the deviation is provided on the display when the highlighting of the deviation in the at least one perspective of the 3D vehicle image becomes visible on the display or when the highlighting is selected by a user. In other words, additional data about the deviation may be provided once the highlight in a foreground area becomes visible to a user. Alternatively, the user can actively select highlights to obtain additional data about the deviation. This embodiment has the advantage that additional data on the deviation can be obtained quickly and easily.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die zusätzlichen Daten zu der Abweichung über eine mobile Datenverbindung empfangen werden. Die mobile Datenverbindung kann insbesondere eine WLAN-Datenverbindung und/oder einen 2G-, 3G-, 4G- und 5G-Mobilfunkstandard umfassen. Die zusätzlichen Daten können beispielsweise Betriebsanleitungen, Datenblätter, Fotos und Videos eines Bauteils, an dem die Abweichung vorhanden ist, umfassen. Durch diese Ausführungsform ergibt sich der Vorteil, dass die zusätzlichen Daten zu der Abweichung auf dem neuesten Stand gehalten werden können und schnell für einen Benutzer verfügbar sind.In an advantageous embodiment it is provided that the additional data on the deviation is received via a mobile data connection. The mobile data connection can in particular include a WLAN data connection and/or a 2G, 3G, 4G and 5G mobile radio standard. The additional data can include, for example, operating instructions, data sheets, photos and videos of a component where the deviation exists. This embodiment has the advantage that the additional data on the deviation can be kept up to date and is quickly available to a user.
Eine Ausführungsform sieht vor, dass die mehreren Einzelaufnahmen einen Außenraum des zu prüfenden Fahrzeugs und/oder einen Innenraum des zu prüfenden Fahrzeugs erfassen. Hierdurch können Schäden und Sonderausstattungen an einem Außenraum und zusätzlich oder alternativ in einem Innenraum des zu prüfenden Fahrzeugs schnell und einfach erfasst werden.One embodiment provides that the multiple individual recordings capture an exterior of the vehicle to be inspected and/or an interior of the vehicle to be inspected. This means that damage and special equipment on an exterior and additionally or alternatively in an interior of the vehicle to be inspected can be recorded quickly and easily.
Ein weiterer Aspekt der Erfindung betrifft ein System zum Bestimmen einer Abweichung eines zu prüfenden Fahrzeugs zu einem Standardmodell des zu prüfenden Fahrzeugs mit einer Kamera, die dazu ausgebildet ist, mehrere Einzelaufnahmen des zu prüfenden Fahrzeugs zu erfassen, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden. Zusätzlich umfasst das System eine Rechenvorrichtung, die dazu ausgebildet ist, ein 3D-Fahrzeugbild aus den Einzelaufnahmen zu berechnen und eine Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 3D-Fahrzeugbilds zu bestimmen, wobei für das Bestimmen der Abweichung das 3D-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird. Vorzugsweise kann hier das System durch eine mobile Recheneinrichtung, wie beispielsweise ein Smartphone oder ein Tabletcomputer, realisiert sein. Das hat den Vorteil, dass eine Kamera zum Aufnehmen der Einzelaufnahmen und die Rechenvorrichtung zum Berechnen des 3D-Fahrzeugbilds und der Abweichung in einem Gerät kompakt und mobil mitgeführt werden können. Eine weitere Möglichkeit ist die Aufnahme der Bilder durch das Smartphone oder den Tabletcomputer und das Versenden der Einzelaufnahmen an eine externe Rechenvorrichtung, wie beispielsweise einen Server, der anschließend die Berechnung des 3D-Fahrzeugbilds und das Bestimmen der Abweichung vornimmt. Durch das System ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Verfahren.A further aspect of the invention relates to a system for determining a deviation of a vehicle to be inspected from a standard model of the vehicle to be inspected with a camera which is designed to capture multiple individual images of the vehicle to be inspected, the multiple individual images each from a different perspective be included. In addition, the system includes a computing device that is designed to calculate a 3D vehicle image from the individual images and to determine a deviation of the vehicle to be tested from the standard model of the vehicle to be tested using the 3D vehicle image, wherein for determining the deviation 3D vehicle image is analyzed using a recognition algorithm. Here the system can preferably be implemented by a mobile computing device, such as a smartphone or a tablet computer. This has the advantage that a camera for taking the individual images and the computing device for calculating the 3D vehicle image and the deviation can be carried in a compact and mobile device in one device. Another option is to record the images using a smartphone or tablet computer and send the individual images to an external computing device, such as a server, which then calculates the 3D vehicle image and determines the deviation. The system offers the same advantages and variation options as the process.
Erfindungsgemäß ist auch eine Speichervorrichtung mit einem Programmcode vorgesehen, wobei der Programmcode dazu eingerichtet ist, bei Ausführen durch eine Prozessoreinrichtung eines mobilen Endgerätes die Schritte b) und c) des Verfahrens nach Anspruch 1 durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Vorzugsweise kann der Programmcode als eine App ausgebildet sein, die einem Benutzer eine Anleitung bereitstellen kann, zum Beispiel wie mehrere Einzelaufnahmen eines zu prüfenden Fahrzeugs aufgenommen werden sollen, um standardisierte 3D-Fahrzeugbilder für das Bestimmen der Abweichung zu dem Standardmodell des zu prüfenden Fahrzeugs zu erhalten.According to the invention, a storage device with a program code is also provided, the program code being designed to carry out steps b) and c) of the method according to claim 1 when executed by a processor device of a mobile terminal. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller. Preferably, the program code can be designed as an app that can provide a user with instructions on, for example, how to take multiple individual images of a vehicle to be inspected in order to obtain standardized 3D vehicle images for determining the deviation from the standard model of the vehicle to be inspected .
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Systems, das Merkmale aufweist, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Systems hier nicht noch einmal beschrieben.The invention also includes developments of the system according to the invention, which have features as have already been described in connection with the developments of the method according to the invention. For this reason, the corresponding further training courses are required of the system according to the invention is not described again here.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.The invention also includes the combinations of the features of the described embodiments.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
-
1 eine schematische Darstellung einer Draufsicht auf ein Fahrzeug mit einem System nach einer beispielhaften Ausführungsform; -
2 ein schematisches Verfahrensdiagramm nach einer beispielshaften Ausführungsform.
-
1 a schematic representation of a top view of a vehicle with a system according to an exemplary embodiment; -
2 a schematic process diagram according to an exemplary embodiment.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and which also further develop the invention independently of one another. Therefore, the disclosure is intended to include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference numerals designate functionally identical elements.
In
Dem hier gezeigten Ausführungsbeispiel kann folgende Situation zugrundeliegen. Das Fahrzeug 10 kann beispielsweise einen Schaden an einer Fahrzeugkomponente aufweisen, wobei die Fahrzeugkomponente eine Sonderausstattung des Fahrzeugs sein kann. Um schnell und einfach feststellen zu können, welche Sonderausstattungen und Schäden das Fahrzeug 10 aufweist, kann eine Abweichung des Fahrzeugs 10 zu einem Standardmodell des Fahrzeugs bestimmt werden, indem mit der Kamera 14 des Smartphones mehrere Einzelaufnahmen des Fahrzeugs 10 erfasst werden, wobei die mehreren Einzelaufnahmen jeweils aus einer anderen Perspektive aufgenommen werden.The exemplary embodiment shown here may be based on the following situation. The
In diesem Ausführungsbeispiel nimmt die Kamera 14 eine Perspektive 19 der vorderen linken Seite des Fahrzeugs auf. Für eine nächste Perspektive kann das Smartphone 12 von oben betrachtet gegen den Uhrzeigersinn A oder mit dem Uhrzeigersinn B um das Fahrzeug 10 herum weiterbewegt werden, um die nächste Perspektive aufzunehmen. Hierbei kann insbesondere ein Computerprogramm helfen, welches dem Benutzer Positionen vorgeben kann und/oder eine Anleitung vorsieht, wie der Benutzer das Fahrzeug 10 aufzunehmen hat. Vorzugsweise wird hierbei das Fahrzeug 10 aus Perspektiven von 360 Grad um das Fahrzeug 10 herum aufgenommen. Alternativ oder zusätzlich kann auch ein Innenraum des Fahrzeugs aufgenommen werden, wobei sich hierbei das Smartphone 12 vorzugsweise im Innenraum befindet und sich um 360 Grad um seine senkrechte Achse dreht, während Einzelaufnahmen aufgenommen werden.In this exemplary embodiment, the
Sind die Einzelaufnahmen des Fahrzeugs 10 aus unterschiedlichen Perspektiven um das Fahrzeug 10 aufgenommen, kann die Rechenvorrichtung 16, die insbesondere ein Prozessor des Smartphones 12 sein kann, ein 3D-Fahrzeugbild aus den Einzelaufnahmen berechnen. Dies kann beispielsweise mittels bekannter Stitching-Verfahren durchgeführt werden. Anhand des 3D-Fahrzeugbilds kann dann eine Abweichung zu einem Standardmodell des Fahrzeugs 10 bestimmt werden, indem ein Erkennungsalgorithmus das 3D-Fahrzeugbild analysiert.If the individual images of the
Vorzugsweise erkennt hierfür der Erkennungsalgorithmus automatisch den Fahrzeugtyp des zu prüfenden Fahrzeugs 10 und wählt das passende Standardmodell des zu prüfenden Fahrzeugs aus. Alternativ oder zusätzlich kann jedoch auch vorgesehen sein, dass ein Benutzer beispielsweise aus einer Liste das Standardmodell des Fahrzeugs auswählt. Der Erkennungsalgorithmus kann insbesondere ein Bildverarbeitungsalgorithmus sein, der das 3D-Fahrzeugbild analysiert. Hierfür kann zunächst das Fahrzeug 10 aus den 3D-Fahrzeugbild segmentiert werden und Fahrzeugcharakteristika, wie beispielsweise Fahrzeuggröße oder Karosseriebauform, mit einer Bilddatenbank verglichen werden, um mittels Mustererkennung das passende Standardmodell zu identifizieren. Anschließend kann das 3D-Fahrzeugbild mit einem 3D-Bild des Standardmodells verglichen werden, wobei strukturelle Unterschiede beispielsweise durch ein Übereinanderlegen der jeweiligen 3D-Bilder erkannt werden können. Auch können Kanten und Mustererkennungen angewandt werden, die die jeweiligen 3D-Bilder untersuchen und Unterschiede feststellen können. Vorzugsweise kann hierfür der Bildverarbeitungsalgorithmus mithilfe von Machine-Learning-Methoden angelernt werden, indem 3D-Bilder mit Abweichungen zu dem 3D-Bild des Standardmodells zum Anlernen verwendet werden. Vorzugsweise kann mittels des Bildverarbeitungsalgorithmus auch erkannt werden, um was für eine Art der Abweichung es sich handelt und an welchem Bauteil des Fahrzeugs 10 diese Abweichung auftritt.For this purpose, the detection algorithm preferably automatically recognizes the vehicle type of the
Beispielsweise kann ein Blechschaden an einem Kotflügel des Fahrzeugs 10 vorhanden sein, wobei der Kotflügel zum Beispiel zu einer Sonderausstattung gehört, die abweichend von einem Standardmodell des Fahrzeugs 10 ist. In diesem Beispiel würde der Bildverarbeitungsalgorithmus vorzugsweise den Kotflügel als Abweichung zu dem Standardmodell bestimmen und zusätzlich den Schaden an dem Kotflügel. Außerdem kann der Erkennungsalgorithmus anhand des Musters, der Form und der Position der Abweichung einen Typ der Fahrzeugkomponente bestimmen, die als Abweichung markiert wurde. Mittels des festgestellten Typs der Fahrzeugkomponente können dann zusätzliche Daten über diese Komponente abgerufen werden.For example, there may be sheet metal damage on a fender of the
Sind die Abweichungen zu dem Standardmodell des zu prüfenden Fahrzeugs bestimmt, kann das 3D-Fahrzeugbild, das heißt die 360-Grad-Aufnahme des Fahrzeugs, auf einer Anzeige der Anzeigevorrichtung 18 des Smartphones 12 dargestellt werden. Vorzugsweise kann ein Benutzer durch Drehen des 3D-Fahrzeugbilds auf der Anzeige der Anzeigevorrichtung 18 verschiedene Perspektiven auf das 3D-Fahrzeugbild einstellen und zusätzlich können Abweichungen des zu prüfenden Fahrzeugs 10 zu dem Standardmodell des zu prüfenden Fahrzeugs als eine Hervorhebung dargestellt werden. Die Hervorhebung kann beispielsweise eine farbliche Markierung umfassen, die sichtbar ist, wenn diese durch die entsprechende Perspektive im Vordergrund ist. Zusätzlich kann dann, wenn die Hervorhebung sichtbar wird, auf der Anzeigevorrichtung eine weitere Einblendung mit zusätzlichen Daten zu der Abweichung erscheinen. Die zusätzlichen Daten können beispielsweise Datenblätter zu einer bestimmten Fahrzeugkomponente, Bilder und Videos umfassen. Auch können die zusätzlichen eingeblendeten Daten beispielsweise einen Preis für ein Ersatzbauteil anzeigen und ein Video zur Installation des neuen Bauteils. Alternativ können die zusätzlichen Daten auch erst bereitgestellt werden, wenn die Hervorhebung von einem Benutzer ausgewählt beziehungsweise aktiviert wird.If the deviations from the standard model of the vehicle to be tested are determined, the 3D vehicle image, that is, the 360-degree image of the vehicle, can be displayed on a display of the
Die zusätzlichen Daten können beispielsweise über eine Datenverbindung 20 von einem Server 22 abgerufen werden. Die Datenverbindung 20 kann hierfür insbesondere eine WLAN-Verbindung und eine Verbindung nach einem Mobilfunkstandard 4G (LTE) und/oder 5G umfassen. Mittels des Servers 22 können vorzugsweise auf Anforderung des Benutzers auch weitere Informationen wie empfohlene Handlungen, Einflüsse auf einen Gesamtpreis des Fahrzeugs, weitere Sonderausstattungen inklusive Werbematerial, Bedienanleitungen oder Nachrüstlösungen abgerufen werden. Beispielsweise kann auch vorgesehen sein, dass mehrere Einzelaufnahmen des Fahrzeugs 10 erfasst werden und nach dem Berechnen des 3D-Fahrzeugbilds aus den Einzelaufnahmen ein Benutzer manuell einen Bereich markiert, zu dem zusätzliche Daten angefordert werden können.The additional data can be retrieved from a
In
In einem Schritt S14 kann dann die Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs mittels des 3D-Fahrzeugbilds bestimmt werden, wobei für das Bestimmen der Abweichung das 3D-Fahrzeugbild mittels eines Erkennungsalgorithmus analysiert wird.In a step S14, the deviation of the vehicle to be tested from the standard model of the vehicle to be tested can then be determined using the 3D vehicle image, the 3D vehicle image being analyzed using a recognition algorithm to determine the deviation.
Anschließend kann in einem Schritt S16 die Abweichung des zu prüfenden Fahrzeugs zu dem Standardmodell des zu prüfenden Fahrzeugs in einer Anzeige des 3D-Fahrzeugbilds hervorgehoben werden, wobei die Hervorhebung der Abweichung in zumindest einer Perspektive des 3D-Fahrzeugbilds auf der Anzeige sichtbar wird.Subsequently, in a step S16, the deviation of the vehicle to be tested from the standard model of the vehicle to be tested can be highlighted in a display of the 3D vehicle image, with the highlighting of the deviation becoming visible in at least one perspective of the 3D vehicle image on the display.
Insgesamt zeigen die Beispiele, wie durch die Erfindung ein 3D-Fahrzeugbild (360 Grad-Fahrzeugbild) inklusive definierter/automatisierter Hervorhebungen bei beispielsweise Schäden oder Sonderausstattungen bereitgestellt werden kann.Overall, the examples show how the invention can provide a 3D vehicle image (360 degree vehicle image) including defined/automated highlighting of, for example, damage or special equipment.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019203372.5A DE102019203372B4 (en) | 2019-03-13 | 2019-03-13 | Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019203372.5A DE102019203372B4 (en) | 2019-03-13 | 2019-03-13 | Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102019203372A1 DE102019203372A1 (en) | 2020-09-17 |
DE102019203372B4 true DE102019203372B4 (en) | 2024-03-14 |
Family
ID=72289511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102019203372.5A Active DE102019203372B4 (en) | 2019-03-13 | 2019-03-13 | Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102019203372B4 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022129300A1 (en) | 2022-11-07 | 2024-05-08 | Bayerische Motoren Werke Aktiengesellschaft | Device and method for central detection of functional errors in the vehicle interior |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014005983A1 (en) | 2014-04-24 | 2014-09-25 | Daimler Ag | Method for displaying vehicle information |
DE102013005120A1 (en) | 2013-03-26 | 2014-10-02 | API - Automotive Process Institute GmbH | Method for determining damage to a vehicle |
DE102014208048A1 (en) | 2014-04-29 | 2015-10-29 | Bayerische Motoren Werke Aktiengesellschaft | System and method for personalizing an exhibition space |
DE102015223427A1 (en) | 2015-11-26 | 2017-06-01 | Robert Bosch Gmbh | Device and method for visualizing and documenting damage |
DE102018001628A1 (en) | 2018-03-01 | 2018-09-20 | Daimler Ag | Method for displaying information |
-
2019
- 2019-03-13 DE DE102019203372.5A patent/DE102019203372B4/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013005120A1 (en) | 2013-03-26 | 2014-10-02 | API - Automotive Process Institute GmbH | Method for determining damage to a vehicle |
DE102014005983A1 (en) | 2014-04-24 | 2014-09-25 | Daimler Ag | Method for displaying vehicle information |
DE102014208048A1 (en) | 2014-04-29 | 2015-10-29 | Bayerische Motoren Werke Aktiengesellschaft | System and method for personalizing an exhibition space |
DE102015223427A1 (en) | 2015-11-26 | 2017-06-01 | Robert Bosch Gmbh | Device and method for visualizing and documenting damage |
DE102018001628A1 (en) | 2018-03-01 | 2018-09-20 | Daimler Ag | Method for displaying information |
Non-Patent Citations (1)
Title |
---|
Stereokamera – Aus Wikipedia, der freien Enzyklopädie. Stand 14.04.2018. URL https://de.wikipedia.org/w/index.php?title=Stereokamera&oldid=176507427 [abgerufen am 27.02.2020] |
Also Published As
Publication number | Publication date |
---|---|
DE102019203372A1 (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102014213553B4 (en) | Tracking support device, tracking support system and tracking support method | |
DE102012223730B4 (en) | DEVICE AND METHOD FOR ADJUSTING A PARKING POSITION BASED ON AN AV IMAGE | |
DE102011013760B4 (en) | Method, device and computer program product for conveying information by means of augmented reality in connection with a road vehicle | |
DE102014115399B4 (en) | Device and method for parking assistance | |
DE102014213556A1 (en) | Tracking support device, tracking support system and tracking support method | |
DE102014213554A1 (en) | Tracking support device, tracking support system and tracking support method | |
DE112016006262T5 (en) | Three-dimensional scanner and processing method for measuring support for this | |
EP2546778A2 (en) | Method for evaluating an object detection device of a motor vehicle | |
DE102021203020A1 (en) | GENERATIVE ADVERSARIAL NETWORK MODELS FOR DETECTING SMALL STREET OBJECTS | |
DE112020003171T5 (en) | Method and device for linking targets | |
DE102019203372B4 (en) | Method, storage device with a program code and system for determining a deviation of a vehicle to be tested from a standard model of the vehicle to be tested | |
DE102014209170A1 (en) | PROCESS FOR PROVIDING A VISUAL IMAGE OF A TRANSPORT CONDITION | |
EP2996327A2 (en) | Surround view system for vehicles with attachments | |
EP3614299A1 (en) | Method and assembly for identifying objects on installations | |
DE102013215408A1 (en) | A vehicle display system and method for displaying a vehicle environment | |
DE102019208448A1 (en) | Procedure for checking a device or a machine | |
DE102014201409A1 (en) | PARKING - TRACKING DEVICE AND METHODS THEREOF | |
DE102021206625A1 (en) | Computer-implemented method and system for supporting an imaging sensor installation and training method | |
DE112017007812T5 (en) | Vehicle peripheral image display device and vehicle peripheral image display method | |
EP2602739A1 (en) | Device and method for automatic detection of an event in sensor data | |
DE112020003788T5 (en) | Peripheral video generation apparatus, peripheral video generation method, and program | |
EP3754544A1 (en) | Detection system, work method and training method | |
DE102018128184A1 (en) | Method, device, computer program and computer program product for generating a labeled image | |
DE102014225883A1 (en) | A camera system and method for visualizing at least one vehicle surrounding area of a vehicle environment of a vehicle | |
DE102014226448A1 (en) | Vehicle and method for calculating a view of a vehicle environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division |