DE102019204346A1 - Method and system for checking a visual complaint on a motor vehicle - Google Patents

Method and system for checking a visual complaint on a motor vehicle Download PDF

Info

Publication number
DE102019204346A1
DE102019204346A1 DE102019204346.1A DE102019204346A DE102019204346A1 DE 102019204346 A1 DE102019204346 A1 DE 102019204346A1 DE 102019204346 A DE102019204346 A DE 102019204346A DE 102019204346 A1 DE102019204346 A1 DE 102019204346A1
Authority
DE
Germany
Prior art keywords
motor vehicle
complaint
checking
optical
decision signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019204346.1A
Other languages
German (de)
Inventor
Roland Wilkens
Christian Brauch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102019204346.1A priority Critical patent/DE102019204346A1/en
Priority to CN202080016931.4A priority patent/CN113490960A/en
Priority to PCT/EP2020/052436 priority patent/WO2020192985A1/en
Priority to EP20703955.3A priority patent/EP3948746A1/en
Publication of DE102019204346A1 publication Critical patent/DE102019204346A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Engineering & Computer Science (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Überprüfen einer optischen Beanstandung an einem Kraftfahrzeug (50), umfassend die Schritte: Erfassen mindestens einer fotografischen Abbildung (5) der optischen Beanstandung an dem Kraftfahrzeug (50) unter vorgegebenen Bedingungen mittels mindestens einer Kamera (20), Übermitteln der erfassten mindestens einen fotografischen Abbildung (5) mittels einer Nutzereinrichtung (2) an eine Überprüfungseinrichtung (4), Klassifizieren der optischen Beanstandung mittels der Überprüfungseinrichtung (4) auf Grundlage der übermittelten mindestens einen fotografischen Abbildung (5), wobei die Überprüfungseinrichtung (4) hierzu ein Verfahren der Künstlichen Intelligenz (7) verwendet, Erzeugen eines Entscheidungssignals (8) auf Grundlage eines Klassifizierungsergebnisses mittels der Überprüfungseinrichtung (4), Übermitteln des erzeugten Entscheidungssignals (8) an eine Ausgabeeinrichtung (3) der Nutzereinrichtung (2), Ausgeben des übermittelten Entscheidungssignals (8) mittels der Ausgabeeinrichtung (3). Ferner betrifft die Erfindung ein System (1) zum Überprüfen einer optischen Beanstandung an mindestens einem Kraftfahrzeug (50).The invention relates to a method for checking an optical complaint on a motor vehicle (50), comprising the steps of: capturing at least one photographic image (5) of the optical complaint on the motor vehicle (50) under predetermined conditions by means of at least one camera (20), transmitting the recorded at least one photographic image (5) by means of a user device (2) to a checking device (4), classification of the optical complaint by means of the checking device (4) on the basis of the transmitted at least one photographic image (5), the checking device (4) a method of artificial intelligence (7) is used for this purpose, generation of a decision signal (8) on the basis of a classification result by means of the checking device (4), transmission of the generated decision signal (8) to an output device (3) of the user device (2), output of the transmitted Decisive nals (8) by means of the output device (3). The invention also relates to a system (1) for checking a visual complaint on at least one motor vehicle (50).

Description

Die Erfindung betrifft ein Verfahren und ein System zum Überprüfen einer optischen Beanstandung an einem Kraftfahrzeug.The invention relates to a method and a system for checking a visual complaint on a motor vehicle.

Eine Anzahl von optischen Beanstandungen an Kraftfahrzeugen hat in der Vergangenheit kontinuierlich zugenommen. Optische Beanstandungen sind hierbei insbesondere optische Mängel an dem Kraftfahrzeug, die überwiegend keine funktionellen Einschränkungen bedeuten, sondern vor allem ein Erscheinungsbild des Kraftfahrzeugs beeinträchtigen. Da kundenseitig ein Design und ein optisches Erscheinungsbild des Kraftfahrzeugs in den letzten Jahren im Vergleich zu rein funktionellen Eigenschaften zunehmend an Bedeutung gewinnen, hat sich eine Wahrnehmungsschwelle für optische Mängel zunehmend verringert.A number of visual complaints on motor vehicles has increased continuously in the past. Optical complaints here are in particular optical defects in the motor vehicle, which for the most part do not mean any functional restrictions, but primarily impair the appearance of the motor vehicle. Since a design and an optical appearance of the motor vehicle have become increasingly important on the customer side in comparison to purely functional properties, a perception threshold for optical defects has increasingly decreased.

Aus der US 2017/0221110 A1 sind ein Verfahren und eine Vorrichtung zum Schätzen von Kosten eines Unfallschadens an einem Kraftfahrzeug bekannt. Hierbei kommt ein tiefes Neuronales Netz zum Einsatz, welches auf Grundlage von erfassten Abbildungen des Unfallschadens eine Teileliste erzeugen kann und auf Grundlage der Teileliste die Schadenskosten berechnet.From the US 2017/0221110 A1 a method and a device for estimating the cost of accident damage to a motor vehicle are known. A deep neural network is used here, which can generate a parts list based on captured images of the accident damage and calculates the damage costs based on the parts list.

Eine Beurteilung von optischen Beanstandungen an Kraftfahrzeugen ist derzeit jedoch nur unbefriedigend gelöst.However, an assessment of visual complaints on motor vehicles is currently only unsatisfactory.

Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und ein System zum Überprüfen einer optischen Beanstandung an einem Kraftfahrzeug zu schaffen, bei der eine Überprüfung der optischen Beanstandung an dem Kraftfahrzeug verbessert durchgeführt werden kann.The invention is based on the object of creating a method and a system for checking a visual complaint on a motor vehicle, in which a review of the visual complaint on the motor vehicle can be carried out in an improved manner.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.According to the invention, the object is achieved by a method having the features of claim 1 and a device having the features of claim 9. Advantageous embodiments of the invention emerge from the subclaims.

Insbesondere wird ein Verfahren zum Überprüfen einer optischen Beanstandung an einem Kraftfahrzeug zur Verfügung gestellt, umfassend die Schritte: Erfassen mindestens einer fotografischen Abbildung der optischen Beanstandung an dem Kraftfahrzeug unter vorgegebenen Bedingungen mittels mindestens einer Kamera, Übermitteln der erfassten mindestens einen fotografischen Abbildung mittels einer Nutzereinrichtung an eine Überprüfungseinrichtung, Klassifizieren der optischen Beanstandung mittels der Überprüfungseinrichtung auf Grundlage der übermittelten mindestens einen fotografischen Abbildung, wobei die Überprüfungseinrichtung hierzu ein Verfahren der Künstlichen Intelligenz verwendet, Erzeugen eines Entscheidungssignals auf Grundlage eines Klassifizierungsergebnisses mittels der Überprüfungseinrichtung, Übermitteln des erzeugten Entscheidungssignals an eine Ausgabeeinrichtung der Nutzereinrichtung, Ausgeben des übermittelten Entscheidungssignals mittels der Ausgabeeinrichtung.In particular, a method for checking an optical complaint on a motor vehicle is provided, comprising the steps of: capturing at least one photographic image of the optical complaint on the motor vehicle under predetermined conditions by means of at least one camera, transmitting the captured at least one photographic image by means of a user device a checking device, classification of the optical complaint by means of the checking device on the basis of the transmitted at least one photographic image, the checking device using an artificial intelligence method for this purpose, generating a decision signal based on a classification result by means of the checking device, transmitting the generated decision signal to an output device of the user device Output of the transmitted decision signal by means of the output device.

Ferner wird ein System zum Überprüfen einer optischen Beanstandung an einem Kraftfahrzeug geschaffen, umfassend mindestens eine Nutzereinrichtung mit einer Ausgabeeinrichtung, und eine Überprüfungseinrichtung, wobei die Nutzereinrichtung derart ausgebildet ist, mindestens eine unter vorgegebenen Bedingungen mittels einer Kamera von der optischen Beanstandung an dem Kraftfahrzeug erfasste fotografische Abbildung an die Überprüfungseinrichtung zu übermitteln, und wobei die Überprüfungseinrichtung derart ausgebildet ist, die optische Beanstandung auf Grundlage der übermittelten mindestens einen fotografischen Abbildung zu klassifizieren und hierzu ein Verfahren der Künstlichen Intelligenz zu verwenden, ein Entscheidungssignal auf Grundlage eines Klassifizierungsergebnisses zu erzeugen und das erzeugte Entscheidungssignal an die Ausgabeeinrichtung der mindestens einen Nutzereinrichtung zu übermitteln, wobei die Ausgabeeinrichtung der Nutzereinrichtung derart ausgebildet ist, das übermittelte Entscheidungssignal auszugeben.Furthermore, a system for checking an optical complaint on a motor vehicle is created, comprising at least one user device with an output device, and a checking device, the user device being designed in such a way that at least one photographic image captured by a camera of the optical complaint on the motor vehicle is provided To transmit image to the checking device, and wherein the checking device is designed to classify the optical complaint on the basis of the transmitted at least one photographic image and to use an artificial intelligence method for this purpose, to generate a decision signal on the basis of a classification result and the decision signal generated to transmit to the output device of the at least one user device, wherein the output device of the user device is designed to transmit output the decision signal.

Eine optische Beanstandung bezeichnet insbesondere eine Beeinträchtigung des optischen Erscheinungsbildes eines Bauteils des Kraftfahrzeugs, ohne dass ein funktioneller bzw. technischer Mangel vorliegt.A visual complaint denotes in particular an impairment of the visual appearance of a component of the motor vehicle without a functional or technical defect being present.

Beispiele für Bauteile des Kraftfahrzeugs, welche optische Beanstandungen aufweisen können, sind Scheinwerfer (optischer Mangel z.B. in Form eines Kondensats an einer Innenseite des Scheinwerfers), Chrom- oder Schmuckleisten (optischer Mangel z.B. in Form eines Belags), ein Sitzbezug (optischer Mangel z.B. in Form von Falten, Abrieb, Farbschäden etc.) oder Karosserieteile (optischer Mangel z.B. in Form einer Korrosion oder sonstiger optischer Mängel am Fahrzeuglack).Examples of components of the motor vehicle that can have visual defects are headlights (visual defect e.g. in the form of a condensate on the inside of the headlight), chrome or decorative strips (visual defect e.g. in the form of a covering), a seat cover (optical defect e.g. in Form of wrinkles, abrasion, paint damage, etc.) or body parts (visual defect, e.g. in the form of corrosion or other visual defects in the vehicle paintwork).

Ein Verfahren der Künstlichen Intelligenz kann beispielsweise ein trainiertes Künstliches Neuronales Netz, insbesondere ein trainiertes Tiefes Neuronales Netz, verwenden. Ferner kann ein Verfahren der Künstlichen Intelligenz auch ein Bayessches Netz oder sonstige Verfahren des Maschinellen Lernens verwenden. Insbesondere umfasst das Verfahren der Künstlichen Intelligenz ein Mustererkennungsverfahren, bei dem Muster im Hinblick auf einen optischen Mangel in der erfassten mindestens einen fotografischen Abbildung erkannt werden und das Klassifizieren auf Grundlage der erkannten Muster erfolgt.An artificial intelligence method can, for example, use a trained artificial neural network, in particular a trained deep neural network. Furthermore, an artificial intelligence method can also use a Bayesian network or other machine learning methods. In particular, the artificial intelligence method comprises a pattern recognition method in which patterns are recognized with regard to an optical defect in the captured at least one photographic image and the classification takes place on the basis of the recognized patterns.

Ein typisches Anwendungsszenario des Verfahrens und des Systems wird im Folgenden beispielhaft geschildert. Ein Kraftfahrzeugbesitzer stellt an seinem Kraftfahrzeug einen optischen Mangel fest und fährt zu einem Servicedienstleister für das Kraftfahrzeug, beispielsweise einem Händler oder einer Werkstatt. Der optische Mangel ist beispielsweise ein von einer Innenseite her mit einem Kondensat belegter (d.h. beschlagener) Fahrzeugscheinwerfer. Beim Servicedienstleister beanstandet der Kraftfahrzeugbesitzer den optischen Mangel. Dort wird dann mindestens eine fotografische Abbildung der optischen Beanstandung an dem Kraftfahrzeug unter vorgegebenen Bedingungen (z.B. Beleuchtung, Abstand/Winkel zum Kraftfahrzeug, Auflösung etc.) mittels einer Kamera erfasst. Die erfasste fotografische Abbildung wird mittels einer Nutzereinrichtung, beispielsweise einem Desktopcomputer, an eine Überprüfungseinrichtung, beispielsweise an einen zentralen Server, übermittelt. Das Übermitteln erfolgt beispielsweise mittels einer Email über das Internet. Die Überprüfungseinrichtung empfängt die übermittelte fotografische Abbildung und klassifiziert die darin abgebildete optische Beanstandung. Hierzu verwendet die Überprüfungseinrichtung ein Verfahren der Künstlichen Intelligenz, beispielsweise ein hierfür trainiertes Künstliches Neuronales Netz. Auf Grundlage eines Klassifizierungsergebnisses erzeugt die Überprüfungseinrichtung ein Entscheidungssignal. Da Künstliche Intelligenzen, beispielsweise Künstliche Neuronale Netze, in der Regel lediglich Wahrscheinlichkeiten für das Vorliegen von bestimmten Klassen liefern, wird das Entscheidungssignal beispielsweise auf Grundlage einer Entscheidungslogik bereitgestellt, in der ab Überschreiten eines vorgegebenen Wahrscheinlichkeitsschwellenwertes (z.B. 85 %) die zum betrachteten Wahrscheinlichkeitswert zugehörige Klasse als Ergebnis bzw. Entscheidungssignal ausgegeben wird. Das Entscheidungssignal kann das Klassifikationsergebnis umfassen, kann aber auch anders ausgebildet sein und beispielsweise eine Bewertung der optischen Beanstandung bzw. eines beanstandeten optischen Mangels umfassen. Das erzeugte Entscheidungssignal wird an die Nutzereinrichtung zurück übermittelt und dort von einer Ausgabeeinrichtung ausgeben. Beim Servicedienstleister erhält der Kraftfahrzeugbesitzer dann auf Grundlage des ausgegebenen Entscheidungssignals eine Rückmeldung zu seiner optischen Beanstandung. Auf Grundlage des ausgegebenen Entscheidungssignals wird die optische Beanstandung dann entweder behoben, z.B. durch Austausch oder Reparatur des betroffenen Bauteils, oder die optische Beanstandung wird zurückgewiesen.A typical application scenario for the method and the system is described below as an example. A motor vehicle owner notices a visual defect in his motor vehicle and drives to a service provider for the motor vehicle, for example a dealer or a workshop. The visual defect is, for example, a vehicle headlight covered with condensate from the inside (i.e. fogged up). The vehicle owner complains about the visual defect to the service provider. At least one photographic image of the optical complaint on the motor vehicle is then recorded there under specified conditions (e.g. lighting, distance / angle to the motor vehicle, resolution, etc.) by means of a camera. The captured photographic image is transmitted by means of a user device, for example a desktop computer, to a checking device, for example to a central server. The transmission takes place, for example, by means of an email via the Internet. The checking device receives the transmitted photographic image and classifies the optical fault imaged therein. For this purpose, the checking device uses an artificial intelligence method, for example an artificial neural network trained for this purpose. The checking device generates a decision signal on the basis of a classification result. Since artificial intelligences, for example artificial neural networks, generally only provide probabilities for the existence of certain classes, the decision signal is provided, for example, on the basis of a decision logic, in which the class associated with the probability value under consideration is given once a predetermined probability threshold value (e.g. 85%) is exceeded is output as a result or decision signal. The decision signal can include the classification result, but can also be designed differently and include, for example, an assessment of the optical complaint or a complained optical defect. The decision signal generated is transmitted back to the user device and output there by an output device. At the service provider, the motor vehicle owner then receives feedback on his visual complaint on the basis of the decision signal issued. On the basis of the decision signal that is issued, the optical complaint is then either eliminated, e.g. by replacing or repairing the affected component, or the optical complaint will be rejected.

Der Vorteil der Erfindung ist, dass eine Entscheidung zu einer optischen Beanstandung unabhängig von einer menschlichen Beurteilung ist. Die Klassifikation der optischen Beanstandung erfolgt mittels einer Künstlichen Intelligenz. Diese klassifiziert eine optische Beanstandung immer auf Grundlage des gleichen Maßstabs, das heißt die Klassifikation und das Entscheidungssignal beruhen nur auf der jeweils übermittelten mindestens einen erfassten fotografischen Abbildung der optischen Beanstandung und sind unabhängig von eventuell vorhandenen menschlichen Stimmungen und/oder Sympathien oder Abneigungen zwischen einem Kraftfahrzeugbesitzer und einem Mitarbeiter des Servicedienstleisters etc. Ferner erhält der Kraftfahrzeugbesitzer sofort eine Rückmeldung zu seiner optischen Beanstandung. Hierdurch können gerechtfertigte optische Beanstandungen von nicht gerechtfertigten optischen Beanstandungen automatisiert, und daher auf effiziente und zeitsparende Weise, unterschieden werden. Ein Aufwand und Kosten bei der Wartung und der Reparatur von Kraftfahrzeugen können daher durch das beschriebene Verfahren reduziert werden.The advantage of the invention is that a decision on a visual complaint is independent of a human assessment. The classification of the optical complaint is carried out using artificial intelligence. This always classifies an optical complaint on the basis of the same yardstick, i.e. the classification and the decision signal are based only on the respectively transmitted at least one recorded photographic image of the optical complaint and are independent of any human moods and / or sympathies or dislikes between a vehicle owner and an employee of the service provider, etc. Furthermore, the vehicle owner immediately receives feedback on his visual complaint. In this way, justified optical complaints can be automated from unjustified optical complaints, and therefore in an efficient and time-saving manner. The effort and costs involved in the maintenance and repair of motor vehicles can therefore be reduced by the method described.

In einer Ausführungsform ist vorgesehen, dass das Klassifikationsergebnis und/oder das Entscheidungssignal zumindest eine Handlungsempfehlungsinformation umfasst, mindestens ein mit der optischen Beanstandung korrespondierendes Bauteil des Kraftfahrzeugs auszutauschen oder nicht auszutauschen. Hierdurch kann ein Servicedienstleister direkt eine Rückmeldung darüber gegeben werden, ob ein defektes Bauteil zu tauschen ist oder nicht, und ob eine optische Beanstandung gerechtfertigt ist oder nicht.In one embodiment it is provided that the classification result and / or the decision signal includes at least one information item recommended for action to replace or not to replace at least one component of the motor vehicle that corresponds to the optical complaint. In this way, a service provider can be given direct feedback on whether or not a defective component needs to be replaced and whether or not a visual complaint is justified.

In einer weiteren Ausführungsform ist vorgesehen, dass das Erfassen der mindestens einen fotografischen Abbildung und das Ausgeben des Entscheidungssignals bei einem Servicedienstleister für das mindestens eine Kraftfahrzeug erfolgt, wobei das Klassifizieren mittels der Überprüfungseinrichtung örtlich getrennt von dem Servicedienstleister erfolgt. Hierdurch kann eine verteilte Infrastruktur aufgebaut werden. Der Vorteil ist, dass mehrere Nutzereinrichtungen die gleiche Überprüfungseinrichtung und daher alle den gleichen Überprüfungsmaßstab verwenden können. Insbesondere kann eine Vielzahl von Servicedienstleistern, beispielsweise Händlern und/oder Werkstätten, mit derselben, beispielsweise als zentraler Server bereitgestellten, Überprüfungseinrichtung verbunden sein. Die Überprüfungseinrichtung überprüft dann die jeweils von den Servicedienstleistern übermittelten fotografischen Abbildungen, indem die darin abgebildeten optischen Beanstandungen klassifiziert werden und ein jeweiliges Entscheidungssignal an den zugehörigen Servicedienstleister zurück übermittelt wird.In a further embodiment, it is provided that the at least one photographic image is captured and the decision signal is output by a service provider for the at least one motor vehicle, the classification using the checking device being carried out separately from the service provider. This allows a distributed infrastructure to be set up. The advantage is that several user facilities can use the same checking facility and therefore all can use the same checking scale. In particular, a large number of service providers, for example dealers and / or workshops, can be connected to the same checking device, for example provided as a central server. The checking device then checks the respective photographic images transmitted by the service providers by classifying the optical complaints shown therein and transmitting a respective decision signal back to the associated service provider.

In einer Ausführungsform ist vorgesehen, dass mittels der Überprüfungseinrichtung überprüft wird, ob die mindestens eine fotografische Abbildung den vorgegebenen Bedingungen beim Erfassen entspricht, und sofern dies nicht der Fall ist, ein Aufforderungssignal zum Erfassen einer korrekten Abbildung erzeugt und an die Ausgabeeinrichtung übermittelt und von dieser ausgegeben wird. Sind beispielsweise auf der erfassten fotographischen Abbildung abgebildete Bauteile verschmutzt, so kann dies von der Übermittlungseinrichtung erkannt werden. Das Erkennen kann mit der gleichen oder einer separaten Künstlichen Intelligenz erfolgen. Wird eine Verschmutzung erkannt, so wird ein Aufforderungssignal erzeugt und an die Nutzereinrichtung übermittelt und von der Ausgabeeinrichtung ausgegeben. Andere hinderliche Bedingungen sind beispielsweise eine mangelnde Ausleuchtung oder eine mangelnde Auflösung.In one embodiment it is provided that the checking device checks whether the at least one photographic image corresponds to the specified conditions during acquisition, and if this is not the case, a request signal for acquiring a correct image is generated and transmitted to the output device and output by the latter. If, for example, components depicted on the captured photographic image are soiled, this can be recognized by the transmission device. The detection can be done with the same or a separate artificial intelligence. If soiling is detected, a request signal is generated and transmitted to the user device and output by the output device. Other adverse conditions are, for example, a lack of illumination or a lack of resolution.

In einer Weiterbildung ist vorgesehen, dass mittels der Überprüfungseinrichtung eine Handlungsaufforderungsinformation zum Herstellen der vorgegebenen Bedingungen abgeleitet wird, wobei das erzeugt Aufforderungssignal die abgeleitete Handlungsaufforderungsinformation umfasst. Ist das in der erfassten fotografischen Abbildung abgebildete Bauteil des Kraftfahrzeugs beispielsweise verschmutzt, so kann die Handlungsaufforderungsinformation einen Hinweis umfassen, das Bauteil vor Erfassen der fotografischen Abbildung zu reinigen. Weitere Handlungsaufforderungsinformationen können beispielsweise eine Ausleuchtung des Bauteils, einen Abstand des Bauteils zur mindestens einen Kamera und/oder eine Auflösung der fotografischen Abbildung umfassen.In a further development, it is provided that by means of the checking device information requesting action is derived for establishing the specified conditions, the generated request signal including the derived information requesting action. If the component of the motor vehicle depicted in the captured photographic image is, for example, soiled, the information requesting action can include an instruction to clean the component before capturing the photographic image. Further information on the action request can include, for example, an illumination of the component, a distance between the component and at least one camera and / or a resolution of the photographic image.

In einer Ausführungsform ist vorgesehen, dass die Künstliche Intelligenz auf Grundlage eines Trainingsdatensatzes trainiert ist oder trainiert wird, der eine Vielzahl von markierten fotografischen Abbildungen zumindest von ausgezeichneten Bereichen und/oder Bauteilen des Kraftfahrzeugs umfasst. Hierbei werden die fotografischen Abbildungen der ausgezeichneten Bauteile beispielsweise manuell durch einen Experten mit Markierungen (auch Labels genannt) versehen. Hierbei werden sowohl fotografische Abbildungen berücksichtigt, die Bauteile zeigen, welche frei von optischen Mängeln sind, als auch Bauteile, die optische Mängel aufweisen. Im einfachsten Fall wird die Künstliche Intelligenz, die beispielsweise als Künstliches Neuronales Netz ausgebildet sein kann, derart trainiert, dass am Ausgang eine Klassifikation vorliegt, die lediglich entscheidet, ob ein optischer Mangel vorliegt (d.h. der Ausgang liefert die Information: optischer Mangel ist vorhanden „ja“ oder „nein“).In one embodiment it is provided that the artificial intelligence is or is being trained on the basis of a training data set which comprises a plurality of marked photographic images of at least marked areas and / or components of the motor vehicle. Here, the photographic images of the awarded components are provided with markings (also called labels) manually by an expert, for example. Both photographic images are taken into account that show components that are free from optical defects, as well as components that have optical defects. In the simplest case, the artificial intelligence, which can be designed as an artificial neural network, for example, is trained in such a way that there is a classification at the output that only decides whether there is an optical defect (ie the output provides the information: there is an optical defect Yes or no").

In einer weiteren Ausführungsform ist vorgesehen, dass zum Bereitstellen von fotografischen Abbildungen, welche als Referenzabbildungen ohne optische Mängel markiert sind oder werden, fotografische Abbildungen am Ende einer Produktionslinie des Kraftfahrzeugs in einem Herstellerwerk mittels einer Kamera automatisiert erfasst und bereitgestellt werden. Hierdurch kann auf einfache Weise eine Vielzahl von Referenzabbildungen bereitgestellt werden. Da davon ausgegangen wird, dass die am Ende der Produktionslinie erfassten fotografischen Abbildungen nahezu ausschließlich optisch mangelfreie Bauteile des Kraftfahrzeugs zeigen, kann auf eine manuelle Markierung der Abbildungen verzichtet werden. Da Kraftfahrzeuge in solchen Produktionslinien üblicherweise in einer Vielzahl von Varianten (z.B. in Bezug auf eine konkrete Farbe und Ausgestaltung der Bauteile) hergestellt werden, steht zugleich eine große Bandbreite an Referenzabbildungen zur Verfügung. Es kann vorgesehen sein, dass die erfassten Referenzabbildungen einem zentralen Server zugeführt werden, wo diese zum Trainieren der Künstlichen Intelligenz gesammelt werden.In a further embodiment it is provided that in order to provide photographic images which are or will be marked as reference images without optical defects, photographic images are automatically captured and provided at the end of a production line of the motor vehicle in a manufacturing plant using a camera. In this way, a large number of reference images can be provided in a simple manner. Since it is assumed that the photographic images captured at the end of the production line almost exclusively show components of the motor vehicle that are free from defects, manual marking of the images can be dispensed with. Since motor vehicles in such production lines are usually manufactured in a large number of variants (e.g. with regard to a specific color and design of the components), a wide range of reference images is also available. It can be provided that the recorded reference images are fed to a central server, where they are collected to train the artificial intelligence.

In einer Ausführungsform ist vorgesehen, dass nach einer vorgegebenen Anzahl von Durchläufen des Verfahrens, eine Referenzmarkierung der bei den Durchläufen jeweils erfassten fotografischen Abbildungen erfolgt, wobei unter Berücksichtigung der referenzmarkierten fotografischen Abbildungen ein weiterer Trainingsdatensatz erstellt wird, und wobei die Künstliche Intelligenz auf Grundlage des weiteren Trainingsdatensatzes erneut trainiert wird. Der Vorteil ist, dass eine regelmäßige Überprüfung der Künstlichen Intelligenz stattfinden kann. Hierzu können die erfassten fotografischen Abbildungen auf einem zentralen Server gesammelt werden, bis die vorgegebene Anzahl (z.B. 500, 1000,...) erreicht ist. Anschließend werden die gesammelten fotografischen Abbildungen manuell markiert und zu einem weiteren Trainingsdatensatz zusammengefasst. Insbesondere bei einer großen Abweichung (z.B. großer Anteil an Abweichungen in Bezug auf alle Klassifizierungen) der jeweils von der Überprüfungseinrichtung bereitgestellten Klassifikationsergebnisse bzw. der jeweils von der Überprüfungseinrichtung hieraus abgeleiteten Entscheidungssignale von der nachfolgenden manuellen Markierung wird die Künstliche Intelligenz erneut auf Grundlage des weiteren Trainingsdatensatzes trainiert.In one embodiment, it is provided that, after a predetermined number of runs of the method, a reference marking of the photographic images captured during the runs takes place, with a further training data set being created taking into account the reference-marked photographic images, and with the artificial intelligence based on the further Training data set is trained again. The advantage is that the artificial intelligence can be checked regularly. For this purpose, the captured photographic images can be collected on a central server until the specified number (e.g. 500, 1000, ...) is reached. The collected photographic images are then manually marked and combined to form a further training data set. In particular, if there is a large discrepancy (e.g. a large proportion of discrepancies in relation to all classifications) in the classification results provided by the checking device or the decision signals derived from the subsequent manual marking by the checking device, the artificial intelligence is trained again on the basis of the further training data set .

Es kann vorgesehen sein, dass die vorgegebenen Bedingungen beim Erfassen der fotografischen Abbildung in Abhängigkeit der optischen Beanstandung gewählt werden. Insbesondere kann vorgesehen sein, dass die jeweils vorgegebenen Bedingungen beispielsweise auf Grundlage einer Bauteilnummer und/oder einer Bauteilbezeichnung und/oder eines Fahrzeugtyps mittels der Nutzereinrichtung bei der Überprüfungseinrichtung abgefragt und/oder von dieser an die Nutzereinrichtung übermittelt werden. Die Nutzereinrichtung gibt dann die vorgegebenen Bedingungen über die Ausgabeeinrichtung aus oder steuert das Erfassen mittels der Kamera entsprechend an. Alternativ können die vorgegebenen Bedingungen auch bei der Nutzereinrichtung hinterlegt sein und/oder von dieser erzeugt werden. Der Vorteil ist, dass für jede optische Beanstandung oder Gruppen von optischen Beanstandungen jeweils optimale Erfassungsbedingungen gewählt werden können.Provision can be made for the specified conditions to be selected when capturing the photographic image as a function of the optical complaint. In particular, it can be provided that the respectively specified conditions are queried from the checking device by means of the user device, for example on the basis of a component number and / or a component name and / or a vehicle type, and / or are transmitted by the latter to the user device. The user device then outputs the specified conditions via the output device or controls the acquisition by means of the camera accordingly. Alternatively, the predetermined conditions can also be stored in the user device and / or generated by it. The advantage is that optimum detection conditions can be selected for each optical complaint or group of optical complaints.

Merkmale zur Ausgestaltung des Systems ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile des Systems sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.Features for the configuration of the system result from the description of configurations of the method. The advantages of the system are the same as in the case of the refinements of the method.

Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:

  • 1 eine schematische Darstellung einer Ausführungsform des Systems zum Überprüfen einer optischen Beanstandung an einem Kraftfahrzeug.
The invention is explained in more detail below on the basis of preferred exemplary embodiments with reference to the figures. Here show:
  • 1 a schematic representation of an embodiment of the system for checking a visual complaint on a motor vehicle.

In 1 ist eine schematische Darstellung einer Ausführungsform des Systems 1 zum Überprüfen einer optischen Beanstandung an einem Kraftfahrzeug 50 gezeigt.In 1 Figure 3 is a schematic of one embodiment of the system 1 for checking a visual complaint on a motor vehicle 50 shown.

Das System 1 umfasst eine Nutzereinrichtung 2 mit einer Ausgabeeinrichtung 3 und eine Überprüfungseinrichtung 4. Die Nutzereinrichtung 2 befindet sich beispielsweise am Ort eines Servicedienstleisters für das Kraftfahrzeug 50, z.B. in einer Werkstatt, in der das Kraftfahrzeug 50 gewartet und repariert werden kann. Die Überprüfungseinrichtung 4 ist beispielsweise auf einem zentralen Server eines Fahrzeugherstellers ausgebildet.The system 1 includes a user facility 2 with an output device 3 and a verification device 4th . The user facility 2 is for example at the location of a service provider for the motor vehicle 50 , for example in a workshop in which the motor vehicle 50 can be maintained and repaired. The verification facility 4th is formed, for example, on a central server of a vehicle manufacturer.

Es kann vorgesehen sein, dass das System 1 weitere Nutzereinrichtungen 12 umfasst, beispielsweise bei weiteren Händlern und/oder Werkstätten für das Kraftfahrzeug 50. Insbesondere kann vorgesehen sein, dass das System 1 als Bestandteil eines Reparaturmanagementsystems 100 ausgebildet ist. Für optische Beanstandungen kann dann im Rahmen des Reparaturmanagementsystems 100 beispielsweise eine Meldepflicht vorgesehen sein, sodass jede auftretende optische Beanstandung in dem Reparaturmanagementsystem 100 als Datensatz bzw. Beanstandungsfall aufgenommen wird und das Verfahren zum Überprüfen der optischen Beanstandung für jeden Fall ausgeführt wird.It can be provided that the system 1 further user facilities 12 includes, for example, at other dealers and / or workshops for the motor vehicle 50 . In particular, it can be provided that the system 1 as part of a repair management system 100 is trained. For visual complaints you can then use the repair management system 100 For example, an obligation to report can be provided, so that any visual complaint that occurs in the repair management system 100 is recorded as a data record or complaint case and the procedure for checking the optical complaint is carried out for each case.

Die Ausgangssituation beim Starten des Verfahrens ist die folgende: Ein Fahrzeugbesitzer kommt mit seinem Kraftfahrzeug zum Servicedienstleister und beanstandet dort einen optischen Mangel. Der Servicedienstleister muss dann entscheiden, insbesondere im Rahmen einer Garantievereinbarung, ob eine Reparatur oder ein Austausch des betroffenen Bauteils des Kraftfahrzeugs 50 erfolgen muss oder ob die optische Beanstandung ungerechtfertigt ist. Vorliegend wird beispielsweise ein Scheinwerfer 51 des Kraftfahrzeugs 50 beanstandet, beispielweise kann der Scheinwerfer 51 aufgrund einer Hinterlüftung auf einer Innenseite des Scheinwerfers 51 mit einem Kondensat belegt sein.The initial situation when starting the process is as follows: A vehicle owner comes to the service provider with his motor vehicle and complains about a visual defect. The service provider must then decide, in particular within the framework of a guarantee agreement, whether to repair or replace the affected component of the motor vehicle 50 must be made or whether the visual complaint is unjustified. A headlight is used here, for example 51 of the motor vehicle 50 complained about, for example the headlight 51 due to rear ventilation on an inside of the headlight 51 be covered with a condensate.

Um diese Entscheidung zu treffen, wird unter vorgegebenen Bedingungen, wie z.B. eine vorgegebene Beleuchtung, ein vorgegebener Abstand, eine vorgegebene Auslösung etc., mindestens eine fotografische von der optischen Beanstandung mittels einer Kamera 20 erfasst. Die Nutzereinrichtung 2 ist derart ausgebildet, die mindestens eine unter vorgegebenen Bedingungen mittels einer Kamera 20 von der optischen Beanstandung an dem Kraftfahrzeug 50 erfasste fotografische zu empfangen, beispielsweise über eine hierfür ausgebildete Schnittstelle 6, und an die Überprüfungseinrichtung 4 zu übermitteln. Gegebenenfalls werden hierbei weitere Informationen an die Überprüfungseinrichtung 3 übermittelt, wie zum Beispiel ein Fahrzeugtyp, ein Fahrzeugalter, eine Teilenummer etc.In order to make this decision, at least one photographic one is made under given conditions, such as a given lighting, a given distance, a given release, etc. of the optical complaint by means of a camera 20th detected. The user facility 2 is designed such that the at least one under predetermined conditions by means of a camera 20th the visual complaint on the motor vehicle 50 captured photographic to receive, for example via an interface designed for this purpose 6th , and to the verification facility 4th to submit. If necessary, further information is sent to the checking device 3 transmitted, such as a vehicle type, vehicle age, part number, etc.

Die Überprüfungseinrichtung 3 empfängt die übermittelte mindestens eine fotografische und klassifiziert die optische Beanstandung auf Grundlage der übermittelten mindestens einen fotografischen . Hierbei verwendet die Überprüfungseinrichtung 3 ein Verfahren der Künstlichen Intelligenz 7, beispielsweise ein vorher zu diesem Zweck trainiertes Tiefes Neuronales Netz. Auf Grundlage eines von der Künstlichen Intelligenz 7 bereitgestellten Klassifizierungsergebnisses erzeugt die Überprüfungseinrichtung 4 ein Entscheidungssignal 8. Liefert das Tiefe Neuronale Netz beispielsweise als Klassifizierungsergebnis Wahrscheinlichkeiten für ein Vorliegen bestimmter Klassen, so kann das Entscheidungssignal 8 auf Grundlage von Wahrscheinlichkeitsschwellenwerten abgeleitet werden. Als Klassen können beispielsweise zwei Klassen verwendet werden, wobei eine erste Klasse einen optischen Mangel an dem betroffenen Bauteil des Kraftfahrzeugs 50 bejaht, eine zweite Klasse diesen hingegen verneint.The verification facility 3 receives the transmitted at least one photographic and classifies the optical complaint based on the submitted at least one photographic one . The verification facility uses 3 a process of artificial intelligence 7th , for example a deep neural network previously trained for this purpose. Based on one of Artificial Intelligence 7th The verification device generates the provided classification result 4th a decision signal 8th . If, for example, the deep neural network supplies probabilities of the existence of certain classes as a classification result, the decision signal 8th can be derived on the basis of probability thresholds. Two classes, for example, can be used as classes, a first class having an optical defect in the component of the motor vehicle concerned 50 yes, a second class denies this.

Das erzeugte Entscheidungssignal 8 wird von der Überprüfungseinrichtung 4 an die Nutzereinrichtung 2 bzw. deren Ausgabeeinrichtung 3 übermittelt. Die Ausgabeeinrichtung 3 der Nutzereinrichtung 2 gibt das übermittelte Entscheidungssignal 8 anschließend aus. Beim Servicedienstleister kann einem Fahrzeuginhaber hierdurch eine kurzfristige und insbesondere objektive Rückmeldung darüber gegeben werden, ob ein optischer Mangel an seinem Kraftfahrzeug 50 vorliegt oder nicht.The generated decision signal 8th is used by the verification facility 4th to the user facility 2 or their output device 3 transmitted. The output device 3 the user facility 2 gives the transmitted decision signal 8th then off. With the service provider, a vehicle owner can be given short-term and, in particular, objective feedback on whether there is a visual defect in his motor vehicle 50 present or not.

Das Übermitteln der mindestens einen fotografischen und des Entscheidungssignals 8 erfolgt insbesondere über ein Kommunikationsnetzwerk, beispielsweise das Internet. Die Kommunikation kann hierbei in Form von Emails oder eines sonstigen standardisierten Formats erfolgen.The transmission of the at least one photographic and the decision signal 8th takes place in particular via a communication network, for example the Internet. The Communication can take place in the form of emails or another standardized format.

Es kann vorgesehen sein, dass beim Klassifizieren der erfassten fotografischen Abbildung mehr als zwei Klassen unterschieden werden. Beispielsweise können vier Klassen mit dem folgenden Inhalt unterschieden werden:

  1. 1) Keine fotografische vorhanden oder die erfasste mindestens eine fotografische entspricht nicht den vorgegebenen Bedingungen;
  2. 2) eine Bildqualität der erfassten mindestens einen fotografischen ist zu gering;
  3. 3) es liegt ein optischer Mangel vor;
  4. 4) es liegt kein optischer Mangel vor.
Provision can be made for more than two classes to be distinguished when classifying the captured photographic image. For example, four classes can be distinguished with the following content:
  1. 1) No photographic present or the captured at least one photographic does not meet the given conditions;
  2. 2) an image quality of the captured at least one photographic not enough;
  3. 3) there is an optical defect;
  4. 4) there is no visual defect.

Es kann vorgesehen sein, dass das Klassifikationsergebnis und/oder das Entscheidungssignal 8 zumindest eine Handlungsempfehlungsinformation 9 in Form eines Handlungsempfehlungssignals umfasst, mindestens ein mit der optischen Beanstandung korrespondierendes Bauteil des Kraftfahrzeugs 50 auszutauschen oder nicht auszutauschen.It can be provided that the classification result and / or the decision signal 8th at least one action recommendation information 9 in the form of an action recommendation signal comprises at least one component of the motor vehicle that corresponds to the optical complaint 50 to exchange or not to exchange.

Es kann vorgesehen sein, dass die vorgegebenen Bedingungen beim Erfassen der fotografischen in Abhängigkeit der optischen Beanstandung gewählt werden. Insbesondere kann vorgesehen sein, dass die jeweils vorgegebenen Bedingungen beispielsweise auf Grundlage einer Bauteilnummer und/oder einer Bauteilbezeichnung und/oder eines Fahrzeugtyps mittels der Nutzereinrichtung 2 bei der Überprüfungseinrichtung 4 abgefragt und/oder von dieser an die Nutzereinrichtung 2 übermittelt werden. Die Nutzereinrichtung 2 gibt dann die vorgegebenen Bedingungen über die Ausgabeeinrichtung 3 aus oder steuert die Kamera 20 oder eine Beleuchtung etc. entsprechend an. Alternativ können die vorgegebenen Bedingungen auch in der Nutzereinrichtung 2 hinterlegt sein und/oder von dieser erzeugt werden.It can be provided that the specified conditions when capturing the photographic can be selected depending on the visual complaint. In particular, it can be provided that the respectively specified conditions are, for example, based on a component number and / or a component designation and / or a vehicle type by means of the user device 2 at the verification facility 4th queried and / or from this to the user facility 2 be transmitted. The user facility 2 then gives the specified conditions via the output device 3 or controls the camera 20th or lighting etc. accordingly. Alternatively, the specified conditions can also be used in the user facility 2 be stored and / or generated by this.

Es kann ferner vorgesehen sein, dass mittels der Überprüfungseinrichtung 4 überprüft wird, ob die mindestens eine fotografische den vorgegebenen Bedingungen beim Erfassen entspricht, und sofern dies nicht der Fall ist, ein Aufforderungssignal 10 zum Erfassen einer korrekten Abbildung erzeugt und an die Ausgabeeinrichtung 3 übermittelt und von dieser ausgegeben wird.It can also be provided that by means of the checking device 4th it is checked whether the at least one photographic corresponds to the specified conditions during detection, and if this is not the case, a prompt signal 10 generated for detecting a correct image and sent to the output device 3 is transmitted and output by this.

Weiterbildend kann vorgesehen sein, dass mittels der Überprüfungseinrichtung eine Handlungsaufforderungsinformation 11 zum Herstellen der vorgegebenen Bedingungen abgeleitet wird, wobei das erzeugte Aufforderungssignal 10 die abgeleitete Handlungsaufforderungsinformation 11 umfasst. Die Handlungsaufforderungsinformation 11 kann beispielsweise eine Aufforderung umfassen, eine Beleuchtungsstärke zu erhöhen, einen Abstand der Kamera 20 zum Kraftfahrzeug zu verringern/zu vergrößern und/oder eine Auflösung der fotografischen Abbildung zu erhöhen.In a further development, it can be provided that by means of the checking device information requesting action 11 for establishing the predetermined conditions is derived, the generated request signal 10 the derived call-to-action information 11 includes. The call-to-action information 11 can for example include a request to increase an illuminance, a distance of the camera 20th to reduce / enlarge the motor vehicle and / or to increase a resolution of the photographic image.

Es kann weiter vorgesehen sein, dass die Künstliche Intelligenz 7 auf Grundlage eines Trainingsdatensatzes trainiert ist oder trainiert wird, der eine Vielzahl von markierten fotografischen Abbildungen zumindest von ausgezeichneten Bereichen und/oder Bauteilen des Kraftfahrzeugs 50 umfasst. Das Trainieren der Künstlichen Intelligenz 7 kann ebenfalls in der Überprüfungseinrichtung 4 erfolgen. Das Trainieren kann jedoch auch unabhängig von der Überprüfungseinrichtung 4 stattfinden, beispielsweise auf einem hierfür vorgesehenen Rechenluster.It can also be provided that the artificial intelligence 7th is or is being trained on the basis of a training data set that contains a large number of marked photographic images of at least marked areas and / or components of the motor vehicle 50 includes. Training Artificial Intelligence 7th can also in the verification facility 4th respectively. However, the training can also be performed independently of the checking device 4th take place, for example on a computing chandelier provided for this purpose.

Weiterbildend kann vorgesehen sein, dass zum Bereitstellen von fotografischen Abbildungen, welche als Referenzabbildungen ohne optische Mängel markiert sind oder werden, fotografische Abbildungen am Ende einer Produktionslinie des Kraftfahrzeugs 50 in einem Herstellerwerk mittels einer Kamera automatisiert erfasst und bereitgestellt werden.In a further development, it can be provided that in order to provide photographic images which are or will be marked as reference images without optical defects, photographic images at the end of a production line of the motor vehicle 50 are automatically recorded and made available in a manufacturing plant by means of a camera.

Es kann vorgesehen sein, dass nach einer vorgegebenen Anzahl von Durchläufen des Verfahrens, eine Referenzmarkierung der bei den Durchläufen jeweils erfassten fotografischen erfolgt, wobei unter Berücksichtigung der referenzmarkierten fotografischen Abbildungen ein weiterer Trainingsdatensatz erstellt wird, und wobei die Künstliche Intelligenz 7 auf Grundlage des weiteren Trainingsdatensatzes erneut trainiert wird.It can be provided that, after a predetermined number of runs of the method, a reference marking of the respective photographic images recorded during the runs takes place, taking into account the reference-marked photographic images, a further training data set is created, and the artificial intelligence 7th is trained again on the basis of the further training data set.

BezugszeichenlisteList of reference symbols

11
Systemsystem
22
NutzereinrichtungUser facility
33
AusgabeeinrichtungOutput device
44th
ÜberprüfungseinrichtungVerification facility
55
fotografische Abbildungphotographic illustration
66
Schnittstelleinterface
77th
Künstliche IntelligenzArtificial intelligence
88th
EntscheidungssignalDecision signal
99
HandlungsempfehlungsinformationAction recommendation information
1010
AufforderungssignalPrompt signal
1111
HandlungsaufforderungsinformationCall-to-action information
2020th
Kameracamera
5050
KraftfahrzeugMotor vehicle
5151
ScheinwerferHeadlights
100100
ReparaturmanagementsystemRepair management system

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • US 2017/0221110 A1 [0003]US 2017/0221110 A1 [0003]

Claims (10)

Verfahren zum Überprüfen einer optischen Beanstandung an einem Kraftfahrzeug (50), umfassend die Schritte: Erfassen mindestens einer fotografischen Abbildung (5) der optischen Beanstandung an dem Kraftfahrzeug (50) unter vorgegebenen Bedingungen mittels mindestens einer Kamera (20), Übermitteln der erfassten mindestens einen fotografischen Abbildung (5) mittels einer Nutzereinrichtung (2) an eine Überprüfungseinrichtung (4), Klassifizieren der optischen Beanstandung mittels der Überprüfungseinrichtung (4) auf Grundlage der übermittelten mindestens einen fotografischen Abbildung (5), wobei die Überprüfungseinrichtung (4) hierzu ein Verfahren der Künstlichen Intelligenz (7) verwendet, Erzeugen eines Entscheidungssignals (8) auf Grundlage eines Klassifizierungsergebnisses mittels der Überprüfungseinrichtung (4), Übermitteln des erzeugten Entscheidungssignals (8) an eine Ausgabeeinrichtung (3) der Nutzereinrichtung (2), Ausgeben des übermittelten Entscheidungssignals (8) mittels der Ausgabeeinrichtung (3).A method for checking a visual complaint on a motor vehicle (50), comprising the steps: Detecting at least one photographic image (5) of the optical complaint on the motor vehicle (50) under predetermined conditions by means of at least one camera (20), Transmission of the captured at least one photographic image (5) to a checking device (4) by means of a user device (2), Classifying the optical complaint by means of the checking device (4) on the basis of the transmitted at least one photographic image (5), the checking device (4) using an artificial intelligence (7) method for this purpose, Generating a decision signal (8) on the basis of a classification result by means of the checking device (4), transmitting the generated decision signal (8) to an output device (3) of the user device (2), Output of the transmitted decision signal (8) by means of the output device (3). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Klassifikationsergebnis und/oder das Entscheidungssignal (8) zumindest eine Handlungsempfehlungsinformation (9) umfasst, mindestens ein mit der optischen Beanstandung korrespondierendes Bauteil des Kraftfahrzeugs (50) auszutauschen oder nicht auszutauschen.Procedure according to Claim 1 , characterized in that the classification result and / or the decision signal (8) includes at least one action recommendation information (9) to replace or not to replace at least one component of the motor vehicle (50) corresponding to the optical complaint. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Erfassen der mindestens einen fotografischen Abbildung (5) und das Ausgeben des Entscheidungssignals (8) bei einem Servicedienstleister für das mindestens eine Kraftfahrzeug (50) erfolgt, wobei das Klassifizieren mittels der Überprüfungseinrichtung (4) örtlich getrennt von dem Servicedienstleister erfolgt.Method according to one of the preceding claims, characterized in that the at least one photographic image (5) is recorded and the decision signal (8) is output by a service provider for the at least one motor vehicle (50), the classification using the checking device (4 ) takes place separately from the service provider. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass mittels der Überprüfungseinrichtung (4) überprüft wird, ob die mindestens eine fotografische Abbildung (5) den vorgegebenen Bedingungen beim Erfassen entspricht, und sofern dies nicht der Fall ist, ein Aufforderungssignal (10) zum Erfassen einer korrekten Abbildung erzeugt und an die Ausgabeeinrichtung (3) übermittelt und von dieser ausgegeben wird.Method according to one of the preceding claims, characterized in that it is checked by means of the checking device (4) whether the at least one photographic image (5) corresponds to the specified conditions during acquisition, and if this is not the case, a request signal (10) for Detection of a correct image generated and transmitted to the output device (3) and output by this. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass mittels der Überprüfungseinrichtung (4) eine Handlungsaufforderungsinformation (11) zum Herstellen der vorgegebenen Bedingungen abgeleitet wird, wobei das erzeugt Aufforderungssignal (10) die abgeleitete Handlungsaufforderungsinformation (11) umfasst.Procedure according to Claim 4 , characterized in that by means of the checking device (4) a request for action information (11) for establishing the predetermined conditions is derived, wherein the generated request signal (10) comprises the derived action request information (11). Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Künstliche Intelligenz (7) auf Grundlage eines Trainingsdatensatzes trainiert ist oder trainiert wird, der eine Vielzahl von markierten fotografischen Abbildungen zumindest von ausgezeichneten Bereichen und/oder Bauteilen des Kraftfahrzeugs (50) umfasst.Method according to one of the preceding claims, characterized in that the artificial intelligence (7) is trained or is being trained on the basis of a training data set which comprises a plurality of marked photographic images of at least marked areas and / or components of the motor vehicle (50). Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zum Bereitstellen von fotografischen Abbildungen, welche als Referenzabbildungen ohne optische Mängel markiert sind oder werden, fotografische Abbildungen am Ende einer Produktionslinie des Kraftfahrzeugs (50) in einem Herstellerwerk mittels einer Kamera automatisiert erfasst und bereitgestellt werden.Procedure according to Claim 6 , characterized in that in order to provide photographic images which are or will be marked as reference images without optical defects, photographic images are automatically captured and provided at the end of a production line of the motor vehicle (50) in a manufacturing plant by means of a camera. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass nach einer vorgegebenen Anzahl von Durchläufen des Verfahrens, eine Referenzmarkierung der bei den Durchläufen jeweils erfassten fotografischen Abbildungen (5) erfolgt, wobei unter Berücksichtigung der referenzmarkierten fotografischen Abbildungen ein weiterer Trainingsdatensatz erstellt wird, und wobei die Künstliche Intelligenz (7) auf Grundlage des weiteren Trainingsdatensatzes erneut trainiert wird.Method according to one of the preceding claims, characterized in that after a predetermined number of runs of the method, a reference marking of the photographic images (5) recorded during the runs takes place, with a further training data set being created taking into account the reference-marked photographic images, and with the artificial intelligence (7) is trained again on the basis of the further training data set. System (1) zum Überprüfen einer optischen Beanstandung an einem Kraftfahrzeug (50), umfassend: mindestens eine Nutzereinrichtung (2) mit einer Ausgabeeinrichtung (3), und eine Überprüfungseinrichtung (4), wobei die Nutzereinrichtung (2) derart ausgebildet ist, mindestens eine unter vorgegebenen Bedingungen mittels einer Kamera (20) von der optischen Beanstandung an dem Kraftfahrzeug (50) erfasste fotografische Abbildung (5) an die Überprüfungseinrichtung (4) zu übermitteln, und wobei die Überprüfungseinrichtung (4) derart ausgebildet ist, die optische Beanstandung auf Grundlage der übermittelten mindestens einen fotografischen Abbildung (5) zu klassifizieren und hierzu ein Verfahren der Künstlichen Intelligenz (7) zu verwenden, ein Entscheidungssignal (8) auf Grundlage eines Klassifizierungsergebnisses zu erzeugen und das erzeugte Entscheidungssignal (8) an die Ausgabeeinrichtung (3) der mindestens einen Nutzereinrichtung (2) zu übermitteln, wobei die Ausgabeeinrichtung (3) der Nutzereinrichtung (2) derart ausgebildet ist, das übermittelte Entscheidungssignal (8) auszugeben.System (1) for checking a visual complaint on a motor vehicle (50), comprising: at least one user device (2) with an output device (3) and a checking device (4), wherein the user device (2) is designed to transmit to the checking device (4) at least one photographic image (5) recorded under predetermined conditions by means of a camera (20) of the optical complaint on the motor vehicle (50), and wherein the checking device (4) is designed to classify the optical complaint on the basis of the transmitted at least one photographic image (5) and to use an artificial intelligence method (7) for this purpose to generate a decision signal (8) on the basis of a classification result and to transmit the generated decision signal (8) to the output device (3) of the at least one user device (2), wherein the output device (3) of the user device (2) is designed to output the transmitted decision signal (8). Reparaturmanagementsystem (100), umfassend mindestens ein System (1) gemäß Anspruch 9.Repair management system (100), comprising at least one system (1) according to Claim 9 .
DE102019204346.1A 2019-03-28 2019-03-28 Method and system for checking a visual complaint on a motor vehicle Pending DE102019204346A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102019204346.1A DE102019204346A1 (en) 2019-03-28 2019-03-28 Method and system for checking a visual complaint on a motor vehicle
CN202080016931.4A CN113490960A (en) 2019-03-28 2020-01-31 Method and system for inspecting visual defects on a motor vehicle
PCT/EP2020/052436 WO2020192985A1 (en) 2019-03-28 2020-01-31 Method and system for checking a claimed optical defect on a motor vehicle
EP20703955.3A EP3948746A1 (en) 2019-03-28 2020-01-31 Method and system for checking a claimed optical defect on a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019204346.1A DE102019204346A1 (en) 2019-03-28 2019-03-28 Method and system for checking a visual complaint on a motor vehicle

Publications (1)

Publication Number Publication Date
DE102019204346A1 true DE102019204346A1 (en) 2020-10-01

Family

ID=69500712

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019204346.1A Pending DE102019204346A1 (en) 2019-03-28 2019-03-28 Method and system for checking a visual complaint on a motor vehicle

Country Status (4)

Country Link
EP (1) EP3948746A1 (en)
CN (1) CN113490960A (en)
DE (1) DE102019204346A1 (en)
WO (1) WO2020192985A1 (en)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4750444B2 (en) * 2005-03-24 2011-08-17 株式会社日立ハイテクノロジーズ Appearance inspection method and apparatus
KR101338576B1 (en) * 2005-12-26 2013-12-06 가부시키가이샤 니콘 Defect inspection device for inspecting defect by image analysis
DE102013109915B4 (en) * 2013-09-10 2015-04-02 Thyssenkrupp Steel Europe Ag Method and device for checking an inspection system for detecting surface defects
EP3279645A4 (en) * 2015-03-31 2018-09-26 Nisshin Steel Co., Ltd. Device for examining surface defect in hot-dipped steel plate, and method for examining surface defect
GB2544324A (en) * 2015-11-13 2017-05-17 Cathx Res Ltd Method and system for processing image data
CA2956780A1 (en) 2016-02-01 2017-08-01 Mitchell International, Inc. Methods for improving automated damage appraisal and devices thereof
US10511676B2 (en) * 2016-03-17 2019-12-17 Conduent Business Services, Llc Image analysis system for property damage assessment and verification
CN106504248B (en) * 2016-12-06 2021-02-26 成都通甲优博科技有限责任公司 Vehicle damage judging method based on computer vision
CN107607554A (en) * 2017-09-26 2018-01-19 天津工业大学 A kind of Defect Detection and sorting technique of the zinc-plated stamping parts based on full convolutional neural networks
CN108985343B (en) * 2018-06-22 2020-12-25 深源恒际科技有限公司 Automobile damage detection method and system based on deep neural network
CN109064454A (en) * 2018-07-12 2018-12-21 上海蝶鱼智能科技有限公司 Product defects detection method and system
CN109239073B (en) * 2018-07-28 2020-11-10 西安交通大学 Surface defect detection method for automobile body
CN109145903A (en) * 2018-08-22 2019-01-04 阿里巴巴集团控股有限公司 A kind of image processing method and device
CN109461149A (en) * 2018-10-31 2019-03-12 泰州市创新电子有限公司 The intelligent checking system and method for lacquered surface defect

Also Published As

Publication number Publication date
CN113490960A (en) 2021-10-08
WO2020192985A1 (en) 2020-10-01
EP3948746A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
DE10244131A1 (en) Technical plant assessment method in which test measurements on functional units of the plant are automatically processed to detect faulty functional unit groups and assign corresponding defectiveness probabilities
DE102017210787A1 (en) Method and apparatus for detecting anomalies in a communication network
WO2004104836A2 (en) Telediagnosis viewer
DE102018209595A1 (en) Method for automatically determining a road condition
DE102005040142A1 (en) Method for identifying complex diagnostic situations in customer service
DE102018212249A1 (en) Method, system and electronic computing device for checking sensor devices of vehicles, in particular motor vehicles
DE102019204346A1 (en) Method and system for checking a visual complaint on a motor vehicle
DE102020212147A1 (en) Data-based update of the training of classifier networks
WO2019228770A1 (en) Method for setting up imaging sensors, computer program product for setting up imaging sensors, sensor setup system and facility
DE102021005277A1 (en) Method for authenticating the user of a motor vehicle
DE10315344B4 (en) Method and device for detecting faulty components in vehicles
DE102021002302A1 (en) Procedure for scheduling test processes to be carried out
DE102020203514A1 (en) Method for generating training data, vehicle and training system
DE102016011856A1 (en) Method for selecting a vehicle from a set of possible vehicles remotely
DE102019103192A1 (en) Method for generating training data for a digital, adaptive camera system
DE102020210974A1 (en) Method and apparatus for detecting defects during a surface modification process
DE102013020550A1 (en) Method and device for data communication in vehicles, in particular in motor vehicles
DE102017217596A1 (en) Method for checking an electronic component, method for generating a model and device
DE102022113682A1 (en) Computer-implemented method for transmitting information about a headlight of a motor vehicle with multiple light sources
DE102022128149A1 (en) Method for operating a monitoring system of a production facility for a motor vehicle, computer program product and monitoring system
DE102019134485A1 (en) Testing a camera system for a motor vehicle
DE102023004114A1 (en) Method and device for reporting a traffic sign requiring correction
DE102021001677A1 (en) Method for detecting damage to an object, control device for carrying out such a method, detection device with such a control device and motor vehicle with such a detection device
DE102021109399A1 (en) Device and method for identifying changes to a machine arrangement
DE102020131777A1 (en) Method and device for determining the status of a loading unit

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication