DE102017203661A1

DE102017203661A1 - Verfahren zur Schadenserkennung an einem Prüfobjekt, insbesondere an einem Kraftfahrzeug, sowie Prüfvorrichtung

Info

Publication number: DE102017203661A1
Application number: DE102017203661.3A
Authority: DE
Inventors: Michael Buthut; Gunnar Lange; John Baldus
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2017-03-07
Filing date: 2017-03-07
Publication date: 2018-09-13

Abstract

Die Erfindung betrifft ein Verfahren zur Schadenserkennung an einem Prüfobjekt (10), wobei mittels einer Sensoreinrichtung (16) Sensordaten (19) erzeugt werden, während das Prüfobjekt (10) in einem Erfassungsbereich (13) der Sensoreinrichtung (16) angeordnet ist. Die Erfindung sieht vor, dass zumindest ein Teil der Sensordaten (19) und/oder daraus erzeugte Merkmalsdaten (28) als Erkennungsdaten (19) an eine Erkennungseinrichtung (30) ausgesendet wird, mittels der Erkennungseinrichtung (30) in einer Schadenserkennungsstufe anhand der Erkennungsdaten (29) ein orts-unabhängiger Mustervergleich (40) mit zumindest einem Muster (39) einer jeweiligen vorbestimmten Schadensstruktur (37) durchgeführt wird, und falls die Erkennungseinrichtung (30) eine Wiedererkennung eines Musters (39) aus dem zumindest einen Muster (39) signalisiert, ein Schadenssignal (31), welches eine Beschädigung des Prüfobjekts (10) signalisiert, erzeugt wird.

Description

Die Erfindung betrifft ein Verfahren zur Schadenserkennung an einem Prüfobjekt. Das Prüfobjekt kann zum Beispiel ein Kraftfahrzeug sein. Mittels der Schadenserkennung kann zum Beispiel eine beschädigte Felge des Kraftfahrzeugs erkannt werden. Hierzu wird das Prüfobjekt durch einen Erfassungsbereich einer Sensoreinrichtung hindurch geführt. Zu der Erfindung gehört auch eine Prüfeinrichtung zum Durchführung des Verfahrens.
Aus der DE 10 2013 218 299 A1 ist ein Verfahren bekannt, mittels welchem an einem Kraftfahrzeug eine Beschädigung erkannt werden kann. Hierzu muss mittels einer Fotokamera ein Foto eines Blechspalts zusammen mit einem daneben befindlichen Referenzobjekt aufgenommen werden. Eine Recheneinrichtung kann in dem Foto die Abmessung des Blechspalts ermitteln und durch Vergleich dieser Abmessung mit der Größe des Referenzobjekts im Foto erkennen, ob das Spaltmaß in Ordnung ist.
Mittels des bekannten Verfahrens ist es nur möglich, einen ganz bestimmten Spalt darauf hin zu analysieren, ob sein Spaltmaß stimmt. Möchte man einen anderen Teil des Kraftfahrzeugs mit dem Verfahren automatisiert auf eine Beschädigung prüfen, so muss das Verfahren angepasst werden, indem ein neues Referenzobjekt definiert wird.
Aus der DE 10 2013 103 706 A1 ist ein Verfahren bekannt, um einen schriftlichen Schadensbericht zusammen mit Fotos digital versenden zu können. Der schriftliche Bericht wird zu einem Bild umgewandelt und dann am Zielort wieder in Text zurückgewandelt.
Aus der DE 10 2005 034 637 A1 ist ein Verfahren bekannt, um Dellen in einem Kraftfahrzeug zu erkennen. Hierzu werden auf dem Kraftfahrzeug mittels Licht Streifenmuster projiziert, die im Bereich der Dellen eine Verzerrung ergeben.
Der Erfindung liegt die Aufgabe zugrunde, eine Beschädigung an einem Prüfobjekt, insbesondere einem Kraftfahrzeug, flexibel in automatisierter Weise erkennen zu können.
Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen ergeben sich durch die abhängigen Ansprüche, die folgende Beschreibung sowie die Figuren.
Das bereitgestellte Verfahren dient zur Schadenserkennung an einem Prüfobjekt, insbesondere an einem Kraftfahrzeug. Mittels einer Sensoreinrichtung werden Sensordaten erzeugt, während das Prüfobjekt in einem Erfassungsbereich der Sensoreinrichtung angeordnet ist.
Um nun anhand der Sensordaten flexibel eine Beschädigung des Prüfobjekts zu erkennen, ist folgendes vorgesehen. Es werden Erkennungsdaten an eine Erkennungseinrichtung ausgesendet. Diese Erkennungsdaten können die Sensordaten oder zumindest einen Teil der Sensordaten umfassen. Zusätzlich oder alternativ dazu können die Erkennungsdaten auch aus den Sensordaten erzeugte Merkmalsdaten enthalten. Mittels der Erkennungseinrichtung wird anhand der Erkennungsdaten ein orts-unabhängiger Mustervergleich mit zumindest einem Muster durchgeführt. Die Erkennungseinrichtung kann hierzu einen statistischen Klassifikator aufweisen. Der Mustervergleich findet in einer Schadenserkennungsstufe der Erkennungseinrichtung statt. Mit anderen Worten kennt oder erkennt die Schadenserkennungsstufe zumindest ein Muster in den Erkennungsdaten wieder. Jedes Muster beschreibt dabei eine vorbestimmte Schadensstruktur oder ein Schadensbild. Eine solche Schadensstruktur kann zum Beispiel eine Delle oder ein Kratzer oder eine Scharte oder ein Bruch oder ein Riss sein. Das Muster beschreibt dabei entsprechend zum Beispiel eine Kontur und/oder eine Textur und/oder einer Flächenformen und/oder eine dreidimensionale Form und/oder eine Farbe der Schadensstruktur.
Falls die Erkennungseinrichtung aus dem zumindest einen Muster eines wiedererkennt, signalisiert sie diese Wiedererkennung und es wird ein Schadenssignal erzeugt. Das Schadenssignal signalisiert eine Beschädigung des Prüfobjekts.
Durch die Erfindung ergibt sich der Vorteil, dass in der Schadenserkennungsstufe der Erkennungseinrichtung die Wiedererkennung der Schadensstruktur unabhängig davon erfolgt, wo sich die Schadensstruktur am Prüfobjekt befindet. Die Erkennungseinrichtung sucht also mittels der Mustererkennung oder des Mustervergleichs in den Erkennungsdaten ein Muster, welches durch eine Delle oder einen Kratzer oder eine Scharte oder einen Bruch oder einen Riss oder eben allgemein durch eine Schadensstruktur verursacht wurde. Wird ein solches Muster einer Schadensstruktur erkannt, so wird das Muster wiedererkannt und somit das Schadenssignal erzeugt. Dies erfolgt unabhängig davon, wo sich die Schadensstruktur, d.h. an welchem Ort sich die Schadensstruktur befindet. Somit kann das erfindungsgemäße Verfahren flexibel zur Schadenserkennung an einem Prüfobjekt eingesetzt werden. Auch unterschiedliche Prüfobjekte können geprüft werden, zum Beispiel ein Kraftfahrzeug und eine Maschine, und dennoch kann mittels der Erkennungseinrichtung eine Schadensstruktur an allen Prüfobjekten erkannt werden, da sich die Erkennungseinrichtung auf die Erkennung der Schadensstruktur selbst begrenzt ohne darauf angewiesen zu sein, eine Bauform oder ein Bauteil des Prüfobjekts oder der Prüfobjekte wieder erkennen zu müssen.
Zu der Erfindung gehören Weiterbildungen, durch deren Merkmale sich zusätzliche Vorteile ergeben.
Um den beschriebenen ortsunabhängigen Mustervergleich realisieren zu können, ist insbesondere vorgesehen, dass die Schadenserkennungsstufe einen statistischen Erkenner aufweist, der auf das zumindest eine Muster der jeweiligen Schadensstruktur trainiert ist. Der Erkenner weist ein künstliches neuronales Netzwerk (KNN) und/oder eine Support Vector Machine (SVM) und/oder eine Regression (zum Beispiel Regressionsebene in einem Merkmalsraum) auf. Der statistische Erkenner wird auf zumindest einige der Erkennungsdaten angewendet. Eine andere Bezeichnung für einen solchen statistischen Erkenner ist auch statistischer Klassifikator. Ein Erkenner kann in den Erkennungsdaten dann das zumindest eine Muster erkennen. Man spricht hier auch von Wiedererkennen, da das zumindest eine Muster zuvor in Trainingsdaten in gleicher oder abgewandelter Form enthalten gewesen ist. Eine besondere Form eines Erkenners, die sich im Zusammenhang mit der Erfindung als besonders vorteilhaft oder leistungsfähig erwiesen hat, ist ein Deep-Learning-KNN.
Um die Erkennungseinrichtung effizienter betreiben zu können, kann vorgesehen sein, dass mittels der Erkennungseinrichtung in einer Lokalisierungsstufe, die der Schadenserkennungsstufe vorgeschaltet ist, ein vorbestimmtes, zu prüfendes Bauteil des Prüfobjekts erkannt wird und die Schadenserkennungsstufe auf das Bauteil begrenzt angewendet wird. Wird mittels der Sensoreinrichtung ein Teil des Prüfobjekts oder das ganze Prüfobjekt abgelichtet, und soll aber nur zumindest ein vorbestimmtes Bauteil des Prüfobjekts geprüft werden, so wäre es ineffizient, die ganzen Erkennungsdaten, die das gesamte Prüfobjekt oder den in den Sensordaten abgebildeten Teil beschreiben, vollständig mittels der Schadenserkennungsstufe auf ein Muster einer Schadensstruktur zu überprüfen. Die Lokalisierungsstufe kann deshalb diejenigen Erkennungsdaten identifizieren, welche das zumindest eine Bauteil repräsentieren. Somit kann die Mustererkennung auf diese Erkennungsdaten beschränkt werden. Mit anderen Worten kann also die Schadenserkennungsstufe auf das zumindest eine Bauteil begrenzt angewendet werden. So kann beispielsweise für eine Prüfung von Felgen eines Kraftfahrzeugs die Lokalisierungsstufe dahingehend eingerichtet sein, dass sie in den Erkennungsdaten , zum Beispiel Kamerabildern oder einem Kamerabild und/oder daraus jeweils gebildeten Merkmalsdaten, die Lage der Felge oder der Felgen in dem Kamerabild oder den Kamerabildern identifiziert oder erkennt.
Hierzu kann für das Lokalisieren des Bauteils die Lokalisierungsstufe einen auf das Bauteil trainierten statistischen Erkenner oder Klassifikator aufweisen, der auf zumindest einige der Erkennungsdaten angewendet wird. Dieser Erkenner der Lokalisierungsstufe kann in der beschriebenen Weise ein KNN und/oder eine SVM und/oder eine Regression aufweisen. Die Erkennungseinrichtung nutzt dann also zwei Erkennungsstufen, nämlich die Lokalisierungsstufe und die nachgeschaltete Schadenserkennungsstufe. Jede der Stufen kann dann zum Beispiel ein KNN aufweisen. Hierdurch erfolgt eine robustere Erkennung, da die Erkennungsaufgabe (Lokalisierung des Bauteils und Schadenserkennung) getrennt trainiert werden können.
Falls die Sensordaten mehrere Abbildungen umfassen, also z.B. mehrere Kamerabilder, so kann es von Vorteil sein, sich auf eine oder einige dieser Abbildungen bei der Schadenserkennung zu beschränken, um eine Fehlerkennung aufgrund einer schlechten Abbildungsqualität zu verhindern und/oder eine Effizienz des Verfahrens zu steigern. Eine Vorverarbeitungseinrichtung kann hierzu bevorzugt in den Sensordaten zumindest eine Abbildung (z.B. zumindest ein Kamerabild) von zumindest einem Bereich des Prüfobjekts oder des gesamten Prüfobjekts anhand eines Abbildungskriteriums auswählen. Das Abbildungskriterium gibt zumindest eine vorbestimmte Abbildungsbedingung vor. Derjenige Teil der Sensordaten, welcher das zumindest eine Abbild enthält und das Abbildungskriterium erfüllt, wird dann für die Erkennungsdaten verwendet. Insbesondere wird nur dieser Teil verwendet. Die zumindest eine Abbildungsbedingung kann zum Beispiel eine Mindesthelligkeit und/oder einen Kontrast (Mindestkontrast oder Höchstkontrast) und/oder eine Vorgabe in Bezug auf Schlagschatten (Kontrastkanten) und/oder einen Winkelbereich für einen Aufnahmewinkel vorgeben. Anhand der Sensordaten kann dann für jedes Abbild des Prüfobjekts zum Beispiel eine durchschnittliche Helligkeit und/oder ein durchschnittlicher Kontrast und/oder das Vorhandensein von Schlagschatten ermittelt werden. Ist eine Kontur des Prüfobjekts bekannt, so kann diese in den Sensordaten ermittelt oder erkannt werden und daran der Aufnahmewinkel ermittelt werden. Somit werden nur solche Sensordaten zum Bilder der Erkennungsdaten verwendet, zu welchen anhand des Abbildungskriteriums festgelegt werden kann, dass diese sich für die Erkennung des zumindest einen Musters eignen.
Eine besonders bevorzugte Ausführungsform sieht vor, dass die Sensordaten erzeugt werden, während das Prüfobjekt in dem Erfassungsbereich in Bewegung ist. Beispielsweise kann also ein Kraftfahrzeug durch den Erfassungsbereich rollen. Hierdurch muss also ein Betrieb des Prüfobjekts nicht unterbrochen werden.
Um zu vermeiden, dass beim Ablichten des Prüfobjekts mittels der Sensoreinrichtung in den Sensordaten Bewegungsartefakte entstehen (z.B. verwischte oder unscharfe Bilder), wird das Prüfobjekt bevorzugt mittels einer Lichtquelle angeleuchtet. Die Lichtquelle kann als Blitz oder Stroboskop oder Dauerleuchte ausgestaltet sein. Die Beleuchtungshelligkeit der Lichtquelle ist dabei bevorzugt in der Weise eingestellt, dass sie größer ist als ein Schwellenwert, wobei der Schwellenwert festgelegt wird, indem eine Höchstdauer der Belichtung beim Erzeugen der Sensordaten vorgegeben wird. Hierdurch kann die Höchstdauer kleiner als ein Zeit-Schwellenwert, zum Beispiel 1/60 s oder 1/80 s vorgegeben werden, woraus sich der Schwellenwert für die Beleuchtungshelligkeit bei gegebener Sensorsensitivität der Sensoreinrichtung und gegebener Blendenöffnung ergibt.
Um die Erkennungsleistung der Erkennungseinrichtung zu steigern oder zu verbessern, also z.B. die Fehlerrate zu verringern, kann vorgesehen werden, dass das Schadenssignal, welches die Beschädigung des Prüfobjekts signalisiert, zusammen mit den Sensordaten, anhand welchen die Beschädigung erkannt wurde, in welchen also die Schadensstruktur abgebildet ist, an eine Bedieneinrichtung ausgesendet wird. Eine solche Bedieneinrichtung kann zum Beispiel ein mobiles Endgerät (zum Beispiel Smartphone oder Tablet-PC) oder ein Personal-Computer (PC) sein. Ein Benutzer kann dann das Schadenssignal und die Sensordaten betrachten, beispielsweise an einem Bildschirm oder allgemein an einer Anzeigeeinrichtung. Die Bedieneinrichtung nimmt dann von dem Benutzer Rückmeldedaten entgegen. Die Rückmeldedaten können zum Beispiel angeben, ob die Erkennung korrekt war. Aus der Bedieneinrichtung werden dann die Rückmeldedaten empfangen. Mittels der Rückmeldedaten wird die Erkennungseinrichtung konfiguriert. Hat es einen Erkennungsfehler gegeben, also eine falsche oder fehlerhafte Mustererkennung, so kann dies nun anhand der Rückmeldedaten korrigiert werden, damit in Zukunft dieselben Sensordaten in der konfigurierten Erkennungseinrichtung ein korrektes Erkennungsergebnis ergeben.
Die Sensoreinrichtung kann die Sensordaten z.B. optisch auf der Grundlage von sichtbarem Licht und/oder Infrarotlich und/oder ultraviolettem Licht erfassen. Um geeignete Sensordaten zu erzeugen, ist insbesondere vorgesehen, dass die Sensoreinrichtung die Sensordaten mittels zumindest einer Kamera und/oder zumindest eines Lidars und/oder zumindest eines Laserscanners und/oder zumindest einer 3D Kamera erfasst. Eine 3D-Kamera kann beispielsweise eine Time-of-Flight-Kamera (TOF) und/oder eine Stereokameraanordnung vorsehen. Eine Kamera kann eine Videokamera oder eine Einzelbildkamera sein. Eine Kamera weist den Vorteil auf, dass das Prüfobjekt mit einer Ortsauflösung erfasst werden kann, die zum Erkennen einer Schadensstruktur geeignet ist, bei welcher Erkennungsmerkmale oder Musterbestandteile kleiner als 1 cm, insbesondere kleiner als 0,5 cm sind. Ein Laserscanner und eine 3D Kamera weisen den Vorteil auf, dass eine Schadensstruktur auch dreidimensional erfasst und somit auch zum Beispiel eine Tiefe einer Delle für die Mustererkennung verfügbar gemacht werden kann.
Entsprechend ist gemäß einer Weiterbildung vorgesehen, dass die Merkmalsdaten ein dreidimensionales Modell zumindest eines Abschnitts oder Bereichs des Prüfobjekts umfassen. Somit kann die Erkennungseinrichtung eine dreidimensionale Struktur oder Ausformung der Schadensstruktur als Bestandteil des Musters erkennen.
Es kann aber grundsätzlich zusätzlich oder alternativ zum Erzeugen der Sensordaten zumindest ein anderer Sensor in der Sensoreinrichtung vorgesehen sein, insbesondere eine akustische Erfassung mittels zumindest eines Ultraschallsensors, mit dem beispielsweise der Körperschall eines Bauteils detektiert werden kann. Körperschall kann zusätzlich oder alternativ mittels eines Schwingungssensors erfasst werden. Mittels zumindest eines Mikrofons kann von einem Bauteil emittierter Luftschall erfasst werden und damit z.B. ein Laufgeräusch eines Lagers oder eines Motors erkannt werden. Dies ist aber nur eine nicht-abschließende Liste von beispielhaften Sensoren.
Das Erzeugen der Sensordaten wird bevorzugt automatisiert gesteuert, damit auch hier keine Bedienperson nötig ist. Das Erzeugen der Sensordaten wird hierzu bevorzugt in Abhängigkeit von einem Detektionssignal einer das Prüfobjekt in dem Erfassungsbereich detektierenden Detektionseinrichtung ausgelöst. Eine solche Detektionseinrichtung kann auf der Grundlage einer Lichtschranke und/oder eines Ultraschallsensors und/oder eines Lasers bereitgestellt werden. Ein Ultraschallsensor und ein Laser weisen den Vorteil auf, dass eine einseitige Detektion möglich ist, also kein reflektierendes Gegenstück wie bei einer Lichtschranke nötig ist.
Bevorzugt wird nicht nur das Vorhandensein einer Beschädigung detektiert, sondern die Beschädigung auch quantifiziert. Dies kann aber das Erkennungsvermögen oder das Unterscheidungsvermögen einer einzelnen Schadenserkennungsstufe, also beispielsweise eines KNNs, überfordern. Deshalb ist bevorzugt vorgesehen, dass in der Erkennungseinrichtung mittels einer Quantifizierungsstufe, die der Schadenserkennungsstufe nachgeschaltet ist, zumindest eine Eigenschaft der erkannten Beschädigung ermittelt wird. Ist also einmal durch die Schadenserkennungsstufe eine Beschädigung erkannt worden, also das Muster einer Schadensstruktur in den Erkennungsdaten wiedererkannt worden, so kann die Quantifizierungsstufe auf diese die Schadensstruktur repräsentierenden Erkennungsdaten gezielt angewendet werden oder beschränkt werden. Die Qualifizierungsstufe kann wiederum ein statistischer Erkenner oder einen statistischen Klassifikator, also zum Beispiel ein KNN oder eine SVM und/oder eine Regression, aufweisen.
So wird bevorzugt mittels der Erkennungseinrichtung das Vorhandensein der Beschädigung und/oder eine Schadensart (zum Beispiel eine Unterscheidung zwischen Delle und Kratzer) und/oder eine Schadensabmessung (also die flächige Größe oder eine Schadensgröße) und/oder eine monetäre Schadenshöhe (zum Beispiel eine Angabe eines Preises oder eines Mindestpreises für eine Reparatur) und/oder eine Aussage über eine Reparabilität der Beschädigung signalisiert werden. Die Reparabilität kann ein Bauteil betreffen, bei dem vorgesehen sein kann, dass dieses bei einer vorgegebenen vorbestimmten Beschädigung nicht mehr repariert werden darf, sondern vollständig ausgetauscht werden muss.
Um das erfindungsgemäße Verfahren durchzuführen, ist durch die Erfindung eine Prüfvorrichtung zum Erkennen eines Schadens an einem Prüfobjekt bereitgestellt. Die Prüfvorrichtung weist die beschriebene Sensoreinrichtung zum Erzeugen der Sensordaten eines Prüfobjekts auf. Die Prüfvorrichtung ist dadurch gekennzeichnet, dass sie eine Prozessoreinrichtung aufweist, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Die Prozessoreinrichtung kann einen Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
Mittels des erfindungsgemäßen Verfahrens und/oder mittels der Prüfeinrichtung kann insbesondere ein Schaden an einem Kraftfahrzeug erkannt werden. Als Bauteil, an welchem ein Schaden erkannt werden soll, kann beispielsweise eine Felge und/oder ein Scheinwerfer und/oder ein Blech einer Außenhaut untersucht oder geprüft werden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Prüfvorrichtung, die ein Prüfobjekt prüft;
2 eine schematische Darstellung der Prüfvorrichtung von 1 mit darin enthaltenen Komponenten;
3 eine schematische Darstellung einer Prozessoreinrichtung der Prüfvorrichtung von 2;
4 eine Skizze zur Veranschaulichung einer Ausführungsform der Prüfvorrichtung von 2 mit einer verteilten, Internet-basierten Mustererkennung;
5 ein Flussschaudiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens, das durch die Prüfvorrichtung durchgeführt werden kann; und
6 ein Bauteil eines Prüfobjekts, wobei das Bauteil eine Schadensstruktur aufweist.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
1 zeigt ein Prüfobjekt 10, bei dem es sich zum Beispiel um ein Kraftfahrzeug, zum Beispiel einen Kraftwagen, handeln kann. An dem Prüfobjekt 10 soll zumindest ein Bauteil 11 auf einen Schaden hin untersucht oder geprüft werden. Im Falle eines Kraftfahrzeugs kann es sich bei einem Bauteil 11 zum Beispiel jeweils um eine Felge handeln. Das Prüfobjekt 10 wird für die Überprüfung in einer Rollbewegung oder allgemein in einer Bewegung 12 durch einen Erfassungsbereich 13 einer Prüfvorrichtung 14 bewegt. Das Prüfobjekt 10 braucht nicht angehalten werden. Um zu erzwingen, dass die Bewegung 12 durch den Erfassungsbereich 13 führt, kann vorgesehen sein, dass die Prüfvorrichtung 14 an einer Öffnung 15, beispielsweise einer Durchfahrt oder einem Torbogen, angeordnet ist.
2 veranschaulicht die Prüfvorrichtung 14 mit mehr Details. Die Prüfvorrichtung 14 kann eine Sensoreinrichtung 16 aufweisen, in deren Erfassungsbereich 13 das Prüfobjekt 10 bewegt wird. Des Weiteren kann eine Lichtquelle 17 bereitgestellt sein, um das Prüfobjekt 10 anzuleuchten. Die Sensoreinrichtung 16 kann durch eine Detektionseinrichtung 18 mittels eines Detektionssignals 18' ausgelöst oder gestartet werden. Die Sensoreinrichtung 18 kann zum Beispiel einen Ultraschallsensor und/oder einen Laser-Näherungssensor aufweisen.
Die Sensoreinrichtung 16 kann Sensordaten 19 erzeugen, in welchen das Prüfobjekt 10 zumindest bereichsweise abgebildet ist, wobei insbesondere die Bauteile 11 abgebildet sind. Die Sensoreinrichtung 16 kann mittels einer Justiereinrichtung 20 justierbar sein. Die Sensoreinrichtung 16 kann austauschbar ausgestaltet sein. Bei der Sensoreinrichtung 16 kann es sich insbesondere um eine Kamera handeln. Die Sensordaten 19 sind dann Bilddaten, z.B. ein Kamerabild oder eine Bildsequenz. Die Prüfvorrichtung 14 kann auch, anders als in 2 dargestellt, mehrere Sensoren, beispielsweise mehrere Kameras, aufweisen, um das Prüfobjekt 10 zum Beispiel aus unterschiedlichen Perspektiven und/oder beidseitig erfassen zu können. Somit können z.B. vier Felgen eines Kraftfahrzeugs bei einer Durchfahrt durch die Öffnung 15 erfasst werden.
Die Sensordaten 19 können durch eine Prozessoreinrichtung 21 empfangen werden. Die Prozessoreinrichtung 21 kann auf Grundlage der Sensordaten 19 eine Schadensstruktur, zum Beispiel einen Kratzer oder eine Delle oder einen Riss, an dem Prüfobjekt 10, insbesondere jedem Bauteil 11, erkennen. In 2 ist angedeutet, dass die Prozessoreinrichtung 21 auch verteilt angeordnet sein kann. Die Prozessoreinrichtung 21 kann zum Beispiel zusätzlich zu einem lokalen Anteil am Prüfort auch über eine Funkverbindung 22 einen Cloud-Anteil oder Server 23 angebunden haben, der zum Beispiel am Internet 24 betrieben werden kann. Die Prozessoreinrichtung 21 kann aber auch zum Beispiel als Computer oder Rechner ohne Anbindung an das Internet 23 betrieben werden, also nur einen lokalen Anteil am Prüfort aufweisen.
3 veranschaulicht Komponenten der Prozessoreinrichtung 21. Jede der im Folgenden beschriebenen Komponenten kann z.B. als ein Programmmodul ausgestaltet sein. Die Sensordaten 19 können beispielsweise eine Bildsequenz aus mehreren Bildern oder Abbildern des Prüfobjekts 10 enthalten. Eine Vorverarbeitungseinrichtung 25 kann zum Beispiel aus der Bildsequenz zumindest eine Abbildung oder ein Abbild des Prüfobjekts auswählen. Hierzu kann ein Abbildungskriterium 26 mit zumindest einer Abbildungsbedingung 27 vorgegeben sein. Durch das Abbildungskriterium 26 kann zum Beispiel das für die Erkennung des Schadens am besten geeignete Bild oder eine vorgegebene Anzahl der besten geeigneten Bilder ausgewählt werden. Beispielsweise kann eine Abbildungsbedingung für eine Belichtung und/oder einen Kontrast und/oder Schlagschatten und/oder einen Aufnahmewinkel vorgegeben sein. Die ausgewählten Abbildungen oder Bilder werden dann für die Mustererkennung genutzt. Hierzu werden die ausgewählten Bilder in Merkmalsdaten 28 umgewandelt. Merkmalsdaten können beispielsweise als Vektor aus Vektorwerten enthalten. Beispielsweise kann in der Vorverarbeitungseinrichtung 25 auch eine Kantendetektion und/oder eine Segmentierung von Bildpunkten, die ein vorbestimmtes Ähnlichkeitskriterium erfüllen und deshalb als zusammenhängend erkannt werden, erfolgen. Merkmalsdaten 28 können dann Angaben zu detektierten Kanten und/oder homogenen Flächen enthalten.
Die Merkmalsdaten 28 können zusammen mit den Sensordaten 19 oder allein als Erkennungsdaten 29 an eine Erkennungseinrichtung 30 übermittelt werden. Die Erkennungseinrichtung 30 kann zum Beispiel in dem Server 23 bereitgestellt sein. Die Erkennungseinrichtung 30 kann zum Beispiel eine Regression und/oder ein KNN und/oder eine SVM enthalten oder aufweisen. Die Erkennungseinrichtung 30 kann mehrere hintereinander geschaltete Erkennungsstufen aufweisen, insbesondere die beschriebene Lokalisierungsstufe und die Schadenserkennungsstufe. Auch eine Quantifizierungsstufe kann vorgesehen sein.
Die Erkennungseinrichtung 30 erzeugt ein Erkennungsergebnis, das angibt, ob ein Muster einer Schadensstruktur in den Erkennungsdaten 29 erkannt werden konnte. Auf Grundlage des Erkennungsergebnisses der Erkennungseinrichtung 30 kann ein Schadenssignal 31 erzeugt werden, welches signalisiert, dass sich an zumindest einem Bauteil 11 eine Beschädigung befindet oder diese erkannt wurde.
4 veranschaulicht noch einmal diejenige Variante, bei welcher die Prüfvorrichtung 14 verteilt ausgestaltet ist. Aus dem lokalen Anteil der Prüfvorrichtung 14 an der Öffnung 15 können die Sensordaten 19 über das Internet 24 an den Server 23 ausgesendet werden, welcher die in 3 beschriebenen Schritte durchführen kann. Das Schadenssignal 31 kann dann zum Beispiel an eine Bedieneinrichtung 32 ausgesendet werden, bei der es sich zum Beispiel um ein mobiles Endgerät handeln kann. Auf der Bedieneinrichtung 32 kann beispielsweise ein Programmcode 33 bereitgestellt sein, der zum Beispiel als sogenannte Applikation (App) ausgestaltet sein kann. Mittels dieses Programmcodes 33 kann einem Benutzer 34 das Schadenssignal 31 beispielsweise zusammen mit den Sensordaten 19 oder einem Teil der Sensordaten 19 angezeigt oder auf andere Weise ausgegeben werden. Falls der Benutzer 34 erkennt, dass ein Erkennungsfehler vorliegt, also das Schadenssignal 31 falsch ist, kann der Benutzer 34 an der Bedieneinrichtung 32 Korrekturdaten 35 erzeugen. Die Korrekturdaten 35 können an die Erkennungseinrichtung 30 übermittelt werden. Die Erkennungseinrichtung 30 kann daraufhin auf Grundlage der Korrekturdaten 35 angepasst oder korrigiert werden. Hierdurch erzeugt die Erkennungseinrichtung 30 bei nochmaliger Erkennung in den selben Sensordaten 19 das korrekte Erkennungsergebnis, wie es durch die Korrekturdaten 35 vorgegeben wird. Die Übertragung des Schadenssignals 31 und der Sensordaten 19 an die Bedieneinrichtung 35 und Rück-Übertragung der Korrekturdaten 35 kann in an sich bekannter Weise zum Beispiel mittels einer Internetverbindung erfolgen.
5 gibt noch mal einen Überblick über das durch die Prüfvorrichtung 14 durchgeführte Verfahren. Das Verfahren gliedert sich in eine Trainingsphase T und eine Erkennungsphase R.
Für die Trainingsphase T werden in einem Schritt S1 aus beliebiger Perspektive von beliebigen gleichartigen Bauteilen 11 Bild- und/oder Oberflächen- und/oder Geometriedaten als Trainingsdaten 19' erfasst. Bei den Bauteilen kann es sich zum Beispiel jeweils um eine Felge handeln. Jedes Bauteil kann hierbei zu einem Prüfobjekt gehören oder ein Prüfobjekt kann mehrere Bauteile aufweisen.
Zu den Trainingsdaten 19' werden Kennzeichnung oder Labeldaten 36 bereitgestellt, durch welche in den Trainingsdaten 19', also zum Beispiel Bilddaten, Schadensstrukturen 37 markiert sein oder kenntlich gemacht sein können. Zusätzlich können durch Beschreibungsdaten 38 der Beschädigung, die Schadenshöhe und/oder weitere der genannten Schadensbeschreibungen angegeben sein. Die Labeldaten 36 beschreiben Muster 39 von Schadensstrukturen 37. In einem Schritt S3 kann ein Machine-Learning-Model oder Klassifikator trainiert werden, beispielsweise ein KNN. Die Labeldaten 36 geben dabei das Soll-Erkennungsergebnis vor. Dieses soll im Training für die Trainingsdaten 19' eintrainiert werden.
Für das Training werden nicht alle Trainingsdaten 19' verwendet. Ein verbleibender Teil der Trainingsdaten 19' kann der beschriebenen Merkmalsextraktion 28 unterworfen werden, woraufhin dann in einem Schritt S4 eine Validation und ein Test des trainierten Machine-Learning-Models erfolgen kann. Es kann zu einem erneuten Training oder einer Re-Konfiguration 39 kommen. Hat das Modell in einem Schritt S5 dann gelernt, so bedeutet dies, dass durch das Modell aus den Trainingsdaten 19' das jeweilige Muster einer Schadensstruktur 37 erkannt werden kann.
Daraufhin ist die Trainingsphase T beendet. Die Trainingsphase T kann in dem Server 23 oder einer anderen Recheneinrichtung erfolgen. Das Modell kann nun für eine Erkennungseinrichtung 30 als Erkenner verwendet werden.
Die Erkennungsphase R kann im Server 23 durchgeführt werden oder auf einer Recheneinrichtung, die zusammen mit der Sensoreinrichtung 16 bereitgestellt sein kann. Eine hierzu geeignete Recheneinrichtung ist zum Beispiel eine GPU (Graphical Processing Unit). Für die Erkennungsphase R wird das trainierte Modell in der Erkennungseinrichtung 30 als Erkenner bereitgestellt oder implementiert. In einem Schritt S6 kann die Erkennungseinrichtung 30 mittels des Modells die Sensordaten 19 prüfen und das Erkennungsergebnis oder Klassifikationsergebnis als Schadenssignal 31 ausgeben. Die Erkennungseinrichtung 30 führt einen Mustervergleich mit den anhand der Trainingsdaten 19' und den Labeldaten 36 erlernten Mustern 39 durch. Als Sensordaten 19 kann ein beliebiges Bild von einem beliebigen an der Sensoreinrichtung 16 vorbeifahrenden Kraftfahrzeug erfasst werden, falls als Prüfobjekt ein Kraftfahrzeug geprüft werden soll.
Im Schritt S7 wird das Schadenssignal 31 als unmittelbares Ergebnis ausgegeben. In einem Schritt S8 kann ein Feedback oder eine Korrektur eines Benutzers 34 direkt wiederverwendet werden, um das Modell der Erkennungseinrichtung 30 zu verfeinern und erneut zu trainieren, d.h. es kommt zu einem erneuten Training 39'.
Mittels der Prüfvorrichtung 14 können so insbesondere Schäden an einem Kraftfahrzeug (speziell Bordsteinschäden an Felgen oder Dellen im Lack) inspiziert werden. Dieser Prozess kann vollautomatisiert werden und sogar während einer Rollbewegung des Kraftfahrtzeugs durchgeführt werden, sodass das Kraftfahrzeug für die Erkennung des Schadens oder einer Beschädigung nicht angehalten werden muss.
Die Prüfvorrichtung kann die Schadenserkennung mittels Machine Learning (speziell Deep Learning) und neuronalen Netzen durch eine Bildanalyse von Schäden an einem vorbeifahrenden Kraftfahrzeug erkennen. Beim Vorbeifahren wird das Kraftfahrzeug fotografiert. Auf den Bildern wird dann identifiziert, wo zum Beispiel eine Felge oder allgemein ein Bauteil ist und dann geprüft, ob dort eine Beschädigung oder ein Schaden vorliegt.
In vorteilhafter Weise kann hierdurch eine Zeitersparnis zum Beispiel bei einer Fahrzeugrückgabe durchgeführt werden. Durch die automatisierte Erfassung ergibt sich auch eine Vergleichbarkeit der Prüfung. Zudem ergibt sich Kosteneffizienz. Beispielsweise kann eine solche Prüfvorrichtung bei einer Mietwagenfirma eingesetzt werden. Kunden, die einen Mietwagen abholen oder zurückgeben möchten, müssen nicht mehr warten, bis ein Inspekteur kommt. Stattdessen können sie einfach zum Beispiel durch ein Tor hindurch fahren, während hierbei das Kraftfahrzeug inspiziert oder analysiert wird mittels der Prüfvorrichtung 14. Das Schadenssignal 31 oder allgemein das Erkennungsergebnis (also auch die Nachricht, dass kein Schaden vorliegt) kann dann auf ein mobiles Endgerät übertragen werden, sodass der Kunde das Ergebnis sofort einsehen kann. Auch beim Ausfahren mit einem Mietwagen kann noch einmal in Echtzeit der Ist-Zustand automatisch beim Vorbeifahren dokumentiert werden.
Die Trainingsdaten 19' können beispielsweise aus Felgenbildern gebildet werden (mehr als 100, bis zu mehr als 1000). Diese Trainingsdaten 19' werden dann mittels an sich verfügbarer Software manuell gelabelt und mit Attributen versehen, sodass hierdurch die Labeldaten 36 erzeugt werden können. Auch Schäden werden markiert, d.h. in Bildern erkennbare Schadensstrukturen als solche kenntlich gemacht. Für die Schadenshöhe ergibt sich bereits ein Schadenskatalog, wie ihn Hersteller von Kraftfahrzeugen führen.
Die Trainingsdaten 19' mit den Labeldaten 36 können dann mit Deep-Learning (hierzu gibt es verfügbare Software) in einem neuronalen Netz (KNN) oder einer Support Vector Machine (SVM) trainiert werden. Das Ergebnis ist ein Modell oder Algorithmus, der zur Klassifikation von Schadensstrukturen dient und in eine Erkennungseinrichtung 30 implementiert werden kann. Diese Implementierung kann zum Beispiel als sogenannter Docker-Container erfolgen, wodurch die Implementierung besonders effizient ausgestaltet werden kann.
Die Bilddaten können für die Erkennung in Echtzeit in den trainierten Algorithmus der Erkennungseinrichtung 30 zum Beispiel in einen Server 23 geschickt werden. Das Ergebnis geht auch in Echtzeit an die Applikation des mobilen Endgeräts 32. Um eine schnelle Übertragung mit geringer Latenz zu gewährleisten, wird bevorzugt das Nachrichtenprotokoll im MQTT verwendet. Falls ein Benutzer 34 mit Expertenwissen verfügbar ist, kann für diesen an der Bedieneinrichtung 32 die Möglichkeit geschaffen werden, Korrekturdaten 35 zu erzeugen, um das Modell oder den Klassifikator der Erkennungseinrichtung 30 weiter zu verbessern.
Da das Modell (zum Beispiel ein KNN) der Erkennungseinrichtung 30 auf das Erkennen von Bildmustern von Schadenstrukturen trainiert ist, kann die Erkennungseinrichtung 30 auch auf Sensordaten 19 angewendet werden,, in welche nicht dieselben Bauteile, also zum Beispiel Felgen, abgebildet sind. Auch Sensordaten 19, die andere Bauteile zeigen, können dennoch auf dieselben Schadensstrukturen hin geprüft werden, also zum Beispiel auf Kratzer, Dellen oder Risse.
6 zeigt noch einmal zur Veranschaulichung Sensordaten 19', durch die ein Bauteil 11 abgebildet ist, an welchem eine Schadensstruktur 37 markiert ist.
Insgesamt zeigen die Beispiele, wie durch die Erfindung eine automatisierte Schadenserkennung bereitgestellt werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102013218299 A1 [0002]
DE 102013103706 A1 [0004]
DE 102005034637 A1 [0005]

Claims

Verfahren zur Schadenserkennung an einem Prüfobjekt (10), wobei mittels einer Sensoreinrichtung (16) Sensordaten (19) erzeugt werden, während das Prüfobjekt (10) in einem Erfassungsbereich (13) der Sensoreinrichtung (16) angeordnet ist, dadurch gekennzeichnet, dass: - zumindest ein Teil der Sensordaten (19) und/oder daraus erzeugte Merkmalsdaten (28) als Erkennungsdaten (19) an eine Erkennungseinrichtung (30) ausgesendet werden, - mittels der Erkennungseinrichtung (30) in einer Schadenserkennungsstufe anhand der Erkennungsdaten (29) ein orts-unabhängiger Mustervergleich (40) mit zumindest einem Muster (39) einer jeweiligen vorbestimmten Schadensstruktur (37) durchgeführt wird, - falls die Erkennungseinrichtung (30) eine Wiedererkennung eines Musters (39) aus dem zumindest einen Muster (39) signalisiert, ein Schadenssignal (31), welches eine Beschädigung des Prüfobjekts (10) signalisiert, erzeugt wird.
Verfahren nach Anspruch 1, wobei für den ortsunabhängigen Mustervergleich (40) die Schadensderkennungsstufe einen auf das zumindest eine Muster (39) der jeweiligen Schadensstruktur (37) trainierten statistischen Erkenner, der ein künstliches Neuronales Netzwerk (KNN) und/oder eine Support Vector Machine (SVM) und/oder eine Regression aufweist, auf zumindest einige der Erkennungsdaten (29) anwendet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Erkennungseinrichtung (30) in einer Lokalisierungsstufe, die der Schadenserkennungsstufe vorgeschaltet ist, ein vorbestimmtes, zu prüfendes Bauteil (11) des Prüfobjekts (10) erkannt wird und die Schadenserkennungsstufe auf das Bauteil (11) begrenzt angewendet wird.
Verfahren nach Anspruch 3, wobei für das Lokalisieren des Bauteils (11) die Lokalisierungsstufe einen auf das Bauteil (11) trainierten statistischen Erkenner, der ein künstliches Neuronales Netzwerk und/oder eine Support Vector Maschine und/oder eine Regression aufweist, auf zumindest einige der Erkennungsdaten (29) anwendet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Vorverarbeitungseinrichtung (25) in den Sensordaten (19) zumindest ein Abbild von zumindest einem Bereich des Prüfobjekts (10) anhand eines Abbildungskriteriums (26), welches zumindest eine vorbestimmte Abbildungsbedingung (27) vorgibt, auswählt und derjenige Teil der Sensordaten (19), welcher das zumindest eine ausgewählte Abbild enthält, zum Erzeugen der Erkennungsdaten (29) verwendet.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensordaten (19) erzeugt werden, während das Prüfobjekt (10) in dem Erfassungsbereich (13) in Bewegung (12) ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Prüfobjekt (10) mittels einer Lichtquelle (17) angeleuchtet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Schadenssignal (31) zusammen mit den Sensordaten (19), anhand welchen das Schadenssignal (31) erzeugt wurde, an eine Bedieneinrichtung (32) ausgesendet wird und aus der Bedieneinrichtung (32) Rückmeldedaten (35) eines Benutzers (34) empfangen werden und mittels der Rückmeldedaten (35) die Erkennungseinrichtung (30) konfiguriert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sensoreinrichtung (16) die Sensordaten (19) mittels zumindest einer Kamera und/oder zumindest eines Lidars und/oder zumindest eines Laserscanners und/oder zumindest einer 3D-Kamera und/oder mittels zumindest eines Ultraschallsensors und/oder Schwingungssensors zum Erfassen eines Körperschalls und/oder mittels zumindest eines Mikrofons zum Erfassen eines emittierten Luftschalls erfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Merkmalsdaten (28) ein dreidimensionales Modell zumindest eines Abschnitts des Prüfobjekts (10) umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erzeugen der Sensordaten (19) in Abhängigkeit von einem Detektionssignal (18') einer das Prüfobjekt (10) in dem Erfassungsbereich (13) detektierenden Detektionseinrichtung (18) ausgelöst wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels einer der Schadenserkennungsstufe nachgeschalteten Quantifizierungsstufe der Erkennungseinrichtung (30) zumindest eine Eigenschaft der erkannten Beschädigung ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels der Erkennungseinrichtung (30) das Vorhandensein der Beschädigung und/oder ein Schadensart und/oder Schadensabmessung und/oder eine monetäre Schadenshöhe und/oder eine Reparabilität der Beschädigung signalisiert wird.
Prüfvorrichtung (14) zum Erkennen einer Beschädigung an einem Prüfobjekt (10), wobei die Prüfvorrichtung (14) eine Sensoreinrichtung (16) zum Erzeugen von Sensordaten (19) eines Prüfobjekts (10) aufweist, dadurch gekennzeichnet, dass die Prüfvorrichtung (14) eine Prozessoreinrichtung aufweist, die dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.