DE102020000581A1

DE102020000581A1 - Vorrichtung und Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern

Info

Publication number: DE102020000581A1
Application number: DE102020000581.0A
Authority: DE
Inventors: wird später genannt werden Erfinder
Original assignee: Individual
Current assignee: Luna Al Systems De GmbH
Priority date: 2020-01-27
Filing date: 2020-01-27
Publication date: 2021-07-29

Abstract

Vorgeschlagen wird ein Verfahren zur Lokalisierung von Oberflächenfehlern und eine Vorrichtung zur Durchführung des Verfahrens, aufweisend einen Bogen mit schwarzem Hintergrund, der ein Fahrzeug umschließt, des Weiteren aufweisend mehrere Kameras, die so ausgerichtet sind, dass ein möglichst hoher Teil der Fahrzeugoberfläche erfasst wird und mehrere Lichtquellen, die die gesamte Oberfläche des Bogens umfassen.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern und eine Vorrichtung zur Durchführung des Verfahrens.
Stand der Technik
Zur optischen Herausstellung von Dellen in Oberflächen insbesondere von Blechen und lackierten Blechen, beispielsweise in der Fahrzeugindustrie, werden häufig Dellenleuchten bzw. Reflexionslampen verwendet. Damit sollen Beulen visuell herausgestellt werden, so dass mit entsprechenden Werkzeugen die Beulen herausgedrückt werden können. Dadurch werden notwendig werdende Spachtelarbeiten erleichtert. Derartige Vorrichtungen werden beispielsweise mit einem Gestell stationär befestigt und in einem bestimmten Winkel ausgerichtet, so dass die Beule für den Bearbeiter gut erkennbar ist. Hierbei kommt es auf die unterschiedliche Reflexion des Lichtes auf dem Blech an, so dass aufgrund der Reflexion des Lichtes die Beule für den Betrachter hervortritt.
Die Dellenreflektoren werden beispielsweise durch einen Saugfuß oder Klemmfuß am Fahrzeug bzw. an einem Blech oder Glaselement des Fahrzeuges befestigt. Mit einem flexiblen Arm wird der Reflektor ausgerichtet, so dass er dauerhaft in einer Stellung verharrt, die es dem Betrachter in optimaler Weise ermöglicht die Beule zu erfassen. Die Dellenreflektoren weisen oftmals ein statisches Streifenmuster auf.
Moderne Optische Messsysteme sind in folgenden Punkten limitiert:

• Können nur matte Oberflächen vermessen/inspizieren (keine spiegelnden)
• Können nur ruhende Objekte vermessen
• Können nur einen limitierten Oberflächenbereich simultan erfassen
• Können nur die Oberflächengeometrie inspizieren (z.B. Beulen/Dellen/Blechunruhe), aber keine feinen Kratzer/Farben/Farbverläufe/Spaltmaße/Reifen- / Felgenmarke
• Es gibt zwar Spalt- und Bündigkeitsmessgeräte, die mit Lasern funktionieren, jedoch können diese dann ausschließlich nur die Spalt- und Bündigkeitsmaße messen.
• Sind aufwendig zu bedienen. Meistens wird ein oder mehrere Messtechniker für die Messung benötigt.
• Sehr anfällig gegenüber schwankenden Lichtverhältnissen

Die US 2017/0132801 A1 beschreibt ein System und Verfahren zur Inspektion von spiegelnden Oberflächen. Die hierin beschriebenen Ausführungsformen beziehen sich auf Systeme und Verfahren zur Inspektion von spiegelnden Oberflächen, die eine inverse Bildgebung mit synthetischer Apertur („ISAI“) und eine Bildgebung mit spiegelnder Oberflächengeometrie („SSGI“) umfassen. Ausführungsformen können es ermöglichen, ein zu prüfendes Objekt zu beobachten, abzubilden und zu bearbeiten, während es sich weiterbewegt. Darüber hinaus können mehrere optische Eingangsquellen vorgesehen werden, so dass das Objekt nicht alle optischen Sensoren auf einmal sehen muss. Weiterhin kann eine mehrstufige Oberflächeninspektion vorgesehen werden, wobei ein zu inspizierendes Objekt an mehreren Stufen eines Inspektionssystems inspiziert werden kann, wie beispielsweise für einen Automobillackierprozess, Inspektion am Primer, Inspektion am Lack oder Inspektion an der Endmontage. SSGI-Bildmodule werden auch für die Durchführung der Mikrodeflektometrie beschrieben.
Nachteilig an den bekannten Vorrichtungen ist, dass damit nur sehr eingeschränkt Oberflächenfehler von Fahrzeugen erkannt werden können. Dies ist insbesondere der Fall, da die Fahrzeugoberflächen in der Regel nicht eben, sondern konvex ausgebildet sind.
Aufgabe der Erfindung ist es daher, ein Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern zur Verfügung zu stellen, die die Inspektion der gesamten optisch wahrnehmbaren Fläche, beispielsweise einer Fahrzeugoberfläche ermöglicht.
Offenbarung der Erfindung
Die Erfindung wird durch die Merkmale des Hauptanspruchs offenbart. Ausführungsformen und Weiterbildungen sind Gegenstand der sich an den Hauptanspruch anschließenden weiteren Ansprüche.
Es wird ein Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern insbesondere bei Fahrzeugen offenbart.
Oberflächenschäden können sein:

• Leichter Kratzer (kann poliert werden)
• Tiefer Kratzer (muss neu lackiert werden)
• Eingeschlossene Partikel im Lack (z.B. Staub)

Oberflächengeometrieschäden können sein:

• Beulen/Dellen
• Blechunruhe
• Allgemeiner Fehler in der Fahrzeugoberflächengeometrie

Dabei werden folgende, lediglich beispielhaft und nicht abschließend aufgeführte Fahrzeugeigenschaften „Attribute“ genannt:

• Spaltmaße IO/NIO (insbesondere Position der Zierleisten)
• Montierte Felgen/Reifen Kombination korrekt/inkorrekt
• Lackfarbe korrekt/inkorrekt
• Lackfarbenverlauf homogen/inhomogen
• Beliebig viele weitere optisch wahrnehmbare Attribute eines Fahrzeuges

Ziel ist es, die gesamte optisch wahrnehmbare Fahrzeugoberfläche zu inspizieren. Dazu benötigt werden:

• Ein Bogen mit schwarzem Hintergrund, der das Fahrzeug umschließt. Der schwarze Hintergrund dient zur Elimination von sich spiegelnden Objekten im Lack.
• Mehrere Kameras, die so ausgerichtet sind, dass ein möglichst hoher Teil der Fahrzeugoberfläche erfasst werden kann. Im Optimalfall wird ein Setup noch um weitere horizontal angewinkelte Kameras ergänzt, um auch die Vorder- und Rückseite zu erfassen.
• Polarisationsfilter für die Kameras. Dies dient ebenfalls der Elimination von sich spiegelnden Objekten im Lack und zur optischen Hervorhebung von Oberflächenschäden.
• Polarisationsfilter für die Lichtquelle, beispielsweise eine beschichtete Folie oder Scheibe.
• Mehrere Lichtquellen, die im Optimalfall die gesamte Oberfläche des Bogens umfassen. Lichtquellen können sein: Eine Matrix aus LED's oder ein Display. Ist das Display oder die LED-Matrix ausgeschaltet, erscheint sie schwarz, wie ein handelsüblicher Fernseher, um unerwünschte Spiegelungen zu vermeiden. Im Optimalfall besteht die Lichtquelle nicht aus fünf einzelnen Modulen, sondern aus einem durchgängigen, gebogenen Modul.

Ist die Lichtquelle nicht ausreichend hell, z.B. falls der Kunde auch sehr feine Kratzer erkennen möchte, kann sie durch LED-Leuchtstoffröhren ergänzt werden, welche sich rechts und links neben der Lichtquelle befinden, also an den Rändern des Bogens. Alternativ können auch LED's mit mehr Lumen verwendet werden.

• Ein lokal installierter Computer, welcher die Bilder der Kameras empfängt, auswertet und den Output berechnet.
• Ein leistungsstarker Computer, auf dem das Neuronale Netzwerk (genau: RCNN) trainiert wird.
• Optional: Kreuzlinien-Laser zur Berechnung des Einfallswinkels/Reflexionswinkels von verschiedenen Einfallsslot's, um die benötigte Breite des Hintergrundes zu berechnen.

Aufbau des Setups
Ziel ist es, das Setup möglichst kompakt zu halten. Da Fahrzeugoberflächen in der Regel nicht eben, sondern konvex sind, und daher verschiedene Spiegelungen aufweisen, ist die Berechnung der erforderlichen Breite des Hintergrundes notwendig.
Diese kann z.B. mit einem Kreuzlinien-Laser berechnet werden. Es ist erstrebenswert, dass sich keine fremden Objekte im Lack spiegeln wie z.B. Menschen, andere Maschinen etc. um die Auswertung der Bilder zu vereinfachen.
Die benötigte Breite des Hintergrundes kann variieren und hängt vom Konvexitätsgrad des Fahrzeugmodells ab. Die Breite des Setups kann daher je nach Fahrzeugmodell/Fahrzeugmodelle variieren. Es besteht der Trend, mehrere unterschiedliche Fahrzeugmodelle auf dem gleichen Band zu montieren. Ist dies der Fall, sollte die Breite des Hintergrundes an den „Worst Case“ angepasst werden. Nachdem das Setup aufgebaut und angepasst wurde, wird der Kreuzlinien-Laser nicht mehr benötigt.
Wird das Licht, welches die zu untersuchende Oberfläche belichtet polarisiert und wird ein weiterer Polarisationsfilter vor dem Kameraobjektiv angebracht, kann auf den schwarzen Hintergrund verzichtet werden. Dieser ist dann nicht mehr notwendig, um sich spiegelnde Objekte im Lack zu eliminieren. Trifft polarisiertes Licht auf eine spiegelnde Oberfläche wie z.B. einen Metallic-Lack, ist dessen Reflexion ebenfalls polarisiert und kann daher mit einem weiteren Polarisationsfilter, z.B. vor dem Kameraobjektiv, herausgefiltert werden. Befindet sich nun ein Oberflächenschaden auf der zu untersuchenden Oberfläche, ist die Reflexion genau an dieser Stelle nicht mehr polarisiert und tritt durch den Polarisationsfilter der Kamera nun stark hervor.
Da die gesamte Fahrzeugoberfläche erfasst werden soll, erfolgt der Aufbau des Setups als Bogen. Unter dem Bogen ist das Band angeordnet, auf dem das Fahrzeug steht. Die Kameras werden so ausgerichtet, dass sich die Bilder leicht überschneiden (nur wenige mm/cm) um sicherzustellen, dass tatsächlich die gesamte Oberfläche erfasst wird.
Die Helligkeit der Lichtquelle sollte so eingestellt werden, dass möglichst nur relevante Oberflächenschäden sichtbar werden. Relevante Oberflächenschäden sind üblicherweise unter Tageslichtverhältnissen mit dem menschlichen Auge wahrnehmbar. Mikrokratzer oder ähnliches sollten nicht als Oberflächenschaden klassifiziert werden. Die erfassten Bilder sollten weder unter- noch überbelichtet sein.
Erfassung der Bilder
Um die Präzision zu erhöhen, werden mehrere Bilder des gleichen Bildausschnitts unter verschiedenen Lichtverhältnissen und unterschiedlichen Hintergrundmustern hintereinander geschossen. Es wird jedes Bild einzeln durch das RCNN ausgewertet. Anschließend werden die Bilder übereinandergelegt. Ist ein Oberflächenschaden erkannt worden, wird ebenfalls dessen Position geschätzt und abgespeichert.
Im Optimalfall beinhaltet das übereinandergelegte Bild alle erkannten Oberflächenschäden und eine möglichst geringe Lichtreflexion, die herausgerechnet werden kann. Beispielsweise nehme man die rechte Seite des Bildes, welches von Links belichtet wurde und die linke Seite des Bildes, welches von rechts belichtet wurde.
Ein beispielhafter Ablauf kann folgendermaßen erfolgen: Belichtung von links -> Bild -> Belichtung von rechts -> Bild -> Belichtung von rechts und links -> Bild -> LED-Matrix zeigt horizontales Streifenmuster -> Bild -> LED-Matrix zeigt vertikales Streifenmuster -> Bild.
Anschließend werden die übereinandergelegten Bilder der einzelnen Kameraperspektiven zusammengeführt und bilden nun ein Bildstreifen der Fahrzeugoberfläche. Die sich überlappenden Bildausschnitte werden dabei herausgerechnet bzw. übereinandergelegt.
Die Belichtung von Links/Rechts dient zur Erkennung von Oberflächenschäden. Die Belichtung durch das Streifenmuster dient zur Inspektion der Oberflächengeometrie. Da die Streifen sich in der Fahrzeugoberfläche spiegeln, wobei ca. 99% aller Neuwagen aktuell einen Metallic-Lack aufweisen, sieht die Kamera das Muster im Lack. Tritt eine außergewöhnliche Verschiebung des Streifenmusters auf, kann daraus geschlossen werden, dass genau an dieser Stelle ein Fehler in der Oberflächengeometrie existiert. Ist die Fahrzeugoberfläche nicht spiegelnd, sondern matt, sollte anstatt einer LED-Matrix ein Projektor verwendet werden, welcher das Streifenmuster auf die Oberfläche projiziert.
Die Erfassung der einzelnen Bilder erfolgt möglichst schnell hintereinander. Der Vorgang sollte nur wenige Millisekunden dauern. Dies ist durch die Nutzung von LED-Technik möglich.
Sobald das Fahrzeug eine bestimmte Strecke zurückgelegt hat, nachfolgend „X-Vector“ genannt, erfolgt die Aufnahme des nächsten Bildstreifens, bis die gesamte Fahrzeugoberfläche erfasst wurde. Dies erfolgt exklusive Front und Heck, diese werden aktuell zwecks Einfachheit vernachlässigt. Hat das Fahrzeug den Bogen passiert, werden alle Bildstreifen zusammengeführt. Die sich überlappenden Bildausschnitte werden dabei erneut herausgerechnet bzw. übereinandergelegt. Das Resultat entspricht dann dem final vereinigten Bild, welches einen möglichst hohen Teil der Fahrzeugoberfläche abdecken sollte.
Es ist zu beachten, dass es unter Umständen Sinn macht, dass nicht jeder Bildstreifen die gleiche Breite hat. An kritischen Stellen, z.B. ganz vorne oder ganz hinten vom Fahrzeug, könnte es von Vorteil sein, die Bilder in schmaleren Streifen zu erfassen. Dies würde ermöglichen, dass wirklich nur der schwarze Hintergrund bzw. das Streifenmuster in der Spiegelung zu sehen ist und keine fremden Objekte.
Die Erfassung des X-Vectors kann entweder ebenfalls optisch anhand von einprogrammierten Referenzpunkten, z.B. der B-Säule, erfolgen oder die Geschwindigkeit des Bandes wird direkt ausgelesen.
Wird ein fehlerhaftes Attribut, ein Oberflächenschaden oder Fahrzeuggeometriefehler erkannt, wird es im final vereinigten Bild markiert und kann dem Qualitätsprüfer auf einem Gerät mit Display, z.B. Laptop, Tablet, Smartphone, angezeigt werden.
Auswertung der Bilder
Die Auswertung der Bilder erfolgt über ein neuronales Netzwerk, genannt: RCNN (Recurrent Convolution Neural Network). Es ist davon auszugehen das die Präzision der Auswertung mit dem Datensatz steigt. RCNN sind neuronale Netzwerke, welche effizient Objekte und deren Position in einem Bild erkennen können, während CNN (Convolution Neural Network) dafür ausgelegt sind, Bilder zu klassifizieren.
Erstellen des Trainings- Datensets
Jedes neuronale Netzwerk benötigt ein Trainingsdatenset, welches aus Bildern und Labels besteht. Beispielsweise wird sich die Performance der Kratzererkennung mit jedem erkannten Kratzer verbessern. Ein „kleines“ Datenset wird bereits vor Installation des Setups (100) im Labor erstellt, um den Anfang zu erleichtern. Ist eine ausreichend große Bildermenge hinzugekommen, wird das bereits bestehende RCNN erneut trainiert (= „re-training“). Beispielsweise könnte das RCNN alle 100 Fahrzeuge auf diese Weise aktualisiert und verbessert werden. Das Training sollte auf einem leistungsstarken Computer stattfinden. Sobald das Training abgeschlossen ist, kann das fertige Modell, also das trainierte RCNN, auf einen leistungsschwächeren und vor Ort installierten Computer exportiert werden.
Lokalisierung der Fehlerobjekte
Jeder größere Autohersteller hat CAD Modelle seiner Fahrzeuge, wobei jede Zeichnung ein dreidimensionales Koordinatensystem aufweist. Der Punkt 0;0;0 ist standardmäßig genau die Mitte der Vorderachse. Für den Hersteller kann es ein erheblicher Mehrwert sein, die exakten Koordinaten des Oberflächenschadens auslesen zu können. Dies würde es ermöglichen, den Fehler im nächsten Schritt maschinell zu entfernen. Dies kann beispielsweise durch einen Roboterarm mit einer Poliermaschine erfolgen.
Nachfolgend ist mit „realer Distanz“ die tatsächliche physische Distanz zweier Punkte zueinander gemeint. Mit „virtuelle Distanz“ ist die Distanz auf dem Foto in Pixel gemeint.
Als erstes werden optische Referenzpunkte definiert. Diese können leicht optisch erkannt werden. Außerdem sind die exakten Koordinaten der einzelnen Referenzpunkte bekannt und deren reale Distanz zueinander.
Wird nun ein Oberflächenschaden oder Fahrzeuggeometriefehler erkannt, wird nach den zwei nächstgelegensten Referenzpunkten gesucht. Sind diese erkannt, wird die virtuelle Distanz zwischen ihnen in Z-Richtung berechnet. Da die reale Distanz der beiden Referenzpunkte bekannt ist, kann nun abgeschätzt werden, in welchem Verhältnis virtuelle Distanz und reale Distanz zueinander stehen. Als nächstes wird die virtuelle Distanz in Z-Richtung zwischen dem nächstgelegenen Referenzpunkt und dem Oberflächenschaden berechnet. Diese wird nun um das zuvor berechnete Verhältnis bereinigt, um die reale Distanz in Z Richtung zwischen Referenzpunkt und Oberflächenschaden zu schätzen.
Da nun eine Schätzung der realen Distanz in Z-Richtung zwischen Referenzpunkt und Oberflächenschaden bekannt ist, kann die Z-Koordinate des Oberflächenschadens ebenfalls geschätzt werden.
Anschließend wird die X-Koordinate des Oberflächenschadens analog geschätzt. Da nun die X- und Z-Koordinaten bekannt sind und der Oberflächenschaden auf der Fahrzeugoberfläche ist, kann mit Hilfe des CAD's ebenfalls die Y-Koordinate geschätzt werden. Dadurch wird eine ausreichend genaue Schätzung der Koordinaten des Kratzers erzielt. Es ist anzumerken, dass dieser Rechenweg noch verbessert werden könnte, in dem man die Konvexität der Oberfläche mit einberechnet und einen „Konvexitäts-Koeffizienten“ für jeden Punkt am Fahrzeug mit einfließen lässt. Dies kann beispielsweise dann erfolgen, wenn sich der Kratzer genau auf einer Kante befindet.
Automatische Korrektur des Fehlers
Es wird vorliegend davon ausgegangen, dass nun ein leichter Kratzer erkannt wurde und dessen X;Y;Z Position mit hinreichender Genauigkeit abgeschätzt wurde. Das System könnte nun ein Signal geben, dass das Fahrzeug nicht auslieferungsbereit ist, der Fehler jedoch durch einfaches Polieren behoben werden kann. Im nächsten Bandabschnitt würde ein Roboterarm stehen. Das Band hält an, sobald eine Lichtschranke passiert wurde. Der Roboter kennt nun die exakte Position des Fahrzeuges, so wie die geschätzten Koordinaten des Kratzers. Der Kopf des Roboters besteht nun aus einem Laser Pointer, einer Kamera und einer Poliermaschine mit Drucksensor. Zuerst bewegt sich der Roboter zur geschätzten Position des Kratzers. Anschließend erkennt die Kamera den Kratzer und den Laser Punkt auf der Fahrzeugoberfläche. Da die Schätzung wahrscheinlich nicht 100% korrekt ist, korrigiert der Roboterarm nun die Position, bis sich der Laser Punkt exakt über dem Kratzer befindet und beginnt dann den Poliervorgang. Nachdem der Poliervorgang abgeschlossen ist, fährt der Roboter zurück, schaltet den Laser Pointer aus und verifiziert mit Hilfe der Kamera, ob der Kratzer auch tatsächlich erfolgreich herauspoliert wurde. Ist dies der Fall, läuft das Band normal weiter und das Fahrzeug kann als auslieferungsbereit markiert werden. Wird nach dem Polieren immer noch ein Fehler erkannt, wird das Fahrzeug als nicht auslieferungsbereit markiert und muss zusätzlich zur „menschlichen Nacharbeit“. Die Markierung erfolgt elektronisch über einen RFID Chip, der bereits standardmäßig in jedem Auto auf dem Band montiert ist und Informationen über das Fahrzeug speichert.
Zu erwähnen ist, dass die Soll-Attribute, wie z.B. Soll-Felgenmarke, ebenfalls auf diese Weise ausgelesen werden können.
Ein schematisches Ablaufdiagramm ist wie folgt zum Aufbau des Setup angegeben:

a. Trainieren des neuronalen Netzwerks RCNN mit Labor-Datensatz auf einem leistungsfähigen Computer
b. Exportieren des trainierten RCNN auf einen lokalen Computer
c. Berechnen der erforderlichen Breite des Bogens.
d. Berechnen, wie viele Kameras benötigt werden um einen kompletten Bildstreifen des Fahrzeugs aufzunehmen.
e. Berechnen, wie breit die einzelnen Bildstreifen sein sollten. Dies muss möglicherweise für verschiedene Fahrzeugmodelle berechnet werden, falls mehrere Fahrzeuge auf einem Band montiert werden.
f. Mit dem Kunden klären, welche Attribute erfasst/geprüft werden sollen und wie sensibel das System arbeiten soll.

Die Funktion wird folgendermaßen erläutert:

g. Ermitteln des Fahrzeugtyps, falls mehrere unterschiedliche Modelle auf demselben Band montiert werden
h. Auslesen der Soll Attribute eines fahrzeugspezifischen RFID Chips
i. Auswerten jedes Bildes der Matrix (=generiert Datensatz der Ist-Attribute und Datensatz von möglichen Oberflächenschäden).
j. Übereinanderlegen der einzelnen Bilder
k. Koordinaten schätzen und abspeichern, falls ein Oberflächenschaden oder ein Oberflächengeometrieschaden erkannt wird
I. Zusammenfügen der Bilder
m. Generieren des final vereinigten Bildes
n. Abspeichern aller Fehler auf dem fahrzeugspezifischen RFID Chip und/oder in einer Cloud. Falls ein Oberflächenschaden oder ein Oberflächengeometrieschaden vorhanden ist, wird die Position (X:Y:Z Koordinaten) ebenfalls gespeichert o. Konvertieren des final vereinigten Bildes in ein nutzerfreundliches Abbild des Ist-Fahrzeuges
p. Anzeigen des Abbildes auf einem Gerät mit Display (z.B. Laptop, Tablet, Smartphone) für den Qualitätsprüfer

Falls sich im nächsten Bandabschnitt ein Polier- Roboter (nachfolgend „Roboter“ genannt) befindet:

q. Falls ein Attribut besteht, welches „einfach behoben werden kann“, wie z.B. ein leichter Kratzer, wird ein Signal an den nächsten Bandabschnitt gesendet, wo der Roboter steht
r. Informationen über Fehlerattribut und geschätzte Koordinaten werden an den Roboter übertragen
s. Der Roboter schwenkt mit dem Kopf vor die geschätzten Koordinaten des Oberflächenfehlers
t. Der Roboter korrigiert mit Hilfe der Kamera und Laser seine Position und setzt zum Polieren an
u. Der Roboter poliert die Fehlerstelle und fährt ein Stück zurück
v. Der Roboter verifiziert, dass Oberflächenfehler tatsächlich behoben wurde, z.B. mit Hilfe der Kamera und einem kleinen Computer, auf dem dasselbe RCNN ausgeführt wird, zur Fehlererkennung
w. Falls ein leichter Fehler erfolgreich behoben wurde und keine weiteren Ist-Attribute von den Soll-Attributen abweichen, kann das Fahrzeug als „auslieferungsbereit“ markiert werden, ist dies nicht der Fall, wird das Fahrzeug als „nicht auslieferungsbereit“ markiert und durchläuft zusätzlich den Schritt der „menschlichen Nacharbeit“.

Die erfindungsgemäße Vorrichtung hat dabei den Vorteil, dass sie alle genannten Anforderungen erfüllen kann und keine aufwendige Bedienung erfordert. Daher können viel mehr Fahrzeuge inspiziert werden.
Weitere Vorteile und vorteilhafte Ausgestaltungen der Erfindung sind der nachfolgenden Figurenbeschreibung, den Zeichnungen und den Ansprüchen entnehmbar.
Nachfolgend wird ein Ausführungsbeispiel der erfindungsgemäßen Lösung anhand der beigefügten schematischen Zeichnungen näher erläutert. Es zeigt:

1 zeigt ein Fahrzeug mit einem dieses Fahrzeug umgebenden Bogen in einer Vorderansicht,
2 zeigt mehrere Bilder des gleichen Bildausschnitts in der Draufsicht,
3 stellt übereinandergelegte Bilder der einzelnen Kamera als Bildstreifen in der Draufsicht dar,
4 zeigt schematisch die Aufnahme von Bildstreifen und die Erfassung der Fahrzeugoberfläche,
5 zeigt horizontale Streifenmuster und deren Invertierung,
6 zeigt vertikale Streifenmuster und deren Invertierung,
7 zeigt die Schätzung der Fahrzeugkoordinaten in Z Richtung,
8 zeigt die Schätzung der Fahrzeugkoordinaten in X Richtung und
9 zeigt die Reflexion von polarisiertem Licht an einer spiegelnden Oberfläche mit Oberflächenschaden.

Fig. 1 zeigt:

• Einen Bogen 101 mit schwarzem Hintergrund, der das Fahrzeug umschließt; der schwarze Hintergrund dient zur Elimination von sich spiegelnden Objekten im Lack.
• Mehrere Kameras 102, die so ausgerichtet sind, dass ein möglichst hoher Teil der Fahrzeugoberfläche erfasst werden kann. Im Optimalfall wird das Setup 100 noch um weitere horizontal angewinkelte Kameras ergänzt, um auch die Vorder- und Rückseite zu erfassen.
• Mehrere Lichtquellen, die im Optimalfall die gesamte Oberfläche des Bogens umfassen. Lichtquellen können sein: Eine Matrix aus LED's oder ein Display 103. Ist das Display/die LED-Matrix ausgeschaltet, erscheint sie schwarz, wie ein handelsüblicher Fernseher, um unerwünschte Spiegelungen zu vermeiden. Im Optimalfall besteht die Lichtquelle nicht aus fünf einzelnen Modulen wie in 1 dargestellt, sondern aus einem durchgängigen, gebogenen Modul.

Ist die Lichtquelle 103 nicht ausreichend hell, z.B. falls der Kunde auch sehr feine Kratzer erkennen möchte, kann sie durch LED-Leuchtstoffröhren ergänzt werden, welche sich rechts und links neben der Lichtquelle 103 befinden, also an den Rändern des Bogens. Alternativ können auch LED's mit mehr Lumen verwendet werden.

• Einen lokal installierten Computer 104, welcher die Bilder der Kameras empfängt, auswertet und den Output berechnet.
• Einen leistungsstarken Computer 105, auf dem das neuronale Netzwerk (genau: RCNN) trainiert wird.
• Optional: Kreuzlinien Laser zur Berechnung des Einfallswinkels/Reflexionswinkels von verschiedenen Einfallsslot's, um die benötigte Breite des Hintergrundes zu berechnen.

2 zeigt mehrere Bilder des gleichen Bildausschnitts in der Draufsicht.
Um die Präzision zu erhöhen, werden mehrere Bilder 114 des gleichen Bildausschnitts unter verschiedenen Lichtverhältnissen 111, z.B. eine Leuchtstoffröhre, die von der Seite in den Bogen hinein scheint, und unterschiedlichen Hintergrundmustern 140 hintereinander geschossen. Es wird jedes Bild einzeln durch das RCNN ausgewertet. Anschließend werden die Bilder 114 übereinandergelegt 110. Ist ein Oberflächenschaden 112, z.B. ein Kratzer, erkannt worden, wird ebenfalls dessen Position geschätzt 150 und abgespeichert.
Im Optimalfall beinhaltet das übereinandergelegte Bild 118 alle erkannten Oberflächenschäden 112 und eine möglichst geringe Lichtreflexion, die herausgerechnet werden kann. Beispielsweise nehme man die rechte Seite des Bildes, welches von links belichtet wurde und die linke Seite des Bildes, welches von rechts belichtet wurde.
3 zeigt übereinandergelegte Bilder der einzelnen Bildausschnitte als Bildstreifen.
Anschließend an die Ausführungen zu 2 werden die übereinandergelegten Bilder 118 der einzelnen Kameraperspektiven zusammengeführt und bilden nun einen Bildstreifen 122 der Fahrzeugoberfläche. Die sich überlappenden Bildausschnitte 121 werden dabei herausgerechnet bzw. übereinandergelegt.
Die Belichtung von Links/Rechts dient zur Erkennung von Oberflächenschäden 112. Die Belichtung durch das Streifenmuster dient zur Inspektion der Oberflächengeometrie. Da die Streifen sich in der Fahrzeugoberfläche spiegeln (ca. 99% aller Neuwagen haben aktuell einen Metallic-Lack), sieht die Kamera das Muster im Lack.
4 zeigt schematisch die Aufnahme von Bildstreifen und die Erfassung der Fahrzeugoberfläche.
Sobald das Fahrzeug eine bestimmte Strecke zurückgelegt hat, nachfolgend „X-Vector“ genannt, erfolgt die Aufnahme des nächsten Bildstreifens 122, bis die gesamte Fahrzeugoberfläche erfasst wurde. Dies erfolgt exklusive Front und Heck, diese werden aktuell zwecks Einfachheit vernachlässigt. Hat das Fahrzeug den Bogen passiert, werden alle Bildstreifen 122 zusammengeführt. Die sich überlappenden Bildausschnitte 121 werden dabei erneut herausgerechnet bzw. übereinandergelegt. Das Resultat entspricht dann dem final vereinigten Bild 131, welches einen möglichst hohen Teil der Fahrzeugoberfläche abdecken sollte.
Es ist zu beachten, dass es unter Umständen Sinn macht, dass nicht jeder Bildstreifen 122 die gleiche Breite hat. An kritischen Stellen, z.B. ganz vorne oder ganz hinten vom Fahrzeug, könnte es von Vorteil sein, die Bilder in schmaleren Streifen zu erfassen. Dies hätte zur Folge, dass wirklich nur der schwarze Hintergrund bzw. das Streifenmuster in der Spiegelung zu sehen ist und keine fremden Objekte.
Die Erfassung des X-Vektors kann entweder ebenfalls optisch anhand von einprogrammierten Referenzpunkten, z.B. der B-Säule, erfolgen oder die Geschwindigkeit des Bandes wird direkt ausgelesen.
Wird ein fehlerhaftes Attribut, ein Oberflächenschaden 112 oder Oberflächengeometrieschaden 113, zum Beispiel eine Delle, erkannt, wird es im final vereinigten Bild 131 markiert und kann dem Qualitätsprüfer auf einem Gerät mit Display, z.B. Laptop, Tablet, Smartphone, angezeigt werden.
5 stellt die Invertierung von Lichtstreifen dar. Der Bereich, in dem die LED's der Matrix 103 eingeschaltet sind 141, und der Bereich, in dem die LED's ausgeschaltet sind 142, sowie der Bereich, in dem die LED-Matrix horizontale Streifenmuster 143 aufweist, und auf der zweiten Ansicht der Bereich, in dem die LED-Matrix invertierte horizontale Streifenmuster 144 zeigt, sind dargestellt.
6 zeigt ein vertikales Streifenmuster 145 sowie ein invertiertes vertikales Streifenmuster 146.
7 zeigt die Schätzung der Fahrzeugkoordinaten in Z Richtung. Es werden Koordinaten geschätzt 150 und abgespeichert, falls mindestens ein Oberflächenschaden 112, oder beispielsweise ein Oberflächengeometrieschaden 113, erkannt wird. Es sind zwei optische Referenzpunkte 151 mit bekannten Fahrzeugkoordinaten angegeben. Des Weiteren sind imaginäre Hilfslinien 152 mit bekannten Z-Koordinaten dargestellt, welche die optischen Referenzpunkte 151 schneiden. Zudem ist eine Imaginäre Hilfslinie in X-Richtung 154 dargestellt, die einen Oberflächenschaden schneidet. Es ist die virtuelle Z-Distanz zwischen dem am nächsten gelegenen Referenzpunkt und dem Oberflächenschaden abgebildet 158, so wie die virtuelle Z-Distanz zwischen den beiden Optischen Referenzpunkten 156.
8 zeigt die Schätzung der Fahrzeugkoordinaten in X Richtung. Analog zu 7 sind zwei optische Referenzpunkte 151 mit bekannten Fahrzeugkoordinaten angegeben. Des Weiteren sind imaginäre Hilfslinien 153 mit bekannten X-Koordinaten dargestellt, welche die optischen Referenzpunkte schneiden. Zudem ist eine Imaginäre Hilfslinie in Z-Richtung 155 dargestellt, die einen Oberflächenschaden schneidet. Es ist die virtuelle X-Distanz zwischen dem am nächsten gelegenen Referenzpunkt und dem Oberflächenschaden abgebildet 159, so wie die virtuelle X-Distanz zwischen den beiden Optischen Referenzpunkten 157.
9 zeigt die Reflexion von polarisiertem Licht 164 an einer spiegelnden Oberfläche 161 mit Oberflächenschaden 113. Wird die Lichtquelle 103 mit einem Polarisationsfilter 162 ausgestattet, beispielsweise durch eine speziell beschichtete Folie oder Scheibe, werden die abstrahlenden Lichtwellen der Lichtquelle polarisiert.
Trifft polarisiertes Licht 164 auf eine spiegelnde Oberfläche 161 wie z.B. einen Metallic-Lack ist dessen Reflexion ebenfalls Polarisiert und kann daher mit einem weiteren Polarisationsfilter 163, z.B. vor dem Kameraobjektiv, herausgefiltert werden. Befindet sich nun ein Oberflächenschaden auf der zu untersuchenden Oberfläche 161 ist die Reflexion genau an dieser Stelle nichtmehr Polarisiert 165 und tritt durch den Polarisationsfilter der Kamera 163 nun stark hervor.
Ein schematisches Ablaufdiagramm wird wie folgt zum Aufbau des Setup 100 angegeben:

a) Trainieren des neuronalen Netzwerks RCNN mit Labor-Datensatz auf einem leistungsfähigen Computer 105
b) Exportieren des trainierten RCNN auf einen lokalen Computer 104
c) Berechnen der erforderlichen Breite des Bogens.
d) Berechnen, wie viele Kameras 102 benötigt werden, um einen kompletten Bildstreifen 122 des Fahrzeugs aufzunehmen.
e) Berechnen, wie breit die einzelnen Bildstreifen 122 sein sollten. Dies muss möglicherweise für verschiedene Fahrzeugmodelle berechnet werden, falls mehrere Fahrzeuge auf einem Band montiert werden.
f) Mit dem Kunden klären welche Attribute erfasst/geprüft werden sollen und wie sensibel das System arbeiten soll.

Die Funktion wird folgendermaßen erläutert:

g) Ermitteln des Fahrzeugtyps (falls mehrere unterschiedliche Modelle auf demselben Band montiert werden)
h) Auslesen der Soll Attribute eines fahrzeugspezifischen RFID Chips
i) Auswerten jedes Bildes der Matrix (=generiert Datensatz der Ist-Attribute und Datensatz von möglichen Oberflächenschäden).
j) Übereinanderlegen der einzelnen Bilder 110
k) Koordinaten schätzen 150 und abspeichern, falls ein Oberflächenschaden 112 oder ein Oberflächengeometrieschaden 113 erkannt wird
l) Zusammenfügen der Bilder 120
m) Generieren des final vereinigten Bildes 130
n) Abspeichern aller Fehler auf dem fahrzeugspezifischen RFID Chip und/oder in einer Cloud. Falls ein Oberflächenschaden 112 oder ein Oberflächengeometrieschaden 113 vorhanden ist wird die Position (X:Y:Z Koordinaten) ebenfalls gespeichert
o) Konvertieren des final vereinigten Bildes 131 in ein nutzerfreundliches Abbild des Ist-Fahrzeuges
p) Anzeigen des Abbildes auf einem Gerät mit Display (z.B. Laptop, Tablet, Smartphone) für den Qualitätsprüfer

q) Falls Attribut besteht, welches „einfach behoben werden kann“, wie z.B. ein leichter Kratzer, wird ein Signal an den nächsten Bandabschnitt gesendet, wo der Roboter steht
r) Informationen über Fehlerattribut und geschätzte Koordinaten werden an den Roboter übertragen
s) Roboter schwenkt mit Kopf vor die geschätzten Koordinaten des Oberflächenfehlers
t) Roboter korrigiert mit Hilfe der Kamera und Laser seine Position und setzt zum Polieren an
u) Roboter poliert die Fehlerstelle und fährt ein Stück zurück
v) Roboter verifiziert, dass Oberflächenfehler tatsächlich behoben wurde (mit Hilfe der Kamera und einem kleinen Computer, auf dem dasselbe RCNN ausgeführt wird wie zur Fehlererkennung)
w) Falls ein leichter Fehler erfolgreich behoben wurde und keine weiteren Ist-Attribute von den Soll-Attributen abweichen, kann das Fahrzeug als auslieferungsbereit markiert werden, ist dies nicht der Fall, wird das Fahrzeug als „nicht auslieferungsbereit“ markiert und durchläuft zusätzlich den Schritt der „menschlichen Nacharbeit“.

Alle in der Beschreibung, den nachfolgenden Ansprüchen und den Zeichnungen dargestellten Merkmale können sowohl einzeln als auch in beliebiger Kombination miteinander erfindungswesentlich sein.
Bezugszeichenliste

100: Setup
101: Bogen/schwarzer Hintergrund
102: Kamera
103: LED-Matrix
104: Lokaler Computer
105: Leistungsstarker Computer
106: Band/Montageband
110: Prinzip: Vereinigung verschiedener Bilder des gleichen Bildausschnittes unter verschiedenen Lichtverhältnissen
111: Spiegelung der Lichtquelle im Lack
112: Oberflächenschaden
113: Oberflächengeometrieschaden
114: Bild von Kamera (roh) (LED-Matrix ausgeschaltet = Hintergrund schwarz)
115: Bild von Kamera (roh) mit reflektiertem horizontalem Streifenmuster (LED-Matrix leuchtet in horizontalem Streifenmuster)
116: Bild von Kamera (Roh) mit reflektiertem vertikalem Streifenmuster (LED-Matrix leuchtet in vertikalem Streifenmuster)
117: Bild zeigt Streifen in abnormaler Form (Streifen gekrümmt)
118: Zusammengeführtes Bild (zeigt einen Bildausschnitt, detektierte Fehler der einzelnen Bilder sind alle enthalten, Lichtreflexionen sind herausgefiltert)
120: Prinzip: Füge Bilder 118 zusammen, so dass ein Kompletter Bildstreifen der Fahrzeugoberfläche entsteht. Überlappende Bildausschnitte werden herausgerechnet
121: Überlappender Bildausschnitt
122: Kompletter Bildstreifen
130: Prinzip: Füge einzelne Bildstreifen zusammen, sich überlappende Bildausschnitte werden herausgerechnet
131: Final vereinigtes Bild, dies zeigt nun die gesamte Fahrzeugoberfläche mit allen erkannten Schäden
140: Prinzip: Invertierung der Lichtstreifen
141: Bereich, in dem die LED's eingeschaltet sind
142: Bereich, in dem die LED's ausgeschaltet sind
143: LED-Matrix zeigt ein horizontales Streifenmuster
144: LED-Matrix zeigt ein horizontales Streifenmuster invertiert
145: LED-Matrix zeigt ein vertikales Streifenmuster
146: LED-Matrix zeigt ein vertikales Streifenmuster invertiert
150: Prinzip: Approximation der Fahrzeugkoordinaten des Oberflächenschadens
151: Optischer Referenzpunkt mit bekannten Fahrzeugkoordinaten
152: Imaginäre Hilfslinie mit bekannter Z-Koordinate, schneidet optischen Referenzpunkt
153: Imaginäre Hilfslinie mit bekannter X-Koordinate, schneidet optischen Referenzpunkt
154: Imaginäre Hilfslinie Z-Richtung, schneidet Oberflächenschaden
155: Imaginäre Hilfslinie X-Richtung, schneidet Oberflächenschaden
156: Bekannte Z-Distanz zwischen beiden Referenzpunkten
157: Bekannte X-Distanz zwischen beiden Referenzpunkten
158: Geschätzte Z-Distanz zwischen am nächsten gelegenen Referenzpunkt und Oberflächenschaden
159: Geschätzte X-Distanz zwischen am nächsten gelegenen Referenzpunkt und Oberflächenschaden
160: Prinzip: Anwendung von Polarisationsfiltern zwecks Elimination von unerwünschten Spiegelungen und Hervorhebung von Oberflächenschäden
161: Spiegelnde Oberfläche/Fahrzeugoberfläche mit Metallic-Lack
162: Polarisationsfilter für die Lichtquelle
163: Polarisationsfilter für die Kamera
164: Polarisierte Lichtwelle
165: Nicht polarisierte Lichtwelle

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2017/0132801 A1 [0005]

Claims

Vorrichtung zur Durchführung eines Verfahrens zur Identifikation und Lokalisierung von Oberflächenfehlern eines Fahrzeugs mit einer Fahrzeugoberfläche, dadurch gekennzeichnet, dass die Vorrichtung einen Bogen mit schwarzem Hintergrund, der das Fahrzeug umschließt, sowie des Weiteren mehrere Kameras, die so ausgerichtet sind, dass ein möglichst hoher Teil der Fahrzeugoberfläche erfasst wird, und mehrere Lichtquellen, die die gesamte Oberfläche des Bogens umfassen, aufweist.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der schwarze Hintergrund des Bogens zu einer virtuellen Eliminierung von sich spiegelnden Objekten in einer lackierten Oberfläche des Fahrzeugs ausgebildet ist.
Vorrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass weitere Kameras horizontal angewinkelt angeordnet sind, um eine Vorder- und/oder Rückseite der Oberfläche des Fahrzeugs zu erfassen.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lichtquelle aus einer Matrix aus LED's oder einem Display ausgebildet ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lichtquelle aus einem durchgängigen, gebogenen Modul ausgebildet ist.
Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine, mehrere oder alle Lichtquellen mit einem Polarisationsfilter ausgestattet sind.
Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine, mehrere oder alle Kameras mit einem Polarisationsfilter ausgestattet sind.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein lokal installierter Computer, der dazu ausgebildet ist, die Bilder der Kameras zu empfangen, auszuwerten und den Output zu berechnen, sowie ein leistungsstarker Computer, auf dem ein neuronales Netzwerk trainierbar ist, angeordnet sind.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswertung der von den Kameras aufgenommenen Bilder über ein neuronales Netzwerk erfolgt.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mehrere Bilder des gleichen Bildausschnitts unter verschiedenen Lichtverhältnissen und unterschiedlichen Hintergrundmustern hintereinander aufgenommen, ausgewertet und übereinandergelegt sind.
Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern eines Fahrzeugs, umfassend folgende Schritte: a. Trainieren des RCNN mit Labor-Datensatz auf einem leistungsfähigen Computer b. Exportieren des Trainierten RCNN auf einen lokalen Computer c. Berechnen der erforderlichen Breite eines Bogens d. Berechnen, wie viele Kameras benötigt werden, um einen kompletten Bildstreifen des Fahrzeugs aufzunehmen e. Berechnen, wie breit einzelne Bildstreifen sein sollten f. Klären und angeben, welche Attribute erfasst werden sollen und wie sensibel das System arbeiten soll g. Ermitteln des Fahrzeugtyps, falls mehrere unterschiedliche Modelle auf demselben Band montiert werden h. Auslesen der Soll-Attribute eines fahrzeugspezifischen RFID Chips i. Auswerten jedes Bildes der Matrix j. Übereinanderlegen der einzelnen Bilder k. Schätzen und Abspeichern von Koordinaten, wenn ein Oberflächenschaden erkannt wird I. Zusammenfügen der Bilder m. Generieren eines final vereinigten Bildes n. Abspeichern aller Fehler auf einem fahrzeugspezifischen RFID Chip und/oder in einer Cloud o. Konvertieren des final vereinigten Bildes in ein nutzerfreundliches Abbild des Ist-Fahrzeuges p. Anzeigen des Abbildes auf einem Gerät mit Display für eine Qualitätsprüfung
Verfahren nach Anspruch 11 mit folgenden Schritten: q. Senden eines Signals an einen Bandabschnitt, an dem ein Roboter angeordnet ist r. Formatieren über ein Fehlerattribut und Übertragen von geschätzten Koordinaten an den Roboter s. Schwenken mit dem Kopf des vor die geschätzten Koordinaten des Oberflächenfehlers t. Korrigieren mit Hilfe der Kamera und Laser der Position des Roboters und Ansetzen zum Polieren u. Polieren der Fehlerstelle und Zurückfahren v. Verifizieren durch den Roboter, dass der Oberflächenfehler behoben wurde w. Markierung bei erfolgreicher Behebung eines leichten Fehlers und bei einem Nicht-Abweichen von Soll- und Ist-Attributen des Fahrzeugs als „auslieferungsbereit“ oder bei nicht erfolgreicher Behebung als „nicht auslieferungsbereit“ und dann Durchlaufen des Schritts einer Nachbearbeitung.