-
TECHNISCHES GEBIET
-
Die vorliegende Beschreibung betrifft ein Verfahren und ein System zur halbautomatischen Lokalisierung eines Defekts auf einer Werkstückoberfläche.
-
HINTERGRUND
-
Bei der Fertigung eines Werkstücks (z.B. bei der Lackierung, Beschichtung oder anderen Prozessen zur Oberflächenbearbeitung), insbesondere im Automobilbereich, können Defekte auf der Werkstückoberfläche auftauchen, welche erkannt und behoben werden müssen. Vollautomatisierte Verfahren zur Inspektion einer Oberfläche, Detektion von Defekten und anschließenden Behebung der detektierten Defekte sind an sich bekannt. Die Publikation
US 6,714,831 B2 (Ford Motor Company) offenbart zum Beispiel ein Verfahren zur Detektion und Behebung der Defekte auf einem Fahrzeug, bei dem die Fahrzeugoberfläche zunächst mit einem Vision-Scanner (Kamera) elektronisch abgebildet wird. Die 3D-Koordinaten der detektierten Defekte werden basierend auf den gemessenen Bilddaten und mit Hilfe eines CAD-Modells des Fahrzeugs ermittelt. Basierend auf diesen Daten wird dann eine „Reparaturstrategie“ (d.h. ein Programm) für einen Industrieroboter entwickelt, mit der die Defekte mittels robotergestütztem Schleifen und/oder Polieren behoben werden können. Das Ausbessern von lokalen Defekten auf einer (z.B. lackierten) Oberfläche wird meist als „Spot-Repair“ bezeichnet.
-
Die Publikation
DE 10 2015 119 240 B3 beschreibt ein weiteres Verfahren zum automatisierten Erkennen von Defekten in einer Werkstückoberfläche und Erzeugung eines Roboterprogramms zur Bearbeitung des Werkstücks. Dieses Verfahren erlaubt die Erfassung einer dreidimensionalen Topographie eines detektierten Defekts mittels eines optischen Sensors und die automatische Kategorisierung/Gruppierung der Sensoren anhand der ermittelten Topographie. Für jede Kategorie von Defekten sind in einer Datenbank Templates von Roboterprogrammen (Trajektorien) hinterlegt, die für die Bearbeitung eines Defekts einer bestimmten Kategorie verwendet werden können (nachdem das Template ggf. angepasst wurde).
-
Die oben erwähnten Systeme und Verfahren zum automatisierten Lokalisieren und Kategorisieren von Defekten sind vergleichsweise teuer und meist nur in der Massenproduktion bei hohen Stückzahlen wirtschaftlich einsetzbar. Unabhängig davon wird in vielen Bereichen der Industrie bei der Qualitätssicherung z.B. bei der Inspektion lackierter Oberflächen, immer noch auf die Urteilskraft eines erfahrenen Facharbeiters vertraut statt auf ein vollautomatisiertes System. Hinzu kommt noch, dass die automatisierte Defekterkennung mittels Sensoren so genau ist, dass auch seht geringfügige Defekte erkannt werden. Es ist jedoch für bekannte automatisierte Systeme schwer zu entscheiden, ob ein Defekt wirklich so störend ist, dass er ausgebessert werden muss. Derartige Entscheidungen können vom Menschen besser getroffen werden. Das Ausbessern der Defekte soll nichtsdestotrotz mittels Roboter durchgeführt werden, wofür die dreidimensionale Position der (von einer Person der Qualitätskontrolle) identifizierten Oberflächendefekte und ggf. die zugehörige Defektkategorie benötigt werden, um ein geeignetes Roboterprogramm computergestützt erzeugen zu können.
-
Der Erfinder hat es sich zur Aufgabe gemacht, ein System und ein Verfahren zu schaffen, das eine effiziente und rasche Ermittlung von Position und ggf. Kategorie von Oberflächendefekten ermöglicht, nachdem sie von einer Person als solche identifiziert wurden.
-
ZUSAMMENFASSUNG
-
Die oben genannte Aufgabe wird durch ein Verfahren gemäß Anspruch 1 und ein System gemäß Anspruch 10 gelöst. Verschiedene Ausführungsbeispiele und Weiterentwicklungen sind Gegenstand der abhängigen Ansprüche.
-
Es wird ein Verfahren zur halbautomatischen Lokalisierung von Oberflächendefekten beschrieben. Gemäß einem Ausführungsbeispiel umfasst das Verfahren das Zeigen auf einen Defekt einer Werkstückoberfläche mit einer Zeigevorrichtung, welche mehrere Marker aufweist, sowie das optische Erfassen der Zeigevorrichtung mit Hilfe einer Kameraanordnung, welche mehrere Kameras aufweist, und das Bereitstellen von Bilddaten, die von den Kameras erfasst wurden. Das Verfahren umfasst weiter das Berechnen der Raumkoordinaten des Defekts basierend auf den Bilddaten.
-
Des Weiteren wird ein System zur halbautomatischen Lokalisierung von Oberflächendefekten beschrieben. Gemäß einem Ausführungsbeispiel umfasst das System eine Zeigevorrichtung, die mehrere Marker aufweist und die dazu geeignet ist, auf einen Defekt auf einer Werkstückoberfläche zu zeigen. Das System umfasst weiter eine Kameraanordnung, welche mehrere Kameras aufweist und dazu ausgebildet ist, die Zeigevorrichtung optisch zu erfassen und entsprechende Bilddaten bereitzustellen. Das System umfasst des Weiteren eine Recheneinheit, die dazu ausgebildet ist, Raumkoordinaten des Defekts basierend auf den Bilddaten zu berechnen.
-
Figurenliste
-
Die Erfindung wird nachfolgend anhand von den in den Abbildungen dargestellten Beispielen näher erläutert. Die Darstellungen sind nicht zwangsläufig maßstabsgetreu und die Erfindung beschränkt sich nicht nur auf die dargestellten Aspekte. Vielmehr wird Wert darauf gelegt, die der Erfindung zugrunde liegenden Prinzipien darzustellen. Zu den Abbildungen:
- 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Systems zur halbautomatischen Lokalisierung von Defekten auf einer Werkstückoberfläche.
- 2 zeigt ein Beispiel einer Zeigevorrichtung des Systems aus 1.
- 3 zeigt ein weiteres Beispiel einer Zeigevorrichtung des Systems aus 1.
- 4 zeigt ein Flussdiagramm, das ein Beispiel eines Verfahrens zur Lokalisierung eines Defekts auf einer Werkstückoberfläche veranschaulicht.
-
DETAILLIERTE BESCHREIBUNG
-
1 illustriert anhand einer schematischen Darstellung eines Ausführungsbeispiels eines Systems zur Lokalisierung eines Defekts auf einer Werkstückoberfläche 30, beispielsweise einer lackierten Fahrzeugkarosserie. Das System umfasst eine Zeigevorrichtung 10, auf die später noch genauer eingegangen wird, eine Kameraanordnung 21 mit einer Vielzahl (zwei oder mehr, im dargestellten Beispiel vier) von Kameras 21a, 21b, 21c, 21d sowie eine Recheneinheit 40 zur Verarbeitung der von den Kameras 21a, 21b, 21c, und 21d gelieferten Bilddaten. Die Werkstückoberfläche 30 kann eine Vielzahl von Oberflächendefekten 50 aufweisen, wie z.B. Erhebungen (z.B. Lacktropfen), Vertiefungen (Kratzer), etc. Das dargestellte System kann z.B. in einer Prüfzelle eingesetzt werden, in der die Qualitätskontrolle der Oberflächen stattfindet.
-
Die Zeigevorrichtung 10 weist wie erwähnt eine Vielzahl von Markern 11 auf, die an verschiedenen Stellen der Zeigevorrichtung 10 angeordnet sind. Die Lage der einzelnen Marker 11 relativ zueinander und relativ zu anderen Teilen der Zeigevorrichtung 10 ist fix. Die Marker sind so gestaltet, dass sie von den Kameras 21a-d erfasst werden können. Basierend auf den von den Kameras 21a-d gelieferten Bilddaten können die Positionen der Marker 11 im Raum berechnet werden (z.B. von der Recheneinheit 40, siehe 1). Da die Lage der Marker 11 relativ zu den übrigen Teilen der Zeigevorrichtung 10 bekannt ist, kann aus den berechneten Positionen der Marker 11 auch die dreidimensionale Position eines Referenzpunktes P an der Zeigevorrichtung 10 ermittelt werden. Dieser Referenzpunkt P ist z.B. eine Spitze der Zeigevorrichtung 10. Wenn eine Person der Qualitätskontrolle (Benutzer des Systems) bei der Sichtinspektion einen Oberflächendefekt als solchen identifiziert, zeigt er/sie mit der Spitze Zeigevorrichtung 10 auf den jeweiligen Oberflächendefekt. Damit ist mit der dreidimensionalen Position des Referenzpunktes P auch die dreidimensionale Position des betreffenden Oberflächendefekts ermittelt.
-
Die Spitze der Zeigevorrichtung 10 kann z.B. eine kleine Gummikugel aufweisen, welche der Benutzer auf einem Oberflächendefekt platzieren kann. Der Mittelpunkt der Gummikugel kann als Referenzpunkt P der Zeigevorrichtung 10 definiert werden und die mit Hilfe der Marker aus den aufgenommenen Bilddaten ermittelte Position des Referenzpunktes P kann als Position eines Oberflächendefekts in einer Datenbank gespeichert werden.
-
Die Position des Referenzpunktes P kann auch eine Orientierung beinhalten, da man mit der Zeigevorrichtung 10 ja nicht nur die Position eines Oberflächendefekts anzeigen kann. Die Zeigevorrichtung 10 hat ja auch eine gewisse Orientierung im Raum. Wenn der Benutzer die Zeigevorrichtung 10 in ungefähr rechtem Winkel zur Oberfläche hält, dann entspricht die Orientierung der Zeigevorrichtung ungefähr dem Oberflächennormalvektor an der Stelle des Oberflächendefekts. In diesem Fall kann die verallgemeinerte Position (Position des Referenzpunktes plus Orientierung) durch sechs verallgemeinerte Koordinaten (z.B. drei Raumkoordinaten und drei Winkel) definiert sein. Die ermittelte Orientierung der Zeigevorrichtung kann mit Hilfe des CAD-Modells des Werkstücks korrigiert werden. Es sei jedoch angemerkt, dass der Oberflächennormalvektor an der Stelle eines Defekts auch allein aus dem CAD-Modell ermittelt werden kann und eine Ermittlung der Orientierung der Zeigevorrichtung auf Grundlage der von den Kameras 21a-d erfassten Bilddaten nicht unbedingt notwendig ist.
-
Die Marker 11 können eine beliebige Form haben. In dem gezeigten Beispiel sind die Marker 11 kugelförmig ausgebildet. Die Kugelform der Marker kann bei der Bildverarbeitung aufgrund der Kugelsymmetrie Vorteile haben. Die Marker 11 können verschiedene Farben aufweisen, um sie auf den aufgenommenen Bildern leichter voneinander zu unterscheiden. Der Abstand zwischen den Markern 11 ist wie erwähnt fest vorgegeben und bekannt.
-
Die Zeigevorrichtung 10 kann außerdem eine Eingabevorrichtung umfassen, mit der der Benutzer die Erfassung der Zeigevorrichtung 10 und/oder die Messung der Position des Referenzpunktes P (und damit die Ermittlung der Position eines Oberflächendefekts) auslösen kann. Die Eingabevorrichtung kann z.B. ein Taster sein, der an der Zeigevorrichtung 10 angeordnet ist. Es sei jedoch angemerkt, dass die Eingabevorrichtung nicht notwendigerweise ein Teil der Zeigevorrichtung 10 ist, sondern auch eine separate Komponente des Systems. Mit dieser oder einer weiteren Eingabevorrichtung kann der Benutzer zusätzliche Informationen über den Defekt 50 eingeben, insbesondere über die Art und die Größe und/oder Ausdehnung des Defekts. Der Nutzer kann auch selber dem Defekt eine von mehreren vorbestimmten Defektkategorien zuordnen und die Defektkategorie über die Eingabevorrichtung eingeben. Diese Defektkategorie und ggf. weitere Informationen über den Defekt können an die Recheneinheit 40 übertragen und dort z.B. in einer Datenbank zusammen mit der ermittelten Position des betreffenden Defekts gespeichert werden. Die Übertragung kann beispielweise drahtlos erfolgen. Es ist auch möglich, dass die Zeigevorrichtung 10 selbst eine Speichereinheit zur Speicherung der aufgenommen Informationen aufweist.
-
Der Benutzer kann die Zeigevorrichtung 10 mit der Hand positionieren. Die Zeigevorrichtung 10 kann beispielweise ein Element sein, welches der Benutzer in die Hand nehmen kann. Alternativ kann die Zeigevorrichtung ein Kleidungsstück wie z.B. ein Handschuh sein. Beispiele sind in 2 und 3 dargestellt.
-
Im Folgenden wird wieder auf 1 Bezug genommen. Die Kameras 21a-d können an einer festen, bekannten Position angeordnet sein. Alternativ können die Kameras 21a-d schwenkbar oder beweglich in der Prüfzelle angeordnet sein. Die Kameras 21a-d sind jedenfalls so ausgerichtet, dass sie die Zeigevorrichtung 10 aus verschiedenen Blickwinkeln erfassen können. Die Zahl der Kameras ist so gewählt, dass sie gemeinsam die zu inspizierende Werkstückoberfläche erfassen können und damit auch die Zeigevorrichtung 10 zuverlässig erfassen können, egal auf welche Stelle der Werkstückoberfläche der Benutzer mit der Zeigevorrichtung 10 zeigt. Bei der Verwendung von beweglichen Kameras kann die Zahl der Kameras unter Umständen geringer gewählt werden. Bewegliche Kameras bedeuten jedoch erhöhten Aufwand bei der Ermittlung der Position der Kameras, die für die Berechnung der Position des Referenzpunktes der Zeigevorrichtung 10 zusätzlich zu den Bilddaten benötigt werden. In einem einfachen Beispiel dürfte eine einfache stereoskopische Kameraanordnung mit zwei Kameras ausreichen.
-
Die Kameras 21a-d sind mit der Recheneinheit 40 über eine beliebige Kommunikationsverbindung gekoppelt, beispielsweise über eine Ethernet oder WLAN-Verbindung. Die Recheneinheit 40 empfängt die Bilddaten von der Kameraanordnung 21 und berechnet die Raumkoordinaten des Referenzpunktes P der Zeigevorrichtung 10 und damit indirekt die Raumkoordinaten des Defekts 50 basierend auf den Bilddaten sowie basierend auf den bekannten Positionen der Kameras 21a-d und der bekannten Geometrie der Zeigevorrichtung 10. Die Geometrie der Zeigevorrichtung betrifft wie erwähnt insbesondere die Relativpositionen der Marker 11 (relativ) zueinander. Die Recheneinheit 40 kann auch mit der erwähnten Eingabevorrichtung in Verbindung stehen (z.B. ebenfalls eine WLAN-Verbindung) und Benutzereingaben empfangen. Die berechneten Raumkoordinaten von Oberflächendefekten können zusammen mit den den jeweiligen Defekten zugeordneten weiteren Informationen (z.B. vom Benutzer eingegebene Defektkategorie) als Datenbank in einem Speicher 41 der Recheneinheit gespeichert werden. Die Recheneinheit kann ein Personal Computer oder eine Workstation sein. Die Recheneinheit kann auch über eine Cloud-Computing Infrastruktur zur Verfügung gestellt werden. Jegliche Kombination von Hard- und Software, welche geeignet ist, die für die Bilddatenverarbeitung notwendigen Berechnungen durchzuführen, kann als Recheneinheit 40 verwendet werden.
-
Basierend auf den berechneten Raumkoordinaten der (vom Benutzer identifizierten) Defekte und (sofern aufgenommen) den den Defektkoordinaten zugeordneten Informationen über den Defekt (z.B. Defektkategorie, etc.) kann die Recheneinheit 40 oder ein anderes Computersystem automatisiert ein Bearbeitungsprogramm für einen oder mehrere Industrieroboter zur automatisierten Bearbeitung (Spot-Repair) der Oberflächendefekte erstellen. Die Industrieroboter sind mit einem geeigneten Schleif- oder Polierwerkzeug ausgestattet.
-
Mit dem hier beschriebenen halbautomatischen System kann die Erkennung und die Kategorisierung der Defekte durch den Benutzer erfolgen, die eigentliche Erfassung der dreidimensionalen Position der Defekte wird jedoch weitgehend automatisiert und ist so effizient gestaltet, dass am Ende der Inspektion unmittelbar ein Roboterprogramm für die Ausbesserung der identifizierten Oberflächendefekte zur Verfügung gestellt werden kann.
-
Im Folgenden werden einige Aspekte der Zeigevorrichtung 10 noch näher beschrieben. 2 und 3 zeigen zwei verschiedene Ausführungsbeispiele einer Zeigevorrichtung 10 für den Einsatz in dem System aus 1. In dem Beispiel aus 2 ist die Zeigevorrichtung 10 als ein Stift ausgebildet. Der Stift weist einen länglichen Körper 12 auf, an dem an einem Ende eine Spitze 16 gebildet ist, welche die erwähnte Referenzposition P definiert. Der Nutzer kann den Körper 12 des Stiftes mit seiner Hand greifen und mit der Spitze 16 auf den Defekt zeigen, indem er diese auf einen Oberflächendefekt richtet oder diesen damit berührt. Die Spitze kann aus Kunststoff, beispielsweise einem Gummi, oder aus einem anderen Material sein, das auf einer glatten Oberfläche nicht leicht verrutscht.
-
Im dargestellten Beispiel weist der Stift sechs Marker 11 auf, die wie erwähnt kugelförmig sein können. Der Stift weist außerdem zwei kurze Ausleger 18 auf, die von dem langgestrecktem Körper 12 des Stiftes abstehen und die in diesem Beispiel in einer Ebene angeordnet sind, die senkrecht zur Längsachse des Stifts steht. In dem dargestellten Beispiel sind die Ausleger 18 senkrecht zueinander, wobei an den äußeren Enden der Ausleger jeweils ein Marker 11 angeordnet ist. Auch entlang der Längsachse des Stiftkörpers 12 sind zwei Marker 11 angeordnet. Die Ausleger 18 definieren zusammen mit der Längsachse des Stiftes ein Koordinatensystem mit drei Achsen X, Y, Z, wobei auf jeder Achse jeweils zwei kugelförmige Marker 11 angeordnet sind. Der Abstand zwischen den Kugeln 11 ist bekannt. Mit dieser Anordnung der Marker ist eine Erfassung der Marker und die Berechnung der Positionen der Marker und des Referenzpunktes P besonders einfach.
-
Der Stift kann wie in 2 dargestellt eine Eingabevorrichtung aufweisen, die beispielsweise als Taster ausgebildet sein kann (siehe 2, Taster 14). Den Taster 14 kann der Benutzer z.B. mit einem Finger betätigen, um eine Messung der Position des Referenzpunktes P und damit die Erfassung der Raumkoordinaten eines Defektes auszulösen. Der Taster 14 kann auch in die Spitze 16 des Stiftes integriert sein, sodass der Taster 14 betätigt wird, wenn die Spitze 16 des Stiftes gegen die Oberfläche des Werkstücks gedrückt wird.
-
Die Benutzereingabe kann auch eine Spracheingabe sein. In diesem Fall weist die Eingabevorrichtung 14 ein Mikrofon auf. Wie erwähnt muss die Eingabevorrichtung 14 nicht notwendigerweise in die Zeigevorrichtung 10 integriert sein. Das System kann beispielsweise ein Headset mit einem Mikrofon umfassen. Mittels eines Sprachkommandos kann der Benutzer eine Messung auslösen und die zugehörige Defektkategorie eingeben. Das Headset kann auch einen Kopfhörer aufweisen, sodass als Feedback an den Benutzer ein akustisches Signal ausgegeben werden kann, das dem Benutzer signalisiert, dass die Position des Referenzpunktes der Zeigevorrichtung erfolgreich erfasst wurde. Das Mikrofon und der Kopfhörer können beisspielsweise drahtlos (z.B. über eine Bluetooth-Verbindung) mit der Recheneinheit 40 verbunden sein. Der Empfang oder die Durchführung eines Kommandos über die Eingabevorrichtung 14 muss nicht notwendigerweise akustisch quittiert werden. Auch ein optisches Feedback, z.B. mittels einer Leuchtdiode ist möglich.
-
In dem Beispiel aus 3 ist die Zeigevorrichtung 10 als Handschuh 13 ausgebildet. Der Handschuh weist eine Vielzahl von Markern auf. Zur Inspektion der Werkstückoberfläche zieht der Benutzer den Handschuh 13 an und zeigt mit seinem Zeigefinger auf eine Stelle der Werkstückoberfläche, an der er einen Oberflächendefekt identifiziert hat. Der Zeigefinger des Handschuhs hat damit eine ähnliche Funktion wie die Spitze 16 des Stiftes aus 2. Der Handschuh 13 kann als Eingabevorrichtung 14 eine Taste 15 oder einen druckempfindlichen Sensor aufweisen, die/der am vorderen Ende des Zeigefingers des Handschuhs 13 angeordnet ist. Der Benutzer kann dann bei der Inspektion der Oberfläche die Defekte mit seinem (im Handschuh 13 befindlichen) Zeigefinger berühren. Durch Berührung der Oberfläche wird gleichzeitig die Taste 15 betätigt, was wie erwähnt einen Messvorgang auslöst.
-
4 ist ein Flussdiagramm zur Illustration eines Beispiels eines Verfahrens zur halbautomatischen Lokalisierung von Defekten einer Werkstückoberfläche. Das Verfahren umfasst das Zeigen auf einen Defekt einer Werkstückoberfläche mit einer Zeigevorrichtung, welche mehrere Marker aufweist (4, Schritt 101). Die Oberfläche kann von dem Benutzer inspiziert werden und, wenn er einen Defekt entdeckt, zeigt er mit der Zeigevorrichtung auf den betreffenden Defekt auf der Werkstückoberfläche. Zusätzlich können weitere Informationen (z.B. Defektkategorie, etc.) wie oben beschrieben eingegeben werden...
-
Das Verfahren umfasst weiter das optische Erfassen der Zeigevorrichtung mit Hilfe einer Kameraanordnung, welche mehrere Kameras aufweist, und das Bereitstellen von Bilddaten, die von den Kameras erfasst wurden (4, Schritt 102). Das System kann so ausgebildet sein, dass Bilddaten erst dann erzeugt werden, wenn der Benutzer eine entsprechende Benutzereingabe macht (z.B. mittels des Tasters 15, vgl. 3). Das Verfahren umfasst weiter das Berechnen der Raumkoordinaten des jeweiligen Defekts basierend auf den Bilddaten durch die Recheneinheit (4, Schritt 103). Die Bilddaten können z.B. drahtgebunden oder drahtlos an die Recheneinheit übertragen werden (z.B. über eine Ethernet oder Wireless LAN Verbindung). Die Raumkoordinaten repräsentieren eine Position (und ggf. einen Oberflächennormalvektor) des jeweiligen Defekts. Die Raumkoordinaten können in der Recheneinheit gespeichert werden. Wie oben erwähnt können auch Informationen über den Defekt (z.B. die Defektkategorie) über die oben diskutierte Eingabevorrichtung eingegeben und an die Recheneinheit übertragen werden. Diese Informationen können zusammen mit den Raumkoordinaten dem Defekt zugeordnet und in einer Datenbank gespeichert werden. Basierend auf den gemessenen Raumkoordinaten der Defekte und ggf. den diesen zugeordneten weiteren Informationen können dann Bearbeitungsbahnen für einen oder für mehrere Roboter geplant und ein entsprechendes Roboterprogramm erstellt werden. Die Bahnplanung und die Programmgenerierung können mit an sich bekannten Methoden automatisch mittels eines Computers umgesetzt werden. Die Ausbesserung des Defekts bzw. der Defekte erfolgt dann automatisch mittels der entsprechend programmierten Roboter.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 6714831 B2 [0002]
- DE 102015119240 B3 [0003]
