-
Die vorliegende Erfindung betrifft Systeme bzw. Verfahren zum Prüfen eines Objekts, vorzugsweise eines Bauteils oder einer Baugruppe.
-
In vielen produzierenden Unternehmen werden täglich Bauteile oder Baugruppen in großer Anzahl hergestellt. Während die Prozesse entlang der Produktlinie oft automatisiert ablaufen, wird die Qualitätskontrolle der Bauteile oder Baugruppen aber meistens durch Menschen durchgeführt. Die manuelle Qualitätskontrolle ist einerseits ineffizient und mit einem großen zeitlichen Aufwand verbunden und birgt andererseits ein Fehlerpotenzial, da die Beurteilung der Qualität durch unterschiedliche Personen inkonsistent sein kann. Außerdem können durch Müdigkeit oder Ablenkung Fehler übersehen werden.
-
Es ist daher Aufgabe der vorliegenden Erfindung, eine automatisierte Lösung für die Qualitätskontrolle anzubieten, welche die vorstehend genannten Nachteile der manuellen Qualitätskontrolle adressiert.
-
Gemäß einem ersten Aspekt der Erfindung wird die Aufgabe gelöst durch ein System zum Prüfen eines Objekts, umfassend: wenigstens einen Tiefensensor, welcher dafür eingerichtet ist, das Objekt abzutasten, um eine 3D-Ist-Punktwolke des Objekts zu generieren; wenigstens eine 2D-Kamera, welche dafür eingerichtet ist, ein 2D-Ist-Bild des Objekts aufzunehmen, wobei die Pose der 2D-Kamera relativ zu dem Tiefensensor bekannt ist; eine Recheneinheit, welche dafür eingerichtet ist, mit dem Tiefensensor und der 2D-Kamera in Kommunikation zu stehen und die Pose des Objekts relativ zu einem 3D-Soll-Modell oder zu einem Referenzobjekt durch ein Alignment zwischen der 3D-Ist-Punktwolke und einer 3D-Soll-Punktwolke des Objekts zu bestimmen; wobei die 3D-Soll-Punktwolke aus dem 3D-Soll-Modell des Objekts oder durch eine Abtastung des Referenzobjekts mit einem Tiefensensor generiert ist, wobei die Recheneinheit ferner dafür eingerichtet ist, das 3D-Soll-Modell oder die 3D-Soll-Punktwolke entsprechend der bestimmten Pose des Objekts zu positionieren und aus Sicht der 2D-Kamera auf ein 2D-Soll-Bild zu projizieren, wobei die Recheneinheit ferner dafür eingerichtet ist, ein bestimmtes Merkmal des Objekts aus dem 2D-Soll-Bild des Objekts zu detektieren und einen Soll-Ist-Abgleich zwischen dem detektierten Merkmal aus dem 2D-Ist-Bild und einem entsprechenden Merkmal aus dem 2D-Soll-Bild durchzuführen.
-
In der vorliegenden Anmeldung versteht man unter einem Tiefensensor einen Sensor oder eine Sensorgruppe, der oder die dafür eingerichtet ist, ein Objekt abzutasten und darauf basierend eine 3D-Punktwolke des Objekts zu generieren. Der Tiefensensor ist vorzugsweise eine Tiefenkamera und basiert vorzugsweise auf dem Laufzeitverfahren „Time-of-Flight"(ToF). Das System kann einen oder mehrere Tiefensensoren umfassen, wobei die Posen der einzelnen Tiefensensoren bekannt sind. Unter „Pose“ oder „räumliche Lage“ versteht man die Kombination von Position und Orientierung eines Objekts im dreidimensionalen Raum. Durch eine Abtastung des zu prüfenden Objekts mit den einen oder mehreren Tiefensensoren können eine 3D-Ist-Punktwolke des Objekts generiert werden, wobei die Abtastergebnisse der einzelnen Tiefensensoren zu der 3D-Ist-Punktwolke fusioniert werden können, wobei die Posen der einzelnen Tiefensensoren relativ zueinander vorzugsweise bekannt sind. Je mehr Tiefensensoren vorhanden sind, die das zu prüfende Objekt aus verschiedenen Perspektiven abtasten, desto vollständiger ist die 3D-Ist-Punktwolke des Objekts. Alternativ kann sich der wenigstens eine Tiefensensor entlang einer vorbestimmten Route bewegen, um an verschiedenen Stellen und aus verschiedenen Perspektiven das Objekt abzutasten, um eine möglichst vollständige 3D-Ist-Punktwolke des Objekts zu generieren.
-
Vorzugsweise ist die Pose des Tiefensensors einstellbar, welcher sechs Freiheitsgrade besitzt. Somit kann der Tiefensensor seine räumliche Lage durch Translationen entlang drei zueinander senkrechten Achsen und Rotationen um die drei Achsen frei verändern.
-
Die Pose der 2D-Kamera ist vorzugsweise ebenfalls einstellbar und besitzt sechs Freiheitsgrade.
-
Die Recheneinheit ist vorzugsweise ein Computer. Alternativ kann die Recheneinheit aus mehreren verteilten Computern und/oder Prozessoren bestehen, die miteinander in Kommunikation stehen. In der Recheneinheit ist ein 3D-Soll-Modell des Objekts abgespeichert, wobei das 3D-Soll-Modell vorzugsweise ein CAD-Modell ist. In der Praxis stehen die CAD-Daten des Soll-Zustands eines Bauteils meistens zur Verfügung. Alternativ kann das 3D-Soll-Modell durch eine Abtastung eines fehlerfreien Referenzobjekts mit einem Tiefensensor oder einem 3D-Scanner generiert werden, wobei eine Punktwolke des Referenzobjekts zunächst durch das 3D-Scanning generiert und anschließend mit einem Algorithmus für die 3D-Oberflächenrekonstruktion wie zum Beispiel dem Poisson-Algorithmus zu einem 3D-Soll-Modell umgewandelt werden kann. Der Poisson-Algorithmus ist ein bekannter Algorithmus für die 3D-Oberflächenrekonstruktion, welcher die verfügbaren Punkte aus der Punktwolke sowie deren Normalen für die Rekonstruktion verwendet und somit ein genaues und rauscharmes 3D-Modell generieren kann.
-
Aus dem 3D-Soll-Modell, welches vorzugsweise ein CAD-Modell ist, wird eine 3D-Soll-Punktwolke generiert. Falls ein 3D-Soll-Modell nicht vorhanden ist, kann die 3D-Soll-Punktwolke alternativ durch eine Abtastung eines Referenzobjekts mit einem oder mehreren Tiefensensoren oder 3D-Scannern generiert werden.
-
Die aufgenommene 3D-Ist-Punktwolke wird mit einer Reihe bekannter Algorithmen im Bereich der Punktwolke-Registrierung in das Koordinatensystem der 3D-Soll-Punktwolke überführt, wobei dieser Prozess hier als Alignment bezeichnet und in zwei Schritten aufgeteilt werden kann, wobei der erste Schritt ein grobes Alignment ist und der zweite Schritt ein feines Alignment ist.
-
Im ersten Schritt des groben Alignments wird davon ausgegangen, dass die 3D-Ist-Punktwolke und die 3D-Soll-Punktwolke beliebig weit voneinander entfernt sind. Somit werden die Punktwolken unabhängig von ihrer initialen Ausrichtung zueinander grob ausgerichtet. Das grobe Alignment erfolgt meist über einen Merkmalvergleich zwischen den Punktwolken, wobei die Punktwolken anhand der korrespondierenden Merkmale bestmöglich zueinander ausgerichtet werden können. Je nachdem, welche Merkmale gewählt werden und welche Ausrichtungsstrategien verwendet werden, unterscheiden sich die einzelnen Verfahren des groben Alignments im Stand der Technik voneinander. In der vorliegenden Erfindung wird vorzugsweise der Algorithmus des Fast-Point-Feature-Histogramms (FPFH) verwendet. Ebenso sind Verfahren mithilfe des Principle-Component-Analysis (PCA) möglich. Zudem können Deep-Learning-Verfahren verwendet werden. Im zweiten Schritt des feinen Alignments wird die grobe Ausrichtung zweier Punktwolken verfeinert bzw. optimiert, wobei die grobe Ausrichtung der Punktwolken als initiale Situation für das feine Alignment vorausgesetzt wird. Vorliegend wird vorzugsweise der bekannte Iterativ-Closest-Point-Algorithmus (ICP) verwendet.
-
Auf Basis des oben beschriebenen Alignments zwischen der 3D-Ist-Punktwolke und der 3D-Soll-Punktwolke kann die Pose des Objekts relativ zu dem 3D-Soll-Modell oder zu dem Referenzobjekt bestimmt werden.
-
Die Recheneinheit ist ferner dafür eingerichtet, das 3D-Soll-Modell oder die 3D-Soll-Punktwolke entsprechend der bestimmten Pose des Objekts zu positionieren und aus Sicht der 2D-Kamera auf ein 2D-Soll-Bild zu projizieren. Das heißt, das 3D-Soll-Modell oder die 3D-Soll-Punktwolke wird derart gedreht und/oder verschoben, dass die Pose des 3D-Soll-Modells oder der 3D-Soll-Punktwolke der Pose des Objekts entspricht. Anschließend erfolgt für jede 2D-Kamera eine Projektion des gedrehten- und/oder verschobenen 3D-Soll-Modells oder der gedrehten- und/oder verschobenen 3D-Soll-Punktwolke auf ein 2D-Soll-Bild auf Basis der Pose der 2D-Kamera.
-
Für die Kontrolle eines bestimmten Merkmals eines Bauteils wie zum Beispiel einer Schweißnaht sind Daten wie zum Beispiel 3D-Koordinaten oder optische Eigenschaften des Merkmals vorzugsweise in dem 3D-Soll-Modell hinterlegt. Da die 3D-Daten des Merkmals bekannt sind, sind die 2D-Daten des projizierten Merkmals auf dem 2D-Ist-Bild ebenfalls bekannt. Das heißt, die Recheneinheit kann auf Basis der hinterlegten Merkmaldaten in dem 3D-Soll-Modell ermitteln, welche Pixel des projizierten 2D-Ist-Bilds die semantische Bedeutung des Merkmals wie z.B. der Schweißnaht haben, oder in anderen Worten, welche Pixel des projizierten 2D-Ist-Bilds dem Merkmal entsprechen sollen.
-
Falls das 3D-Soll-Modell durch eine Abtastung eines Referenzobjekts generiert ist und die Daten über das Merkmal nicht vorher hinterlegt sind, können semantischen Informationen beim Abtasten des Referenzobjekts detektiert und anschließend in die 3D-Soll-Punktwolke übertragen werden. Darauf basierend kann die semantische Bedeutung der einzelnen Pixel auf dem projizierten 2D-Soll-Bild ermittelt werden. Falls semantische Informationen in der 3D-Soll-Punktwolke nicht vorhanden sind, können die semantischen Bedeutung der einzelnen Pixel in dem projizierten 2D-Ist-Bild vorzugsweise mit einem Deep-Learning-Verfahren detektiert werden.
-
Die Recheneinheit ist ferner dafür eingerichtet, das entsprechende Merkmal aus dem aufgenommenen 2D-Ist-Bild zu detektieren. Ist eine pixelgenaue Bestimmung notwendig, so ist dieses Problem als „Image Segmentation“ bekannt, welches vorzugsweise mithilfe eines Deep-Learning-Verfahrens, wie zum Bespiel des Convolutional-Neural-Networks (CNN) oder eines Transformers wie zum Beispiel Perceiver I.O, gelöst werden kann. Ist nur eine grobe Bestimmung notwendig, so sind auch klassische Bildverarbeitungsalgorithmen denkbar, welche die optischen Eigenschaften des Merkmals wie zum Beispiel eine erhöhte Lichtreflexion berücksichtigen.
-
Nachdem das Merkmal aus dem 2D-Ist-Bild detektiert worden ist, wird ein Soll-Ist-Abgleich des Merkmals mit dem entsprechenden Merkmal aus dem 2D-Soll-Bild des Objekts durchgeführt. Je nachdem, ob eine Abweichung zwischen dem 2D-Soll-Bild und dem 2D-Ist-Bild in Bezug auf das Merkmal vorhanden ist und wie groß die Abweichung ist, kann die Recheneinheit beurteilen, ob das zu prüfende Objekt die gewünschte Qualität oder den gewünschten Zustand erreicht oder nicht.
-
In einer bevorzugten Ausführungsform ist die Recheneinheit ferner dafür eingerichtet, einen Unterschied des Merkmals zwischen dem 2D-Ist-Bild und dem 2D-Soll-Bild auf die 3D-Ist-Punktwolke oder auf ein daraus generiertes 3D-Modell zu projizieren und vorzugsweise farblich darzustellen. Durch ein einfaches Lochkameramodell mit eventueller Korrektur für Linsenfehler können das Merkmal aus dem 2D-Ist-Bild auf die gescannte 3D-Ist-Punktwolke oder auf ein daraus generiertes 3D-Modell projiziert werden, wobei die Soll-Ist-Differenzen farblich dargestellt werden können. Somit können die Prüfergebnisse dreidimensional visualisiert werden.
-
Die Lösung nach dem ersten Aspekt der Erfindung hat den Vorteil, dass der Prozess für das Prüfen eines Objekts völlig automatisiert werden kann und somit effizienter ist. Ferner ist das Prüfergebnis konsistenter und fehlerunanfälliger im Vergleich zu einer manuellen Kontrolle.
-
Gemäß einem zweiten Aspekt der Erfindung wird die Aufgabe gelöst durch ein System zum Prüfen eines Objekts, umfassend: wenigstens eine 2D-Kamera, welche dafür eingerichtet ist, wenigstens ein 2D-Ist-Bild des Objekts aufzunehmen; eine Recheneinheit, welche dafür eingerichtet ist, mit der 2D-Kamera in Kommunikation zu stehen und die Pose des Objekts relativ zu einem 3D-Soll-Modell auf Basis des 2D-Ist-Bilds vorzugsweise mit einer Deep-Learning-Methode zu bestimmen; wobei die Recheneinheit ferner dafür eingerichtet ist, das 3D-Soll-Modell des Objekts entsprechend der bestimmten Pose des Objekts zu positionieren und anschließend aus Sicht der 2D-Kamera auf ein 2D-Soll-Bild zu projizieren, wobei die Recheneinheit ferner dafür eingerichtet ist, ein bestimmtes Merkmal des Objekts aus dem 2D-Ist-Bild des Objekts zu detektieren und einen Soll-Ist-Abgleich zwischen dem detektierten Merkmal aus dem 2D-Ist-Bild und einem entsprechenden Merkmal aus dem 2D-Soll-Bild durchzuführen.
-
Im Vergleich zu der Lösung nach dem ersten Aspekt der Erfindung ist im System nach dem zweiten Aspekt der Erfindung kein Tiefensensor vorhanden. Stattdessen erfolgt die Bestimmung der Pose des Objekts auf Basis des wenigstens einen 2D-Ist-Bilds, das durch die wenigstens eine 2D-Kamera aufgenommen wird. Falls nur eine 2D-Kamera vorhanden ist, kann die Recheneinheit mit einem Deep-Learning-Verfahren, beispielsweise mit dem CNN-Verfahren, trainiert werden, um somit die Pose des Objekts zu bestimmen. Falls zwei oder mehr 2D-Kameras vorhanden sind, kann die Pose des Objekts durch geometrische Verfahren wie zum Beispiel die Triangulation bestimmt werden, wobei die Posen der einzelnen 2D-Kameras relativ zueinander bekannt sind. Alternativ kann ein Deep-Learning-Verfahren ebenfalls eingesetzt werden.
-
Mit dem System nach dem zweiten Aspekt der Erfindung kann eine automatisierte, konsistente und fehlerunanfällige Qualitätskontrolle ebenfalls erreicht werden. Ferner ist das System kosteneffizienter, da kein Tiefensensor eingesetzt werden muss.
-
In einer bevorzugten Ausführungsform ist die Recheneinheit ferner dafür eingerichtet, einen Unterschied des Merkmals zwischen dem 2D-Ist-Bild und dem 2D-Soll-Bild auf das 3D-Soll-Modell zu projizieren und vorzugsweise farblich darzustellen. Da kein Tiefensensor vorhanden ist und somit kein 3D-Scanning des Objekts durchgeführt wird, wird der Unterschied des Merkmals aus dem Soll-Ist-Abgleich vorzugsweise auf das 3D-Soll-Modell durch ein Lochkameramodell mit eventueller Korrektur für Linsenfehler sowie ein Korrelationsverfahren projiziert und visualisiert.
-
Gemäß einem dritten Aspekt der Erfindung wird die Aufgabe gelöst durch ein Verfahren zum Prüfen eines Objekts, wobei das Objekt vorzugsweise ein Bauteil oder eine Baugruppe ist, umfassend: Abtasten des Objekts mit mindestens einem Tiefensensor, um eine 3D-Ist-Punktwolke des Objekts zu generieren; Aufnehmen mindestens eines 2D-Ist-Bilds des Objekts mit mindestens einer 2D-Kamera, wobei die Pose der 2D-Kamera relativ zu dem Tiefensensor bekannt ist; Generieren einer 3D-Soll-Punktwolke aus einem 3D-Soll-Modell des Objekts oder durch eine Abtastung eines Referenzobjekts mit einem Tiefensensor; Bestimmen der Pose des Objekts relativ zu dem 3D-Soll-Modell oder zu dem Referenzobjekt durch ein Alignment zwischen der 3D-Ist-Punktwolke und der 3D-Soll-Punktwolke des Objekts; Positionieren des 3D-Soll-Modells oder der 3D-Soll-Punktwolke entsprechend der bestimmten Pose des Objekts; Projizieren des 3D-Soll-Modells oder der 3D-Soll-Punktwolke aus Sicht der 2D-Kamera auf ein 2D-Soll-Bild; Detektieren eines bestimmten Merkmals des Objekts aus dem 2D-Ist-Bild des Objekts; Durchführen eines Soll-Ist-Abgleiches zwischen dem detektierten Merkmal aus dem 2D-Ist-Bild und einem entsprechenden Merkmal aus dem 2D-Soll-Bild.
-
Die Vorteile des Verfahrens nach dem dritten Aspekt der Erfindung ergeben sich jeweils aus den Vorteilen des erfindungsgemäßen Systems nach dem ersten Aspekt der Erfindung.
-
Gemäß einem vierten Aspekt der Erfindung wird die Ausgabe gelöst durch ein Verfahren zum Prüfen eines Objekts, umfassend: Aufnehmen mindestens eines 2D-Ist-Bilds des Objekts mit mindestens einer 2D-Kamera; Bestimmen der Pose des Objekts relativ zu einem 3D-Soll-Modell des Objekts auf Basis des 2D-Ist-Bilds mit einer Deep-Learning-Methode; Positionieren des 3D-Soll-Modells entsprechend der bestimmten Pose des Objekts; Projizieren des 3D-Soll-Modells des Objekts aus Sicht der 2D-Kamera auf ein 2D-Soll-Bild; Detektieren eines bestimmten Merkmals des Objekts aus dem 2D-Ist-Bild des Objekts; Durchführen eines Soll-Ist-Abgleiches zwischen dem detektierten Merkmal aus dem 2D-Ist-Bild und einem entsprechenden Merkmal aus dem 2D-Soll-Bild.
-
Die Vorteile des Verfahrens nach dem vierten Aspekt der Erfindung ergeben sich jeweils aus den Vorteilen des erfindungsgemäßen Systems nach dem zweiten Aspekt der Erfindung.
-
Die Erfindung wird nachfolgend anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 Eine schematische Darstellung eines Ausführungsbeispiels für ein System zum Prüfen eines Bauteils gemäß der Erfindung;
- 2 Ein Flussdiagramm über ein Verfahren zum Prüfen eines Bauteils gemäß des in 1 präsentierten Ausführungsbeispiels;
- 3 Eine schematische Darstellung eines weiteren Ausführungsbeispiels für ein System zum Prüfen eines Bauteils gemäß der Erfindung;
- 4 Ein Flussdiagramm über ein Verfahren zum Prüfen eines Bauteils gemäß des in 3 präsentierten Ausführungsbeispiels;
-
In der in 1 schematisch dargestellten Ausführungsform umfasst das System 10 zum Prüfen eines Objekts 18 einen Tiefensensor 14, wobei der Tiefensensor 14 vorzugsweise eine Tiefenkamera ist, welche beispielsweise durch eine Microsoft-Kinect-Tiefenkamera gebildet ist. Das Objekt 18 ist vorzugsweise ein zu prüfender Bauteil, welcher eine Schweißnaht 20 an einer bestimmten Stelle aufweisen kann. Die Pose des Tiefensensors 14 ist vorzugsweise einstellbar und besitzt vorzugsweise sechs Freiheitsgrade. Somit kann der Tiefensensor 14 seine räumliche Lage durch Translationen in drei voneinander unabhängigen Richtungen und Rotationen um die voneinander unabhängigen Richtungen frei verändern.
-
Das System 10 umfasst ferner eine 2D-Kamera 12 und die Pose der 2D-Kamera 12 relativ zu dem Tiefensensor 14 ist bekannt. Zudem ist die Pose der 2D-Kamera 12 vorzugsweise einstellbar, welche ebenfalls sechs Freiheitsgrade besitzt.
-
Zudem umfasst das System 10 eine Recheneinheit 16, welche vorzugsweise ein Computer ist. Die Recheneinheit 16 steht mit dem Tiefensensor 14 und der 2D-Kamera 12 in Kommunikation, wobei die Kommunikation vorzugsweise via USB- oder Ethernet-Verbindungen erfolgt.
-
In der Recheneinheit 16 ist vorzugsweise ein 3D-Soll-Modell des Objekts abgespeichert, welches vorzugsweise ein CAD-Modell ist.
-
Die System 10 ist eingerichtet, um ein bestimmtes Merkmal des Objekts 18 wie zum Beispiel die in 1 gezeigten Schweißnaht 20 zu kontrollieren, wobei das Kontrollverfahren durch das Flussdiagramm in 2 dargestellt ist.
-
Zunächst einmal wird in Schritt S1 das Objekt 18 mit dem Tiefensensor 14 abgetastet, um eine 3D-Ist-Punktwolke des Objekts 18 zu generieren. Zudem wird in Schritt 2 ein 2D-Ist-Bild mit der 2D-Kamera 12 aufgenommen.
-
In Schritt S3 kann aus dem 3D-Soll-Modell eine 3D-Soll-Punktwolke generiert werden.
Durch ein Alignment zwischen der 3D-Ist-Punktwolke und der 3D-Soll-Punktwolke kann in Schritt S4 die Pose des Objekts 18 relativ zu dem 3D-Soll-Modell bestimmt werden. Das Bestimmen erfolgt vorzugsweise durch bekannte Algorithmen im Bereich der Punktwolke-Registrierung, wobei Schritt S4 in zwei Teilschritte aufgeteilt werden kann, nämlich ein grobes Alignment und ein feines Alignment. Das grobe Alignment erfolgt vorzugsweise mit dem FPFH- oder PCA-Verfahren, während das feine Alignment vorzugswese mit dem ICP-Verfahren erfolgt.
-
Nachdem die Pose des Objekts 18 erkannt ist, wird in Schritt S5 das 3D-Soll-Modell entsprechend der Pose des Objekts 18 neu positioniert. Das heißt, dass das 3D-Soll-Modell derart verschoben und/oder gedreht wird, dass die Pose des 3D-Soll-Modells der Pose des Objekts entspricht.
-
Anschließend wird in Schritt S6 das neu positionierte 3D-Soll-Modell aus Sichtder 2D-Kamera 12 auf ein 2D-Soll-Bild projiziert.
-
Für die Kontrolle der Schweißnaht 20 sind vorzugsweise Daten wie zum Beispiel 3D-Koordinaten oder optische Eigenschaften der Schweißnaht in dem 3D-Soll-Modell hinterlegt. Die Recheneinheit 16 kann auf Basis der hinterlegten Merkmaldaten in dem 3D-Soll-Modell ermitteln, welche Pixel des projizierten 2D-Ist-Bilds der Schweißnaht 20 entsprechen und was für optische Eigenschaften sie aufweisen sollen.
-
In Schritt S7 wird die Schweißnaht 20 aus dem 2D-Ist-Bild detektiert, wobei die Detektion vorzugsweise mit einem bekannten Deep-Learning-Verfahren im Bereich der Bild-Segmentation basieren kann, vorzugsweise mit dem CNN-Verfahren.
-
Ein Soll-Ist-Abgleich zwischen der Schweißnaht aus dem 2D-Ist-Bild und der Schweißnaht aus dem 2D-Soll-Bild wird in Schritt S8 durchgeführt, um beurteilen zu können, ob die Qualität der Schweißnaht die gewünschte Qualität erreicht oder nicht. Bei einer Abweichung kann das entsprechende Personal durch z.B. ein Warnsignal informiert werden.
-
Alternativ oder zusätzlich wird die Abweichung zwischen dem 2D-Ist-Bild und dem 2D-Soll-Bild in Schritt S9 auf die 3D-Ist-Punktwolke oder ein aus der 3D-Punktwolke generiertes 3D-Modell des Objekts 18 projiziert. Die Projektion basiert auf einem Lochkameramodell mit eventueller Korrektur für Linsenfehler. Vorzugsweise wird die projizierte Abweichung auf dem 3D-Soll-Modell farblich visualisiert.
-
Es ist anzumerken, dass der in 2 dargestellte Ablauf nur beispielhaft zu verstehen ist. So können einzelne Verfahrensschritte, wie z. B. die Reihenfolge der Schritte S1 bis S3 geändert werden. Ferner kann auch Schritt S7 mit einer anderen Reihenfolge erfolgen.
-
3 zeigt ein weiteres Ausführungsbeispiel eines Systems 100 zum Prüfen des Objekts 18, welches vorzugsweise ein Bauteil ist. Das System 100 umfasst eine Recheneinheit 116 und zwei 2D-Kameras 112 und 122. Im Vergleich zu dem in 1 gezeigten System 10 umfasst das System 100 keinen Tiefensensor.
-
Die Recheneinheit 116 steht mit jeder 2D-Kamera in Kommunikation, vorzugsweise via USB- oder Ethernet-Verbindungen, wobei die Recheneinheit 116 vorzugsweise ein Computer ist. In der Recheneinheit 116 ist vorzugsweise ein 3D-Soll-Modell des Objekts abgespeichert.
-
Die Pose jeder 2D-Kamera relativ zu der anderen 2D-Kamera ist bekannt, wobei jede 2D-Kamera vorzugsweise sechs Freiheitsgrade aufweist.
-
Die System 100 kontrolliert ein bestimmtes Merkmal des Objekts 18 wie zum Beispiel die Schweißnaht 20 nach dem in 4 gezeigten Flussdiagramm.
-
In Schritt S1' wird ein 2D-Bild durch jede 2D-Kamera 112 und 122 aufgenommen. Da im Vergleich zum in 1 gezeigten Ausführungsbeispiel kein Tiefensensor vorhanden ist, wird die Pose des Objekts relativ zu dem 3D-Soll-Modell in Schritt S2' auf Basis jedes aufgenommenen 2D-Bilds vorzugsweise mit einer Deep-Learning-Methode bestimmt. Da im 3 dargestellten Ausführungsbeispiel zwei 2D-Kameras vorhanden sind, kann die Pose des Objekts alternativ durch Triangulation bestimmt werden. Falls nur eine 2D-Kamera (Monokamera) vorhanden ist, kann die Pose des Objekts ebenfalls mit einer Deep-Learning-Methode ermittelt werden. Die Anzahl der 2D-Kameras ist beliebig erweiterbar.
-
Anschließend wird in Schritt S3' das 3D-Soll-Modell nach der bestimmten Pose des Objekts positioniert. Danach wird in Schritt S4` das neu positionierte 3D-Soll-Modell aus Sicht jeder 2D-Kamera jeweils in ein 2D-Soll-Bild projiziert. Analog zum in 2 gezeigten Schritt S6 kann die Recheneinheit 116 in Schritt S4' auf Basis der im 3D-Soll-Modell hinterlegten semantische Daten die Schweißnaht aus der 2D-Soll-Bild ermitteln.
-
Analog zum in 3 gezeigten Schritt S7 wird in Schritt S5' die Schweißnaht 20 aus dem 2D-Ist-Bild detektiert, wobei die Detektion vorzugsweise mit einem bekannten Deep-Learning-Verfahren im Bereich der Bild-Segmentation basiert, vorzugsweise mit dem CNN-Verfahren.
-
Ein Soll-Ist-Abgleich zwischen der detektierten Schweißnaht aus dem 2D-Ist-Bild und der Schweißnaht aus dem 2D-Soll-Bild wird in Schritt S6' durchgeführt, analog zum in 2 gezeigten Schritt S8.
-
Da kein Tiefensensor vorhanden ist und somit keine Punktwolke des Objekts generiert wird, wird alternativ oder zusätzlich die Abweichung zwischen dem 2D-Ist-Bild und dem 2D-Soll-Bild in Schritt S7' auf das 3D-Soll-Modell projiziert. Die Projektion erfolgt mit einem Lochkameramodell mit eventueller Korrektur für Linsenfehler sowie einem Korrelationsverfahren.
-
Es ist anzumerken, dass der in 4 dargestellte Ablauf ebenfalls nur beispielhaft zu verstehen ist. In anderen Ausführungsformen kann z.B. Schritt S5` mit einer anderen Reihenfolge erfolgen.
-
Es ist ferner anzumerken, dass die vorliegende Erfindung nicht auf die Qualitätskontrolle eines Bauteils oder Baugruppe beschränkt ist. Die Systeme und Verfahren nach der Erfindung können in weiteren Produktions- oder Logistikprozessen wie zum Beispiel der Wareneingangskontrolle oder der Zwischenmontageprüfung ebenfalls eingesetzt werden.
