-
Diese Anmeldung beansprucht die Priorität der chinesischen Anmeldung Nr.
202010493393.X , eingereicht am 3. Juni 2020, deren Gegenstand hier durch Bezugnahme in vollem Umfang enthalten ist.
-
Der vorliegende Gegenstand bezieht sich allgemein auf Produktmontagemaschinen.
-
Überprüfungssysteme werden zum Überprüfen von Teilen oder Produkten während eines Fertigungsprozesses verwendet, um fehlerhafte Teile oder Produkte zu detektieren. Konventionelle Überprüfungssysteme verwenden Personal, um Teile manuell zu überprüfen. Solche manuellen Überprüfungssysteme sind arbeitsintensiv und kostenintensiv. Die manuellen Überprüfungssysteme weisen eine geringe Detektiergenauigkeit auf, was zu einer schlechten Produktkonsistenz führt. Zusätzlich leiden manuelle Überprüfungssysteme unter menschlichen Fehlern aufgrund von Ermüdung, wie beispielsweise übersehene Defekte, falsche Zählungen, falsches Platzieren von Teilen und Ähnliches. Einige bekannte Überprüfungssysteme verwenden die maschinelle Sichtprüfung zur Überprüfung von Teilen oder Produkten. Die Sichtüberprüfungssysteme verwenden Kameras, um die Teile oder Produkte abzubilden. Die Überprüfung mittels Bildverarbeitung kann jedoch sehr zeitaufwändig sein. Hardware und Software für den Betrieb der Bildverarbeitungssysteme zur Überprüfung sind teuer.
-
Das zu lösende Problem besteht darin, ein Sichtüberprüfungssystem für eine Produktmontagemaschine bereitzustellen, das kostengünstig und zuverlässig betrieben werden kann.
-
Dieses Problem wird durch eine Produktmontagemaschine gelöst, die eine Plattform umfasst, die Teile trägt, die so konfiguriert sind, dass sie zur Formgebung eines montierten Produkts zusammengebaut werden, und die das montierte Produkt von einer Montagestation zu einer Überprüfungsstation bewegt. Die Montagestation weist ein Teilemontageelement zum Zusammenbau der Teile zu dem montierten Produkt auf. Die Sichtüberprüfungsstation umfasst eine Abbildungsvorrichtung zum Abbilden des montierten Produkts und eine Sichtüberprüfungssteuerung, die Bilder von der Abbildungsvorrichtung empfängt und die Bilder von der Abbildungsvorrichtung auf Grundlage eines Bildanalysemodells verarbeitet, um Prüfungsergebnisse für das montierte Produkt zu ermitteln. Die Sichtüberprüfungssteuerung weist ein Lernmodul mit künstlicher Intelligenz auf, das betrieben wird, um das Bildanalysemodell auf Grundlage der von der Abbildungsvorrichtung empfangenen Bilder zu aktualisieren.
-
Die Erfindung wird nun beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen gilt:
- 1 ist eine schematische Darstellung einer Produktmontagemaschine zum Zusammensetzen von Produkten aus einer Vielzahl von Teilen, wie beispielsweise ersten Teilen und zweiten Teilen gemäß einer beispielhaften Ausführungsform.
- 2 ist eine Draufsicht auf die Produktmontagemaschine gemäß einer beispielhaften Ausführungsform.
- 3 ist eine perspektivische Seitenansicht der Produktmontagemaschine gemäß einer beispielhaften Ausführungsform.
- 4 veranschaulicht eine Steuerungsarchitektur für die Produktmontagemaschine gemäß einer beispielhaften Ausführungsform.
- 5 ist eine schematische Darstellung der Steuerungsarchitektur für die Produktmontagemaschine gemäß einer beispielhaften Ausführungsform.
- 6 ist ein Flussdiagramm, das ein Verfahren zum Überprüfen von montierten Produkten gemäß einer beispielhaften Ausführungsform zeigt.
-
1 ist eine schematische Darstellung einer Produktmontagemaschine 10 zum Zusammenbau von Produkten 50 aus einer Vielzahl von Teilen, wie beispielsweise ersten Teilen 52 und zweiten Teilen 54. Die Teile 52, 54 werden zur Formgebung der montierten Produkte 50 zusammengefügt. Beispielsweise können die ersten Teile 52 bei der Montage in den zweiten Teilen 54 aufgenommen werden. In einer beispielhaften Ausführungsform umfasst die Produktmontagemaschine 10 eine oder mehrere Montagestationen 20, an denen die verschiedenen Teile zu den montierten Produkten 50 zusammengefügt werden. In verschiedenen Ausführungsformen sind mehrere Montagestationen 20 vorgesehen, um mehrere Teile schrittweise zu montieren. In verschiedenen Ausführungsformen sind die montierten Produkte 50 elektrische Verbinder. Die Teile können zum Beispiel Kontakte, Gehäuse, Leiterplatten oder andere Arten von Teilen zur Formgebung der montierten Produkte 50 umfassen. In verschiedenen Ausführungsformen können die Teile Federn umfassen, wie beispielsweise ringförmige Federn, C-Clips und dergleichen, die in Gehäusen aufgenommen werden. In alternativen Ausführungsformen kann die Maschine 10 zur Herstellung von Fertigungsteilen verwendet werden, die in anderen Branchen zum Einsatz kommen.
-
Die Produktmontagemaschine 10 umfasst eine Überprüfungsstation 100, mit der die verschiedenen montierten Produkte 50 überprüft werden können. Die montierten Produkte 50 werden zwischen der Montagestation 20 und der Überprüfungsstation 100 transportiert. Die Überprüfungsstation 100 dient zur Überprüfung der Qualität der montierten Produkte 50. Die Produktmontagemaschine 10 sortiert fehlerhafte Produkte 50 zur Verschrottung oder weiteren Überprüfung aus, basierend auf den Eingaben der Überprüfungsstation 100. Die akzeptablen montierten Produkte 50, die eine Überprüfung durch die Sichtprüfungsstation 100 aufweisen, werden von der Produktmontagemaschine 10 abtransportiert, beispielsweise in einen Behälter oder eine andere Maschine zur weiteren Montage oder Verarbeitung.
-
Die Produktmontagemaschine 10 umfasst eine Plattform 80, die die Teile 52, 54 und die montierten Produkte 50 zwischen den verschiedenen Stationen trägt. Die Plattform 80 wird beispielsweise verwendet, um das erste Teil 52 und/oder das zweite Teil 54 zur Montagestation 20 zu bewegen, wo die Teile 52, 54 montiert werden. Die Plattform 80 kann Vorrichtungselemente umfassen, die zum Abstützen und Positionieren des Teils 52 und/oder des Teils 54 relativ zur Plattform 80 dienen. Die Plattform 80 wird verwendet, um die montierten Produkte 50 zur Überprüfungsstation 100 zu transportieren. Die Plattform 80 wird verwendet, um die montierten Produkte 50 von der Überprüfungsstation 100 zu einer Produktentnahmestation 30 zu transportieren, wo die montierten Produkte 50 entnommen werden. In einer beispielhaften Ausführungsform kann die Produktentnahmestation 30 verwendet werden, um akzeptable montierte Produkte 50 von fehlerhaften montierten Produkten 50 zu trennen, beispielsweise durch Trennen der montierten Produkte 50 in verschiedene Fächer.
-
Die Überprüfungsstation 100 umfasst eine oder mehrere Abbildungsvorrichtungen 102, die die montierten Produkte 50 auf der Plattform 80 innerhalb eines Sichtfelds der Abbildungsvorrichtung(en) 102 abbilden. Die Sichtüberprüfungsstation 100 umfasst eine Sichtüberprüfungssteuerung 110, die die Bilder von der Abbildungsvorrichtung 102 empfängt und die Bilder verarbeitet, um Prüfungsergebnisse zu ermitteln. Zum Beispiel bestimmt die Sichtüberprüfungssteuerung 110, ob jedes montierte Produkt 50 die Überprüfung besteht oder nicht. Die Sichtüberprüfungssteuerung 110 kann montierte Produkte 50, die fehlerhaft sind, zurückweisen. In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 110 ein Formerkennungswerkzeug, das so konfiguriert ist, dass es die montierten Produkte 50 im Sichtfeld erkennt, beispielsweise die Grenzen der Teile 52, 54 und die relativen Positionen der Teile 52, 54. In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 110 ein Kl-Lernmodul, das verwendet wird, um ein Bildanalysemodell basierend auf den von der Abbildungsvorrichtung 102 empfangenen Bildern zu aktualisieren. Das Bildanalysemodell kann beispielsweise auf Grundlage von Daten des Kl-Lernmoduls aktualisiert werden. Das Bildanalysemodell kann auf Grundlage von Lern- oder Trainingsdaten des Kl-Lernmoduls angepasst werden. Die Sichtüberprüfungssteuerung 110 kann während des Betriebs der Sichtüberprüfungsstation 100 in Echtzeit aktualisiert und trainiert werden.
-
Nachdem die montierten Produkte 50 überprüft wurden, werden die montierten Produkte 50 zur Produktentnahmestation 30 transportiert, wo die montierten Produkte 50 von der Plattform 80 entfernt werden. In einer beispielhaften Ausführungsform kann die Produktentnahmestation 30 verwendet werden, um akzeptable montierte Produkte 50 von fehlerhaften montierten Produkten 50 zu trennen, basierend auf den von der Sichtüberprüfungssteuerung 110 ermittelten Prüfungsergebnissen. Die Produktentnahmestation 30 kann Ejektoren, wie beispielsweise Vakuumejektoren, zum Aufnehmen und Entfernen der montierten Produkte 50 von der Plattform 80 umfassen. Die Produktentnahmestation 30 kann Auswerfer, wie beispielsweise Schieber, zum Entfernen der montierten Produkte 50 von der Plattform 80 umfassen. Die Produktentnahmestation 30 kann einen mehrachsigen Robotermanipulator umfassen, der so konfiguriert ist, dass er die Produkte 50 greifen und von der Plattform 80 abnehmen kann.
-
2 ist eine Draufsicht auf die Produktmontagemaschine 10 gemäß einer beispielhaften Ausführungsform. 3 ist eine perspektivische Seitenansicht der Produktmontagemaschine 10 gemäß einer beispielhaften Ausführungsform. Die Produktmontagemaschine 10 umfasst die Plattform 80, eine Teileladestation 40, die Montagestation 20, die Sichtprüfungsstation 100 und die Produktentnahmestation 30. In einer beispielhaften Ausführungsform kann die Produktmontagemaschine 10 einen Auslösesensor 90 zum Auslösen eines oder mehrerer Vorgänge der Produktmontagemaschine 10 umfassen. Der Auslösesensor 90 kann verwendet werden, um das Vorhandensein des montierten Produkts 50 und/oder der Teile 52, 54 zu erfassen. Der Auslösesensor 90 kann das Timing der Teilebeladung, der Abbildung, der Teileentnahme und dergleichen steuern.
-
Die Plattform 80 umfasst eine Platte 82 mit einer oberen Oberfläche 84, die zum Tragen der Teile 52, 54 und der montierten Produkte 50 verwendet wird. Die Platte 82 kann in verschiedenen Ausführungsformen eine Drehplatte sein, die so konfiguriert ist, dass die Teile 52, 54 und die montierten Produkte 50 zwischen den verschiedenen Stationen gedreht werden. In anderen Ausführungsformen kann die Platte 82 eine andere Art von Platte sein, wie beispielsweise eine Vibrationsplatte, die in Schwingung versetzt wird, um die montierten Produkte 50 vorwärts zu bewegen, oder ein Förderer, der betrieben wird, um die montierten Produkte 50 vorwärts zu bewegen.
-
Die Teileladestation 40 dient zum Laden der Teile 52, 54 auf die Plattform 80, beispielsweise auf die obere Oberfläche 84 der Platte 82. In einer beispielhaften Ausführungsform umfasst die Teileladestation 40 unterschiedliche Teileladevorrichtungen für die verschiedenen Teile 52, 54. Zum Beispiel umfasst die Teileladestation 40 eine erste Teileladevorrichtung 42 zum Laden der ersten Teile 52 und eine zweite Teileladevorrichtung 44 zum Laden der zweiten Teile 54. Die Teileladevorrichtung 42, 44 kann einen Trichter, ein Förderband oder eine andere Art von Zuführvorrichtung umfassen, wie beispielsweise einen mehrachsigen Robotermanipulator, der so konfiguriert ist, dass er die Teile 52, 54 greift und auf der Plattform 80 in Position bringt. Die Teileladevorrichtung 42 und/oder 44 kann im Montageprozess vor der Montagestation 20 angeordnet sein, um die Teile 52, 54 für die Montage relativ zueinander zu positionieren. In verschiedenen Ausführungsformen kann die zweite Teileladevorrichtung 44 an der Montagestation 20 angeordnet sein, um die zweiten Teile 54 in die ersten Teile 52 an der Montagestation 20 zu laden. Die Teile 52, 54 können von der Plattform 80 zwischen den Stationen befördert oder bewegt werden.
-
Die Produktentnahmestation 30 dient zur Entnahme des montierten Produkts 50 von der Plattform 80. In einer beispielhaften Ausführungsform umfasst die Produktentnahmestation 30 unterschiedliche Produktentnahmevorrichtungen. Beispielsweise umfasst die Produktentnahmestation 30 eine erste Produktentnahmevorrichtung 32 zur Entnahme akzeptabler Produkte 50 und eine zweite Produktentnahmevorrichtung 34 zur Entnahme defekter Produkte 50. Die Produktentnahmevorrichtungen 32, 34 können Auswerfer 36 umfassen, wie beispielsweise Vakuumejektoren zum Aufnehmen und Entfernen der montierten Produkte 50 von der Plattform 80. Die Auswerfer 36 können mechanische Schieber sein, wie beispielsweise elektrisch oder pneumatisch betriebene Schieber, zum Entfernen der montierten Produkte 50 von der Plattform 80. Die Produktentnahmevorrichtungen 32, 34 können mehrachsige Robotermanipulatoren umfassen, die so konfiguriert sind, dass sie die Produkte greifen und von der Plattform 80 abnehmen.
-
In einer beispielhaften Ausführungsform umfasst die Überprüfungsstation 100 die Abbildungsvorrichtung 102, eine Linse 104 und eine Beleuchtungsvorrichtung 106, die angrenzend an einen Abbildungsbereich oberhalb der Plattform 80 angeordnet sind, um die Oberseite des montierten Produkts 50 abzubilden. Die Linse 104 wird zur Fokussierung der Bilder verwendet. Die Beleuchtungsvorrichtung 106 steuert die Beleuchtung des montierten Produkts 50 im Abbildungsbereich. Die Abbildungsvorrichtung 102 kann eine Kamera sein, beispielsweise eine Hochgeschwindigkeitskamera. Optional kann die Überprüfungsstation 100 eine zweite Abbildungsvorrichtung 102, eine zweite Linse 104 und eine zweite Beleuchtungsvorrichtung 106 umfassen, beispielsweise unterhalb der Plattform 80, um die Unterseite des montierten Produkts 50 zu überprüfen. Die zweite Abbildungsvorrichtung 102 kann sich an anderen Stellen befinden, um andere Teile des montierten Produkts 50 abzubilden, beispielsweise eine Seite des montierten Produkts 50. In anderen Ausführungsformen kann eine zweite Überprüfungsstation 100 entfernt von der ersten Überprüfungsstation 100 vorgesehen sein, um das montierte Produkt 50 in einem anderen Stadium der Montage zu überprüfen. Eine solche Überprüfungsstation 100 kann beispielsweise zwischen zwei verschiedenen Montagestationen 20 angeordnet sein.
-
In einer beispielhaften Ausführungsform ist die Abbildungsvorrichtung 102 an einem Positionsmanipulator zum Bewegen der Abbildungsvorrichtung 102 relativ zur Plattform 80 befestigt. Der Positionsmanipulator kann ein Arm oder eine Klammer sein, die die Abbildungsvorrichtung 102 trägt. In verschiedenen Ausführungsformen kann der Positionsmanipulator in mehrere Richtungen positionierbar sein, beispielsweise im zwei- oder dreidimensionalen Raum. Der Positionsmanipulator kann automatisch eingestellt werden, beispielsweise durch eine Steuerung, die die Positionierung der Positionsmanipulatoren steuert. Der Positionsmanipulator kann durch ein anderes Steuermodul, wie beispielsweise ein KI-Steuermodul, eingestellt werden. In anderen verschiedenen Ausführungsformen kann der Positionsmanipulator manuell eingestellt werden. Die Position der Abbildungsvorrichtung 102 kann basierend auf den Typen der montierten Produkte 50, die abgebildet werden, eingestellt werden. Wenn beispielsweise eine andere Art von montiertem Produkt 50 abgebildet wird, kann die Abbildungsvorrichtung 102 basierend auf der Art des abzubildenden Teils bewegt werden.
-
Die Abbildungsvorrichtung 102 kommuniziert mit der Sichtüberprüfungssteuerung 110 über die Bildverarbeitungssoftware, um die Daten zu verarbeiten, die Ergebnisse zu analysieren, die Befunde aufzuzeichnen und Entscheidungen auf Grundlage der Informationen zu treffen. Die Sichtüberprüfungssteuerung 110 sorgt für eine konsistente und effiziente Automatisierung der Überprüfung. Die Sichtüberprüfungssteuerung 110 überprüft die Fertigungsqualität der montierten Produkte 50, beispielsweise ob die montierten Produkte 50 akzeptabel oder fehlerhaft sind. Die Sichtüberprüfungssteuerung 110 identifiziert Fehler in den Teilen 52, 54 und/oder dem montierten Produkt 50, wenn diese vorhanden sind. Zum Beispiel kann die Sichtüberprüfungssteuerung 110 feststellen, ob eines der Teile 52, 54 während der Montage beschädigt wurde. Die Sichtüberprüfungssteuerung 110 kann überprüfen, ob die Teile 52, 54 korrekt zusammengebaut sind, beispielsweise ob die Teile 52, 54 in der richtigen Ausrichtung zueinander liegen. Die Sichtüberprüfungssteuerung 110 kann die Ausrichtungen eines oder beider Teile 52, 54 und/oder der montierten Produkte 50 bestimmen. Die Sichtüberprüfungssteuerung 110 ist operativ mit der Produktentnahmestation 30 gekoppelt, um den Betrieb der Produktentnahmestation 30 zu steuern. Die Sichtüberprüfungssteuerung 110 steuert den Betrieb der Produktentnahmestation 30 auf Grundlage der ermittelten Ausrichtung der montierten Produkte 50.
-
Die Sichtüberprüfungssteuerung 110 empfängt die Bilder von der Abbildungsvorrichtung 102 und verarbeitet die Bilder, um Prüfungsergebnisse zu ermitteln. In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 110 einen oder mehrere Prozessoren 180 zur Verarbeitung der Bilder. Die Sichtüberprüfungssteuerung 110 bestimmt, ob das montierte Produkt 50 die Überprüfung besteht oder nicht. Die Sichtüberprüfungssteuerung 110 steuert die Produktentnahmestation 30, um die montierten Produkte 50, wie beispielsweise die akzeptablen Teile und/oder die fehlerhaften Teile, in verschiedene Sammelbehälter (beispielsweise einen Behälter für bestandene Produkte und einen Behälter für fehlerhafte Produkte) zu entnehmen. In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 110 ein Formerkennungswerkzeug 182, das so konfiguriert ist, dass es die montierten Produkte 50 im Sichtfeld erkennt. Das Formerkennungswerkzeug 182 ist in der Lage, das Bild des montierten Produkts 50 zu erkennen und auszuwerten. Das Formerkennungswerkzeug 182 kann verwendet werden, um Kanten, Oberflächen, Begrenzungen und Ähnliches der Teile 52, 54 und des montierten Produkts 50 zu identifizieren. Das Formerkennungswerkzeug 182 kann verwendet werden, um relative Positionen der Teile 52, 54 im montierten Produkt 50 zu identifizieren.
-
Sobald die Bilder empfangen wurden, werden die Bilder auf Grundlage eines Bildanalysemodells verarbeitet. Die Bilder werden mit dem Bildanalysemodell verglichen, um festzustellen, ob das montierte Produkt 50 Fehler aufweist. Das Bildanalysemodell kann ein dreidimensionales Modell sein, das eine Grundstruktur des montierten Produkts 50 definiert, das abgebildet wird. In anderen Ausführungsformen kann das Bildanalysemodell eine Reihe von zweidimensionalen Modellen sein, beispielsweise für jede Abbildungsvorrichtung 102. Das Bildanalysemodell kann auf Bildern von bekannten oder qualitätsgeprüften montierten Produkten 50 basieren, wie beispielsweise während eines Lern- oder Trainingsprozesses. Das Bildanalysemodell kann auf den Konstruktionsspezifikationen des montierten Produkts 50 beruhen. Das Bildanalysemodell kann beispielsweise Konstruktionsparameter für Kanten, Oberflächen und Merkmale des montierten Produkts 50 umfassen. Das Bildanalysemodell kann Toleranzfaktoren für die Parameter umfassen, die eine Abweichung innerhalb der Toleranzfaktoren erlauben. Während der Verarbeitung können die Bilder einzeln verarbeitet oder zu einem digitalen Modell des montierten Produkts 50 kombiniert werden, das dann mit dem Bildanalysemodell verglichen wird. Die Bilder können verarbeitet werden, um Beschädigungen, falsche Ausrichtung, Teilmontage, Vollmontage, Übermontage, Schmutz, Schutt, Beulen, Kratzer oder andere Arten von Defekten zu detektieren. Die Bilder können verarbeitet werden, indem eine Mustererkennung der Bilder auf Grundlage des Bildanalysemodells durchgeführt wird. In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 110 beispielsweise ein Mustererkennungswerkzeug 184, das so konfiguriert ist, dass es Muster oder Merkmale in den Bildern mit Mustern oder Merkmalen im Bildanalysemodell vergleicht. Die Bilder können verarbeitet werden, indem eine Merkmalsextraktion von in den Bildern detektierten Grenzen und Oberflächen durchgeführt und die Grenzen und Oberflächen mit dem Bildanalysemodell verglichen werden. Die Sichtüberprüfungssteuerung 110 kann Linien, Kanten, Brücken, Rillen oder andere Grenzen oder Oberflächen innerhalb des Bildes identifizieren.
-
In einer beispielhaften Ausführungsform kann die Sichtüberprüfungssteuerung 110 eine Vorverarbeitung der Bilddaten durchführen. Zum Beispiel kann die Sichtüberprüfungssteuerung 110 während der Verarbeitung eine Kontrastverbesserung und/oder eine Rauschreduzierung der Bilder durchführen. Die Sichtüberprüfungssteuerung 110 kann während der Verarbeitung eine Bildsegmentierung durchführen. Beispielsweise kann die Sichtüberprüfungssteuerung das Bild auf einen interessierenden Bereich zuschneiden oder Bereiche des Bildes außerhalb des interessierenden Bereichs maskieren und so die Datenmenge reduzieren, die von der Sichtüberprüfungssteuerung 110 verarbeitet wird. Die Sichtüberprüfungssteuerung 110 kann Bereiche von Interesse innerhalb des Bildes zur verbesserten Verarbeitung identifizieren.
-
In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 110 ein Lernmodul 190 für künstliche Intelligenz (KI). Das Kl-Lernmodul 190 verwendet künstliche Intelligenz, um die Sichtüberprüfungssteuerung 110 zu trainieren und die Überprüfungsgenauigkeit der Sichtüberprüfungssteuerung 110 zu verbessern. Das Kl-Lernmodul 190 aktualisiert die Bildanalyse basierend auf den von der Abbildungsvorrichtung 102 empfangenen Bildern. Die Sichtüberprüfungssteuerung 110 wird während des Betriebs der Sichtüberprüfungsstation 100 in Echtzeit aktualisiert und trainiert. Das Kl-Lernmodul 190 der Sichtüberprüfungssteuerung 110 kann in einem Lernmodus operativ sein, um die Sichtüberprüfungssteuerung 110 zu trainieren und das Bildanalysemodell zu entwickeln. Das Bildanalysemodell ändert sich im Laufe der Zeit auf Grundlage von Eingaben des Kl-Lernmoduls 190 (beispielsweise auf Grundlage von Bildern der montierten Produkte 50, die von der Abbildungsvorrichtung 102 aufgenommen wurden). Das Bildanalysemodell kann auf Grundlage von Daten aus dem Kl-Lernmodul aktualisiert werden. Zum Beispiel kann eine vom Bildanalysemodell verwendete Bildbibliothek aktualisiert und für zukünftige Bildanalysen verwendet werden. Das Bildanalysemodul kann ein Formerkennungswerkzeug oder ein Mustererkennungswerkzeug zum Analysieren von Formen, Grenzen oder anderen Merkmalen der zusammengesetzten Produkte 50 im Bild verwenden, und solche Form- oder Mustererkennungswerkzeuge können vom Kl-Lernmodul 190 verwendet werden, um das Kl-Lernmodul zu aktualisieren und zu trainieren, beispielsweise durch Aktualisieren einer vom Kl-Lernmodul 190 verwendeten Bildbibliothek. In verschiedenen alternativen Ausführungsformen kann das Kl-Lernmodul 190 ein von der Sichtüberprüfungssteuerung 108 getrenntes Modul sein und unabhängig von der Sichtüberprüfungssteuerung 110 operativ betrieben werden. Zum Beispiel kann das Kl-Lernmodul 190 separat mit den Abbildungsvorrichtungen 102 oder anderen Komponenten der Maschine gekoppelt sein.
-
In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 110 eine Benutzerschnittstelle 192. Die Benutzerschnittstelle 192 umfasst eine Anzeige 194, beispielsweise einen Monitor. Die Benutzerschnittstelle 192 umfasst einen oder mehrere Eingänge 196, wie beispielsweise eine Tastatur, eine Maus, Tasten und dergleichen. Ein Bediener kann über die Benutzerschnittstelle 192 mit der Sichtüberprüfungssteuerung 110 interagieren.
-
4 veranschaulicht eine Steuerungsarchitektur für die Produktmontagemaschine 10. In einer beispielhaften Ausführungsform umfasst die Produktmontagemaschine 10 eine Maschinensteuerung 200 zum Steuern des Betriebs der verschiedenen Komponenten der Maschine 10. Die Maschinensteuerung 200 kommuniziert mit dem Sichtüberprüfungssystem 100 über ein Netzwerk 202, wie beispielsweise ein TCP/IP-Netzwerk.
-
Das Sichtüberprüfungssystem 100 kann in einem Computer 204 verkörpert sein. Die Sichtüberprüfungssteuerung 110 kann auf dem Computer 204 vorgesehen sein. Das Sichtüberprüfungssystem 100 umfasst ein Kommunikationsmodul 206, das mit dem Netzwerk 202 gekoppelt ist. Die Sichtüberprüfungssteuerung 110 ist kommunikativ mit dem Kommunikationsmodul 206 gekoppelt, um beispielsweise mit der Maschinensteuerung 200 oder einer anderen Komponente zu kommunizieren. Die Abbildungsvorrichtung 102 ist mit dem Sichtüberprüfungssystem 100 gekoppelt. Das Sichtüberprüfungssystem 100 umfasst eine Grafikverarbeitungseinheit (GPU) 208 zur Verarbeitung der Bilder von der Abbildungsvorrichtung 102.
-
Die Maschinensteuerung 200 umfasst ein Kommunikationsmodul 210, das mit dem Netzwerk 202 gekoppelt ist. Die Maschinensteuerung 200 kommuniziert mit der Sichtüberprüfungssteuerung 110 über das Netzwerk 202. Die Maschinensteuerung 200 umfasst ein E/A-Modul 212, das einen Eingang 214 und einen Ausgang 216 aufweist. Der Auslösesensor 90 ist mit dem E/A-Modul 212 gekoppelt. Auslösesignale vom Auslösesensor 90, wie beispielsweise das Vorhandensein eines der Teile 52, 54 und/oder des montierten Produkts 50 (beispielsweise wenn das Teil 52, 54 oder das montierte Produkt den Auslösesensor 90 passiert), werden an den Eingang 214 übertragen. Die Maschinensteuerung 200 gibt ein solches Auslösesignal an die Sichtüberprüfungssteuerung 110 weiter. Die Produktentnahmevorrichtungen 32, 34 sind kommunikativ mit dem Ausgang 216 gekoppelt. Steuersignale zur Steuerung der Produktentnahmevorrichtungen 32, 34 werden über den Ausgang 216 an die Produktentnahmevorrichtungen 32, 34 übertragen. Die Steuersignale für die Produktentnahmevorrichtungen 32, 34 basieren auf den von der Sichtüberprüfungssteuerung 110 ermittelten Prüfungsergebnissen.
-
5 ist eine schematische Darstellung der Steuerungsarchitektur für die Produktmontagemaschine 10. Während des Betriebs der Produktmontagemaschine 10 bei 300 sendet der Auslösesensor 90 ein Auslösesignal an die Maschinensteuerung 200 bei einem Auslöseereignis, beispielsweise wenn das Teil 52, 54 oder das montierte Produkt 50 den Auslösesensor 90 passiert. In einer beispielhaften Ausführungsform dreht die Plattform 80 das montierte Produkt 50 zwischen den Stationen am Auslösesensor 90 vorbei, beispielsweise zur Abbildungsvorrichtung 102. Bei 302 erzeugt die Maschinensteuerung 200 ein Auslösesignal an einem Auslösesignalgenerator 220. In einer beispielhaften Ausführungsform umfasst die Maschinensteuerung 200 einen Teiletracker 222. Bei 304 verfolgt der Teileverfolger 222 das Teil 52, 54 oder das montierte Produkt 50, während das Teil 52, 54 oder das montierte Produkt 50 zwischen den Stationen bewegt (beispielsweise gedreht) wird. Der Teileverfolger 222 kann die Auslösesignale vom Auslösesignalgenerator 220 verwenden, um die Teile 52, 54 oder das montierte Produkt 50 zu verfolgen.
-
Bei 310 empfängt das Sichtüberprüfungssystem 100 das Auslösesignal vom Triggersignalgenerator 220 der Maschinensteuerung 200. Das Sichtüberprüfungssystem 100 steuert den Betrieb der Abbildungsvorrichtung 102 basierend auf den empfangenen Auslösesignalen. Beispielsweise wird das Timing der Bildgebung auf Grundlage der Auslösesignale gesteuert. Bei 312 werden die Bilder von der Sichtüberprüfungssteuerung 110 erfasst. Bei 314 verarbeitet die Sichtüberprüfungssteuerung 110 die Bilder vor, beispielsweise zur Rauschunterdrückung. Zum Beispiel können Bereiche von Interesse identifiziert und die Bilder außerhalb dieser Bereiche beschnitten oder maskiert werden. Die Sichtüberprüfungssteuerung 110 kann eine Kontrastverbesserung und/oder Bildsegmentierung durchführen.
-
Bei 316 verarbeitet die Sichtüberprüfungssteuerung 110 die Bilder, um festzustellen, ob das montierte Produkt 50 die Überprüfung besteht oder nicht. In einer beispielhaften Ausführungsform erkennt die Sichtüberprüfungssteuerung 110 Formen oder Merkmale der montierten Produkte 50 im Sichtfeld, um das Bild des montierten Produkts 50 zu analysieren. Beispielsweise kann das Formerkennungswerkzeug 182 verwendet werden, um Kanten, Oberflächen, Begrenzungen und Ähnliches der Teile 52, 54 und des montierten Produkts 50 zu erkennen, um die relativen Positionen der Teile 52, 54 im montierten Produkt 50 zu identifizieren. In einer beispielhaften Ausführungsform werden die Bilder auf Grundlage eines Bildanalysemodells verarbeitet. Die Bilder werden mit dem Bildanalysemodell verglichen, um festzustellen, ob das montierte Produkt 50 Fehler aufweist. Bei dem Bildanalysemodell kann es sich um ein dreidimensionales Modell handeln, das eine Grundstruktur des abzubildenden montierten Produkts 50 definiert. In anderen Ausführungsformen kann das Bildanalysemodell eine Reihe von zweidimensionalen Modellen sein, beispielsweise für jede Abbildungsvorrichtung 102. Das Bildanalysemodell kann auf Bildern von bekannten oder qualitätsgeprüften montierten Produkten 50 basieren, wie beispielsweise während eines Lern- oder Trainingsprozesses. Das Bildanalysemodell kann auf den Konstruktionsspezifikationen des montierten Produkts 50 beruhen. Das Bildanalysemodell kann beispielsweise Konstruktionsparameter für Kanten, Oberflächen und Merkmale des montierten Produkts 50 umfassen. Das Bildanalysemodell kann Toleranzfaktoren für die Parameter umfassen, die eine Abweichung innerhalb der Toleranzfaktoren erlauben. Während der Verarbeitung können die Bilder einzeln verarbeitet oder zu einem digitalen Modell des montierten Produkts 50 kombiniert werden, das dann mit dem Bildanalysemodell verglichen wird. Die Bilder können verarbeitet werden, indem eine Mustererkennung der Bilder basierend auf dem Bildanalysemodell durchgeführt wird, um Muster oder Merkmale in den Bildern mit Mustern oder Merkmalen im Bildanalysemodell zu vergleichen. Die Bilder können verarbeitet werden, indem eine Merkmalsextraktion von in den Bildern detektierten Grenzen und Oberflächen durchgeführt wird und die Grenzen und Oberflächen mit dem Bildanalysemodell verglichen werden. Die Sichtüberprüfungssteuerung 110 kann Linien, Kanten, Brücken, Rillen oder andere Begrenzungen oder Oberflächen innerhalb des Bildes identifizieren. Die Bilder können verarbeitet werden, um Schäden, falsche Ausrichtung, Teilmontage, Vollmontage, Übermontage, Schmutz, Schutt, Dellen, Kratzer oder andere Arten von Defekten zu detektieren.
-
Bei 318 kann das Sichtüberprüfungssystem 100 optional das verarbeitete Bild an das Kl-Lernmodul 190 übertragen. Die Bilder können von dem KI-Lernmodul 190 verwendet werden, um das Bildanalysemodell zu aktualisieren. Das Kl-Lernmodul 190 kann ein Formerkennungswerkzeug oder ein Mustererkennungswerkzeug zum Analysieren von Formen, Grenzen oder anderen Merkmalen der montierten Produkte 50 in dem Bild verwenden, und solche Form- oder Mustererkennungswerkzeuge können von dem Kl-Lernmodul 190 verwendet werden, um das Kl-Lernmodul zu aktualisieren und zu trainieren, beispielsweise durch Aktualisieren einer von dem Kl-Lernmodul 190 verwendeten Bildbibliothek.
-
Bei 320 bestimmt die Sichtüberprüfungssteuerung 110 Prüfungsergebnisse und erzeugt eine Prüfungsergebnisausgabe. Die Prüfungsergebnisse basieren auf dem Bildanalysemodell. In verschiedenen Ausführungsformen kann es sich bei der Ausgabe des Prüfungsergebnisses um Pass/Fail-Prüfergebnisse handeln. Beispielsweise kann die Ausgabe des Prüfungsergebnisses „bestanden“ lauten, wenn die Sichtüberprüfungssteuerung 110 feststellt, dass das montierte Produkt 50 akzeptabel ist, oder die Ausgabe des Prüfungsergebnisses kann „nicht bestanden“ lauten, wenn die Sichtüberprüfungssteuerung 110 feststellt, dass das montierte Produkt 50 fehlerhaft ist. In alternativen Ausführungsformen können auch andere Prüfergebnisse ausgegeben werden, beispielsweise ein Ergebnis, dass eine weitere Überprüfung erforderlich ist, beispielsweise durch den Bediener.
-
Die Sichtüberprüfungssteuerung 110 umfasst einen Ergebnisausgangssignalgenerator 230, um Prüfungsergebnisse an die Maschinensteuerung 200 zu übertragen. Bei 322 sendet die Sichtüberprüfungssteuerung 110 ein Bestätigungssignal an die Maschinensteuerung 200, wenn die Ausgabe der Prüfungsergebnisse eine Bestätigungsausgabe ist. Bei 324 sendet die Sichtüberprüfungssteuerung 110 ein Fail-Signal an die Maschinensteuerung 200, wenn die Ausgabe des Prüfungsergebnisses eine Fail-Ausgabe ist.
-
Die Maschinensteuerung 200 umfasst einen Signalgenerator 232 für die erste Produktentnahmevorrichtung, der Aktivierungssignale für die erste Produktentnahmevorrichtung 32 erzeugt. Bei 332 erzeugt der Signalgenerator 232 für die erste Produktentnahmevorrichtung ein Aktivierungssignal zum Aktivieren der ersten Produktentnahmevorrichtung 32, wenn das Durchgangssignal von der Sichtüberprüfungssteuerung 110 empfangen wird. Die erste Produktentnahmevorrichtung 32 wird so betrieben, dass sie das akzeptable montierte Produkt von der Plattform 80 entfernt, beispielsweise in einen Passierbehälter. Die Maschinensteuerung 200 umfasst einen Signalgenerator 234 für die zweite Produktentnahmevorrichtung, der Aktivierungssignale für die zweite Produktentnahmevorrichtung 34 erzeugt. Bei 334 erzeugt der Signalgenerator 234 für die zweite Produktentnahmevorrichtung ein Aktivierungssignal zum Aktivieren der zweiten Produktentnahmevorrichtung 34, wenn das Fehlersignal von der Sichtüberprüfungssteuerung 110 empfangen wird. Die zweite Produktentnahmevorrichtung 34 wird so betrieben, dass sie das fehlerhaft montierte Produkt von der Plattform 80 entfernt, beispielsweise in einen Ausschussbehälter. Optional kann der Signalgenerator 232 der ersten Produktentnahmevorrichtung und/oder der Signalgenerator 234 der zweiten Produktentnahmevorrichtung Signale an einen Produktzähler 240 senden, um die Anzahl der montierten Produkte 50 zu zählen, die akzeptabel sind (Pass) und/oder um die Anzahl der montierten Produkte 50 zu zählen, die fehlerhaft sind (Fail).
-
6 ist ein Flussdiagramm, das ein Verfahren zum Überprüfen von montierten Produkten gemäß einer beispielhaften Ausführungsform zeigt. Das Verfahren bei 400 umfasst das Laden von Teilen 52, 54 auf die Plattform 80. Die Teile 52, 54 können manuell oder automatisch geladen werden. Die ersten Teile 52 können in eine erste Position geladen werden und die zweiten Teile 54 können in eine zweite Position geladen werden. In verschiedenen Ausführungsformen können die zweiten Teile 54 in die ersten Teile 52 geladen werden.
-
Bei 402 umfasst das Verfahren das Bewegen der Teile 52, 54 zu einer Montagestation 20. Die Plattform 80 wird verwendet, um die ersten Teile 52 und/oder die zweiten Teile 54 zu bewegen. Die Plattform 80 kann gedreht werden, um die ersten Teile 52 und/oder die zweiten Teile 54 zu bewegen. Zum Beispiel kann die Plattform 80 kreisförmig sein und gedreht werden, um die ersten Teile 52 und/oder die zweiten Teile 54 zu bewegen. In anderen verschiedenen Ausführungsformen können die Teile 52, 54 durch ein Förderband, einen Schieber oder eine andere Bewegungsvorrichtung bewegt werden.
-
Bei 404 umfasst das Verfahren den Zusammenbau der Teile 52, 54 zu einem zusammengesetzten Produkt 50 an der Montagestation 20. Die ersten Teile 52 können an der Montagestation 20 in die zweiten Teile 54 geladen werden. Die ersten Teile 52 können beispielsweise Federn sein und die zweiten Teile 54 können ein Gehäuse sein, wobei die Federn in das Gehäuse geladen werden. In alternativen Ausführungsformen können auch andere Arten von Teilen in der Montagestation 20 montiert werden. Nachdem die Teile 52, 54 montiert sind, werden die montierten Produkte 50 bei 406 von der Montagestation 20 zur Überprüfungsstation 100 bewegt. Die Plattform 80 wird verwendet, um die montierten Produkte 50 zur Überprüfungsstation 100 zu bewegen. Zum Beispiel können die montierten Produkte 50 von der Montagestation 20 zur Überprüfungsstation 100 gedreht werden.
-
Bei 408 umfasst das Verfahren das Überprüfen der montierten Produkte 50 an der Überprüfungsstation 100 unter Verwendung der Abbildungsvorrichtung 102. In einer beispielhaften Ausführungsform befindet sich die Abbildungsvorrichtung 102 direkt über der Plattform 80, um die montierten Produkte 50 von oben zu betrachten. Das Timing der Bildgebung kann mithilfe des Auslösesensors 90 gesteuert werden, um zu detektieren, wann sich das montierte Produkt 50 zur Sichtüberprüfungsstation 100 bewegt.
-
Bei 410 umfasst das Verfahren die Verarbeitung der Bilder von der Abbildungsvorrichtung 102 in der Sichtüberprüfungssteuerung 110 auf Grundlage eines Bildanalysemodells, um Prüfungsergebnisse für das montierte Produkt 50 zu bestimmen. Die Sichtüberprüfungssteuerung 110 empfängt die Bilder von der Abbildungsvorrichtung 102. Die Sichtüberprüfungssteuerung 110 umfasst das Formerkennungswerkzeug 182, das zur Analyse der Bilder der montierten Produkte 50 verwendet wird. In verschiedenen Ausführungsformen werden die Bilder verarbeitet, indem das Bild mit dem Bildanalysemodell verglichen wird, um festzustellen, ob das montierte Produkt 50 Fehler aufweist. In verschiedenen Ausführungsformen werden die Bilder verarbeitet, indem eine Mustererkennung der Bilder auf Grundlage des Bildanalysemodells durchgeführt wird. In verschiedenen Ausführungsformen werden die Bilder verarbeitet, indem eine Merkmalsextraktion von in den Bildern detektierten Grenzen und Oberflächen durchgeführt und die Grenzen und Oberflächen mit dem Bildanalysemodell verglichen werden.
-
Bei 412 umfasst das Verfahren das Aktualisieren des Bildanalysemodells unter Verwendung des Kl-Lernmoduls 190, um das Bildanalysemodell auf Grundlage der von der Abbildungsvorrichtung 102 empfangenen Bilder zu konfigurieren. Das Bildanalysemodell wird auf Grundlage der Bilder von der Abbildungsvorrichtung 102 aktualisiert. Die Bilder, die dem Bildanalysemodell zur Formgebung zugrunde liegen, können mit Hilfe des Kl-Lernmoduls 190 auf Basis der von den Abbildungsvorrichtungen 102 aufgenommenen Bilder überarbeitet oder aktualisiert werden. Beispielsweise kann das Bildanalysemodell auf mehreren Bildern basieren, die auf Basis der Bilder des Kl-Lernmoduls 190 aktualisiert oder erweitert werden. Wenn das KI-Lernmodul 190 das Bildanalysemodell erweitert, kann die Qualität der Bildverarbeitung verbessert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
