DE102021100496A1

DE102021100496A1 - Intelligentes Produktionslinienüberwachungssystem und Überwachungsverfahren

Info

Publication number: DE102021100496A1
Application number: DE102021100496.9A
Authority: DE
Inventors: Pai-Heng Hsiao
Original assignee: Memorence Ai Ltd
Current assignee: Memorence Ai Ltd
Priority date: 2020-01-13
Filing date: 2021-01-13
Publication date: 2021-08-12
Also published as: TW202127014A; SG10202100377SA; TWI707137B; JP2021119341A; US20210216062A1; CN113111903A; US11947345B2

Abstract

System und Verfahren zum intelligenten Überwachen der Produktionslinie, das ein von einer Bildaufnahmevorrichtung aufgenommenes Prüfobjektbild überwachen kann, wodurch einem Arbeitsplatzhost (103) ermöglicht wird, ein Kennzeichnungsmodul zum erneuten Prüfen einer Klassifikationsentscheidung eines Klassifikatoruntersystems bereitzustellen, um den Zweck zu erfüllen, die Klassifikationsentscheidung zu bestätigen oder zu prüfen, ob unvollständige Prüfungen vorliegen. Außerdem kann das Klassifikatoruntersystem Klassifikationsentscheidungen mit niedrigerer Zuverlässigkeit automatisch herausfiltern, um die Anzahl der Neuprüfung wirksam zu reduzieren. Darüber hinaus kann zunächst eine Gruppe von Prüfobjektbildern analysiert werden, um Bilddifferenzmerkmale durch Vergleich zu erlangen, was für unzureichende Einlernbeispiele geeignet ist. Außerdem kann das Kennzeichnungsmodul gleichzeitig hoch relevante vergangene Klassifikationsentscheidungen erneut prüfen. Außerdem ist eine zweite Bildaufnahmevorrichtung (106) bereitgestellt, sodass das System Mängelpositionen automatisch auf Grundlage des Prüfobjektbilds vor und nach der Reparatur kennzeichnen kann, wodurch es lernt, zu beurteilen, ob Mängel vorliegen.

Description

Allgemeiner Stand der Technik
Gebiet der Erfindung
Die vorliegende Offenbarung betrifft unter anderem die technischen Gebiete maschinelles Lernen, Bildverarbeitung und Mängelprüfung und insbesondere ein System und ein Verfahren zum intelligenten Überwachen der Produktionslinie, die die Prüfungseffizienz und -genauigkeit verbessern, das Prüfungsergebnis eines Klassifikators neu überprüfen und Interpretationsverlaufsdaten anpassen können und für Prüfobjekte mit einer geringen Anzahl von Mängeleinlernbeispielen geeignet sind, und um Mängel. aus verpassten Prüfungen zu verhindern.
Kurzbeschreibung des Stands der Technik
Im Zuge des wissenschaftlichen und technischen Fortschritts nehmen auch die Anforderungen an die Präzision von elektronischen Bauelemente zu. Zur Sicherstellung einer hohen Produktausbeute werden in der Regel zwei Phasen - eine optische Prüfung und eine erneute Prüfung - im Produktionsprozess von elektronischen Bauelementen durchgeführt, wobei eine Vorrichtung zum automatischen Prüfen des Erscheinungsbilds dazu konfiguriert ist, in der Phase der optischen Prüfung Prüfobjektbilder zu erlangen und zu bestimmen, ob das Prüfobjekt Mängel aufweist, und in der Phase der erneuten Prüfung die während der Phase der optischen Prüfung festgestellten Mängel weiter zu untersuchen und manuell zu kennzeichnen.
Die Prüfungseffizienz der Vorrichtung zur automatischen Prüfung des Erscheinungsbilds ist besser als diejenige des üblichen manuellen Prüfverfahrens und kann den hohen Arbeitsaufwand im Produktionsprozess reduzieren. Ist aber die Prüfung durch die Vorrichtung zur automatischen Prüfung des Erscheinungsbilds fehlerhaft oder unvollständig, können mangelhafte Produkte zum Kunden gelangen. Um die Arbeitslast in der Phase der erneuten Prüfung zu reduzieren, geschieht es oft, dass der Bediener nur die Prüfung und Kennzeichnung an Prüfobjektbildern durchführt, die von der Vorrichtung zur automatischen Prüfung des Erscheinungsbilds für mangelhaft befunden wurden, und keine Prüfung und Kennzeichnung an allen Prüfobjektbildern oder anderen Teilen derselben durchführen kann.
Da der Bediener weiterhin jedes Mängelbild, das durch die Vorrichtung zur automatischen Prüfung des Erscheinungsbilds beurteilt wurde, in der Phase der erneuten Prüfung prüfen und kennzeichnen muss, liegt weiterhin der Nachteil eines hohen Arbeitsaufwands vor. Auch kann eine gewisse Wahrscheinlichkeit einer unvollständigen Prüfung aufgrund menschlicher Augenermüdung und aus anderen Gründen vorliegen. Wenn die Anzahl an Mängeleinlernbeispielen für einige elektronische Bauelemente nicht ausreicht, muss der Bediener in der Phase der erneuten Prüfung möglicherweise selbst beurteilen, ob das jeweilige Prüfobjektbild mangelhaft ist, und es kennzeichnen, da es für die Vorrichtung zur automatischen Prüfung des Erscheinungsbilds schwierig ist, zu bestimmen, ob ein Mangel an den elektronischen Bauelementen vorliegt. Bei einer sehr geringen Anzahl an Mängeln besteht daher weiterhin der Nachteil eines hohen Arbeitsaufwands in der Phase der erneuten Prüfung.
Wie oben erwähnt, weist das übliche System die obenstehenden Nachteile auf. Eine Aufgabe liegt somit darin, eine Mängelprüfungstechnik vorzuschlagen, die auf dem Modell der Zusammenarbeit zwischen Mensch und Maschine basiert, den industriellen Prozess verbessern kann, die Effizienz und Genauigkeit der Mängelprüfung verbessern kann, auf das Prüfobjekt mit einer geringen Anzahl an Einlernbeispielen anwendbar ist und Mängelmerkmale aus der unvollständigen Prüfung verhindern kann.
Kurzdarstellung der Erfindung
Basierend auf den oben erwähnten Problemen liegt der vorliegenden Offenbarung als Hauptaufgabe zugrunde, ein System zum intelligenten Überwachen der Produktionslinie bereitzustellen, um ein Prüfobjektbild eines geprüften Objekts zu überwachen, das durch eine Bilderaufnahmevorrichtung aufgenommen wurde. Das System beinhaltet als Hauptbestandteile ein Einlernuntersystem, einen Arbeitsplatzhost und ein Klassifikatoruntersystem. Das Einlernuntersystem beinhaltet ein Einlernmodul, das Arten des geprüften Objekts entspricht. Der Arbeitsplatzhost beinhaltet ein Kennzeichnungsmodul. Das Klassifikatoruntersystem kann das Einlernmodul auslesen, um Bildmerkmale des Prüfobjektbilds zu analysieren und eine erste Klassifikationsentscheidung zum Übertragen an den Arbeitsplatzhost zu treffen. Wenn die erste Klassifikationsentscheidung als abweichend gilt, kann die erste Klassifikationsentscheidung ein gesamtes Bild und ein abweichendes Bild mit wenigstens einer Neuüberprüfungskennzeichnung beinhalten. Das Kennzeichnungsmodul kann einen ersten Neuüberprüfungsvorgang eingeben, der dem abweichenden Bild zugeordnet ist, um die erste Klassifikationsentscheidung zu aktualisieren, die vom Arbeitsplatzhost an das Einlernuntersystem übertragen wird. Das Kennzeichnungsmodul ist außerdem dazu konfiguriert, eine Unvollständige-Prüfung-Kennzeichnung aufzubringen, die dem gesamten Bild zugeordnet ist, um einen zweiten Neuüberprüfungsvorgang zum Erzeugen einer zweiten Klassifikationsentscheidung einzugeben, welche die erste Klassifikationsentscheidung ersetzt. Die zweite Klassifikationsentscheidung wird vom Arbeitsplatzhost an das Einlernuntersystem übertragen. Anschließend kann das Einlernuntersystem das Einlernmodul und eine Kennzeichnungsdatenbank, die mit dem Einlernmodul verbunden ist, in Echtzeit gemäß einer aktualisierten Klassifikationsentscheidung und der zweiten Klassifikationsentscheidung aktualisieren.
Gemäß einer weiteren Ausführungsform der vorliegenden Offenbarung beinhaltet die vorliegende Offenbarung ferner ein Bildkorrelationsanalysemodul, das bereitgestellt ist, um eine Gruppe von Prüfobjektbildern zu analysieren, die aus einer Vielzahl der Prüfobjektbilder zusammengesetzt ist. Wenn ein Unterschied zwischen den Prüfobjektbildern vorliegt, kann wenigstens ein Bilddifferenzmerkmal durch Vergleich der Gruppe von Prüfobjektbildern erlangt werden. Entsprechend kann das Klassifikatoruntersystem das von dem Bildkorrelationsanalysemodul erzeugte Bilddifferenzmerkmal analysieren und eine erste Klassifikationsentscheidung treffen.
Gemäß einer weiteren Ausführungsform der vorliegenden Offenbarung beinhaltet die vorliegende Offenbarung ferner eine zweite Bildaufnahmevorrichtung, die bereitgestellt ist, um Bilder des auf Grundlage des abweichenden Bilds reparierten Prüfobjekts aufzunehmen, um wenigstens ein Bild des reparierten Prüfobjekts zu erhalten. Dabei kann wenigstens ein Bilddifferenzmerkmal zwischen dem Prüfobjektbild und dem Bild des reparierten Prüfobjekts gekennzeichnet werden. Anschließend werden das gekennzeichnete Bilddifferenzmerkmal und das Bild des reparierten Prüfobjekts an das Einlernuntersystem übertragen.
Neben den oben erwähnten Funktionen kann das Klassifikatoruntersystem eine Kennzeichnungsaussonderungseinheit beinhalten. Die Kennzeichnungsaussonderungseinheit kann Klassifikationsentscheidungen mit niedrigerer Zuverlässigkeit heraussondern, die vom Klassifikatoruntersystem an den Arbeitsplatzhost übertragen werden.
Neben den oben erwähnten Funktionen kann der Arbeitsplatzhost ein Modul zur Neuprüfung vergangener Kennzeichnungen beinhalten. Eine vergangene Klassifikationsentscheidung, die eng mit der Klassifikationsentscheidung in Zusammenhang steht, kann am Modul zur Neuprüfung vergangener Kennzeichnungen angezeigt werden. Das Modul zur Neuprüfung vergangener Kennzeichnungen kann einen dritten Neuüberprüfungsvorgang im Zusammenhang mit der vergangenen Klassifikationsentscheidung eingeben, um die im Einlernuntersystem gespeicherte vergangene Klassifikationsentscheidung zu aktualisieren.
Figurenliste

1 ist ein Blockschaubild I einer ersten Ausführungsform der vorliegenden Offenbarung;
2 ist ein Blockschaubild II der ersten Ausführungsform der vorliegenden Offenbarung;
3 ist eine schematische Darstellung eines Neuüberprüfungsvorgangs der ersten Ausführungsform der vorliegenden Offenbarung;
4 ist ein Blockschaubild einer Abwandlung der ersten Ausführungsform der vorliegenden Offenbarung;
5 ist ein Verfahrensablaufdiagramm gemäß der Abwandlung der ersten Ausführungsform der vorliegenden Offenbarung;
6 ist ein Blockschaubild einer weiteren Abwandlung der ersten Ausführungsform der vorliegenden Offenbarung;
7 ist ein Blockschaubild einer zweiten Ausführungsform der vorliegenden Offenbarung;
8 ist ein Verfahrensablaufdiagramm der zweiten Ausführungsform der vorliegenden Offenbarung;
9 ist ein schematisches Blockschaubild einer Abwandlung der zweiten Ausführungsform der vorliegenden Offenbarung;
10 ist ein schematisches Blockschaubild einer weiteren Abwandlung der zweiten Ausführungsform der vorliegenden Offenbarung;
11 ist ein Blockschaubild einer dritten Ausführungsform der vorliegenden Offenbarung;
12 ist ein Verfahrensablaufdiagramm der dritten Ausführungsform der vorliegenden Offenbarung; und
13 ist ein schematisches Blockschaubild einer Abwandlung der dritten Ausführungsform der vorliegenden Offenbarung.

Ausführliche Beschreibung bevorzugter Ausführungsformen
Unter Bezugnahme auf 1 bis 3 kann ein System 10 zum intelligenten Überwachen der Produktionslinie gemäß einer ersten Ausführungsform der vorliegenden Offenbarung ein Prüfobjektbild B eines Prüfobjekts überwachen, das von einer Bildaufnahmevorrichtung 101 aufgenommen wurde. Das System 10 zum intelligenten Überwachen der Produktionslinie beinhaltet als Hauptbestandteile ein Einlernuntersystem 102, einen Arbeitsplatzhost 103 und ein Klassifikatoruntersystem 104. Das Klassifikatoruntersystem 104 kann mit der Bildaufnahmevorrichtung 101, dem Einlernuntersystem 102 und dem Arbeitsplatzhost 103 jeweils durch ein Netzwerk kommunizieren.
Die Bildaufnahmevorrichtung 101 kann eine Vielzahl von Bilderfassungseinheiten (nicht gezeigt) beinhalten. Bei den Bilderfassungseinheiten kann es sich um eine ladungsgekoppelte Vorrichtung (charge coupled device, CCD) oder eine Vorrichtung mit komplementärem Metalloxidhalbleiter (complementary metal oxide semiconductor, CMOS) handeln. Die Bildaufnahmevorrichtung 101 kann ferner wenigstens eine Linse (nicht gezeigt) zum Fokussieren des Prüfobjektbilds B an der Bilderfassungseinheit beinhalten.
Das Einlernuntersystem 102 kann wenigstens ein Einlernmodul 1021 speichern, das Arten des Prüfobjekts entspricht (beispielsweise einer bestimmten Materialnummer). Bei dem Einlernmodul 1021 kann es sich ohne Beschränkung um LeNet, AlexNet, VGGnet, NIN, GoogLeNet, MobileNet, SqueezeNet, ResNet, SiameseNet, NASNet, RNN oder andere Einlernmodelle auf Grundlage von konvolutionalen neuronalen Netzen handeln. Ein Teil der Einlernmodelle kann Einlernmodellen für Aufgaben wie etwa Objekterkennung, Objektbeschneidung, Objektklassifikation usw. entsprechen. Außerdem kann das Einlernmodul 1021 mit einer Kennzeichnungsdatenbank 1022 verbunden sein. Die Kennzeichnungsdatenbank 1022 kann ein Datenbankhost oder eine im Einlernuntersystem 102 gespeicherte Sammlung mehrerer Datentabellen sein. In der Kennzeichnungsdatenbank 1022 können mehrere Vor-Einlern-Datensätze gespeichert sein, wie etwa vorgekennzeichnete Klassifikationsentscheidungen und entsprechende Einlernbeispielbilder. In der Kennzeichnungsdatenbank 1022 können auch mehrere Prüfobjektbilder B und mehrere entsprechende Klassifikationsentscheidungen gespeichert sein, die jederzeit aktualisiert werden können. Beispielsweise können Rückgabedaten vom Arbeitsplatzhost 103 aktualisiert werden. Die erste Klassifikationsentscheidung kann dabei eine aktualisierte Klassifikationsentscheidung K1' und/oder eine zweite Klassifikationsentscheidung K2 sein. Einzelheiten hierzu werden im Folgenden beschrieben.
Der Arbeitsplatzhost 103 ist mit dem Einlernuntersystem verbunden. Der Arbeitsplatzhost 103 beinhaltet ein Kennzeichnungsmodul 1031. Der Arbeitsplatzhost 103 kann auch das Einlernuntersystem 102 auslesen, um Gewichtungsparameter des Einlernmodells jedes Einlernmoduls 1021 in Echtzeit über das Netz anzupassen, oder über das Netz den Vor-Einlern-Datensatz anzupassen, den das Einlernmodul 1021 verwendet.
Das Klassifikatoruntersystem 104 kann das Einlernmodul 1021 auslesen, um Bildmerkmale des Prüfobjektbilds B zu analysieren und eine erste Klassifikationsentscheidung K1 zum Übertragen an den Arbeitsplatzhost 103 zu treffen. Wenn die erste Klassifikationsentscheidung K1 als abweichend betrachtet wird, kann die erste Klassifikationsentscheidung K1 ein gesamtes Bild und ein abweichendes Bild mit wenigstens einer Neuüberprüfungskennzeichnung T. Vorzugsweise beinhaltet die erste Klassifikationsentscheidung K1 gemäß der ersten Ausführungsform ferner ein Referenzbild. Bevor das Klassifikatoruntersystem 104 die erste Klassifikationsentscheidung K1 trifft, kann das Klassifikatoruntersystem 104 oder die Bildaufnahmevorrichtung 101 vorzugsweise zunächst ein Bildverarbeitungsprogramm am Prüfobjektbild B ausführen. Das Bildverarbeitungsprogramm kann als ein Bildverarbeitungsprogramm, ein Bildsegmentierungsprogramm oder ein Merkmalerkennungsprogramm oder eine Kombination davon definiert sein. Vorzugsweise kann es sich bei dem Prüfobjektbild B, welches das Klassifikatoruntersystem 104 von der Bildaufnahmevorrichtung 101 empfängt, um mehrere abweichende Prüfobjektbilder handeln, die von der Bildaufnahmevorrichtung 101 auf Grundlage einer Technik zur automatischen optischen Prüfung (automatic optical inspection, AOI) herausgefiltert wurden. Das abweichende Prüfobjektbild kann außerdem Mängelpositionsinformationen beinhalten, die der Neuüberprüfungskennzeichnung T entsprechen.
Das Kennzeichnungsmodul 1031 kann einen ersten Neuüberprüfungsvorgang VG1, der dem abweichenden Bild zugeordnet ist, eingeben, um eine aktualisierte Klassifikationsentscheidung K1' zu erzeugen, die vom Arbeitsplatzhost 103 an das Einlernuntersystem 102 übertragen wird. Das Kennzeichnungsmodul 1031 kann auch eine Unvollständige-Prüfung-Kennzeichnung (nicht gezeigt) anbringen, die dem gesamten Bild zugeordnet ist, um einen zweiten Neuüberprüfungsvorgang VG2 zum Erzeugen einer zweiten Klassifikationsentscheidung K2 einzugeben, welche die erste Klassifikationsentscheidung K1 ersetzt und vom Arbeitsplatzhost 103 an das Einlernuntersystem 102 übertragen wird.
Das Kennzeichnungsmodul 1031 kann auf einem Anzeigebildschirm des Arbeitsplatzhosts 103 in Form einer grafischen Benutzeroberfläche (graphical user interface, GUI) präsentiert werden. Wie in 3 gezeigt, kann die erste Klassifikationsentscheidung K1 das gesamte Bild, die Neuüberprüfungskennzeichnung T, ein Referenzbild R und ein abweichendes Bild E beinhalten. Der erste Neuüberprüfungsvorgang VG1 kann durch Auslösen einer „GUT“-Taste oder einer „NG“-Taste erfolgen. Das gesamte Bild kann beispielsweise, aber ohne Beschränkung, durch Wechseln des Anzeigemodus präsentiert werden.
Entsprechend können das Einlernmodul 1021 und die Kennzeichnungsdatenbank 1022, die mit dem Einlernmodul 1021 verbunden ist, von dem Einlernuntersystem 102 in Echtzeit gemäß der aktualisierten Klassifikationsentscheidung K1' und der zweiten Klassifikationsentscheidung K2 aktualisiert werden. Mit anderen Worten, die aktualisierte Klassifikationsentscheidung K1' und die zweite Klassifikationsentscheidung K2 können in Echtzeit in den Vor-Einlern-Datensatz der Kennzeichnungsdatenbank 1022 eingegeben werden. Auf diese Weise kann das Einlernmodul 1021 das Einlernmodell des Einlernmoduls 1021 in Echtzeit gemäß dem aktualisierten Vor-Einlern-Datensatz trainieren.
Als ein Beispiel, aber ohne Beschränkung, kann das Prüfobjekt eine gedruckte Leiterplatte (printed circuit board, PCBA), ein Befestigungselement, eine flexible gedruckte Leiterplatte, ein Gummiprodukt, ein medizinisches Bild (etwa ein Röntgen-, Ultraschallwellen-, CT-, MRI- und anderes Bild), ein digitales pathologisches Bild oder ein Bildsensor sein. Wenn die gedruckte Leiterplatte geprüft wird, kann sie auf Kurzschluss, fehlendes Lot, zu viel Zinn, zu wenig Zinn, ein Zinnloch, Fremdkörper usw. überwacht werden. Wenn das Befestigungselement geprüft wird, kann es auf Kratzer, Fremdkörper, fehlende Ecken usw. überwacht werden. Wenn die flexiblen gedruckten Leiterplatten oder Gummiprodukte geprüft werden, können sie auf Kratzer, Grate, fehlende Ecken, Fremdkörper usw. überwacht werden. Wenn der Bildsensor geprüft wird, kann er auf Mängel, Fremdkörper usw. überwacht werden. Wenn medizinische Bilder geprüft werden, können sie auf Läsionen überwacht werden.
Gemäß der ersten Ausführungsform der vorliegenden Offenbarung kann der Arbeitsplatzhost 103 nicht nur das abweichende Bild mit der Neuüberprüfungskennzeichnung T prüfen, sondern auch das gesamte Prüfobjektbild B prüfen und kennzeichnen. Anders als im üblichen Verfahren, bei dem der Bediener nur die von der Vorrichtung zum automatischen Prüfen des Erscheinungsbilds übertragenen Mängelbilder prüfen und kennzeichnen kann, ermöglicht es die vorliegende Offenbarung dem Arbeitsplatzhost 103, das gesamte Bild und das abweichende Bild, das von dem Klassifikatoruntersystem 104 in der Phase der Neuprüfung für abweichend befunden wird, separat zu überwachen, wodurch verhindert wird, dass abweichende Prüfobjekte, die das Klassifikatoruntersystem 104 nicht vollständig erkannt hat, zur nächsten Stufe der Produktionslinie befördert werden. Entsprechend wird die vorteilhafte Wirkung erzielt, dass die Wahrscheinlichkeit reduziert wird, dass mangelhafte Produkte zum Kunden gelangen. Bei dem Prüfobjekt handelt es sich dabei um eine gewöhnliche Schraube. Da die Reparaturkosten (interne Kosten) im Allgemeinen höher sein dürften als die vom Kunden beanspruchten Rückgabekosten (externe Kosten), eignet sich die Ausführungsform insbesondere für ein Objekt, das keine unmittelbare Reparatur erfordert.
Es wird Bezug genommen auf 4 und 5, wobei das Klassifikatoruntersystem 104 des Systems 10 zum intelligenten Überwachen der Produktionslinie ferner eine Kennzeichnungsaussonderungseinheit 1041 beinhaltet, die in einen Einschaltzustand oder einen Ausschaltzustand einstellbar ist. Die vorliegende Offenbarung schlägt ein Verfahren zum intelligenten Überwachen der Produktionslinie S1 vor. Nachdem das Klassifikatoruntersystem 104 die Bildmerkmale des Prüfobjektbilds B analysiert und die erste Klassifikationsentscheidung getroffen hat (Schritt S110: Bildmerkmale analysieren und eine Klassifikationsentscheidung treffen), kann die Kennzeichnungsaussonderungseinheit 1041 automatisch eine Klassifikationsentscheidung mit niedriger Zuverlässigkeit K1_NIEDRIG gemäß einem Konfidenzwert wählen, der einer jeweiligen Neuüberprüfungskennzeichnung T entspricht. Die Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit K1_NIEDRIG kann die Neuüberprüfungskennzeichnung T und das abweichende Bild beinhalten. Vorzugsweise beinhaltet die Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit K1_NIEDRIG in der ersten Ausführungsform auch das Referenzbild. Das Klassifikatoruntersystem 104 kann die Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit K1_NIEDRIG an den Arbeitsplatzhost 103 übertragen (Schritt S120: automatisch aussondern und kennzeichnen). Das Kennzeichnungsmodul 1031 fährt damit fort, die aktualisierte Klassifikationsentscheidung K1' und/oder die zweite Klassifikationsentscheidung K2 gemäß der Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit K1_NIEDRIG zu erzeugen (Schritt S130: Neuüberprüfungsvorgang eingeben). Dabei werden die Kennzeichnungsdatenbank 1022 und das Einlernmodul 1021 des Einlernuntersystems 102 aktualisiert (Schritt S140: Einlernmodul in Echtzeit aktualisieren). Auf diese Weise müssen die Neuüberprüfungskennzeichnung T mit höherer Zuverlässigkeit und sein entsprechendes abweichendes Bild nicht mehr neu durch den Arbeitsplatzhost 103 überprüft werden. Auf diese Weise muss das Kennzeichnungsmodul 1031 des Arbeitsplatzhost 103 die Neuüberprüfungskennzeichnung T für jedes abweichende Bild nicht einzeln bestätigen (oder erneut beurteilen). Entsprechend kann die Anzahl der vom Arbeitsplatzhost 103 eingegebenen Neuüberprüfungsvorgänge reduziert werden, wodurch der Arbeitsaufwand in der Phase der erneuten Prüfung gesenkt wird.
Bezug nehmend auf 6 und 2 beinhaltet der Arbeitsplatzhost 103 des Systems 10 zum intelligenten Überwachen der Produktionslinie der ersten Ausführungsform ein Modul 1032 zur Neuprüfung vergangener Kennzeichnungen, das eine vergangene Klassifikationsentscheidung VK anzeigen kann, die in engem Zusammenhang mit der ersten Klassifikationsentscheidung K1 steht, sodass das Kennzeichnungsmodul 1031 des Arbeitsplatzhosts 103 die Gelegenheit hat, eine zurückliegende fehlerhafte Klassifikationsentscheidung zum Zeitpunkt der Eingabe des ersten Neuüberprüfungsvorgangs VG1 und/oder des zweiten Neuüberprüfungsvorgangs VG2 zu korrigieren, was verhindern kann, dass der Arbeitsplatzhost 103 erneut eine falsche erste Klassifikationsentscheidung K1 vom Klassifikatoruntersystem 104 empfängt, weshalb dies als weitere Verbesserung zu betrachten ist. Die vergangene Klassifikationsentscheidung VK kann ein vergangenes Bild mit wenigstens einer vergangenen Kennzeichnung beinhalten. Insbesondere wenn die vom Arbeitsplatzhost 103 empfangene erste Klassifikationsentscheidung K1 ein abweichendes Bild mit einem Merkmal „Kurzschluss“ beinhaltet, kann das Modul zur Neuprüfung vergangener Kennzeichnungen 1032 aus der Kennzeichnungsdatenbank 1022 des Einlernuntersystems 102 die vergangene Klassifikationsentscheidung VK auslesen, die ebenfalls das Merkmal „Kurzschluss“ enthält und nicht als „abweichendes“ vergangenes Bild klassifiziert wurde (d. h. zuvor als gut neu beurteilt wurde). Das Modul 1032 zur Neuprüfung vergangener Kennzeichnungen zur Neuprüfung vergangener Kennzeichnungen der ersten Ausführungsform kann einen dritten Neuüberprüfungsvorgang VG3, welcher der vergangenen Klassifikationsentscheidung VK zugeordnet ist, eingeben, um die vergangene Klassifikationsentscheidung VK zu modifizieren. Auf diese Weise wird die ursprünglich im Einlernuntersystem 102 gespeicherte vergangene Klassifikationsentscheidung VK auf eine aktualisierte vergangene Klassifikationsentscheidung VK' aktualisiert. Mit anderen Worten, die aktualisierte vergangene Klassifikationsentscheidung VK' wird sofort in den Vor-Einlern-Datensatz der Kennzeichnungsdatenbank 1022 eingegeben. Entsprechend kann das Einlernmodul 1021 das Einlernmodell, das im Einlernmodul 1021 gespeichert ist, in Echtzeit gemäß dem aktualisierten Vor-Einlern-Datensatz trainieren.
7 und 8 stellen eine zweite Ausführungsform der vorliegenden Offenbarung dar. Die zweite Ausführungsform verwendet die gleiche Technik wie die erste Ausführungsform aus 1 bis 3. Der Hauptunterschied liegt darin, dass das System 10 zum intelligenten Überwachen der Produktionslinie gemäß der zweiten Ausführungsform ferner ein Bildkorrelationsanalysemodul 105 beinhaltet, das mit der Bildaufnahmevorrichtung 101 verbunden ist. Wenn die Bildaufnahmevorrichtung 101 in dem Verfahren zum intelligenten Überwachen der Produktionslinie S1 die Bildaufnahme des Prüfobjekts abgeschlossen hat, kann das Bildkorrelationsanalysemodul 105 daher zunächst eine Gruppe von Prüfobjektbildern B_G analysieren, die aus mehreren Prüfobjektbildern B zusammengesetzt ist (Schritt S105: eine Gruppe von Bildern analysieren). Wenn ein Unterschied zwischen den mehreren Prüfobjektbildern B vorliegt, kann das Bildkorrelationsanalysemodul 105 durch Vergleich der Gruppe von Prüfobjektbildern B_G wenigstens ein Bilddifferenzmerkmal erlangen. Beispielsweise kann eine Differenz der spezifischen Bildposition unter den Prüfobjektbildern B aufgenommen werden und die erste Klassifikationsentscheidung K1 kann getroffen werden. Wenn kein Unterschied zwischen den mehreren Prüfobjektbildern B vorliegt, kann das Bildkorrelationsanalysemodul 105 die mehreren Prüfobjektbilder B unmittelbar an das Klassifikatoruntersystem 104 übertragen. Das Klassifikatoruntersystem 104 analysiert unmittelbar die Bildmerkmale der mehreren Prüfobjektbilder B und trifft die erste Klassifikationsentscheidung K1. Das Klassifikatoruntersystem 104 der zweiten Ausführungsform kann jeweils mit dem Einlernuntersystem 102, dem Bildkorrelationsanalysemodul 105 und dem Arbeitsplatzhost 103 verbunden sein. Das Klassifikatoruntersystem 104 der zweiten Ausführungsform kann das Einlernmodul 1021 auslesen, um das Bilddifferenzmerkmal der Gruppe von Prüfobjektbildern B_G zu analysieren. Dabei wird die erste Klassifikationsentscheidung K1 getroffen und an den Arbeitsplatzhost 103 übertragenen. Die Informationen, die in der ersten Klassifikationsentscheidung K1 enthalten sein können, die Informationen, die in das Kennzeichnungsmodul 1031 eingegeben werden können, und die Informationen, die von dem Arbeitsplatzhost 103 an das Einlernuntersystem 102 übertragen werden können, gleichen denen der ersten Ausführungsform, weshalb eine weitere Beschreibung davon im Folgenden entfällt.
Gemäß der zweiten Ausführungsform der vorliegenden Offenbarung werden die mehreren Prüfobjektbilder B (Originalbilder), die von der Bildaufnahmevorrichtung 101 aufgenommen wurden, oder die abweichenden Prüfobjektbilder, die von der Bildaufnahmevorrichtung 101 auf Grundlage von Technik zur automatischen optischen Prüfung (AOI) herausgefiltert wurden, vom Bildkorrelationsanalysemodul 105 als die Gruppe von Prüfobjektbildern B_G betrachtet. Dabei wird der Bilddifferenzmerkmalvergleich durchgeführt. Dies ist auf die Situation anwendbar, dass allgemein wenige abweichende Prüfobjektbilder (d. h. Einlernbeispiele für Mängelbilder) vorliegen. Das abweichende Prüfobjektbild kann zudem ferner die Mängelpositionsinformationen beinhalten, die der Neuüberprüfungskennzeichnung T entsprechen.
Unter Bezugnahme auf 9 und 1 kann das Klassifikatoruntersystem 104 des Systems 10 zum intelligenten Überwachen der Produktionslinie ferner eine Kennzeichnungsaussonderungseinheit 1041 beinhalten. Die Kennzeichnungsaussonderungseinheit 1041 kann beispielsweise die erste Klassifikationsentscheidung K1 mit niedrigerer Zuverlässigkeit auf Grundlage eines Konfidenzwerts heraussondern, der den einzelnen Neuüberprüfungskennzeichnungen (T,...) entspricht. Die Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit K1_NIEDRIG kann die Neuüberprüfungskennzeichnungen T und die abweichenden Bilder beinhalten. Vorzugsweise kann die Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit K1_NIEDRIG der zweiten Ausführungsform ferner die Referenzbilder beinhalten. Das Klassifikatoruntersystem 104 kann die Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit K1_NIEDRIG an den Arbeitsplatzhost 103 übertragen; dann fährt das Kennzeichnungsmodul 1031 fort, die aktualisierte Klassifikationsentscheidung K1' und/oder die zweite Klassifikationsentscheidung K2 zu erzeugen. Dank des Kennzeichnungsmoduls 1031 der zweiten Ausführungsform muss der Benutzer die Neuüberprüfungskennzeichnung T für jedes abweichende Bild nicht einzeln bestätigen (oder erneut beurteilen). Entsprechend kann die Anzahl der vom Arbeitsplatzhost 103 eingegebenen Neuüberprüfungsvorgänge reduziert werden, wodurch der Arbeitsaufwand gesenkt wird.
Gemäß 10 beinhaltet der Arbeitsplatzhost 103 des Systems 10 zum intelligenten Überwachen der Produktionslinie ein Modul zur Neuprüfung vergangener Kennzeichnungen 1032. Das Modul zur Neuprüfung vergangener Kennzeichnungen 1032 kann eine vergangene Klassifikationsentscheidung VK anzeigen, die in engem Zusammenhang zu der ersten Klassifikationsentscheidung K1 steht. Die vergangene Klassifikationsentscheidung VK kann ein vergangenes Bild mit wenigstens einer vergangenen Kennzeichnung beinhalten. Das Modul zur Neuprüfung vergangener Kennzeichnungen 1032 kann zum Eingeben eines dritten Neuüberprüfungsvorgangs OP3 im Zusammenhang mit der vergangenen Klassifikationsentscheidung VK verwendet werden, um die frühere Klassifikationsentscheidung zu modifizieren. Auf diese Weise wird die ursprünglich im Einlernuntersystem 102 gespeicherte vergangene Klassifikationsentscheidung VK auf eine aktualisierte vergangene Klassifikationsentscheidung VK' aktualisiert. Mit anderen Worten, die aktualisierte vergangene Klassifikationsentscheidung VK' wird sofort in den Vor-Einlern-Datensatz der Kennzeichnungsdatenbank 1022 eingegeben. Entsprechend kann das Einlernmodul 1021 das Einlernmodell, das im Einlernmodul 1021 gespeichert ist, in Echtzeit gemäß dem aktualisierten Vor-Einlern-Datensatz trainieren.
11 und 12 stellen eine dritte Ausführungsform der vorliegenden Offenbarung dar. Die dritte Ausführungsform verwendet die gleiche Technik wie die erste Ausführungsform aus 1. Der Hauptunterschied liegt darin, dass das System 10 zum intelligenten Überwachen der Produktionslinie der dritten Ausführungsform ferner eine zweite Bildaufnahmevorrichtung 106 beinhaltet, die jeweils mit dem Arbeitsplatzhost 103 und dem Einlernuntersystem 102 verbunden ist. Die dritte Ausführungsform der vorliegenden Offenbarung schlägt ein intelligentes Produktionslinienüberwachungsverfahren S2 vor. Wenn das Klassifikatoruntersystem 104 die Bildmerkmale des Prüfobjektbilds B analysiert und die erste Klassifikationsentscheidung K1 getroffen hat (Schritt S210: Bildmerkmale analysieren und eine Klassifikationsentscheidung treffen), kann die zweite Bildaufnahmevorrichtung 106 ein Bild des reparierten Objekts gemäß dem abweichenden Bild aufnehmen, das von dem Klassifikatoruntersystem 104 übertragen wird (die erste Klassifikationsentscheidung K1 muss in der vorliegende Ausführungsform keine Neuüberprüfungskennzeichnung aufweisen), wodurch wenigstens ein Bild des reparierten Prüfobjekts B' erlangt wird (Schritt S220: repariertes Bild aufnehmen und kennzeichnen). Dabei kann wenigstens ein Bilddifferenzmerkmal zwischen dem Prüfobjektbild B und dem Bild des reparierten Prüfobjekts B' durch die zweite Bildaufnahmevorrichtung 106 mit Kennzeichnung versehen werden (beispielsweise auf Grundlage von Technik zur automatischen optischen Prüfung (AOI)). Das Bild des reparierten Prüfobjekts B' wird als ein nicht abweichendes Bild betrachtet und durch die zweite Bildaufnahmevorrichtung 106 an das Einlernuntersystem 102 übertragen, sodass das Einlernuntersystem 102 das Einlernmodul 1021 und die Kennzeichnungsdatenbank 1022, die mit dem Einlernmodul 1021 verbunden ist, in Echtzeit gemäß dem gekennzeichneten Bilddifferenzmerkmal und dem Bild des reparierten Prüfobjekts B' aktualisiert (Schritt S230: Einlernmodul in Echtzeit aktualisieren). Zum Beispiel kann die zweite Bildaufnahmevorrichtung 106 der dritten Ausführungsform die Informationsverbindung durch Installieren derselben in dem Arbeitsplatzhost 103 herstellen. Auch der Arbeitsplatzhost 103 kann eine Reparaturfunktion erfüllen. Außerdem kann es sich bei dem Arbeitsplatzhost 103 um einen Industrieroboter oder einen Verbraucherroboter handeln. Die Komponentenzusammenstellung der zweiten Bildaufnahmevorrichtung 106 kann der Bildaufnahmevorrichtung 101 der ersten oder zweiten Ausführungsform gleichen, weshalb eine ausführliche Beschreibung im Folgenden entfällt. Auch kann der Arbeitsplatzhost 103 oder das Klassifikatoruntersystem 104 die Bilddifferenzmerkmale zwischen dem Prüfobjektbild B und dem Bild des reparierten Prüfobjekts B' kennzeichnen.
Bei Prüfobjekten, deren Entsorgungskosten höher als ihre Reparaturkosten sind und manuelle Reparaturkosten im Allgemeinen niedriger als die Rückgabekosten des Kunden sind, wie etwa PCBA-Steckelemente (Dual in-line Package, DIP), die unmittelbar nach der Produktion versandt werden müssen, ist die dritte Ausführungsform besonders für solche Objekte geeignet, die eine sofortige Reparatur erfordern. Auf diese Weise muss das Kennzeichnungsmodul 1031 nicht auf dem Arbeitsplatzhost 103 ausgeführt werden. Das Einlernuntersystem 102 erlernt das Beurteilen der Position des Mangels und das Beurteilen, ob ein Mangel gemäß dem Prüfobjektbild I vor und nach der Reparatur vorliegt.
Gemäß 13 kann die zweite Bildaufnahmevorrichtung des Systems 10 zum intelligenten Überwachen der Produktionslinie der dritten Ausführungsform ein Erweiterte-Realität-Display (augmented reality display, ARD) sein, auf dem die abweichenden Bilder aus der ersten Klassifikationsentscheidung K1 angezeigt werden können. Dabei können die Neuüberprüfungskennzeichnung und das Referenzbild aus der ersten Klassifikationsentscheidung K1 auch gleichzeitig auf dem Erweiterte-Realität-Display ARD angezeigt werden. Darüber hinaus kann die zweite Bildaufnahmevorrichtung (d. h. das Erweiterte-Realität-Display ARD) der dritten Ausführungsform auch Reparaturstelleninformationen FIX des Prüfobjekts B während der Reparatur aufzeichnen. Die Reparaturstelleninformationen FIX werden als Bilddifferenzmerkmal angegeben. Das Bilddifferenzmerkmal wird von der zweiten Bildaufnahmevorrichtung an das Einlernuntersystem 102 übertragen, sodass das Einlernuntersystem 102 das Einlernmodul 1021 und die mit dem Einlernmodul 1021 verbundene Kennzeichnungsdatenbank 1022 sofort aktualisiert. Entsprechend ermöglicht es die dritte Ausführungsform dem Benutzer, das Prüfobjekt durch das Erweiterte-Realität-Display ARD zu reparieren, während die Reparaturstelleninformationen des Prüfobjekts automatisch aufgezeichnet werden. Daher kann die Funktion des Ersetzens des Kennzeichnungsmoduls 1031 aus 1 erzielt werden, ohne dass der Benutzer den ersten Neuüberprüfungsvorgang oder die Eingabe des zweiten Neuüberprüfungsvorgangs durchführen muss.
Wenn die Bildaufnahmevorrichtung, das Einlernuntersystem, der Arbeitsplatzhost, das Klassifikatoruntersystem, das Bildkorrelationsanalysemodul und die zweite Bildaufnahmevorrichtung, auf die in der vorliegende Offenbarung Bezug genommen wird, jeweils physische Vorrichtungen sind, können sie jeweils einen Prozessor mit Funktionen wie etwa Logikbetrieb, vorübergehender Speicherung von Betriebsvorgangsergebnissen und Speicherung von Ausführungsanweisungspositionen. Bei dem Prozessor kann es sich beispielsweise ohne Beschränkung um eine zentrale Verarbeitungseinheit (central processing unit, CPU), einen virtuellen Prozessor (vCPU), einen Mikroprozessor (MPU), einen Mikrocontroller (MCU), einen Anwendungsprozessor (AP), einen eingebetteten Prozessor, eine anwendungsspezifische integrierte Schaltung (application-specific integrated circuit, ASIC), eine Tensorverarbeitungseinheit (TPU) oder eine Grafikverarbeitungseinheit (GPU) usw. handeln.
Das Einlernuntersystem, das Klassifikatoruntersystem und das Bildkorrelationsanalysemodul, auf die in der vorliegenden Offenbarung Bezug genommen wird, können ein Server oder ein Softwaremodul sein. Der genannte Server und Arbeitsplatzhost kann ohne Beschränkung ein physischer Server oder ein Server sein, der in Form einer virtuellen Maschine (VM) ausgeführt wird, oder ein Server, der in Form eines virtuellen privaten Servers ausgeführt wird, oder eine öffentliche Cloud oder eine private Cloud, oder eine Edge-Vorrichtung, oder ein eingebettetes System oder eine mobile Vorrichtung (wie etwa ein Mobiltelefon).
Das Netz, auf das in der vorliegenden Offenbarung Bezug genommen wird, kann ohne Beschränkung ein öffentliches oder privates Netz, wie etwa ein drahtloses Netz (wie etwa 3G, 4G LTE, Wi-Fi, Bluetooth), ein drahtgebundenes Netz, ein lokales Netz (local area network, LAN), ein Weitverkehrsnetz (wide area network, WA) usw. sein.
Die vorliegende Offenbarung kann wenigstens den industriellen Prozess verbessern, die Effizienz und Genauigkeit der Mängelprüfung verbessern, eignet sich für Prüfobjekte mit einer geringen Anzahl an Einlernbeispielen, kann das unvollständige Prüfen von Mängeln vermeiden, kann die Anzahl der Mängelneuprüfung reduzieren und kann die vergangenen Fehlbeurteilungsentscheidungen korrigieren. Dabei können die reparierten Stellen automatisch ohne erneutes Prüfen der Ergebnisse des Klassifikators aufgezeichnet werden. Darüber hinaus können die vorteilhaften Wirkungen des Online-Echtzeit-Einlernens der Modelle erzielt werden.
Obwohl die vorliegende Offenbarung durch bevorzugte Ausführungsformen in Verbindung mit begleitenden Zeichnungen beschrieben wurde, versteht es sich, dass die Ausführungsformen und die Zeichnungen nur beschreibenden und veranschaulichenden Zwecken dienen und nicht zur Einschränkung des Umfangs der vorliegenden Offenbarung vorgesehen sind. Äquivalente Abwandlungen und Modifikationen durch den Fachmann ohne Abweichung von Wesen und Umfang der vorliegenden Offenbarung gelten als ebenfalls innerhalb des Umfangs der vorliegenden Offenbarung liegend.
Bezugszeichenliste

10: System zum intelligenten Überwachen der Produktionslinie
101: Bildaufnahmevorrichtung
102: Einlernuntersystem
1021: Einlernmodul
1022: Kennzeichnungsdatenbank
103: Arbeitsplatzhost
1031: Kennzeichnungsmodul
R: Referenzbild
E: abweichendes Bild
VG1: erster Neuprüfungsvorgang
K1': aktualisierte Klassifikationsentscheidung
VG2: zweiter Neuprüfungsvorgang
K2: zweite Klassifikationsentscheidung
1032: Modul zur Neuprüfung vergangener Kennzeichnungen
HK: vergangene Klassifikationsentscheidung
VG3: dritter Neuprüfungsvorgang
HK': aktualisierte vergangene Klassifikationsentscheidung
104: Klassifikationsuntersystem
1041: Kennzeichnungsaussonderungseinheit
K1: erste Klassifikationsentscheidung
K1_NIEDRIG: Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit
T: Neuprüfungskennzeichnung
105: Bildkorrelationsanalysemodul
106: zweite Bildaufnahmevorrichtung
ARD: Erweiterte-Realität-Display
FIX: Reparaturstelleninformation
B: Prüfobjektbild
B_G: Gruppe von Prüfobjektbildern
B': repariertes Prüfobjektbild
S1: Verfahren zum intelligenten Überwachen der Produktionslinie
S105: eine Gruppe von Bildern analysieren
S110: Bildmerkmale analysieren und eine Klassifikationsentscheidung treffen
S120: automatisch aussondern und kennzeichnen
S130: Neuüberprüfungsvorgang eingeben
S140: Einlernmodul in Echtzeit aktualisieren
S2: Produktionslinienüberwachungsverfahren
S210: Bildmerkmale analysieren und eine Klassifikationsentscheidung treffen
S220: repariertes Bild aufnehmen und kennzeichnen
S230: Einlernmodul in Echtzeit aktualisieren

Claims

System zum intelligenten Überwachen der Produktionslinie (10), insbesondere zum Überwachen wenigstens eines Prüfobjektbilds, das durch eine Bildaufnahmevorrichtung (101) aufgenommen wird, umfassend: ein Einlernuntersystem (102) mit einem Einlernmodul (1021), das Arten des Prüfobjekts entspricht; einen Arbeitsplatzhost (103), der mit dem Einlernuntersystem (102) verbunden ist und ein Kennzeichnungsmodul (1031) aufweist; und ein Klassifikatoruntersystem (104), das jeweils mit der Bildaufnahmevorrichtung, dem Einlernuntersystem (102) und dem Arbeitsplatzhost (103) verbunden ist; wobei das Klassifikatoruntersystem (104) dazu konfiguriert ist, das Einlernmodul (1021) auszulesen, um Bildmerkmale des Prüfobjektbilds zu analysieren, woraufhin eine erste Klassifikationsentscheidung getroffen und an den Arbeitsplatzhost (103) übertragen wird, und wenn die erste Klassifikationsentscheidung als abweichend betrachtet wird, die erste Klassifikationsentscheidung ein gesamtes Bild und ein abweichendes Bild mit wenigstens einer Neuüberprüfungskennzeichnung beinhaltet; wobei das Kennzeichnungsmodul (1031) dazu konfiguriert ist, einen ersten Neuüberprüfungsvorgang, der dem abweichenden Bild zugeordnet ist, einzugeben, um die erste Klassifikationsentscheidung zu aktualisieren, die von dem Arbeitsplatzhost (103) an das Einlernuntersystem (102) übertragen wird, und das Kennzeichnungsmodul (1031) dazu konfiguriert ist, eine Unvollständige-Prüfung-Kennzeichnung, die dem gesamten Bild zugeordnet ist, zum Eingeben eines zweiten Neuüberprüfungsvorgangs anzubringen, um eine zweite Klassifikationsentscheidung zu erzeugen, welche die erste Klassifikationsentscheidung ersetzt und vom Arbeitsplatzhost (103) an das Einlernuntersystem (102) übertragen wird; und wobei das Einlernuntersystem (102) das Einlernmodul (1021) und eine Kennzeichnungsdatenbank (1022), die mit dem Einlernmodul (1021) verbunden ist, gemäß einer aktualisierten Klassifikationsentscheidung und der zweiten Klassifikationsentscheidung sofort aktualisiert.
System zum intelligenten Überwachen der Produktionslinie (10) nach Anspruch 1, wobei das Klassifikatoruntersystem (104) eine Kennzeichnungsaussonderungseinheit (1041) zum Aussondern einer Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit beinhaltet und die Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit von dem Klassifikatoruntersystem (104) an den Arbeitsplatzhost (103) übertragen wird.
System zum intelligenten Überwachen der Produktionslinie (10) nach Anspruch 1, wobei der Arbeitsplatzhost (103) ein Modul zur Neuprüfung vergangener Kennzeichnungen (1032) beinhaltet, das eine vergangene Klassifikationsentscheidung anzeigt, die in engem Zusammenhang mit der ersten Klassifikationsentscheidung steht, und die vergangene Klassifikationsentscheidung wenigstens ein vergangenes Bild mit einer vergangenen Kennzeichnung beinhaltet, und das Modul zur Neuprüfung vergangener Kennzeichnungen (1032) dazu konfiguriert ist, einen dritten Neuüberprüfungsvorgang im Zusammenhang mit der vergangenen Klassifikationsentscheidung einzugeben, um die im Einlernuntersystem (102) gespeicherte vergangene Klassifikationsentscheidung zu aktualisieren.
System zum intelligenten Überwachen der Produktionslinie (10) nach Anspruch 1, Anspruch 2 oder Anspruch 3, wobei wenigstens ein Prüfobjektbild, welches das Klassifikatoruntersystem (104) von der Bildaufnahmevorrichtung erlangt, wenigstens ein abweichendes Prüfobjektbild ist, das von der Bildaufnahmevorrichtung (101) auf Grundlage einer Technik für AOI (automatische optische Prüfung) herausgefiltert wird.
System zum intelligenten Überwachen der Produktionslinie (10), insbesondere zum Überwachen wenigstens eines Prüfobjektbilds, das durch eine Bildaufnahmevorrichtung (101) aufgenommen wird, umfassend: ein Einlernuntersystem (102) mit einem Einlernmodul (1021), das Arten des Prüfobjekts entspricht; einen Arbeitsplatzhost (103), der mit dem Einlernuntersystem (102) verbunden ist und ein Kennzeichnungsmodul (1031) aufweist; ein Bildkorrelationsanalysemodul (105), das mit der Bildaufnahmevorrichtung (101) verbunden ist, um eine Gruppe von Prüfobjektbildern zu analysieren, wodurch wenigstens ein Bilddifferenzmerkmal durch Vergleich der Gruppe von Prüfobjektbildern erlangt wird; und ein Klassifikatoruntersystem (104), das jeweils mit dem Einlernuntersystem (102), dem Bildkorrelationsanalysemodul (105) und dem Arbeitsplatzhost (103) verbunden ist; wobei das Klassifikatoruntersystem (104) dazu konfiguriert ist, das Einlernmodul (1021) auszulesen, um das Bilddifferenzmerkmal zu analysieren, woraufhin eine erste Klassifikationsentscheidung getroffen und an den Arbeitsplatzhost (103) übertragen wird, und wenn die erste Klassifikationsentscheidung als abweichend betrachtet wird, die erste Klassifikationsentscheidung ein gesamtes Bild und ein abweichenden Bild mit wenigstens einer Neuüberprüfungskennzeichnung beinhaltet; wobei das Kennzeichnungsmodul (1031) dazu konfiguriert ist, einen ersten Neuüberprüfungsvorgang einzugeben, der dem abweichenden Bild zugeordnet ist, um die erste Klassifikationsentscheidung zu aktualisieren, die vom Arbeitsplatzhost (103) an das Einlernuntersystem (102) übertragen wird; und wobei das Kennzeichnungsmodul (1031) dazu konfiguriert ist, eine Unvollständige-Prüfung-Kennzeichnung anzubringen, die dem gesamten Bild zugeordnet ist, um eine zweite Klassifikationsentscheidung zu erzeugen, welche die erste Klassifikationsentscheidung ersetzt und vom Arbeitsplatzhost (103) an das Einlernuntersystem (102) übertragen wird, derart, dass das Einlernuntersystem (102) das Einlernmodul (1021) und eine Kennzeichnungsdatenbank (1022), die mit dem Einlernmodul (1021) verbunden ist, sofort gemäß einer aktualisierten Klassifikationsentscheidung und der zweiten Klassifikationsentscheidung aktualisiert.
System zum intelligenten Überwachen der Produktionslinie (10) nach Anspruch 5, wobei das Klassifikatoruntersystem (104) eine Kennzeichnungsaussonderungseinheit (1041) zum Aussondern einer Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit beinhaltet und die Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit von dem Klassifikatoruntersystem (104) an den Arbeitsplatzhost (103) übertragen wird.
System zum intelligenten Überwachen der Produktionslinie (10) nach Anspruch 5, wobei der Arbeitsplatzhost (103) eine Neuprüfung vergangener Kennzeichnungen beinhaltet, das eine vergangene Klassifikationsentscheidung anzeigt, die in engem Zusammenhang mit der ersten Klassifikationsentscheidung steht, und die vergangene Klassifikationsentscheidung wenigstens ein vergangenes Bild mit einer vergangenen Kennzeichnung beinhaltet, und das Modul zur Neuprüfung vergangener Kennzeichnungen (1032) dazu konfiguriert ist, einen dritten Neuüberprüfungsvorgang im Zusammenhang mit der vergangenen Klassifikationsentscheidung einzugeben, um die im Einlernuntersystem (102) gespeicherte vergangene Klassifikationsentscheidung zu aktualisieren.
System zum intelligenten Überwachen der Produktionslinie (10) nach Anspruch 5, Anspruch 6 oder Anspruch 7, wobei wenigstens ein Prüfobjektbild, welches das Klassifikatoruntersystem (104) von der Bildaufnahmevorrichtung (101) erlangt, wenigstens ein abweichendes Prüfobjektbild ist, das von der Bildaufnahmevorrichtung (101) auf Grundlage einer Technik für AOI (automatische optische Prüfung) herausgefiltert wird.
System zum intelligenten Überwachen der Produktionslinie (10), insbesondere zum Überwachen wenigstens eines Prüfobjektbilds, das durch eine Bildaufnahmevorrichtung (101) aufgenommen wird, umfassend: ein Einlernuntersystem (102) mit wenigstens einem Einlernmodul (1021), das Arten des Prüfobjekts entspricht; einen Arbeitsplatzhost (103) ; ein Klassifikatoruntersystem (104), das jeweils mit der Bildaufnahmevorrichtung (101), dem Einlernuntersystem (102) und dem Arbeitsplatzhost (103) verbunden ist, wobei das Klassifikatoruntersystem (104) dazu konfiguriert ist, das Einlernmodul (1021) auszulesen, um Bildmerkmale des Prüfobjektbilds zu analysieren, woraufhin eine erste Klassifikationsentscheidung getroffen und an den Arbeitsplatzhost (103) übertragen wird, und wenn die erste Klassifikationsentscheidung als abweichend betrachtet wird, die erste Klassifikationsentscheidung wenigstens ein abweichendes Bild beinhaltet; und eine zweite Bildaufnahmevorrichtung (106), die jeweils mit dem Arbeitsplatzhost (103) und dem Einlernuntersystem (102) verbunden ist, um das auf Grundlage des abweichenden Bilds reparierte Prüfobjektbild aufzunehmen, um so wenigstens ein Bild des reparierten Prüfobjekts zu erlangen, wobei das Bild des reparierten Prüfobjekts als ein nicht abweichendes Bild betrachtet wird, das von der zweiten Bildaufnahmevorrichtung (106) an das Einlernuntersystem (102) übertragen wird, sodass das Einlernuntersystem (102) das Einlernmodul (1021) und die Kennzeichnungsdatenbank (1022), die mit dem Einlernmodul (1021) verbunden ist, in Echtzeit gemäß einem gekennzeichneten Bilddifferenzmerkmal und dem Bild des reparierten Prüfobjekts aktualisiert.
System zum intelligenten Überwachen der Produktionslinie (10) nach Anspruch 9, wobei die zweite Bildaufnahmevorrichtung (106) ein Erweiterte-Realität-Display zum Anzeigen der ersten Klassifikationsentscheidung auf dem Erweiterte-Realität-Display ist und die zweite Bildaufnahmevorrichtung (106) ferner dazu konfiguriert ist, Reparaturstelleninformationen des Prüfobjekts während der Reparatur aufzuzeichnen, um die Reparaturstelleninformationen als wenigstens ein Bilddifferenzmerkmal zwischen dem Prüfobjektbild und dem Bild des reparierten Prüfobjekts anzugeben, und das Bilddifferenzmerkmal von der zweiten Bildaufnahmevorrichtung (106) an das Einlernuntersystem (102) übertragen wird, sodass das Einlernuntersystem (102) das Einlernmodul (1021) und die Kennzeichnungsdatenbank (1022), die mit dem Einlernmodul (1021) verbunden ist, in Echtzeit gemäß dem gekennzeichneten Bilddifferenzmerkmal und dem Bild des reparierten Prüfobjekts aktualisiert.
System zum intelligenten Überwachen der Produktionslinie (10) nach Anspruch 9 oder Anspruch 10, wobei wenigstens ein Prüfobjektbild, welches das Klassifikatoruntersystem (104) von der Bildaufnahmevorrichtung (101) erlangt, wenigstens ein abweichendes Prüfobjektbild ist, das von der Bildaufnahmevorrichtung (101) auf Grundlage einer Technik für AOI (automatische optische Prüfung) herausgefiltert wird.
Verfahren zum intelligenten Überwachen der Produktionslinie, wobei eine Bildaufnahmevorrichtung (101) ein Prüfobjektbild aufnimmt und nach dem Erzielen von wenigstens einem Prüfobjektbild die folgenden Schritte ausgeführt werden: (A) Analysieren eines Bildmerkmals und Treffen einer Klassifikationsentscheidung, wobei ein Klassifikatoruntersystem (104) ein Einlernmodul (1021) ausliest, um das Bildmerkmal des Prüfobjektbilds zu analysieren, während wenigstens eine erste Klassifikationsentscheidung getroffen und an einen Arbeitsplatzhost (103) übertragen wird, und wenn die erste Klassifikationsentscheidung als abweichend betrachtet wird, die erste Klassifikationsentscheidung ein gesamtes Bild und ein abweichendes Bild mit einer Neuüberprüfungskennzeichnung beinhaltet; (B) automatisches Aussondern und Kennzeichnen, wobei, wenn die Neuüberprüfungskennzeichnung eine Vielzahl ist, das Klassifikatoruntersystem (104) eine Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit aussondert, die von dem Klassifikatoruntersystem (104) an den Arbeitsplatzhost (103) übertragen wird; (C) Eingeben eines Neuüberprüfungsvorgangs, wobei ein Kennzeichnungsmodul (1031) des Arbeitsplatzhosts (103) einen ersten Neuüberprüfungsvorgang eingibt, der dem abweichenden Bild zugeordnet ist, um die erste Klassifikationsentscheidung zu aktualisieren, die von dem Arbeitsplatzrechner an das Einlernuntersystem (102) übertragen wird; und (D) Aktualisieren des Einlernmoduls in Echtzeit, wobei das Einlernuntersystem (102) das Einlernmodul (1021) und eine Kennzeichnungsdatenbank (1022), die mit dem Einlernmodul (1021) verbunden ist, in Echtzeit gemäß einer aktualisierten Klassifikationsentscheidung aktualisiert.
Verfahren zum intelligenten Überwachen der Produktionslinie nach Anspruch 12, wobei, wenn Schritt (C) ausgeführt wird, das Kennzeichnungsmodul (1031) auch eine Unvollständige-Prüfung-Kennzeichnung anbringt, die dem gesamten Bild zugeordnet ist, und eine zweite Klassifikationsentscheidung erzeugt, um die erste Klassifikationsentscheidung zu ersetzen, indem es einen zweiten Neuüberprüfungsvorgang eingibt, woraufhin die zweite Klassifikationsentscheidung vom Arbeitsplatzhost (103) an das Einlernuntersystem (102) übertragen wird, und woraufhin, wenn Schritt (D) ausgeführt wird, das Einlernuntersystem (102) auch das Einlernmodul (1021) und die Kennzeichnungsdatenbank (1022) in Echtzeit gemäß der zweiten Klassifikationsentscheidung aktualisiert.
Verfahren zum intelligenten Überwachen der Produktionslinie nach Anspruch 12, wobei, wenn Schritt (B) ausgeführt wird, der Arbeitsplatzhost (103) eine vergangene Klassifikationsentscheidung anzeigt, die in engem Zusammenhang mit der ersten Klassifikationsentscheidung steht, wobei die vergangene Klassifikationsentscheidung ein vergangenes Bild mit wenigstens einer vergangenen Kennzeichnung beinhaltet, und ein Modul zur Neuprüfung vergangener Kennzeichnungen (1032) veranlasst wird, einen dritten Neuüberprüfungsvorgang einzugeben, welcher der vergangenen Klassifikationsentscheidung zugeordnet ist, um die im Einlernuntersystem (102) gespeicherte vergangene Klassifikationsentscheidung zu aktualisieren.
Verfahren zum intelligenten Überwachen der Produktionslinie nach Anspruch 12, Anspruch 13 oder Anspruch 14, wobei vor dem Ausführen von Schritt (A) wenigstens ein Prüfobjektbild, welches das Klassifikatoruntersystem (104) von der Bildaufnahmevorrichtung (101) erlangt, wenigstens ein abweichendes Prüfobjektbild ist, das von der Bildaufnahmevorrichtung (101) auf Grundlage einer Technik für AOI (automatische optische Prüfung) herausgefiltert wird.
Verfahren zum intelligenten Überwachen der Produktionslinie, wobei eine Bildaufnahmevorrichtung (101) ein Prüfobjektbild aufnimmt und nach dem Erzielen von wenigstens einem Prüfobjektbild die folgenden Schritte ausgeführt werden: (A) Analysieren einer Gruppe von Bildern, wobei ein Bildkorrelationsanalysemodul (105) eine Gruppe von Prüfobjektbildern analysiert, die aus einer Vielzahl der Prüfobjektbildern zusammengesetzt ist, wobei, wenn die Vielzahl von Prüfobjektbildern unterschiedlich ist, das Bildkorrelationsanalysemodul (105) wenigstens ein Bilddifferenzmerkmal durch Vergleich der Gruppe von Prüfobjektbildern erlangt, und wenn die Vielzahl von Prüfobjektbildern gleich ist, das Bildkorrelationsanalysemodul (105) die Gruppe von Prüfobjektbildern an ein Klassifikatoruntersystem (104) überträgt; (B) Analysieren eines Bildmerkmals und Treffen einer Klassifikationsentscheidung, wobei, wenn die Vielzahl von Prüfobjektbildern unterschiedlich ist, das Klassifikatoruntersystem (104) ein Einlernmodul (1021) ausliest, um Bilddifferenzmerkmale zu analysieren, und eine erste Klassifikationsentscheidung trifft, und wobei, wenn die Vielzahl von Prüfobjektbildern gleich ist, das Klassifikatoruntersystem (104) das Einlernmodul (1021) ausliest, um Bildmerkmale der Vielzahl von Prüfobjektbildern zu analysieren, und die erste Klassifikationsentscheidung trifft, und die erste Klassifikationsentscheidung von dem Klassifikatoruntersystem (104) an einen Arbeitsplatzhost (103) übertragen wird, und wenn die erste Klassifikationsentscheidung als abweichend betrachtet wird, die ersten Klassifikationsentscheidung ein gesamtes Bild und ein abweichendes Bild mit wenigstens einer Neuüberprüfungskennzeichnung beinhaltet; (C) automatisches Aussondern und Kennzeichnen, wobei, wenn die Neuüberprüfungskennzeichnung eine Vielzahl ist, das Klassifikatoruntersystem (104) eine Klassifikationsentscheidung mit niedrigerer Zuverlässigkeit aussondert, die von dem Klassifikatoruntersystem (104) an den Arbeitsplatzhost (103) übertragen wird; (D) Eingeben eines Neuüberprüfungsvorgangs, wobei ein Kennzeichnungsmodul (1031) des Arbeitsplatzhosts (103) einen ersten Neuüberprüfungsvorgang eingibt, der dem abweichenden Bild zugeordnet ist, um die erste Klassifikationsentscheidung zu aktualisieren, die von dem Arbeitsplatzrechner an das Einlernuntersystem (102) übertragen wird; und (E) Aktualisieren des Einlernmoduls in Echtzeit, wobei das Einlernuntersystem (102) das Einlernmodul (1021) und eine Kennzeichnungsdatenbank (1022), die mit dem Einlernmodul (1021) verbunden ist, in Echtzeit gemäß einer aktualisierten Klassifikationsentscheidung aktualisiert.
Verfahren zum intelligenten Überwachen der Produktionslinie nach Anspruch 16, wobei, wenn Schritt (C) ausgeführt wird, das Kennzeichnungsmodul (1031) auch eine Unvollständige-Prüfung-Kennzeichnung anbringt, die dem gesamten Bild zugeordnet ist, und eine zweite Klassifikationsentscheidung erzeugt, um die erste Klassifikationsentscheidung zu ersetzen, indem es einen zweiten Neuüberprüfungsvorgang eingibt, woraufhin die zweite Klassifikationsentscheidung vom Arbeitsplatzhost (103) an das Einlernuntersystem (102) übertragen wird, und woraufhin, wenn Schritt (E) ausgeführt wird, das Einlernuntersystem (102) auch das Einlernmodul (1021) und die Kennzeichnungsdatenbank (1022) in Echtzeit gemäß der zweiten Klassifikationsentscheidung aktualisiert.
Verfahren zum intelligenten Überwachen der Produktionslinie nach Anspruch 16, wobei, wenn Schritt (C) ausgeführt wird, der Arbeitsplatzhost (103) eine vergangene Klassifikationsentscheidung anzeigt, die in engem Zusammenhang mit der ersten Klassifikationsentscheidung steht, wobei die vergangene Klassifikationsentscheidung ein vergangenes Bild mit wenigstens einer vergangenen Kennzeichnung beinhaltet, und ein Modul zur Neuprüfung vergangener Kennzeichnungen (1032) veranlasst wird, einen dritten Neuüberprüfungsvorgang einzugeben, welcher der vergangenen Klassifikationsentscheidung zugeordnet ist, um die im Einlernuntersystem (102) gespeicherte vergangene Klassifikationsentscheidung zu aktualisieren.
Verfahren zum intelligenten Überwachen der Produktionslinie nach Anspruch 16, Anspruch 17 oder Anspruch 18, wobei vor dem Ausführen von Schritt (A) wenigstens ein Prüfobjektbild, welches das Klassifikatoruntersystem (104) von der Bildaufnahmevorrichtung (101) erlangt, wenigstens ein abweichendes Prüfobjektbild ist, das von der Bildaufnahmevorrichtung (101) auf Grundlage einer Technik für AOI (automatische optische Prüfung) herausgefiltert wird.
Verfahren zum intelligenten Überwachen der Produktionslinie, wobei eine Bildaufnahmevorrichtung (101) ein Prüfobjektbild aufnimmt und nach dem Erzielen von wenigstens einem Prüfobjektbild die folgenden Schritte ausgeführt werden: (A) Analysieren eines Bildmerkmals und Treffen einer Klassifikationsentscheidung, wobei ein Klassifikatoruntersystem (104) ein Einlernmodul (1021) ausliest, um Bildmerkmale des Prüfobjektbilds zu analysieren, während wenigstens eine erste Klassifikationsentscheidung getroffen und an einen Arbeitsplatzhost (103) übertragen wird, und wenn die erste Klassifikationsentscheidung als abweichend betrachtet wird, die erste Klassifikationsentscheidung wenigstens ein abweichendes Bild beinhaltet; (B) Aufnehmen eines reparierten Bilds und Kennzeichnen, wobei eine zweite Bildaufnahmevorrichtung (106) das auf Grundlage des abweichenden Bilds reparierte Prüfobjekt aufnimmt, um wenigstens ein Bild des reparierten Prüfobjekts zu erlangen und wenigstens ein Bilddifferenzmerkmal zwischen dem Prüfobjektbild und dem Bild des reparierten Prüfobjekts anzubringen, und das Bild des reparierten Prüfobjekts als nicht abweichenden Bild betrachtet und von der zweiten Bildaufnahmevorrichtung (106) an das Einlernuntersystem (102) übertragen wird; und (C) Aktualisieren des Einlernmoduls (1021) in Echtzeit, wobei das Einlernuntersystem (102) das Einlernmodul (1021) und eine Kennzeichnungsdatenbank (1022) gemäß dem gekennzeichneten Bilddifferenzmerkmal und dem Bild des reparierten Prüfobjekts aktualisiert.
Verfahren zum intelligenten Überwachen der Produktionslinie nach Anspruch 20, wobei vor dem Ausführen von Schritt (A) wenigstens ein Prüfobjektbild, welches das Klassifikatoruntersystem (104) von der Bildaufnahmevorrichtung (101) erlangt, wenigstens ein abweichendes Prüfobjektbild ist, das von der Bildaufnahmevorrichtung (101) auf Grundlage einer Technik für AOI (automatische optische Prüfung) herausgefiltert wird.