DE102018110062A1

DE102018110062A1 - Method for error detection of automated processes

Info

Publication number: DE102018110062A1
Application number: DE102018110062.0A
Authority: DE
Inventors: Carsten Strampe
Original assignee: Imago Tech GmbH; Imago Technologies GmbH
Current assignee: Imago Tech GmbH; Imago Technologies GmbH
Priority date: 2018-04-26
Filing date: 2018-04-26
Publication date: 2019-10-31

Abstract

Bei einem Verfahren zum Erkennen einer fehlerhaft ausgeführten Prozessphase eines aus einer Mehrzahl von Sequenzen (101, 102, 103, 104) zusammengesetzten automatisiert ablaufenden Prozesses (100), wobei im Prozessablauf eine Reihe sukzessiver Sillbilder erstellt werden, wird eine im Vergleich zum Stand der Technik verbesserte Zuverlässigkeit dadurch erreicht, dass eine Fehlererkennung durch Vergleich eines jeweiligen der erstellten Standbilder (110, 120, 130, 140) einer betreffenden Prozessphase mit einem jeweils abgespeicherten, eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild (110', 120', 130', 140') ermittelt wird.

In a method for detecting an incorrectly executed process phase of an automated process (100) composed of a plurality of sequences (101, 102, 103, 104), wherein a series of successive Sill images are created in the process flow, one becomes compared to the prior art Improved reliability achieved by an error detection by comparing a respective one of the created still images (110, 120, 130, 140) of a respective process phase with a respectively stored, a correctly executed process phase representing comparison image (110 ', 120', 130 ', 140' ) is determined.

Description

Die Erfindung betrifft ein Verfahren zum Erkennen einer fehlerhaft ausgeführten Prozessphase eines aus einer Mehrzahl von Sequenzen zusammengesetzten automatisiert ablaufenden Prozesses, wobei im Prozessablauf eine Reihe sukzessiver Standbilder erstellt werden.The invention relates to a method for detecting a faulty executed process phase of an automated sequence process composed of a plurality of sequences, wherein a series of successive still images are created in the process flow.

Verfahrenen der eingangs genannten Art sind im Stand der Technik in einer Mehrzahl unterschiedlicher Ausführungen bekannt. Die bekannten Verfahrenen weisen indes zum einen den Nachteil auf, dass ihre Zuverlässigkeit bei der Erkennung von Fehlern im Ablauf eines automatisierten Prozesses noch Raum für Verbesserungen lassen. Zum anderen sind die bekannten Verfahren immer nur für einzelne Prozesse vorgesehen, so dass eine wünschenswerte allgemeine Verwendbarkeit und Übertragbarkeit auf unterschiedliche Prozessabläufe nicht gegeben ist.Methods of the type mentioned are known in the prior art in a plurality of different designs. The known methods, however, on the one hand have the disadvantage that their reliability in the detection of errors in the course of an automated process still leave room for improvement. On the other hand, the known methods are always intended only for individual processes, so that a desirable general usability and transferability to different process sequences is not given.

Aufgabe der Erfindung ist es deshalb, ein Verfahren zum Erkennen einer fehlerhaft ausgeführten Prozessphase eines aus einer Mehrzahl von Sequenzen zusammengesetzten automatisiert ablaufenden Prozesses zu schaffen, das allgemein anwendbar ist und in seiner Zuverlässigkeit gegenüber den bekannten Verfahrenen verbessert ist.The object of the invention is therefore to provide a method for detecting a faulty executed process phase of an assembled from a plurality of sequences automated process running, which is generally applicable and is improved in its reliability over the known methods.

Für ein Verfahren der eingangs genannten Art wird diese Aufgabe erfindungsgemäß dadurch gelöst, dass eine Fehlererkennung durch Vergleich eines jeweiligen der erstellten Standbilder einer betreffenden Prozessphase mit einem jeweils abgespeicherten, eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild ermittelt wird.For a method of the type mentioned, this object is achieved in that an error detection is determined by comparing a respective one of the created still images of a respective process phase with a respectively stored, a correctly executed process phase performing comparison image.

Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche, deren Elemente im Sinne einer weiteren Verbesserung der der Erfindung zugrunde gelegten Aufgabe wirken.Preferred embodiments of the invention are the subject of the dependent claims, whose elements in the sense of a further improvement of the invention are based task.

Bei dem erfindungsgemäßen Verfahren wird durch die Merkmalskombination, dass eine Fehlererkennung durch Vergleich eines jeweiligen der erstellten Standbilder einer betreffenden Prozessphase mit einem jeweils abgespeicherten, eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild ermittelt wird, eine Verwendbarkeit in sehr unterschiedlichen technischen Bereichen bei gleichzeitig hoher Zuverlässigkeit in der Fehlererkennung erreicht.In the method according to the invention is by the combination of features that an error detection by comparison of each of the created still images of a respective process phase is determined with a respectively stored, a correctly executed process phase representative comparison image, a usability in very different technical areas with high reliability in error detection reached.

Eine auf Fehlerhaftigkeit zu überprüfende Prozessphase ist in der Regel in einen Bewegungsablauf einer betreffenden motorisierten mechanischen Einheit eingebunden, wobei im Prozessablauf eine Reihe sukzessiver Sillbilder eines Bewegungsablaufes einer jeden mechanischen Einheit erstellt werden.A process phase to be checked for defectiveness is usually incorporated in a movement sequence of a respective motorized mechanical unit, wherein a series of successive Sill images of a movement sequence of each mechanical unit are created in the process sequence.

Für einen Vergleich zwischen einem zu analysierenden Standbild und einem eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild findet dabei generell eine Form der Mustererkennung Anwendung.In general, one form of pattern recognition is used for a comparison between a still image to be analyzed and a comparison image representing a correctly executed process phase.

Gemäß einer ersten bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird für einen Vergleich zwischen einem zu analysierenden Standbild und einem eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild eine Subtraktion der Helligkeitswerte der jeweiligen Pixel des Standbildes von den an betreffender Stelle angeordneten Pixeln des Vergleichsbildes durchgeführt.According to a first preferred embodiment of the method according to the invention, for a comparison between a still image to be analyzed and a comparison image representing a correctly executed process phase, a subtraction of the brightness values of the respective pixels of the still image from the pixels of the comparison image arranged at the relevant location is performed.

Dabei ist für die Ausführung einer Subtraktion der Helligkeitswerte der jeweiligen Pixel des Standbildes von den an betreffender Stelle angeordneten Pixeln des Vergleichsbildes im Wege eines Vergleiches zwischen einem zu analysierenden Standbild und einem eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild vorzugsweise ein auf optimierte Fehlererkennung programmiertes selbstlernendes neuronales Netz vorgesehen, das ausgelegt ist, um selbstständig unterschiedliche Gewichtungen betreffender Helligkeitswerte bei einer Subtraktion vorzunehmen.In this case, a self-learning neural network programmed for optimized error detection is preferably provided for carrying out a subtraction of the brightness values of the respective pixels of the still image from the pixels of the comparison image arranged at the relevant location by means of a comparison between a still image to be analyzed and a comparison image representing a correctly executed process phase , which is designed to independently make different weights of respective brightness values in a subtraction.

Gemäß einer anderen bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird für einen Vergleich zwischen einem zu analysierenden Standbild und einem eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild eine Korrelation zwischen dem Muster der jeweiligen Pixel des Standbildes mit dem Muster der jeweiligen Pixel des Vergleichsbildes durchgeführt.According to another preferred embodiment of the method according to the invention, a correlation between the pattern of the respective pixels of the still image and the pattern of the respective pixels of the comparison image is performed for a comparison between a still image to be analyzed and a comparison image representing a correctly executed process phase.

Das Ermitteln einer Korrelation zwischen dem Muster der jeweiligen Pixel des Standbildes mit dem Muster der jeweiligen Pixel des Vergleichsbildes wird dabei vorzugsweise durch Erstellen und Auswerten einer Korrelationsfunktion durchgeführt, wobei zu diesem Zweck eine Fouriertransformation des Musters des Standbildes sowie eine Fouriertransformation des Musters des Vergleichsbildes, eine anschließende Multiplikation der beiden Fourier transformierten Muster sowie eine daran anschließende Fourier-Rücktransformation durchgeführt wird.The determination of a correlation between the pattern of the respective pixels of the still image with the pattern of the respective pixels of the comparison image is preferably carried out by creating and evaluating a correlation function, for which purpose a Fourier transformation of the pattern of the still image and a Fourier transformation of the pattern of the comparison image subsequent multiplication of the two Fourier transformed patterns and a subsequent Fourier inverse transformation is performed.

Des Weiteren ist für die Ausführung einer Korrelation zwischen dem Muster der jeweiligen Pixel des Standbildes mit dem Muster der jeweiligen Pixel des Vergleichsbildes vorzugsweise ein auf optimierte Fehlererkennung programmiertes selbstlernendes neuronales Netz vorgesehen, das ausgelegt ist, um selbstständig unterschiedliche Gewichtungen betreffender Helligkeitswerte der betreffenden Muster des Standbildes und des Vergleichsbildes vorzunehmen.Furthermore, in order to carry out a correlation between the pattern of the respective pixels of the still image with the pattern of the respective pixels of the comparison image, a self-learning neural network programmed for optimized error detection is preferably provided, which is designed to independently apply different weightings to relevant brightness values of the respective patterns of the still image and the comparison image.

Bei dem erfindungsgemäßen Verfahren können die Standbilder gemäß einer einfachen Ausführungsform von einer in vorgegebenen Zeitabständen Standbilder erstellenden Kamera erstellt werden. Gemäß einer anderen Ausführungsform kann eine einen kontinuierlichen Bilderstrang erstellenden Kamera vorgesehen sein, wobei nach Ablauf jeweils vorgegebener Zeitabschnitte aus dem kontinuierlichen Bilderstrang eine Reihe sukzessiver Sillbilder zum Zweck einer Fehlererkennung eines jeden Standbildes erstellt wird. In the method according to the invention, the still images can, according to a simple embodiment, be created by a camera which produces still images at predetermined time intervals. According to another embodiment, a camera producing a continuous image strand may be provided, wherein after expiration of respectively predetermined time segments from the continuous image string, a series of successive Sill images is created for the purpose of error detection of each still image.

Prinzipiell kann ein jeweiliger maximaler zeitlicher Abstand zu einer vorausgegangenen Prozessphase bei der Erstellung der Reihe sukzessiver Standbilder fest vorgegeben sein.In principle, a respective maximum time interval to a preceding process phase in the generation of the series of successive still images can be fixed.

Gemäß bevorzugter Ausführungsformen des erfindungsgemäßen Verfahrens ist ein jeweiliger maximaler zeitlicher Abstand zu einer vorausgegangenen Prozessphase bei der Erstellung der Reihe sukzessiver Standbilder lediglich initial vorgegeben, wobei bei einer Fehlererkennung oberhalb einer vorgegebenen Fehlerquote der betreffenden Prozessphase ein oder mehr zusätzliche Bilder vor und nach dem initial vorgegebenen Zeitpunkt erstellt werden. Der initial vorgegebene Zeitpunkt ist dabei durch einen zeitlichen Abstand zu einer vorausgegangenen Prozessphase bestimmt.According to preferred embodiments of the method according to the invention, a respective maximum time interval to a preceding process phase in the generation of the series of successive still images is only initially predetermined, with an error detection above a predetermined error rate of the relevant process phase one or more additional images before and after the initial predetermined time to be created. The initially specified time is determined by a time interval to a previous process phase.

Des Weiteren ist vorzugsweise auch ein weiteres selbstlernendes neuronales Netz vorgesehen, um den Zeitpunkt für ein Erstellen ein oder mehr zusätzlicher Bilder zu ermitteln, wobei ein betreffender Zeitpunkt immer durch einen zeitlichen Abstand zu einer vorausgegangenen Prozessphase vorgegeben ist.Furthermore, a further self-learning neural network is preferably provided in order to determine the time for creating one or more additional images, wherein a relevant time is always predetermined by a time interval to a preceding process phase.

Ein wichtiger Anwendungsfall für das erfindungsgemäße Verfahren ist ein Herstellungsprozess eines Bauteils, bei dem ein Rohling während des Herstellungsprozesses mittels eines Fließbandes transportiert wird und während des Transportes auf dem Fließband einer Mehrzahl unterschiedlicher Bearbeitungsprozesse unterworfen wird. An important application for the method according to the invention is a production process of a component in which a blank is transported during the production process by means of a conveyor belt and is subjected to a multiplicity of different machining processes during transport on the assembly line.

Bei einem entsprechenden Fließbandtransport eines zu erstellenden Bauteils sind in der Regel eine Mehrzahl von Rohlingen in vorgegebenem Abstand hintereinander auf dem Fließband platziert, wobei eine Entscheidungszeit für das Erstellen eines Standbildes seitens eines Bildverarbeitungssystems als Funktion der Transport-geschwindigkeit des Fließbandes, den Abmessungen eines Rohlings sowie dem Abstand zwischen den Rohlingen eingestellt wird.In a corresponding conveyor belt transport of a component to be created, a plurality of blanks are usually placed at a predetermined distance one behind the other on the assembly line, wherein a decision time for creating a still image by an image processing system as a function of transport speed of the assembly line, the dimensions of a blank and the distance between the blanks is adjusted.

Vorzugsweise ist dabei für ein Erkennen einer Frontpartie eines auf dem Fließband transportierten Rohlings ein mit dem Bildverarbeitungssystem gekoppelter Sensor vorgesehen, wobei das Erstellen eines vollständigen Standbildes des Rohlings zum Zweck einer Analyse des Rohlings seitens des Bildverarbeitungssystems auf ein Signal des Sensors ausgelöst wird. Die Funktion des Sensors kann dabei insbesondere von einer mit einem Bildverarbeitungssystem verbundenen Kamera ausgeführt werden. Des Weiteren wird vorzugsweise mit einem Signal des Sensors zum Erstellen eines vollständigen Standbildes eines Rohlings ein Blitz aus einer LED-Lichtquelle ausgelöst.In this case, a sensor coupled to the image processing system is preferably provided for detecting a front part of a blank conveyed on the assembly line, the creation of a complete still image of the blank being initiated by the image processing system for the purpose of analyzing the blank on a signal from the sensor. The function of the sensor can be carried out in particular by a camera connected to an image processing system. Furthermore, preferably with a signal from the sensor for creating a complete still image of a blank, a flash is triggered from an LED light source.

Gemäß einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird ein erstelltes Standbild für den Vorgang des Überprüfens auf Korrektheit seitens des Bildverarbeitungssystems in einem elektronischen Speicher gespeichert, wobei bei Feststellen eines Montagefehlers oder eines inkorrekt bearbeiteten Bereiches eines Rohlings in einer Überwachungseinheit ein K.-o.-Signal für eine Steuereinheit des Fließbandes für ein Entfernen des Rohlings generiert wird.According to a further preferred embodiment of the method according to the invention, a created still image for the process of checking for correctness by the image processing system is stored in an electronic memory, wherein upon detection of an assembly error or an incorrectly processed region of a blank in a monitoring unit a K.-o. Signal for a control unit of the assembly line for a removal of the blank is generated.

Für ein Trainieren des Bildverarbeitungssystems im Sinne eines neuronalen Netzes wird dabei in einem elektronischen Speicher eine Sammlung als korrekt beurteilter Standbilder sowie eine Sammlung fehlerhaft beurteilter Standbilder gespeichert. Eine initiale Beurteilung eins Standbildes als korrekt oder fehlerhaft zum Training des Bildverarbeitungssystems wird dabei vorzugsweise aber nicht notwendigerweise von einem menschlichen Bewerter vorgenommen. Eine prozessorgesteuerte Beurteilung ist dabei ebenfalls denkbar und für bestimmte Anwendungen vorzuziehen.For training the image processing system in the sense of a neural network, a collection of correctly assessed still images as well as a collection of incorrectly assessed still images is stored in an electronic memory. An initial assessment of a still image as correct or erroneous for training the image processing system is preferably but not necessarily made by a human evaluator. A processor-controlled assessment is also conceivable and preferable for certain applications.

Insbesondere bei Auftreten weiterer, initial unbekannter fehlerhafter Standbilder ist das neuronale Netz unter Berücksichtigung dieser fehlerhaften Standbilder einem weiteren Training im Nachgang des initialen Trainings zu unterziehen.In particular when further, initially unknown, faulty still images occur, the neural network, taking into account these faulty still images, is to undergo further training following the initial training.

Gemäß einer wichtigen bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens sind bei einem Fließbandtransport eines herzustellenden Bauteils eine Mehrzahl von Rohlingen in vorgegebenem Abstand hintereinander auf dem Fließband platziert, wobei eine Entscheidungszeit für das Erstellen eines Standbildes seitens eines Bildverarbeitungssystems als Funktion der Transport-geschwindigkeit des Fließbandes, den Abmessungen eines Rohlings sowie dem Abstand zwischen den Rohlingen eingestellt wird.According to an important preferred embodiment of the method according to the invention, in a conveyor belt transport of a component to be produced, a plurality of blanks are placed at a predetermined distance one behind the other on the assembly line, wherein a decision time for creating a still image by an image processing system as a function of the transport speed of the assembly line, the dimensions a blank and the distance between the blanks is set.

Für ein Erkennen einer Frontpartie eines auf dem Fließband transportierten Rohlings ist dabei ein mit dem Bildverarbeitungssystem gekoppelter Sensor vorgesehen, und das Erstellen eines vollständigen Standbildes des Rohlings zum Zweck einer Analyse des Rohlings wird seitens des Bildverarbeitungssystems auf ein Signal des Sensors auslöst.For detecting a front part of a blank conveyed on the assembly line, a sensor coupled to the image processing system is provided, and the creation of a complete still image of the blank for the purpose of a Analysis of the blank is triggered by the image processing system to a signal from the sensor.

Die Funktion des Sensors wird vorzugsweise von einer mit einem Bildverarbeitungssystem verbundenen Kamera ausgeführt, wobei insbesondere mit einem Signal des Sensors zum Erstellen eines vollständigen Standbildes eines Rohlings ein Blitz aus einer LED-Lichtquelle ausgelöst werden kann.The function of the sensor is preferably carried out by a camera connected to an image processing system, wherein in particular with a signal from the sensor for creating a complete still image of a blank, a flash of an LED light source can be triggered.

Ein erstelltes Standbild für den Vorgang des Überprüfens auf Korrektheit seitens des Bildverarbeitungssystems 300 wird in der Regel in einem elektronischen Speicher 310 gespeichert, wobei bei Feststellen eines Montagefehlers oder eines inkorrekt bearbeiteten Bereiches eines Rohlings in einer Überwachungseinheit ein K.-o.-Signal für eine Steuereinheit des Fließbandes für ein Entfernen des Rohlings generiert wird.A created still image for the process of checking for correctness by the image processing system 300 is usually in an electronic store 310 stored, wherein upon detection of a mounting error or an incorrectly processed area of a blank in a monitoring unit a K . o. signal is generated for a control unit of the assembly line for removal of the blank.

Für ein Trainieren des Bildverarbeitungssystems im Sinne eines neuronalen Netzes wird vorab in einem elektronischen Speicher eine Sammlung als korrekt beurteilter Standbilder sowie eine Sammlung fehlerhaft beurteilter Standbilder gespeichert.For training the image processing system in terms of a neural network, a collection of correctly assessed still images and a collection of erroneously judged still images are stored in advance in an electronic memory.

Eine initiale Beurteilung eins Standbildes als korrekt oder fehlerhaft zum Training des Bildverarbeitungssystems wird dabei von einem menschlichen Bewerter oder von einem darauf spezialisierten eigenständigen Mustererkennungs-System vorgenommen.An initial assessment of a still image as correct or erroneous for training the image processing system is carried out by a human evaluator or by a stand-alone pattern recognition system specialized on it.

Entsprechend wird das neuronale Netz bei Auftreten weiterer, initial unbekannter fehlerhafter Standbilder unter Berücksichtigung initial unbekannten dieser Standbilder nachtrainiert.Accordingly, the neuronal network is retrained in the event of further, initially unknown, faulty still images, taking into account initially unknown, these still images.

Das erfindungsgemäße Verfahren wird im Folgenden anhand zweier bevorzugter Ausführungsformen erläutert, die in den Figuren der Zeichnungen dargestellt sind. Darin zeigen:

1 ein Blockdiagramm einer ersten bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens;
2 ein Blockdiagramm einer zweiten bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens.

The inventive method is explained below with reference to two preferred embodiments, which are illustrated in the figures of the drawings. Show:

1 a block diagram of a first preferred embodiment of the method according to the invention;
2 a block diagram of a second preferred embodiment of the method according to the invention.

Das in den 1 und 2 dargestellte erfindungsgemäße Verfahren ist zum Erkennen einer fehlerhaft ausgeführten Prozessphase eines aus einer Mehrzahl von Sequenzen 101, 102, 103, 104 zusammengesetzten automatisiert ablaufenden Prozesses 100 ausgelegt, wobei im Prozessablauf eine Reihe sukzessiver Sillbilder erstellt werden. Eine Fehlererkennung wird dabei durch Vergleich eines jeweiligen der erstellten Standbilder 110, 120, 130, 140 einer betreffenden Prozessphase mit einem jeweils abgespeicherten, eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild 110', 120', 130', 140' ermittelt.That in the 1 and 2 illustrated inventive method is for detecting a faulty process phase executed one of a plurality of sequences 101 . 102 . 103 . 104 compound automated process running 100 designed in the process, a series of successive Sillbilder are created. An error detection is done by comparing a respective one of the created still images 110 . 120 . 130 . 140 a relevant process phase with a respectively stored, a correctly executed process phase representing comparative image 110 ' . 120 ' . 130 ' . 140 ' determined.

Eine auf Fehlerhaftigkeit zu überprüfende Prozessphase ist dabei in einen Bewegungsablauf einer einen vorprogrammierten Bewegungsablauf ausführenden, über steuerbare Elektromotore betriebenen mechanischen Einheit 201, 202, 203, 204 eingebunden, wobei im Prozessablauf eine Reihe sukzessiver Sillbilder eines Bewegungsablaufes einer jeden mechanischen Einheit 201, 202, 203, 204 erstellt werden, wobei für einen Vergleich zwischen einem zu analysierenden Standbild 110, 120, 130, 140 und einem eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild 110', 120', 130', 140' eine Form der Mustererkennung Anwendung finden.A process phase to be checked for imperfection is in this case a sequence of movements of a mechanical unit which executes a preprogrammed movement sequence and is operated via controllable electric motors 201 . 202 . 203 . 204 involved in the process, a series of successive Sill images of a movement sequence of each mechanical unit 201 . 202 . 203 . 204 for a comparison between a still image to be analyzed 110 . 120 . 130 . 140 and a comparison picture representing a correctly executed process phase 110 ' . 120 ' . 130 ' . 140 ' find a form of pattern recognition application.

Dabei wird in dem in 1 dargestellten erfindungsgemäßen Verfahren für einen Vergleich zwischen einem zu analysierenden Standbild 110, 120, 130, 140 und einem eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild 110', 120', 130', 140' eine Subtraktion der Helligkeitswerte der jeweiligen Pixel des Standbildes 110, 120, 130, 140 von den an betreffender Stelle angeordneten Pixeln des Vergleichsbildes 110', 120', 130', 140' durchgeführt.It is in the in 1 illustrated method according to the invention for a comparison between a still image to be analyzed 110 . 120 . 130 . 140 and a comparison picture representing a correctly executed process phase 110 ' . 120 ' . 130 ' . 140 ' a subtraction of the brightness values of the respective pixels of the still image 110 . 120 . 130 . 140 from the pertinent pixels of the comparison image 110 ' . 120 ' . 130 ' . 140 ' carried out.

Für die Ausführung einer Subtraktion der Helligkeitswerte der jeweiligen Pixel des Standbildes 110, 120, 130, 140 von den an betreffender Stelle angeordneten Pixeln des Vergleichsbildes 110', 120', 130', 140' im Wege eines Vergleiches zwischen einem zu analysierenden Standbild 110, 120, 130, 140 und einem eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild 110', 120', 130', 140' ist ein auf optimierte Fehlererkennung programmiertes selbstlernendes neuronales Netz vorgesehen, das ausgelegt ist, um selbstständig unterschiedliche Gewichtungen betreffender Helligkeitswerte bei einer Subtraktion vorzunehmen.For performing a subtraction of the brightness values of the respective pixels of the still image 110 . 120 . 130 . 140 from the pertinent pixels of the comparison image 110 ' . 120 ' . 130 ' . 140 ' by means of a comparison between a still picture to be analyzed 110 . 120 . 130 . 140 and a comparison picture representing a correctly executed process phase 110 ' . 120 ' . 130 ' . 140 ' a self-learning neural network programmed for optimized error detection is provided, which is designed to autonomously carry out different weightings of relevant brightness values during a subtraction.

Bei dem in 2 dargestellten erfindungsgemäßen Verfahren wird für einen Vergleich zwischen einem zu analysierenden Standbild 110, 120, 130, 140 und einem eine korrekt ausgeführte Prozessphase darstellenden Vergleichsbild 110', 120', 130', 140' eine Korrelation zwischen dem Muster der jeweiligen Pixel des Standbildes 110, 120, 130, 140 mit dem Muster der jeweiligen Pixel des Vergleichsbildes 110', 120', 130', 140' durchgeführt.At the in 2 The method according to the invention shown is for a comparison between a still image to be analyzed 110 . 120 . 130 . 140 and a comparison picture representing a correctly executed process phase 110 ' . 120 ' . 130 ' . 140 ' a correlation between the pattern of each pixel of the still image 110 . 120 . 130 . 140 with the pattern of the respective pixels of the comparison image 110 ' . 120 ' . 130 ' . 140 ' carried out.

Das Ermitteln einer Korrelation zwischen dem Muster der jeweiligen Pixel des Standbildes 110, 120, 130, 140 und dem Muster der jeweiligen Pixel des Vergleichsbildes 110', 120', 130', 140' wird durch Erstellen und Auswerten einer Korrelationsfunktion durchgeführt, wobei zu diesem Zweck eine Fouriertransformation des Musters des Standbildes 110, 120, 130, 140 sowie eine Fouriertransformation des Musters des Vergleichsbildes 110', 120', 130', 140', eine anschließende Multiplikation der beiden Fourier transformierten Muster sowie eine daran anschließende Fourier-Rücktransformation durchgeführt wird.Determining a correlation between the pattern of the respective pixels of the still image 110 . 120 . 130 . 140 and the pattern of the respective pixels of the comparison image 110 ' . 120 ' . 130 ' . 140 ' is performed by creating and evaluating a correlation function, with a Fourier transform of the pattern of the still image for this purpose 110 . 120 . 130 . 140 and a Fourier transformation of the pattern of the comparison image 110 ' . 120 ' . 130 ' . 140 ' , a subsequent multiplication of the two Fourier transformed patterns and a subsequent Fourier inverse transformation is performed.

Für die Ausführung einer Korrelation zwischen dem Muster der jeweiligen Pixel des Standbildes 110, 120, 130, 140 mit dem Muster der jeweiligen Pixel des Vergleichsbildes 110', 120', 130', 140' ist ein auf optimierte Fehlererkennung programmiertes selbstlernendes neuronales Netz vorgesehen, das ausgelegt ist, um selbstständig unterschiedliche Gewichtungen betreffender Helligkeitswerte der betreffenden Muster des Standbildes 110, 120, 130, 140 und des Vergleichsbildes 110', 120', 130', 140' vorzunehmen.For performing a correlation between the pattern of the respective pixels of the still image 110 . 120 . 130 . 140 with the pattern of the respective pixels of the comparison image 110 ' . 120 ' . 130 ' . 140 ' For example, a self-learning neural network programmed for optimized error detection is provided, which is designed to independently determine different weightings of the brightness values of the relevant patterns of the still image 110 . 120 . 130 . 140 and the comparison image 110 ' . 120 ' . 130 ' . 140 ' make.

Die Standbilder 110, 120, 130, 140 für die in den 1 und 2 dargestellten erfindungsgemäßen Verfahren werden jeweils von einer in vorgegebenen Zeitabständen Standbilder 110, 120, 130, 140 erstellenden Kamera 500 erstellt, wobei ein jeweiliger zeitlicher Abstand zu einer vorausgegangenen Prozessphase bei der Erstellung der Reihe sukzessiver Standbilder 110, 120, 130, 140 lediglich initial vorgegeben ist und wobei bei einer Fehlererkennung oberhalb einer vorgegebenen Fehlerquote der betreffenden Prozessphase ein oder mehr zusätzliche Bilder vor und nach dem initial vorgegebenen Zeitpunkt erstellt werden. Ein jeder initial vorgegebene Zeitpunkt ist dabei durch einen zeitlichen Abstand zu einer vorausgegangenen Prozessphase bestimmt, wobei eine vorausgegangene Prozessphase auch der Prozessbeginn sein kann.The still pictures 110 . 120 . 130 . 140 for those in the 1 and 2 The inventive method shown are each of a predetermined time intervals still images 110 . 120 . 130 . 140 creating camera 500 created, with a respective time interval to a previous process phase when creating the series of successive still images 110 . 120 . 130 . 140 is only initially given and wherein an error detection above a predetermined error rate of the process phase concerned one or more additional images are created before and after the initial predetermined time. Each initial predetermined time is determined by a time interval to a previous process phase, where a previous process phase can also be the beginning of the process.

Ein nicht dargestelltes selbstlernendes neuronales Netz ist dabei vorgesehen, um den Zeitpunkt für ein Erstellen ein oder mehr zusätzlicher Bilder zu ermitteln, wobei ein betreffender Zeitpunkt immer durch einen zeitlichen Abstand zu einer vorausgegangenen Prozessphase definiert ist.An unillustrated self-learning neural network is provided to determine the time for creating one or more additional images, wherein a respective time is always defined by a time interval to a previous process phase.

Gemäß dem in 2 dargestellten Ausführungsbeispiel sind bei einem Fließbandtransport eines herzustellenden Bauteils eine Mehrzahl von Rohlingen 210, 220, 230, 240 in vorgegebenem Abstand hintereinander auf dem Fließband 200 platziert, wobei eine Entscheidungszeit für das Erstellen eines Standbildes 110, 120, 130, 140 seitens eines Bildverarbeitungssystems 300 als Funktion der Transport-geschwindigkeit des Fließbandes 200, den Abmessungen eines Rohlings 210, 220, 230, 240 sowie dem Abstand zwischen den Rohlingen 210, 220, 230, 240 eingestellt wird.According to the in 2 illustrated embodiment are in a conveyor belt transport of a component to be produced a plurality of blanks 210 . 220 . 230 . 240 at a predetermined distance one behind the other on the assembly line 200 placing a decision time for creating a still image 110 . 120 . 130 . 140 from an image processing system 300 as a function of the transport speed of the assembly line 200 , the dimensions of a blank 210 . 220 . 230 . 240 as well as the distance between the blanks 210 . 220 . 230 . 240 is set.

Für ein Erkennen einer Frontpartie eines auf dem Fließband 200 transportierten Rohlings 210, 220, 230, 240 ist ein mit dem Bildverarbeitungssystem 300 gekoppelter Sensor 400 vorgesehen, wobei das Erstellen eines vollständigen Standbildes 110, 120, 130, 140 des Rohlings 210, 220, 230, 240 zum Zweck einer Analyse des Rohlings 210, 220, 230, 240 seitens des Bildverarbeitungssystems 300 auf ein Signal des Sensors 400 auslöst wird.For detecting a front end of one on the assembly line 200 transported blank 210 . 220 . 230 . 240 is one with the image processing system 300 coupled sensor 400 provided, creating a complete still image 110 . 120 . 130 . 140 of the blank 210 . 220 . 230 . 240 for the purpose of analyzing the blank 210 . 220 . 230 . 240 on the part of the image processing system 300 to a signal from the sensor 400 is triggered.

Die Funktion des Sensors 400 wird dabei von einer mit einem Bildverarbeitungssystem 300 verbundenen Kamera 500 ausgeführt, wobei mit einem Signal des Sensors 400 zum Erstellen eines vollständigen Standbildes 110, 120, 130, 140 eines Rohlings 210, 220, 230, 240 ein Blitz aus einer LED-Lichtquelle 600 ausgelöst wird.The function of the sensor 400 is doing of one with an image processing system 300 connected camera 500 executed, with a signal from the sensor 400 to create a complete still image 110 . 120 . 130 . 140 a blank 210 . 220 . 230 . 240 a flash of an LED light source 600 is triggered.

Ein erstelltes Standbild 110, 120, 130, 140 wird des Weiteren für den Vorgang des Überprüfens auf Korrektheit seitens des Bildverarbeitungssystems 300 in einem elektronischen Speicher 310 gespeichert, wobei bei Feststellen eines Montagefehlers oder eines inkorrekt bearbeiteten Bereiches eines Rohlings 210, 220, 230, 240 in einer Überwachungseinheit 310 ein K.-o.-Signal für eine Steuereinheit 320 des Fließbandes 200 für ein Entfernen des Rohlings 210, 220, 230, 240 generiert wird.A created still image 110 . 120 . 130 . 140 further, for the process of checking for correctness by the image processing system 300 in an electronic memory 310 stored, wherein upon detection of a mounting error or an incorrectly machined portion of a blank 210 . 220 . 230 . 240 in a surveillance unit 310 a knock-out signal for a control unit 320 of the assembly line 200 for a removal of the blank 210 . 220 . 230 . 240 is generated.

Für ein Trainieren des Bildverarbeitungssystems 300 im Sinne eines neuronalen Netzes in einem elektronischen Speicher ist vorab eine Sammlung als korrekt beurteilter Standbilder 110*, 120*, 130*, 140* sowie eine Sammlung fehlerhaft beurteilter Standbilder 110**, 120**, 130**, 140** gespeichert.For training the image processing system 300 in the sense of a neural network in an electronic memory is a collection in advance as correctly judged still images 110 * . 120 * . 130 * . 140 * and a collection of erroneously judged still images 110 ** . 120 ** . 130 ** . 140 ** saved.

Eine initiale Beurteilung eins Standbildes 110, 120, 130, 140 als korrekt oder fehlerhaft zum Training des Bildverarbeitungssystems 300 wird von einem menschlichen Bewerter oder von einem externen System vorgenommen, wobei bei Auftreten weiterer, initial unbekannter fehlerhafter Standbilder 110***, 120***, 130***, 140*** das neuronale Netz unter Berücksichtigung dieser initial unbekannten Standbilder 110***, 120***, 130***, 140*** nachtrainiert wird.An initial assessment of a still image 110 . 120 . 130 . 140 as correct or faulty for training the image processing system 300 is performed by a human evaluator or by an external system, whereby upon occurrence of further, initially unknown erroneous still images 110 *** . 120 *** . 130 *** . 140 *** the neural network considering these initially unknown still images 110 *** . 120 *** . 130 *** . 140 *** is retrained.

Die oben erläuterten Ausführungsbeispiele der Erfindung dienen lediglich dem Zweck eines besseren Verständnisses der durch die Ansprüche vorgegebenen erfindungsgemäßen Lehre, die als solche durch die Ausführungsbeispiele nicht eingeschränkt ist.The above-described embodiments of the invention are merely for the purpose of better understanding of the teaching of the invention given by the claims, which is not limited as such by the embodiments.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

100100: = Prozess= Process
101, 102, 103, 104101, 102, 103, 104: = Sequenz= Sequence
110, 120, 130, 140110, 120, 130, 140: = Standbild= Freeze frame
110', 120', 130', 140'110 ', 120', 130 ', 140': = Vergleichsbild= Comparative image
110*, 120*, 130*, 140*110 *, 120 *, 130 *, 140 *: = positives Vergleichsbild= positive comparison picture
110**, 120**, 130**, 140**110 **, 120 **, 130 **, 140 **: = negatives Vergleichsbild= negative comparison image
110***, 120***, 130***, 140***110 ***, 120 ***, 130 ***, 140 ***: = initial unbekanntes negatives Vergleichsbild= initially unknown negative comparison image
200200: = Fließband= Assembly line
201, 202, 203, 204201, 202, 203, 204: = Roboter-Einheit= Robot unit
210, 220, 230, 240210, 220, 230, 240: = Rohlinge= Blanks
300300: = Bildverarbeitungssystem= Image processing system
310310: = Überwachungseinheit= Monitoring unit
320320: = Steuereinheit= Control unit
400400: = Sensor= Sensor
500500: = Kamera= Camera
600600: = LED-Lichtquelle= LED light source

Claims

A method for detecting a process phase incorrectly executed one of a plurality of sequences (101, 102, 103, 104) assembled automated running process (100), wherein in the process flow, a series of successive still pictures (110, 120, 130, 140) are created, characterized characterized in that an error detection is determined by comparing a respective one of the created still images (110, 120, 130, 140) of a respective process phase with a respectively stored, a correctly executed process phase representing comparison image (110 ', 120', 130 ', 140') ,

Method according to Claim 1 characterized in that a process phase to be checked for defectiveness is incorporated in a movement sequence of a relevant mechanical unit (201, 202, 203, 204), wherein in the process sequence a series of successive still images (110, 120, 130, 140) of a movement sequence of each mechanical unit (201, 202, 203, 204) are created.

Method according to one of the preceding claims, characterized in that for a comparison between a still image to be analyzed and a comparison image representing a correctly executed process phase, a form of pattern recognition is used.

Method according to one of Claims 1 to 3 , characterized in that for a comparison between a still image (110, 120, 130, 140) to be analyzed and a comparison image (110 ', 120', 130 ', 140') representing a correctly executed process phase, a subtraction of the brightness values of the respective pixels of the still image is performed by the pixels of the comparison image arranged at the relevant location.

Method according to Claim 4 , characterized in that for performing a subtraction of the brightness values of the respective pixels of a still image (110, 120, 130, 140) from the pertinent pixels of the comparison image (110 ', 120', 130 ', 140') in the way a comparison between a still image (110, 120, 130, 140) to be analyzed and a comparison image (110 ', 120', 130 ', 140') representing a correctly executed process phase is provided which has a self-learning neural network programmed for optimized error detection is to independently make different weights of respective brightness values in a subtraction.

Method according to one of Claims 1 to 3 , characterized in that for a comparison between a still image (110, 120, 130, 140) to be analyzed and a comparison image (110 ', 120', 130 ', 140') representing a correctly executed process phase, a correlation between the pattern of the respective Pixel of a still image (110, 120, 130, 140) is performed with the pattern of the respective pixels of the comparison image (110 ', 120', 130 ', 140').

Method according to Claim 6 characterized in that determining a correlation between the pattern of the respective pixels of the still image (110, 120, 130, 140) with the pattern of the respective pixels of the comparison image (110 ', 120', 130 ', 140') by creating and Evaluation of a correlation function is performed, for which purpose a Fourier transformation of the pattern of the still image (110, 120, 130, 140) and a Fourier transformation of the pattern of the comparison image (110 ', 120', 130 ', 140'), a subsequent multiplication of both Fourier transformed pattern and a subsequent Fourier inverse transformation is performed.

Method according to one of Claims 6 or 7 characterized in that for performing a correlation between the pattern of the respective pixels of a still image (110, 120, 130, 140) with the pattern of the respective pixels of the comparison image (110 ', 120', 130 ', 140') Optimized fault detection programmed self-learning neural network is provided, which is designed to independently different weights of brightness values of the respective patterns of the still image (110, 120, 130, 140) and the comparison image (110 ', 120', 130 ', 140') make ,

Method according to one of Claims 1 to 8th , characterized in that the still images (110, 120, 130, 140) of one in predetermined Time intervals still images (110, 120, 130, 140) creating camera can be created.

Method according to one of Claims 1 to 8th , characterized in that a continuous image strand creating camera is provided, wherein after each predetermined time intervals from the continuous image strand a series of successive still images (110, 120, 130, 140) for the purpose of error detection of each still image (110, 120, 130 , 140) is created.

Method according to one of Claims 9 or 10 , characterized in that a respective maximum time interval to a previous process phase in the creation of the series of successive still images (110, 120, 130, 140) is fixed.

Method according to one of Claims 9 or 10 , characterized in that a respective maximum time interval to a previous process phase when creating the series of successive still images (110, 120, 130, 140) is given only initially and at an error detection above a predetermined error rate of the process phase concerned one or more additional still images (110, 120, 130, 140) are created before and after the initial predetermined time, wherein the initial predetermined time is determined by a time interval to a previous process phase.

Method according to Claim 12 , characterized in that another self-learning neural network is provided to determine the time for creating one or more additional still images (110, 120, 130, 140), wherein a respective time is predetermined by a time interval to a previous process phase ,

Method according to one of the preceding claims, characterized in that in a conveyor belt transport of a component to be produced a plurality of blanks (210, 220, 230, 240) are placed at a predetermined distance one behind the other on the conveyor belt (200), wherein a decision time for the creation of a Still image (110, 120, 130, 140) by an image processing system (300) as a function of the transport speed of the conveyor belt (200), the dimensions of a blank (210, 220, 230, 240) and the distance between the blanks (210, 220, 230, 240) is set.

Method according to Claim 14 , characterized in that a sensor (400) coupled to the image processing system (300) is provided for detecting a front part of a blank (210, 220, 230, 240) transported on the assembly line (200), wherein the creation of a complete still image ( 110, 120, 130, 140) of the blank (210, 220, 230, 240) for the purpose of analyzing the blank (210, 220, 230, 240) from the image processing system 300 to a signal from the sensor (400).

Method according to Claim 15 , characterized in that the function of the sensor (400) is performed by a camera (500) connected to an image processing system (300).

Method according to one of Claims 15 or 16 , characterized in that with a signal of the sensor (400) for creating a complete still image (110, 120, 130, 140) of a blank (210, 220, 230, 240), a flash of an LED light source (600) is triggered ,

Method according to one of Claims 15 to 17 characterized in that a created still image (110, 120, 130, 140) for the process of checking for correctness is stored by the image processing system (300) in an electronic memory (310), upon detection of an assembly error or an incorrectly processed area a blank (210, 220, 230, 240) in a monitoring unit (310) a knock-out signal for a control unit (320) of the conveyor belt 200 for removing the blank (210, 220, 230, 240) is generated ,

Method according to one of the preceding claims, characterized in that for training the image processing system (300) in the sense of a neural network in an electronic memory a collection as correctly judged still images (110 *, 120 *, 130 *, 140 *) and a collection erroneously judged still images (110 **, 120 **, 130 **, 140 **) is stored.

Method according to Claim 19 characterized in that an initial assessment of a still image (110, 120, 130, 140) is made as correct or erroneous for training the image processing system (300) by a human evaluator or an external system.

Method according to the Claims 19 or 20 , characterized in that on the occurrence of further, initially unknown defective still images (110 ***, 120 ***, 130 ***, 140 ***), the neural network, taking into account these initially unknown still images (110 ***, 120 ***, 130 ***, 140 ***) is retrained.