Diese Anmeldung beansprucht die Priorität der chinesischen Anmeldung Nr. 202010493394.4 , eingereicht am 3. Juni 2020, deren Gegenstand hier durch Bezugnahme in seiner Gesamtheit aufgenommen ist.This application claims priority from Chinese application No. 202010493394.4 , filed June 3, 2020, the subject matter of which is incorporated herein by reference in its entirety.
Der Gegenstand der vorliegenden Erfindung bezieht sich allgemein auf Sichtüberprüfungssysteme.The subject matter of the present invention relates generally to visual inspection systems.
Überprüfungssysteme werden zum Überprüfen von Teilen während eines Fertigungsprozesses eingesetzt. Konventionelle Überprüfungssysteme verwenden Personal, um Teile manuell zu überprüfen, beispielsweise um fehlerhafte Teile zu identifizieren. Solche manuellen Überprüfungssysteme sind arbeitsintensiv und kostenintensiv. Die manuellen Überprüfungssysteme weisen eine geringe Detektiergenauigkeit auf, was zu einer schlechten Produktkonsistenz führt. Zusätzlich leiden manuelle Überprüfungssysteme unter menschlichen Fehlern aufgrund von Ermüdung, wie beispielsweise übersehene Defekte, falsche Zählungen, falsches Platzieren von Teilen und Ähnliches. Einige bekannte Überprüfungssysteme verwenden die maschinelle Bildverarbeitung zum Überprüfen von Teilen. Die maschinellen Sichtüberprüfungssysteme verwenden Kameras zur Abbildung der Teile. Bei bekannten Sichtüberprüfungssystemen stellt die Bildqualität ein Problem dar. Beispielsweise führt eine schlechte Bildqualität aufgrund von schlechtem Bildkontrast, schlechter Bildhelligkeit und Ähnlichem zu einer schlechten Systemleistung und einer fehlerhaften Überprüfung. Einige Bildverarbeitungssysteme nehmen die Teile zur Analyse mehrfach mit unterschiedlichen Helligkeitsstufen auf. Das mehrfache Abbilden der Teile führt jedoch zu einem langsamen Durchsatz.Inspection systems are used to inspect parts during a manufacturing process. Conventional inspection systems use personnel to manually inspect parts, for example to identify defective parts. Such manual verification systems are labor intensive and costly. The manual inspection systems have poor detection accuracy, which leads to poor product consistency. In addition, manual inspection systems suffer from human error due to fatigue, such as missed defects, incorrect counts, incorrect placement of parts, and the like. Some known inspection systems use machine vision to inspect parts. The machine vision inspection systems use cameras to image the parts. Image quality is a problem with known visual inspection systems. For example, poor image quality due to poor image contrast, poor image brightness, and the like leads to poor system performance and erroneous verification. Some image processing systems record the parts for analysis several times with different levels of brightness. However, multiple mapping of the parts results in slow throughput.
Die zu lösende Aufgabe besteht darin, ein Sichtüberprüfungssystem bereitzustellen, das kostengünstig und zuverlässig betrieben werden kann.The problem to be solved is to provide a visual inspection system that can be operated inexpensively and reliably.
Dieses Problem wird durch ein Sichtüberprüfungssystem gelöst, welches eine Sortierplattform umfasst, die eine obere Oberfläche aufweist, die Teile zur Überprüfung trägt. Eine Überprüfungsstation ist neben der Sortierplattform angeordnet. Die Überprüfungsstation umfasst eine Abbildungsvorrichtung zur Abbildung der Teile in einem Sichtfeld oberhalb der oberen Oberfläche. Eine Sichtüberprüfungssteuerung empfängt Bilder von der Abbildungsvorrichtung. Die Sichtüberprüfungssteuerung umfasst ein Bildhistogrammwerkzeug zur Vorverarbeitung der Bilder, um den Kontrast der Bilder zu verbessern, indem die Helligkeitswerte der Bilder basierend auf einer adaptiven Histogrammausgleichsverarbeitung neu verteilt werden, um verbesserte Bilder zu erzeugen. Die Sichtüberprüfungssteuerung verarbeitet die verbesserten Bilder auf Grundlage eines Bildanalysemodells, um Prüfungsergebnisse für jedes der Teile zu ermitteln. Die Sichtüberprüfungssteuerung weist ein Lernmodul mit künstlicher Intelligenz auf, das so betrieben wird, dass es das Bildanalysemodell auf Grundlage der verbesserten Bilder anpasst und konfiguriert.This problem is solved by a visual inspection system that includes a sorting platform having a top surface that supports parts for inspection. A checking station is arranged next to the sorting platform. The inspection station includes an imaging device for imaging the parts in a field of view above the top surface. A visual inspection controller receives images from the imaging device. The visual verification control includes an image histogram tool for preprocessing the images to improve the contrast of the images by redistributing the brightness values of the images based on adaptive histogram equalization processing to produce enhanced images. The visual inspection controller processes the enhanced images based on an image analysis model to determine inspection results for each of the parts. The visual verification controller has an artificial intelligence learning module that operates to adjust and configure the image analysis model based on the enhanced images.
Die Erfindung wird nun beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen gilt:
- 1 ist eine schematische Darstellung einer Maschine zur Herstellung von Fertigungsteilen, die ein Sichtüberprüfungssystem gemäß einer beispielhaften Ausführungsform aufweist.
- 2 ist eine Draufsicht auf das Sichtüberprüfungssystem gemäß einer beispielhaften Ausführungsform.
- 3 ist ein Flussdiagramm, das ein Verfahren zur Überprüfung von Teilen gemäß einer beispielhaften Ausführungsform zeigt.
- 4 ist ein Flussdiagramm, das ein Verfahren zur Bildverarbeitung gemäß einer beispielhaften Ausführungsform zeigt.
- 5 zeigt ein Bild des Teils gemäß einer beispielhaften Ausführungsform vor der Verarbeitung des Bildes mit einem Bildhistogrammwerkzeug.
- 6 zeigt ein verbessertes Bild des Teils gemäß einer beispielhaften Ausführungsform nach der Verarbeitung des Bildes mithilfe des Bildhistogrammwerkzeugs.
- 7 veranschaulicht ein Histogramm des in 5 gezeigten Bildes gemäß einer beispielhaften Ausführungsform vor der Umverteilung der Pixelwerte mit dem Bildhistogrammwerkzeug.
- 8 zeigt ein umverteiltes Histogramm des in 6 gezeigten Bildes gemäß einer beispielhaften Ausführungsform nach der Verarbeitung des Histogramms mit dem Bildhistogrammwerkzeug, um die Pixelwerte umzuverteilen.
The invention will now be described, by way of example, with reference to the accompanying drawings, in which: - 1 Figure 3 is a schematic illustration of a machine for making parts of manufacture having a visual inspection system in accordance with an exemplary embodiment.
- 2 Figure 3 is a top view of the visual inspection system in accordance with an exemplary embodiment.
- 3 Figure 3 is a flow diagram illustrating a method of inspecting parts in accordance with an exemplary embodiment.
- 4th FIG. 3 is a flow diagram illustrating a method of image processing in accordance with an exemplary embodiment.
- 5 Figure 12 shows an image of the part prior to processing the image with an image histogram tool, in accordance with an exemplary embodiment.
- 6th Figure 12 shows an enhanced image of the part after processing the image using the image histogram tool in accordance with an exemplary embodiment.
- 7th illustrates a histogram of the in 5 shown image according to an exemplary embodiment before the redistribution of the pixel values with the image histogram tool.
- 8th shows a redistributed histogram of the in 6th according to an exemplary embodiment after processing the histogram with the image histogram tool to redistribute the pixel values.
1 ist eine schematische Darstellung einer Maschine 10 zur Herstellung von Fertigungsteilen 50, wie beispielsweise Teile, die in elektrischen Verbindern verwendet werden. Die Teile 50 können beispielsweise Kontakte, Gehäuse, Leiterplatten oder andere Arten von Teilen sein. Die Maschine 10 kann auch zur Herstellung von Fertigungsteilen in anderen Branchen verwendet werden. Die Maschine 10 umfasst eine oder mehrere Formgebungsmaschinen 20, die zur Formgebung verschiedener Teile 50 verwendet werden. Die Formgebungsmaschinen 20 können beispielsweise eine Formmaschine, eine Presse, eine Drehbank und dergleichen umfassen. Die Maschine 10 umfasst ein Sichtüberprüfungssystem 100, das zum Überprüfen der verschiedenen Teile 50 verwendet wird. Die Maschine 10 umfasst eine oder mehrere Verarbeitungsmaschinen 30, die für die Verarbeitung der verschiedenen Teile 50 verwendet werden. Die Verarbeitungsmaschinen 30 können beispielsweise Montagemaschinen, Verpackungsmaschinen und Ähnliches umfassen. In verschiedenen Ausführungsformen können die Teile 50 beispielsweise an einer Montagestation zusammengesetzt werden, bevor sie verpackt werden, beispielsweise an einer Verpackungsstation. Die Teile 50 werden zwischen den Formgebungsmaschinen 20 und dem Sichtüberprüfungssystem 100 transportiert. Das Sichtüberprüfungssystem 100 dient zur Qualitätsüberprüfung der Teile 50 und schleust fehlerhafte Teile zum Ausschuss oder zur weiteren Prüfung aus. Die akzeptablen Teile 50, die eine Überprüfung durch das Sichtüberprüfungssystem 100 aufweisen, werden zwischen dem Sichtüberprüfungssystem 100 und den Verarbeitungsmaschinen 30 transportiert. 1 Figure 3 is a schematic representation of a machine 10 for the production of production parts 50 such as parts used in electrical connectors. The parts 50 can for example be contacts, housings, circuit boards or other types of parts. The machine 10 can also be used to manufacture manufacturing parts in other industries. The machine 10 includes one or more molding machines 20th that are used to shape various parts 50 be used. The molding machines 20th for example, may include a molding machine, press, lathe, and the like. The machine 10 includes a Visual inspection system 100 that is used to check the various parts 50 is used. The machine 10 includes one or more processing machines 30th responsible for processing the various parts 50 be used. The processing machines 30th may include assembly machines, packaging machines, and the like, for example. In various embodiments, the parts 50 be assembled, for example, at an assembly station before they are packaged, for example at a packaging station. The parts 50 are between the molding machines 20th and the visual inspection system 100 transported. The visual inspection system 100 serves to check the quality of the parts 50 and rejects defective parts for scrap or further testing. The acceptable parts 50 having a review by the visual inspection system 100 have between the visual inspection system 100 and the processing machines 30th transported.
Das Sichtüberprüfungssystem 100 umfasst eine Sortierplattform 102, die die Teile 50 durch das Sichtüberprüfungssystem 100 trägt. Die Sortierplattform 102 kann zum Zuführen oder Bewegen der Teile 50 durch das Sichtüberprüfungssystem 100 verwendet werden. In einer beispielhaften Ausführungsform können die Teile 50 in beliebiger Ausrichtung auf die Sortierplattform 102 geladen werden (beispielsweise nach vorne, nach hinten, zur Seite und dergleichen). Die Sortierplattform 102 ist in der Lage, die Teile zu tragen, ohne dass eine Befestigung erforderlich ist, was den Durchsatz der Teile 50 durch das Sichtüberprüfungssystem 100 erhöht.The visual inspection system 100 includes a sorting platform 102 who have made the parts 50 through the visual inspection system 100 wearing. The sorting platform 102 can be used to feed or move the parts 50 through the visual inspection system 100 be used. In an exemplary embodiment, the parts 50 in any orientation on the sorting platform 102 loaded (for example, forward, backward, to the side, and the like). The sorting platform 102 is able to carry the parts without the need for an attachment, which increases the throughput of the parts 50 through the visual inspection system 100 elevated.
Das Sichtüberprüfungssystem 100 umfasst eine Überprüfungsstation 104 mit einer oder mehreren Abbildungsvorrichtungen 106, die die Teile 50 auf der Sortierplattform 102 innerhalb eines Sichtfeldes der Abbildungsvorrichtung(en) 106 abbilden. In der dargestellten Ausführungsform umfasst das Sichtüberprüfungssystem 100 mehrere Abbildungsvorrichtungen 106 zur Abbildung verschiedener Seiten der Teile 50. Optional können alle Seiten (beispielsweise oben, unten, vorne, hinten, erste Seite und zweite Seite) mit den mehreren Abbildungsvorrichtungen 106 abgebildet werden. Die Abbildungsvorrichtung 106 ist in der Lage, die Teile 50 in den beliebigen Orientierungen abzubilden. In einer beispielhaften Ausführungsform kann das Sichtüberprüfungssystem 100 verwendet werden, um verschiedene Arten von Teilen 50 zu überprüfen. Beispielsweise kann das Sichtüberprüfungssystem 100 verwendet werden, um unterschiedlich große Teile, unterschiedlich geformte Teile, Teile in unterschiedlichen Ausrichtungen und dergleichen zu überprüfen.The visual inspection system 100 includes a review station 104 with one or more imaging devices 106 who have made the parts 50 on the sorting platform 102 within a field of view of the imaging device (s) 106 depict. In the illustrated embodiment, the visual inspection system comprises 100 multiple imaging devices 106 to depict different sides of the parts 50 . Optionally, all sides (e.g., top, bottom, front, back, first side, and second side) can be used with the multiple imaging devices 106 can be mapped. The imaging device 106 is able to get the parts 50 map in any orientation. In an exemplary embodiment, the visual inspection system 100 used to make different types of parts 50 to check. For example, the visual inspection system 100 used to inspect different sized parts, differently shaped parts, parts in different orientations, and the like.
Das Sichtüberprüfungssystem 100 umfasst eine Sichtüberprüfungssteuerung 108, die die Bilder von der Abbildungsvorrichtung 106 empfängt und die Bilder verarbeitet, um Prüfungsergebnisse zu ermitteln. Zum Beispiel bestimmt die Sichtüberprüfungssteuerung 108, ob jedes Teil 50 die Überprüfung besteht oder nicht. Die Sichtüberprüfungssteuerung 108 kann Teile 50, die fehlerhaft sind, zurückweisen. In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 108 ein Vorverarbeitungsmodul zum Vorverarbeiten des Bildes und ein Verarbeitungsmodul zum Verarbeiten des vorverarbeiteten Bildes. Beispielsweise kann das Vorverarbeitungsmodul vor der Verarbeitung eine Bildverbesserung durchführen. Das Vorverarbeitungsmodul kann eine Kontrastverbesserung der Bilder vornehmen.The visual inspection system 100 includes a visual inspection control 108 taking the images from the imaging device 106 receives and processes the images to determine test results. For example, the visual inspection control determines 108 whether any part 50 the verification passes or not. The visual inspection control 108 can parts 50 that are defective. In an exemplary embodiment, the visual inspection control includes 108 a preprocessing module for preprocessing the image and a processing module for processing the preprocessed image. For example, the preprocessing module can perform image enhancement prior to processing. The preprocessing module can improve the contrast of the images.
In einer beispielhaften Ausführungsform wird die Vorverarbeitung der Sichtüberprüfungssteuerung 108 durch ein Bildhistogrammwerkzeug durchgeführt. Das Bildhistogrammwerkzeug erzeugt ein Histogramm der Pixel des Bildes, berechnet eine kumulative Verteilungsfunktion basierend auf dem Histogramm und berechnet verbesserte Helligkeitswerte der Pixel des Bildes basierend auf der kumulativen Verteilungsfunktion, um ein verbessertes Bild zu erzeugen. Das Bildhistogrammwerkzeug verteilt die Helligkeitswerte der Pixel des Bildes neu, um den Kontrast des Bildes zu verbessern.In an exemplary embodiment, the preprocessing of the visual inspection control 108 performed by an image histogram tool. The image histogram tool creates a histogram of the pixels of the image, calculates a cumulative distribution function based on the histogram, and calculates enhanced brightness values of the pixels of the image based on the cumulative distribution function to produce an enhanced image. The image histogram tool redistributes the brightness values of the pixels in the image to improve the contrast of the image.
Die verbesserten Bilder werden von der Sichtüberprüfungssteuerung 108 basierend auf einem Bildanalysemodell verarbeitet. In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 108 ein Formerkennungswerkzeug, das so konfiguriert ist, dass es die Teile 50 im Sichtfeld auf der Sortierplattform 102 erkennt. Das Formerkennungswerkzeug verarbeitet das verbesserte Bild, das durch die vom Bildhistogrammwerkzeug durchgeführte Vorverarbeitung verbessert wurde. Die Bilder können verarbeitet werden, indem eine Mustererkennung der verbesserten Bilder auf Grundlage des Bildanalysemodells durchgeführt wird. Das Formerkennungswerkzeug kann Formen, Muster oder Merkmale in den verbesserten Bildern mit Formen, Mustern oder Merkmalen im Bildanalysemodell vergleichen. Die Bilder können verarbeitet werden, indem eine Merkmalsextraktion von in den Bildern detektierten Grenzen und Oberflächen durchgeführt und die Grenzen und Oberflächen mit dem Bildanalysemodell verglichen werden. Die Sichtüberprüfungssteuerung 108 kann Linien, Kanten, Brücken, Rillen oder andere Grenzen oder Oberflächen innerhalb des Bildes identifizieren. Durch die Vorverarbeitung der Bilder wird der Bildkontrast für eine verbesserte Identifizierung von Begrenzungen oder Oberflächen verbessert. Die Sichtüberprüfungssteuerung 108 kann zur optischen Zeichenerkennung (OCR) von Merkmalen im Bild verwendet werden. Zum Beispiel kann das Formerkennungswerkzeug für die OCR verwendet werden.The improved images are obtained from the visual inspection control 108 processed based on an image analysis model. In an exemplary embodiment, the visual inspection control includes 108 a shape recognition tool that is configured to recognize the parts 50 in the field of vision on the sorting platform 102 recognizes. The shape recognition tool processes the enhanced image that has been enhanced by the preprocessing performed by the image histogram tool. The images can be processed by pattern recognition of the enhanced images based on the image analysis model. The shape recognition tool can compare shapes, patterns, or features in the enhanced images to shapes, patterns, or features in the image analysis model. The images can be processed by performing feature extraction from boundaries and surfaces detected in the images and comparing the boundaries and surfaces with the image analysis model. The visual inspection control 108 can identify lines, edges, bridges, grooves or other boundaries or surfaces within the image. By preprocessing the images, the image contrast is improved for better identification of boundaries or surfaces. The visual inspection control 108 can be used for optical character recognition (OCR) of features in the image. For example, the shape recognition tool can be used for OCR.
In einer beispielhaften Ausführungsform weist die Sichtüberprüfungssteuerung 108 ein Kl-Lernmodul auf, das verwendet wird, um die Bildanalyse auf Grundlage der von der Abbildungsvorrichtung 106 empfangenen Bilder und/oder der verbesserten Bilder mit Kontrastverstärkung aus dem Bildhistogrammwerkzeug anzupassen und zu konfigurieren. Die Sichtüberprüfungssteuerung 108 kann während des Betriebs des Sichtüberprüfungssystems 100 in Echtzeit aktualisiert und trainiert werden. Zum Beispiel kann das Kl-Lernmodul die Sichtüberprüfungssteuerung 108 während des Betriebs des Sichtüberprüfungssystems 100 in Echtzeit aktualisieren und trainieren.In an exemplary embodiment, the visual inspection controller 108 an AI learning module that is used to perform image analysis based on the information provided by the imaging device 106 to adjust and configure received images and / or the enhanced images with contrast enhancement from the image histogram tool. The visual inspection control 108 can be used during the operation of the visual inspection system 100 updated and trained in real time. For example, the KI learning module can control the visual inspection 108 during operation of the visual inspection system 100 Update and train in real time.
Das Sichtüberprüfungssystem 100 umfasst eine Sortiervorrichtung 110 zum Sortieren der Teile 50 basierend auf den Prüfungsergebnissen. Beispielsweise kann die Sortiervorrichtung 110 die akzeptablen Teile von den fehlerhaften Teilen trennen. Die Sortiervorrichtung 110 kann ein mehrachsiger Robotermanipulator sein, der so konfiguriert ist, dass er die Teile greift und von der Sortierplattform 102 aufnimmt. In anderen Ausführungsformen kann die Sortiervorrichtung 110 einen Schieber oder Auswerfer umfassen, der so konfiguriert ist, dass er die akzeptablen und/oder die defekten Teile von der Sortierplattform 102 schiebt.The visual inspection system 100 comprises a sorting device 110 to sort the parts 50 based on the exam results. For example, the sorting device 110 separate the acceptable parts from the defective parts. The sorting device 110 can be a multi-axis robotic manipulator configured to grab the parts and off the sorting platform 102 records. In other embodiments, the sorting device 110 include a pusher or ejector configured to remove the acceptable and / or defective parts from the sorting platform 102 pushes.
2 ist eine Draufsicht auf das Sichtüberprüfungssystem 100 gemäß einer beispielhaften Ausführungsform. Das Sichtüberprüfungssystem 100 umfasst die Sortierplattform 102, die Überprüfungsstation 104, die Sichtüberprüfungssteuerung 108 und die Sortiervorrichtung 110. In einer beispielhaften Ausführungsform umfasst das Sichtüberprüfungssystem 100 eine Teilezuführvorrichtung 112. Die Teile 50 werden von der Teilezuführvorrichtung 112 auf die Sortierplattform 102 geladen, die einen Trichter, ein Förderband, einen Roboter oder eine andere Art von Zuführvorrichtung umfassen kann. Die Teile 50 werden der Überprüfungsstation 104 auf der Sortierplattform 102 zugeführt. Die Teile 50 können entlang der Sortierplattform 102 zur oder durch die Überprüfungsstation 104 zur Überprüfung der Teile 50 befördert oder zugeführt werden. Die Teile können entlang der Sortierplattform 102 vorgeschoben werden, beispielsweise in einer linearen Vorschubrichtung oder in einer gedrehten Vorschubrichtung. Die Teile 50 werden von der Sortierplattform 102 durch die Sortiervorrichtung 110 entnommen. 2 Figure 3 is a top plan view of the visual inspection system 100 according to an exemplary embodiment. The visual inspection system 100 includes the sorting platform 102 , the review station 104 , the visual inspection control 108 and the sorting device 110 . In an exemplary embodiment, the visual inspection system comprises 100 a parts feeder 112 . The parts 50 are from the parts feeder 112 onto the sorting platform 102 loaded, which may include a hopper, conveyor belt, robot, or other type of feeding device. The parts 50 become the verification station 104 on the sorting platform 102 fed. The parts 50 can along the sorting platform 102 to or through the review station 104 to check the parts 50 transported or supplied. The parts can be moved along the sorting platform 102 be advanced, for example in a linear advance direction or in a rotated advance direction. The parts 50 are from the sorting platform 102 through the sorting device 110 taken.
In einer beispielhaften Ausführungsform umfasst die Teilezuführvorrichtung 112 einen Behälter 120 zur Aufnahme eines Vorrats der Teile 50. Die Teile 50 werden aus dem Behälter 120 der Sortierplattform 102 zugeführt, beispielsweise über einen Trichter oder ein Förderband. Die Teile 50 können zu einer bestimmten Stelle der Sortierplattform 102 geführt werden, beispielsweise in der Nähe einer Mitte der Sortierplattform 102 zwischen einer ersten Seite 122 und einer zweiten Seite 124 der Sortierplattform 102. Die Teile 50 können auf die Sortierplattform 102 geladen werden, beispielsweise in der Nähe einer Rückseite 126 der Sortierplattform 102, und von oder auf der Sortierplattform 102 in Richtung der Vorderseite 128 der Sortierplattform 102 vorgeschoben werden. In alternativen Ausführungsformen können auch andere Arten von Teilezuführvorrichtungen 112 vorgesehen sein, wie beispielsweise eine drehbare Platte.In an exemplary embodiment, the parts feeder comprises 112 a container 120 to hold a supply of parts 50 . The parts 50 are out of the container 120 the sorting platform 102 fed, for example via a funnel or a conveyor belt. The parts 50 can go to a specific point on the sorting platform 102 be performed, for example in the vicinity of a center of the sorting platform 102 between a first page 122 and a second page 124 the sorting platform 102 . The parts 50 can go to the sorting platform 102 be charged, for example near a back 126 the sorting platform 102 , and from or on the sorting platform 102 towards the front 128 the sorting platform 102 be advanced. In alternative embodiments, other types of parts feeders may also be used 112 may be provided, such as a rotatable plate.
Die Sortierplattform 102 umfasst eine Platte 130, die eine obere Oberfläche 132 aufweist, die zum Tragen der Teile 50 verwendet wird. Die Platte 130 kann eine Vibrationsplatte sein, die in Schwingung versetzt wird, um die Teile 50 von der Rückseite 126 zur Vorderseite 128 zu befördern. Die Platte 130 kann rechteckig sein. In alternativen Ausführungsformen kann die Platte 130 jedoch auch andere Formen aufweisen, beispielsweise eine runde Form.The sorting platform 102 includes a plate 130 who have favourited a top surface 132 has to carry the parts 50 is used. The plate 130 may be a vibrating plate that is vibrated around the parts 50 from the back 126 to the front 128 to transport. The plate 130 can be rectangular. In alternative embodiments, the plate 130 however, also have other shapes, for example a round shape.
Die Überprüfungsstation 104 umfasst eine oder mehrere Abbildungsvorrichtungen 106 (eine einzelne Abbildungsvorrichtung 106 ist in 2 dargestellt), die neben der Sortierplattform 102 angeordnet sind. Die Abbildungsvorrichtung 106 kann sich oberhalb der oberen Oberfläche 132 befinden und die auf der oberen Oberfläche 132 angeordneten Teile 50 betrachten. Bei der Abbildungsvorrichtung 106 kann es sich um eine Kamera handeln, wie beispielsweise eine Kamera für sichtbares Licht, eine Infrarotkamera und dergleichen. Das Sichtfeld der Abbildungsvorrichtung 106 kann ungefähr in der Mitte zwischen der ersten und zweiten Seite 122, 124 der Sortierplattform 102 liegen. Das Sichtfeld der Abbildungsvorrichtung 106 kann ungefähr in der Mitte zwischen der Rückseite 126 und der Vorderseite 128 der Sortierplattform 102 liegen.The review station 104 includes one or more imaging devices 106 (a single imaging device 106 is in 2 shown) next to the sorting platform 102 are arranged. The imaging device 106 can be above the top surface 132 and those on the top surface 132 arranged parts 50 consider. At the imaging device 106 it can be a camera such as a visible light camera, an infrared camera, and the like. The field of view of the imaging device 106 can be roughly halfway between the first and second page 122 , 124 the sorting platform 102 lie. The field of view of the imaging device 106 can be roughly halfway between the back 126 and the front 128 the sorting platform 102 lie.
In einer beispielhaften Ausführungsform ist die Abbildungsvorrichtung 106 an einem Positionsmanipulator 140 zum Bewegen der Abbildungsvorrichtung 106 relativ zur Sortierplattform 102 befestigt. Der Positionsmanipulator 140 kann ein Arm oder eine Klammer sein, die die Abbildungsvorrichtung 106 trägt. In verschiedenen Ausführungsformen kann der Positionsmanipulator 140 in mehrere Richtungen positionierbar sein, beispielsweise im zwei- oder dreidimensionalen Raum. Der Positionsmanipulator 140 kann automatisch eingestellt werden, beispielsweise durch eine Steuerung, die die Positionierung der Positionsmanipulatoren 140 steuert. In anderen verschiedenen Ausführungsformen kann der Positionsmanipulator 140 manuell eingestellt werden. Die Position der Abbildungsvorrichtung 106 kann basierend auf den Typen der abzubildenden Teile 50 eingestellt werden. Wenn beispielsweise ein anderer Typ von Teil 50 abgebildet wird, kann die Abbildungsvorrichtung 106 auf Grundlage des Typs des abgebildeten Teils bewegt werden.In an exemplary embodiment, the imaging device is 106 on a position manipulator 140 for moving the imaging device 106 relative to the sorting platform 102 attached. The position manipulator 140 may be an arm or bracket that supports the imaging device 106 wearing. In various embodiments, the position manipulator 140 be positionable in several directions, for example in two- or three-dimensional space. The position manipulator 140 can be set automatically, for example by a controller, which controls the positioning of the position manipulators 140 controls. In other various embodiments, the position manipulator can 140 can be set manually. The position of the imaging device 106 can be based on the types of parts to be imaged 50 can be set. For example, if another type of part 50 is shown, the Imaging device 106 moved based on the type of part being depicted.
Die Sortiervorrichtung 110 befindet sich neben der Sortierplattform 102. Die Sortiervorrichtung 110 kann verwendet werden, um akzeptable Teile von fehlerhaften Teilen zu trennen, basierend auf der Eingabe von der Abbildungsvorrichtung 106. In einer beispielhaften Ausführungsform umfasst die Sortiervorrichtung 110 einen Roboterarm 150 und einen Greifer 152 an einem distalen Ende 154 des Roboterarms 150. In verschiedenen Ausführungsformen ist der Roboterarm 150 ein vierachsiger Roboterarm oder ein sechsachsiger Roboterarm. In alternativen Ausführungsformen können auch andere Typen von Roboterarmen 150 verwendet werden. Die Teile 50 werden mit dem Greifer 152 von der Sortierplattform 102 entnommen. Die Sortiervorrichtung 110 wird betrieben, um die Teile 50 von der Sortierplattform 102 zu entfernen, beispielsweise die akzeptablen Teile und/oder die fehlerhaften Teile. Die Teile 50 können zu Sammelbehältern transportiert werden, wie beispielsweise einem ersten Sammelbehälter 156 für die akzeptablen Teile und einem zweiten Sammelbehälter 158 für die defekten Teile. In verschiedenen Ausführungsformen wird die Sortiervorrichtung 110 betrieben, um alle Teile zu entfernen und jedes der Teile in den entsprechenden Sammelbehälter 156, 158 zu legen. In anderen Ausführungsformen wird die Sortiervorrichtung 110 so betrieben, dass sie nur die akzeptablen Teile in den ersten Sammelbehälter 156 entnimmt und die defekten Teile in den zweiten Sammelbehälter 158 fallen lässt (der sich an der Vorderseite 128 der Sortierplattform 102 befindet), während die Teile 50 in Vorschubrichtung weiterbewegt werden. In anderen Ausführungsformen wird die Sortiervorrichtung 110 so betrieben, dass sie nur die defekten Teile in den zweiten Sammelbehälter 158 befördert und die akzeptablen Teile in den ersten Sammelbehälter 156 (der sich an der Vorderseite 128 der Sortierplattform 102 befindet) fallen lässt, während die Teile 50 in der Zuführrichtung vorwärts bewegt werden. In alternativen Ausführungsformen können auch andere Arten von Teileentnahmevorrichtungen verwendet werden, wie beispielsweise Schieber, Auswerfer und dergleichen.The sorting device 110 is located next to the sorting platform 102 . The sorting device 110 can be used to separate acceptable parts from defective parts based on input from the imaging device 106 . In an exemplary embodiment, the sorting device comprises 110 a robotic arm 150 and a gripper 152 at a distal end 154 of the robot arm 150 . In various embodiments, the robotic arm is 150 a four-axis robotic arm or a six-axis robotic arm. In alternative embodiments, other types of robotic arms can also be used 150 be used. The parts 50 are with the gripper 152 from the sorting platform 102 taken. The sorting device 110 is operated to the parts 50 from the sorting platform 102 remove, for example, the acceptable parts and / or the defective parts. The parts 50 can be transported to collection containers, such as a first collection container 156 for the acceptable parts and a second collection container 158 for the defective parts. In various embodiments, the sorting device 110 operated to remove all parts and place each of the parts in the appropriate collection container 156 , 158 to lay. In other embodiments, the sorting device 110 operated so that they only put the acceptable parts in the first collection container 156 removes and the defective parts in the second collecting container 158 drops (which can be found at the front 128 the sorting platform 102 located) while the parts 50 can be moved further in the feed direction. In other embodiments, the sorting device 110 operated in such a way that they only put the defective parts in the second collecting container 158 conveyed and the acceptable parts in the first collection container 156 (which is at the front 128 the sorting platform 102 is located) while the parts 50 moved forward in the feed direction. In alternative embodiments, other types of part removal devices, such as slides, ejectors, and the like, may also be used.
Die Sichtüberprüfungssteuerung 108 ist operativ mit der Abbildungsvorrichtung 106 und der Sortiervorrichtung 110 gekoppelt, um den Betrieb der Sortiervorrichtung 110 zu steuern. Die Abbildungsvorrichtung 106 kommuniziert mit der Sichtüberprüfungssteuerung 108 über eine Bildverarbeitungssoftware, um die Daten zu verarbeiten, die Ergebnisse zu analysieren, die Befunde aufzuzeichnen und Entscheidungen auf Grundlage der Informationen zu treffen. Die Sichtüberprüfungssteuerung 108 sorgt für eine konsistente und effiziente Automatisierung der Überprüfung. Die Sichtüberprüfungssteuerung 108 überprüft die Qualität der Fertigung der Teile 50, beispielsweise ob die Teile 50 akzeptabel oder fehlerhaft sind. Die Sichtüberprüfungssteuerung 108 identifiziert Defekte in den Teilen, wenn sie vorhanden sind. Die Sichtüberprüfungssteuerung 108 kann während der Überprüfung der Teile eine OCR an den Bildern durchführen. Die Sichtüberprüfungssteuerung 108 kann die Ausrichtungen der Teile 50 bestimmen. Die Sichtüberprüfungssteuerung 108 steuert den Betrieb der Sortiervorrichtung 110 basierend auf der identifizierten Ausrichtung der Teile 50.The visual inspection control 108 is operative with the imaging device 106 and the sorting device 110 coupled to the operation of the sorting device 110 to control. The imaging device 106 communicates with the visual inspection controller 108 via image processing software to process the data, analyze the results, record the findings and make decisions based on the information. The visual inspection control 108 ensures consistent and efficient verification automation. The visual inspection control 108 checks the quality of the manufacture of the parts 50 , for example, whether the parts 50 are acceptable or faulty. The visual inspection control 108 identifies defects in the parts if they are present. The visual inspection control 108 can perform OCR on the images while reviewing the parts. The visual inspection control 108 can adjust the orientations of the parts 50 determine. The visual inspection control 108 controls the operation of the sorting device 110 based on the identified orientation of the parts 50 .
Die Sichtüberprüfungssteuerung 108 empfängt die Bilder von der Abbildungsvorrichtung 106 und verarbeitet die Bilder, um Prüfungsergebnisse zu ermitteln. In einer beispielhaften Ausführungsform führt die Sichtüberprüfungssteuerung 108 eine Vorverarbeitung der Bilder durch, um den Kontrast und/oder die Helligkeit der Bilder vor der Verarbeitung der Bilder zu verbessern. Die Sichtüberprüfungssteuerung 108 umfasst ein Bildhistogrammwerkzeug 180 zur Verbesserung des Kontrasts der Bilder. Die Vorverarbeitung des Bildes reduziert das Rauschen im Bild. In einer beispielhaften Ausführungsform verarbeitet das Bildhistogrammwerkzeug 180 die Bilder vor, um den Kontrast der Bilder zu verbessern, indem die Helligkeitswerte der Bilder basierend auf einer adaptiven Histogrammausgleichsverarbeitung neu verteilt werden, um verbesserte Bilder zu erzeugen. Zum Beispiel kann das Bildhistogrammwerkzeug 180 eine kontrastbegrenzte adaptive Histogrammausgleichsverarbeitung verwenden, um den Bildkontrast zu verbessern und das Bild im Vergleich zu den von der Abbildungsvorrichtung 106 empfangenen Originalbildern zu verbessern. In einer beispielhaften Ausführungsform führt das Bildhistogrammwerkzeug 180 eine lokale Kontrastbildverbesserung an verschiedenen Bereichen des Bildes durch, um ein verbessertes Bild zu erzeugen. Zum Beispiel kann das Bildhistogrammwerkzeug 180 das Bild in kleinere Bereiche oder Kacheln unterteilen und die adaptive Histogrammausgleichsfunktion auf jede der Kacheln anwenden, um das verbesserte Bild zu erzeugen. Das Bildhistogrammwerkzeug 180 kann eine kumulative Verteilungsfunktion verwenden, um die Helligkeitswerte des Bildes neu zu verteilen. Das Bildhistogrammwerkzeug 180 reduziert die Auswirkungen von Beleuchtungsschwankungen in den Bildern. Das Bildhistogrammwerkzeug 180 verbessert den Bildkontrast, um die Formerkennung und/oder OCR des Bildes robuster und effektiver zu machen.The visual inspection control 108 receives the images from the imaging device 106 and processes the images to determine test results. In an exemplary embodiment, the visual inspection control performs 108 preprocessing the images to improve the contrast and / or brightness of the images prior to processing the images. The visual inspection control 108 includes an image histogram tool 180 to improve the contrast of the images. Pre-processing the image reduces the noise in the image. In an exemplary embodiment, the image histogram tool processes 180 the images to improve the contrast of the images by re-distributing the brightness values of the images based on adaptive histogram equalization processing to produce enhanced images. For example, the Image Histogram Tool 180 use limited contrast adaptive histogram equalization processing to improve the image contrast and the image compared to that from the imaging device 106 the received original images. In an exemplary embodiment, the image histogram tool performs 180 perform local contrast image enhancement on different areas of the image to produce an enhanced image. For example, the Image Histogram Tool 180 divide the image into smaller areas or tiles and apply the adaptive histogram equalization function to each of the tiles to create the enhanced image. The image histogram tool 180 can use a cumulative distribution function to redistribute the brightness values of the image. The image histogram tool 180 reduces the effects of lighting fluctuations in the images. The image histogram tool 180 improves image contrast to make shape recognition and / or OCR of the image more robust and effective.
Die Sichtüberprüfungssteuerung 108 umfasst einen oder mehrere Prozessoren 182 zur Verarbeitung der Bilder. Die Sichtüberprüfungssteuerung 108 bestimmt, ob jedes Teil 50 die Überprüfung besteht oder nicht. Die Sichtüberprüfungssteuerung 108 steuert die Sortiervorrichtung 110, um die Teile 50, wie beispielsweise die akzeptablen Teile und/oder die fehlerhaften Teile, in die Sammelbehälter 156, 158 zu entfernen. In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 108 ein Formerkennungswerkzeug 184, das zum Überprüfen der Teile 50 im Sichtfeld konfiguriert ist. Das Formerkennungswerkzeug 184 verarbeitet das Bild auf Grundlage eines Bildanalysemodells. Die Bilder werden mit dem Bildanalysemodell verglichen, um festzustellen, ob das Teil 50 irgendwelche Defekte aufweist. Die Bilder können verarbeitet werden, um Short-Shot-Defekte, Blitzdefekte, schwarze Punkte, Schmutz, Dellen, Kratzer oder andere Arten von Defekten zu erkennen. Die Bilder können verarbeitet werden, indem eine Mustererkennung der Bilder auf Grundlage des Bildanalysemodells durchgeführt wird. Zum Beispiel vergleicht das Formerkennungswerkzeug 184 Muster oder Merkmale in den Bildern mit Mustern oder Merkmalen im Bildanalysemodell. Die Bilder können verarbeitet werden, indem eine Merkmalsextraktion von in den Bildern detektierten Grenzen und Oberflächen durchgeführt wird und die Grenzen und Oberflächen mit dem Bildanalysemodell verglichen werden. Die Sichtüberprüfungssteuerung 108 kann Linien, Kanten, Brücken, Rillen oder andere Grenzen oder Oberflächen innerhalb des Bildes identifizieren. Die Sichtüberprüfungssteuerung 108 kann zur OCR von Merkmalen im Bild verwendet werden. Die Sichtüberprüfungssteuerung 108 kann Bereiche von Interesse innerhalb des Bildes für eine verbesserte Verarbeitung identifizieren. Die Sichtüberprüfungssteuerung 108 kann während der Verarbeitung eine Bildsegmentierung durchführen.The visual inspection control 108 includes one or more processors 182 to process the images. The visual inspection control 108 determines whether any part 50 the verification passes or not. The visual inspection control 108 controls the sorting device 110 to get the parts 50 , such as the acceptable parts and / or the defective parts, into the collection containers 156 , 158 to remove. In an exemplary Embodiment includes the visual inspection control 108 a shape recognition tool 184 that is used to check the parts 50 configured in the field of view. The shape recognition tool 184 processes the image based on an image analysis model. The images are compared to the image analysis model to determine if the part 50 has any defects. The images can be processed to identify short-shot defects, lightning defects, black spots, dirt, dents, scratches, or other types of defects. The images can be processed by pattern recognition of the images based on the image analysis model. For example, the shape recognition tool compares 184 Patterns or features in the images with patterns or features in the image analysis model. The images can be processed by performing feature extraction from boundaries and surfaces detected in the images and comparing the boundaries and surfaces with the image analysis model. The visual inspection control 108 can identify lines, edges, bridges, grooves or other boundaries or surfaces within the image. The visual inspection control 108 can be used to OCR features in the image. The visual inspection control 108 can identify areas of interest within the image for improved processing. The visual inspection control 108 can perform image segmentation during processing.
In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 108 ein Lernmodul 190 für künstliche Intelligenz (KI). Das Kl-Lernmodul 190 nutzt künstliche Intelligenz, um die Sichtüberprüfungssteuerung 108 zu trainieren und die Überprüfungsgenauigkeit der Sichtüberprüfungssteuerung 108 zu verbessern. Das Kl-Lernmodul 190 passt die Bildanalyse basierend auf den von der Abbildungsvorrichtung 106 empfangenen Bildern und/oder den verbesserten Bildern, die mit dem Bildhistogrammwerkzeug 180 verarbeitet werden, an und konfiguriert sie. Die Sichtüberprüfungssteuerung 108 wird während des Betriebs des Sichtüberprüfungssystems 100 in Echtzeit aktualisiert und trainiert. Das Kl-Lernmodul 190 der Sichtüberprüfungssteuerung 108 kann in einem Lernmodus operativ sein, um die Sichtüberprüfungssteuerung 108 zu trainieren und das Bildanalysemodell zu entwickeln. Das Bildanalysemodell ändert sich im Laufe der Zeit auf Grundlage von Eingaben des Kl-Lernmoduls 190 (beispielsweise auf Grundlage von Bildern der Teile 50, die von der Abbildungsvorrichtung 106 aufgenommen wurden).In an exemplary embodiment, the visual inspection control includes 108 a learning module 190 for artificial intelligence (AI). The Kl learning module 190 uses artificial intelligence to control the visual inspection 108 to train and the verification accuracy of the visual verification control 108 to improve. The Kl learning module 190 adjusts the image analysis based on that from the imaging device 106 received images and / or the enhanced images created with the image histogram tool 180 processed, and configured. The visual inspection control 108 becomes during operation of the visual inspection system 100 updated and trained in real time. The Kl learning module 190 the visual inspection control 108 can be operational in a learning mode to control the visual inspection 108 to train and develop the image analysis model. The image analysis model changes over time based on inputs from the Kl learning module 190 (e.g. based on pictures of the parts 50 by the imaging device 106 were recorded).
In einer beispielhaften Ausführungsform umfasst die Sichtüberprüfungssteuerung 108 eine Benutzerschnittstelle 192. Die Benutzerschnittstelle 192 umfasst eine Anzeige 194, beispielsweise einen Monitor. Die Benutzerschnittstelle 192 umfasst einen oder mehrere Eingänge 196, wie beispielsweise eine Tastatur, eine Maus, Tasten und dergleichen. Ein Bediener kann über die Benutzerschnittstelle 192 mit der Sichtüberprüfungssteuerung 108 interagieren.In an exemplary embodiment, the visual inspection control includes 108 a user interface 192 . The user interface 192 includes an ad 194 , for example a monitor. The user interface 192 includes one or more entrances 196 such as a keyboard, a mouse, keys and the like. An operator can use the user interface 192 with the visual inspection control 108 to interact.
3 ist ein Flussdiagramm, das ein Verfahren zur Überprüfung von Teilen gemäß einer beispielhaften Ausführungsform zeigt. Das Verfahren bei 300 umfasst das Laden der Teile 50 auf die Sortierplattform 102. Die Teile 50 können manuell oder automatisch geladen werden. Die Teile 50 können auf die obere Oberfläche 132 der Sortierplattform 102 geladen werden. 3 Figure 3 is a flow diagram illustrating a method of inspecting parts in accordance with an exemplary embodiment. The method at 300 includes loading the parts 50 onto the sorting platform 102 . The parts 50 can be loaded manually or automatically. The parts 50 can on the top surface 132 the sorting platform 102 getting charged.
Bei 302 umfasst das Verfahren das Überprüfen der Teile an einer Überprüfungsstation 104 unter Verwendung der Abbildungsvorrichtung 106. Die Abbildungsvorrichtung 106 kann direkt über der Sortierplattform 102 angeordnet sein, um die Teile 50 zu betrachten. Die Bildgebung kann mit der Abbildungsvorrichtung 106 schnell und effizient durchgeführt werden. Bei 304 umfasst das Verfahren den Empfang der Bilder von der Abbildungsvorrichtung 106 an der Sichtüberprüfungssteuerung 108.at 302 the method includes inspecting the parts at an inspection station 104 using the imaging device 106 . The imaging device 106 can be directly above the sorting platform 102 be arranged to the parts 50 consider. Imaging can be done with the imaging device 106 can be carried out quickly and efficiently. at 304 the method includes receiving the images from the imaging device 106 at the visual inspection control 108 .
Bei 306 umfasst das Verfahren die Vorverarbeitung der Bilder unter Verwendung eines Bildhistogrammwerkzeugs 180, um den Kontrast der Bilder zu verbessern und verbesserte Bilder zu erzeugen. Das Bildhistogrammwerkzeug 180 verbessert den Kontrast und/oder die Helligkeit der Bilder vor der Verarbeitung der verbesserten Bilder. Die Bilder können durch das Bildhistogrammwerkzeug 180 vorverarbeitet werden, indem die Helligkeitswerte der Bilder umverteilt werden. Die Vorverarbeitung des Bildes reduziert das Bildrauschen. Die Bilder können durch das Bildhistogrammwerkzeug 180 mittels adaptiver Histogrammausgleichsverarbeitung vorverarbeitet werden. Das Bildhistogrammwerkzeug 180 kann eine kontrastbegrenzte adaptive Histogrammausgleichsverarbeitung verwenden, um den Bildkontrast zu verbessern und das Bild im Vergleich zu den von der Abbildungsvorrichtung 106 empfangenen Originalbildern aufzuwerten. In einer beispielhaften Ausführungsform führt das Bildhistogrammwerkzeug 180 eine lokale Kontrastbildverbesserung an verschiedenen Bereichen des Bildes durch, um das verbesserte Bild zu erzeugen. Zum Beispiel kann das Bildhistogrammwerkzeug 180 das Bild in kleinere Bereiche oder Kacheln unterteilen und die adaptive Histogrammausgleichsfunktion auf jede der Kacheln anwenden, um das verbesserte Bild zu erzeugen. Das Bildhistogrammwerkzeug 180 kann eine kumulative Verteilungsfunktion verwenden, um die Helligkeitswerte des Bildes neu zu verteilen. In einer beispielhaften Ausführungsform kann das Bildhistogrammwerkzeug 180 das Bild vorverarbeiten, indem es ein Histogramm auf Grundlage des Bildes erzeugt, eine kumulative Verteilungsfunktion auf Grundlage des Histogramms berechnet und die verbesserten Helligkeitswerte der Bilder auf Grundlage der kumulativen Verteilungsfunktion berechnet, um die verbesserten Bilder zu erzeugen.at 306 the method includes preprocessing the images using an image histogram tool 180 to improve the contrast of images and create enhanced images. The image histogram tool 180 improves the contrast and / or the brightness of the images prior to processing the enhanced images. The images can be through the image histogram tool 180 can be preprocessed by redistributing the brightness values of the images. The preprocessing of the image reduces the image noise. The images can be through the image histogram tool 180 can be preprocessed using adaptive histogram equalization processing. The image histogram tool 180 may use limited contrast adaptive histogram equalization processing to improve the image contrast and the image compared to that from the imaging device 106 upgrade received original images. In an exemplary embodiment, the image histogram tool performs 180 perform local contrast image enhancement on different areas of the image to generate the enhanced image. For example, the Image Histogram Tool 180 divide the image into smaller areas or tiles and apply the adaptive histogram equalization function to each of the tiles to create the enhanced image. The image histogram tool 180 can use a cumulative distribution function to redistribute the brightness values of the image. In an exemplary embodiment, the image histogram tool 180 preprocessing the image by generating a histogram based on the image, calculating a cumulative distribution function based on the histogram, and the improved Brightness values of the images are calculated based on the cumulative distribution function to generate the enhanced images.
Bei 308 umfasst das Verfahren die Verarbeitung der vorverarbeiteten, verbesserten Bilder unter Verwendung eines Formerkennungswerkzeugs 184 der Sichtüberprüfungssteuerung 108. Das Formerkennungswerkzeug 184 kann die Bilder basierend auf einem Bildanalysemodell verarbeiten, um Prüfungsergebnisse für die Teile zu ermitteln. In verschiedenen Ausführungsformen werden die Bilder verarbeitet, indem das Bild mit dem Bildanalysemodell verglichen wird, um festzustellen, ob das Teil 50 irgendwelche Fehler aufweist. In verschiedenen Ausführungsformen werden die Bilder verarbeitet, indem eine Mustererkennung der Bilder auf Grundlage des Bildanalysemodells durchgeführt wird. In verschiedenen Ausführungsformen werden die Bilder verarbeitet, indem eine Merkmalsextraktion der in den Bildern detektierten Grenzen und Oberflächen durchgeführt und die Grenzen und Oberflächen mit dem Bildanalysemodell verglichen werden. Das Formerkennungswerkzeug 184 kann die verbesserten Bilder verarbeiten, indem es eine OCR an dem verbesserten Bild durchführt.at 308 the method includes processing the preprocessed, enhanced images using a shape recognition tool 184 the visual inspection control 108 . The shape recognition tool 184 can process the images based on an image analysis model to determine inspection results for the parts. In various embodiments, the images are processed by comparing the image to the image analysis model to determine if the part 50 has any errors. In various embodiments, the images are processed in that pattern recognition of the images is carried out on the basis of the image analysis model. In various embodiments, the images are processed by performing feature extraction on the boundaries and surfaces detected in the images and comparing the boundaries and surfaces with the image analysis model. The shape recognition tool 184 can process the enhanced images by performing OCR on the enhanced image.
Bei 310 umfasst das Verfahren das Anpassen des Bildanalysemodells unter Verwendung des Kl-Lernmoduls 190, um das Bildanalysemodell basierend auf den von der Abbildungsvorrichtung 106 empfangenen Bildern und/oder basierend auf den durch das Bildhistogrammwerkzeug 180 vorverarbeiteten verbesserten Bildern zu konfigurieren. Das Kl-Lernmodul 190 verwendet die Daten aus dem Bild, um die Sichtüberprüfungssteuerung 108 zu trainieren und die Überprüfungsgenauigkeit der Sichtüberprüfungssteuerung 108 zu verbessern. Das Bildanalysemodell wird basierend auf den Bildern der Abbildungsvorrichtung 106 aktualisiert. Das Kl-Lernmodul 190 passt die Bildanalyse auf Grundlage der von der Abbildungsvorrichtung 106 empfangenen Bilder und/oder auf Grundlage der durch das Bildhistogrammwerkzeug 180 vorverarbeiteten verbesserten Bilder an und konfiguriert sie. Die Sichtüberprüfungssteuerung 108 wird während des Betriebs des Sichtüberprüfungssystems 100 basierend auf dem Bild oder dem verbesserten Bild in Echtzeit aktualisiert und trainiert. Das Bildanalysemodell ändert sich im Laufe der Zeit auf Grundlage von Eingaben des Kl-Lernmoduls 190, beispielsweise auf Grundlage der von der Abbildungsvorrichtung 106 aufgenommenen Bilder und/oder auf Grundlage der vom Bildhistogrammwerkzeug 180 vorverarbeiteten verbesserten Bilder.at 310 the method comprises adapting the image analysis model using the KI learning module 190 to compute the image analysis model based on that provided by the imaging device 106 received images and / or based on the images received by the image histogram tool 180 configure preprocessed enhanced images. The Kl learning module 190 uses the data from the image to control the visual inspection 108 to train and the verification accuracy of the visual verification control 108 to improve. The image analysis model is based on the images of the imaging device 106 updated. The Kl learning module 190 adjusts the image analysis based on that from the imaging device 106 received images and / or based on the image histogram tool 180 and configure preprocessed enhanced images. The visual inspection control 108 becomes during operation of the visual inspection system 100 updated and trained in real time based on the image or the enhanced image. The image analysis model changes over time based on inputs from the Kl learning module 190 based on, for example, that provided by the imaging device 106 captured images and / or based on the image histogram tool 180 preprocessed enhanced images.
4 ist ein Flussdiagramm, das ein Verfahren zur Verarbeitung von Bildern gemäß einer beispielhaften Ausführungsform zeigt. Das Verfahren bei 400 umfasst den Empfang von Bildern von einer Abbildungsvorrichtung 106. Die Bilder können an einer Sichtüberprüfungssteuerung 108 empfangen werden, die ein Bildhistogrammwerkzeug und ein Formerkennungswerkzeug aufweist. Die Bilder können von Teilen zur Überprüfung der Teile sein, beispielsweise um festzustellen, ob Teile defekt sind. 4th FIG. 3 is a flow diagram illustrating a method for processing images in accordance with an exemplary embodiment. The method at 400 includes receiving images from an imaging device 106 . The images can be at a visual inspection control 108 having an image histogram tool and a shape recognition tool. The images can be of parts for checking the parts, for example to see if parts are defective.
Bei 402 umfasst das Verfahren die Vorverarbeitung der Bilder unter Verwendung des Bildhistogrammwerkzeugs 180, um den Kontrast der Bilder zu verbessern und verbesserte Bilder zu erzeugen. Die Vorverarbeitung der Bilder unter Verwendung des Bildhistogrammwerkzeugs 180 umfasst den Schritt der Analyse von 404 lokalen Bereichen oder Kacheln des Bildes. Beispielsweise kann das Bild mit Hilfe eines Fensters, wie beispielsweise einem 8X8-Fenster (oder einem Fenster anderer Größe), für die lokale Bildanalyse analysiert werden. Das Bildhistogrammwerkzeug 180 kann das Fenster über das gesamte Bild schieben, so dass alle Bereiche des Bildes analysiert werden. Die Fenster oder Kacheln können sich überlappen, so dass Bereiche in mehreren Kacheln analysiert werden.at 402 the method includes preprocessing the images using the image histogram tool 180 to improve the contrast of images and create enhanced images. The preprocessing of the images using the image histogram tool 180 includes the step of analyzing 404 local areas or tiles of the image. For example, the image can be analyzed using a window such as an 8X8 window (or a different size window) for local image analysis. The image histogram tool 180 can slide the window over the entire image so that all areas of the image are analyzed. The windows or tiles can overlap so that areas in multiple tiles are analyzed.
Die Vorverarbeitung der Bilder mit dem Bildhistogrammwerkzeug 180 umfasst den Schritt der Erzeugung 406 eines Histogramms auf Grundlage des Bildes. Das Histogramm ist ein Diagramm der Pixelintensität gegenüber der Anzahl der Pixel. Das Histogramm stellt die Verteilung der Pixelwerte dar. Das Bild kann zum Beispiel ein Graustufenbild sein, das Pixelwerte im Bereich von 0 (schwarz) bis 255 (weiß) aufweist. Das Histogramm bestimmt die Anzahl des Auftretens von Pixeln bei jedem der Pixelwerte.The preprocessing of the images with the image histogram tool 180 comprises the step of generating 406 a histogram based on the image. The histogram is a graph of pixel intensity versus number of pixels. The histogram represents the distribution of the pixel values. For example, the image can be a grayscale image that has pixel values in the range from 0 (black) to 255 (white). The histogram determines the number of occurrences of pixels for each of the pixel values.
Die Vorverarbeitung der Bilder mit dem Bildhistogrammwerkzeug 180 umfasst den Schritt der Berechnung 408 einer kumulativen Verteilungsfunktion (CDF) basierend auf dem Histogramm. Die CDF stellt die kumulativen Werte des Histogramms dar. Die CDF quantifiziert die Wahrscheinlichkeit des Auftretens bestimmter Pixelintensitäten. Die Vorverarbeitung der Bilder mit dem Bildhistogrammwerkzeug 180 umfasst den Schritt der Berechnung von 410 verbesserten Helligkeitswerten der Bilder auf Grundlage der kumulativen Verteilungsfunktion, um die verbesserten Bilder zu erzeugen. Die verbesserten Helligkeitswerte werden durch Multiplikation der Pixelwerte mit einem Lastfaktor berechnet. Der Lastfaktor kann größer als 1 sein, um die Pixelwerte zu erhöhen und die Pixelwerte in eine hellere Richtung zu verschieben. Der Belastungsfaktor kann kleiner als 1 sein, um die Pixelwerte zu verringern und die Pixelwerte in eine dunklere Richtung zu verschieben. Durch das Erhöhen der Helligkeitswerte werden die Pixelwerte über einen größeren Bereich von Pixelwerten verteilt, um den Bildkontrast zu erhöhen. Das Erhöhen der Helligkeitswerte verändert die Helligkeit des Bildes.The preprocessing of the images with the image histogram tool 180 includes the step of calculation 408 a cumulative distribution function (CDF) based on the histogram. The CDF represents the cumulative values of the histogram. The CDF quantifies the probability of the occurrence of certain pixel intensities. The preprocessing of the images with the image histogram tool 180 comprises the step of computing 410 enhanced brightness values of the images based on the cumulative distribution function to produce the enhanced images. The improved brightness values are calculated by multiplying the pixel values with a load factor. The load factor can be greater than 1 in order to increase the pixel values and to shift the pixel values in a lighter direction. The loading factor can be less than 1 in order to reduce the pixel values and to shift the pixel values in a darker direction. By increasing the brightness values, the pixel values are distributed over a larger range of pixel values in order to increase the image contrast. Increasing the brightness values changes the brightness of the image.
Bei 412 umfasst das Verfahren die Verarbeitung der verbesserten Bilder unter Verwendung des Formerkennungswerkzeugs 184 der Sichtüberprüfungssteuerung 108. Das Formerkennungswerkzeug 184 kann die Bilder verarbeiten, indem es das verbesserte Bild mit einem Bildanalysemodell vergleicht. Die verbesserten Bilder können verarbeitet werden, indem eine Mustererkennung der verbesserten Bilder durchgeführt wird, beispielsweise indem eine Merkmalsextraktion von in den Bildern detektierten Grenzen und Oberflächen durchgeführt wird und die Grenzen und Oberflächen mit dem Bildanalysemodell verglichen werden. Das Formerkennungswerkzeug 184 kann die verbesserten Bilder verarbeiten, indem es eine OCR an dem verbesserten Bild durchführt.at 412 the method includes processing the enhanced images using the shape recognition tool 184 the visual inspection control 108 . The shape recognition tool 184 can process the images by comparing the enhanced image with an image analysis model. The enhanced images can be processed by pattern recognition of the enhanced images, for example by performing feature extraction from boundaries and surfaces detected in the images and comparing the boundaries and surfaces with the image analysis model. The shape recognition tool 184 can process the enhanced images by performing OCR on the enhanced image.
5 zeigt ein Bild des Teils 50 in Übereinstimmung mit einer beispielhaften Ausführungsform vor der Verarbeitung des Bildes mit dem Bildhistogrammwerkzeug 180. 6 zeigt ein verbessertes Bild des Teils 50 in Übereinstimmung mit einer beispielhaften Ausführungsform nach der Verarbeitung des Bildes mit dem Bildhistogrammwerkzeug 180. Das in 6 gezeigte Bild weist einen verbesserten Kontrast im Vergleich zu dem in 5 gezeigten Bild auf. Das Bildhistogrammwerkzeug 180 verteilt die Helligkeitswerte der Pixel des Bildes neu, um den Kontrast des Bildes zu verbessern. 5 shows a picture of the part 50 in accordance with an exemplary embodiment, prior to processing the image with the image histogram tool 180 . 6th shows an enhanced image of the part 50 in accordance with an exemplary embodiment, after processing the image with the image histogram tool 180 . This in 6th The image shown has an improved contrast compared to that in 5 shown image. The image histogram tool 180 redistributes the brightness values of the pixels of the image to improve the contrast of the image.
7 zeigt ein Histogramm 200 des in 5 gezeigten Bildes gemäß einer beispielhaften Ausführungsform vor der Umverteilung der Pixelwerte mithilfe des Bildhistogrammwerkzeugs 180. 8 zeigt ein umverteiltes Histogramm 202 des in 6 gezeigten Bildes gemäß einer beispielhaften Ausführungsform nach der Verarbeitung des Histogramms unter Verwendung des Bildhistogrammwerkzeugs 180 zur Umverteilung der Pixelwerte. Die Histogramme 200, 202 zeigen die Pixelwerte auf der X-Achse, die einen Bereich von 0-255 aufweist. Die Histogramme 200, 202 zeigen die Anzahl des Vorkommens von Pixeln bei jedem der Pixelwerte auf der Y-Achse (7 weist einen Bereich von 0-6.000 auf, während 8 einen Bereich von 0-3.000 aufweist). Das in 8 gezeigte umverteilte Histogramm 202 weist eine größere Pixelwertverteilung auf, was den Bildkontrast erhöht. 7th shows a histogram 200 of the in 5 according to an exemplary embodiment prior to redistributing the pixel values using the image histogram tool 180 . 8th shows a redistributed histogram 202 of the in 6th according to an exemplary embodiment after processing the histogram using the image histogram tool 180 to redistribute the pixel values. The histograms 200 , 202 show the pixel values on the X-axis, which has a range of 0-255. The histograms 200 , 202 show the number of occurrences of pixels at each of the pixel values on the Y-axis ( 7th has a range of 0-6,000, while 8th has a range of 0-3,000). This in 8th redistributed histogram shown 202 has a larger pixel value distribution, which increases the image contrast.
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
-
CH 202010493394 [0001]CH 202010493394 [0001]
