DE112019004583T5

DE112019004583T5 - Rationalisierung eines automatischen visuellen prüfprozesses

Info

Publication number: DE112019004583T5
Application number: DE112019004583.0T
Authority: DE
Inventors: Yonatan HYATT; Alexander Spivak; Katherina Shefer
Original assignee: Inspekto AMV Ltd
Current assignee: Inspekto AMV Ltd
Priority date: 2018-09-13
Filing date: 2019-09-13
Publication date: 2021-10-14
Also published as: US20220044379A1; IL261733B; IL261733A; WO2020053866A1

Abstract

Ausführungsformen der Erfindung ermöglichen die automatische Erkennung von gleichartigen Objekten auf einer Prüflinie und das automatische Erfassen und/oder Anzeigen eines Bildes des Objekts, sobald es erkannt ist. Zusätzlich stellen Ausführungsformen der Erfindung einem Benutzer automatisch den Umriss eines Objekts zur Verfügung, so dass der Benutzer den Umriss entweder bestätigen oder einfach korrigieren kann. Der bestätigte oder korrigierte Umriss wird dann automatisch auf alle Bilder von inspizierten Objekten desselben Typs angewendet, was eine Optimierung von Prüfaufgaben, wie z. B. die Fehlererkennung, für alle geprüften Gegenstände ermöglicht, basierend auf einer kurzen, möglicherweise einmaligen Eingabe des Benutzers.

Description

FELD
Die vorliegende Erfindung bezieht sich auf automatisierte visuelle Prüfprozesse, zum Beispiel die Überprüfung von Gegenständen während eines Produktionsprozesses.
HINTERGRUND
Die Überprüfung während des Produktionsprozesses kann dazu beitragen, die Qualität der Produktion zu sichern. So hilft die Überprüfung während der Produktionsprozesse in Fertigungsanlagen, die Qualität der Produkte zu kontrollieren, indem Fehler erkannt werden und daraufhin gehandelt wird, z. B. indem der Fehler behoben oder das fehlerhafte Teil aussortiert wird. Während der Produktion ist der Prozess der Fehlererkennung für die Qualitätssicherung (QS), Anschnitt und Sortierung an Produktionslinien unerlässlich und somit nützlich für die Steigerung der Produktivität, die Verbesserung von Produktionsprozessen und Arbeitsabläufen, die Verringerung der Fehlerrate und die Reduzierung von Nacharbeit und Ausschuss.
Visuelle Prüfverfahren werden in Produktionslinien eingesetzt, um visuell erkennbare Anomalien zu identifizieren, die einen funktionalen oder ästhetischen Einfluss auf die Integrität eines hergestellten Gegenstandes haben können. Bestehende Lösungen für die visuelle Überprüfung in Produktionslinien basieren auf maßgefertigten automatisierten visuellen Prüfsystemen, die in der Regel sehr teuer sind und eine fachkundige Integration von Hardware- und Softwarekomponenten sowie eine fachkundige Mitwirkung bei der Einstellung der Umgebung, des Kamerasystemgeräts, der Bildgebungsparameter und der Software und Algorithmen erfordern.
Typischerweise müssen bei Prozessen, die auf visuellen Machine Learning-Techniken basieren, Dutzende oder Hunderte von Bildern erfasst und dann sorgfältig ausgewählt werden, um alle möglichen Variationen eines abgebildeten Gegenstands darzustellen. Bereiche von Interesse auf dem Gegenstand müssen in einem langsamen und umständlichen Einrichtungsprozess manuell markiert werden.
Selbst nachdem ein System eingerichtet und in Betrieb ist, ist es in der Regel auf einen bestimmten Gegenstand und die spezifische Bildgebungsumgebung beschränkt, für die die Lösung eingerichtet wurde. Da bestehende Systeme auf einen bestimmten Gegenstand beschränkt sind, erfordert jede Änderung des Gegenstands oder der Position des Gegenstands auf der Prüflinie oder der Umgebungsbeleuchtung eine manuelle Anpassung des Systems.
Das Bedürfnis von Industrieanlagen nach Agilität und Benutzerfreundlichkeit wird derzeit von den schwerfälligen und auf Experten basierenden gegenwärtigen Überprüfungslösungen nicht befriedigt.
ZUSAMMENFASSUNG
Ausführungsformen der Erfindung ermöglichen ein automatisches und einfaches Einrichten eines visuellen Prüfprozesses, wodurch die Implementierung der visuellen Prüflösung für jede Art von geprüftem Objekt verbessert wird.
Ausführungsformen der Erfindung ermöglichen die automatische Erkennung von gleichartigen Objekten auf der Prüflinie und die automatische Erfassung und/oder Anzeige eines Bildes des Objekts, sobald es erkannt wurde. Darüber hinaus stellen Ausführungsformen der Erfindung einem Benutzer (z. B. einem Bediener der Prüflinie) automatisch den Umriss eines Objekts zur Verfügung, so dass der Benutzer den Umriss entweder bestätigen oder einfach korrigieren kann. Der bestätigte oder korrigierte Umriss wird dann automatisch auf alle Bilder von geprüften Gegenständen desselben Typs angewendet, was eine Optimierung von Prüfaufgaben wie Fehlererkennung, Zählen, Sortieren und dergleichen für alle geprüften Gegenstände basierend auf einer kurzen Interaktion, möglicherweise einer einmaligen Eingabe, durch den Benutzer ermöglicht.
Ausführungsformen der Erfindung ermöglichen weiterhin das Sammeln einer großen Anzahl von Referenzbildern in einem Einrichtungsprozess mit minimalem Benutzer-Eingriff, wodurch die Automatisierung des Prüfprozesses erheblich verbessert wird.
Der Benutzer kann während der Einrichtung kurz und effektiv mit dem System interagieren, was den Prüfprozess erheblich rationalisiert und eine benutzerfreundliche und effiziente Lösung für visuelle Überprüfung bietet.
In einem Aspekt stellt die Erfindung ein visuelles Überprüfungssystem und ein Verfahren bereit, das das Verwenden einer Kamera, um ein Bild eines Objekts auf einer Prüflinie zu erhalten, ein Benutzerschnittstellen-Gerät, das einen Bildschirm und einen Prozessor zum Empfangen des Bildes des Objekts, zum Erkennen des Objekts von dem Bild und zum Erstellen eines Umrisses, der das erkannte Objekt eng umgibt. Der Prozessor kann veranlassen, dass das Objekt und der Umriss über die Benutzerschnittstelle angezeigt werden.
In einem weiteren Aspekt stellt die Erfindung ein Verfahren und System zur automatischen visuellen Überprüfung bereit, das das Verwenden eines Prozessors zum Anzeigen eines ersten Bildes eines Gegenstands auf einer Prüflinie und eines Umrisses des Gegenstands, das Empfangen einer Bestätigung des Gegenstands und des Umrisses des Gegenstands, das Erkennen eines gleichartigen Gegenstands auf der Prüflinie in einem zweiten Bild und das Anzeigen des zweiten Bildes mit einem Umriss des Gegenstands, der den gleichartigen Gegenstand im zweiten Bild umgibt, beinhaltet.
In noch einem weiteren Aspekt stellt die Erfindung ein Verfahren und System zur automatischen visuellen Überprüfung bereit, das das Verwenden eines Prozessors zum Erstellen einer Begrenzungsform um ein Objekt in einem Bild einer Prüflinie, zum Anzeigen der Begrenzungsform um das Objekt für einen Benutzer, zum Entgegennehmen einer Eingabe des Benutzers, zum Erstellen einer angepassten Begrenzungsform basierend auf der Eingabe des Benutzers und zum Steuern eines Geräts basierend auf der angepassten Begrenzungsform beinhaltet.
In noch einem weiteren Aspekt stellt die Erfindung ein Verfahren und System zum Einrichten einer visuellen Überprüfung bereit, das das Verwenden eines Prozessors beinhaltet, um ein Bild eines Objekts auf einer Prüflinie anzuzeigen, eine Bestätigung, dass das Objekt ein fehlerfreies Objekt ist, zu empfangen, eine Vielzahl zusätzlicher Bilder gleichartiger Objekten auf der Prüflinie zu erfassen und, nachdem eine gewünschte Menge zusätzlicher Bilder erfasst ist, Bilder gleichartiger Objekte, die sich von dem fehlerfreien Objekt unterscheiden, anzuzeigen.
In einem weiteren Aspekt stellt die Erfindung ein Verfahren und System zur automatischen visuellen Überprüfung bereit, das das Verwenden eines Prozessors zum Empfangen einer Benutzer-Eingabe bezüglich Defekten an einem Gegenstand in einem ersten Bild einer Prüflinie, das Erstellen einer Markierung einer Region von Interesse basierend auf der Benutzer-Eingabe, das Erkennen eines gleichartigen Gegenstandes auf der Prüflinie in einem zweiten Bild, das Aufbringen der Markierung auf den gleichartigen Gegenstand im zweiten Bild und das Steuern eines Geräts basierend auf der auf den gleichartigen Gegenstand im zweiten Bild aufgebrachten Markierung beinhaltet.
Figurenliste
Die Erfindung wird nun in Bezug auf bestimmte Beispiele und Ausführungsformen unter Bezugnahme auf die folgenden illustrativen Figuren beschrieben, damit sie besser verstanden werden kann. In den Figuren:

1 zeigt schematisch ein System zur automatischen visuellen Überprüfung, das gemäß Ausführungsformen der Erfindung betrieben werden kann;
2A und 2B zeigen schematisch eine Einrichtungsphase eines automatischen visuellen Prüfprozesses, gemäß Ausführungsformen der Erfindung;
2C veranschaulicht schematisch ein Verfahren zur automatischen visuellen Überprüfung gemäß Ausführungsformen der Erfindung;
3 zeigt schematisch eine Recheneinheit, die ein Gerät gemäß Ausführungsformen der Erfindung steuert;
4 veranschaulicht schematisch ein Verfahren zur automatischen visuellen Überprüfung, das das Anzeigen eines vorher oder nachher erhaltenen Bildes mit einer angepassten Begrenzungsform beinhaltet, gemäß Ausführungsformen der Erfindung;
5 ist eine schematische Darstellung eines Verfahrens zur automatischen Erkennung von Fehlern gemäß Ausführungsformen der Erfindung; und
6 ist eine schematische Darstellung eines Verfahrens zur automatischen Erkennung von Defekten unter Verwendung einer ROI, gemäß Ausführungsformen der Erfindung.

DETAILLIERTE BESCHREIBUNG
Ausführungsformen der Erfindung stellen automatische Werkzeuge zur Verfügung, die es dem Benutzer eines Prüflinienprozesses ermöglichen, schnell und einfach einen Prozess zur Erkennung von sichtbaren Defekten oder anderen Prüfaufgaben, wie QS, Zählen, Sortieren und Anschnitt, etc. an jeder Art von geprüftem Gegenstand oder Objekt zu implementieren.
Die Begriffe „Gegenstand“ und „Objekt“ werden austauschbar verwendet und sollen dieselbe Sache beschreiben.
Ein Prüflinienprozess kann eine Einrichtungsphase vor einer Prüfphase umfassen. In einer Ausführungsform werden in der Einrichtungsphase Proben eines hergestellten Gegenstandes ohne Fehler (fehlerfreie Gegenstände) auf der Prüflinie abgebildet. Die Bilder (die auch als Einrichtungsbilder und/oder Referenzbilder bezeichnet werden können) werden von einem Prozessor analysiert und dann als Referenzbilder für Prüfalgorithmen verwendet, z. B. für Bildverarbeitungsalgorithmen, die in der Prüfphase ausgeführt werden.
In der Prüfphase werden die geprüften Gegenstände (gefertigte Gegenstände, die z. B. auf Fehler, zum Sortieren und/oder zum Zählen geprüft werden sollen) abgebildet und basierend auf der Analyse der Bilder wird der geprüfte Gegenstand auf Fehler untersucht, sortiert und/oder gezählt.
In der Einrichtungsphase lernt ein Prozessor räumliche Eigenschaften und eindeutig repräsentierende Merkmale oder Attribute eines fehlerfreien Gegenstands in Bildern sowie optimale Parameter von Bildern fehlerfreier Gegenstände, z. B. optimale Abbildungsparameter (z. B. Belichtungszeit, Fokus und Beleuchtung). Diese Eigenschaften können z. B. durch die Analyse von Bildern eines defektfreien Gegenstandes mit verschiedenen Bildgebungsparametern und durch die Analyse der Beziehung zwischen verschiedenen Bildern eines gleichen Typs eines defektfreien Gegenstandes gelernt werden. Diese Analyse während der Einrichtungsphase ermöglicht es, einen gleichen Typ von Gegenstand (entweder defektfrei oder mit einem Defekt) in einem neuen Bild unterscheidend zu erkennen, unabhängig von der Abbildungsumgebung des neuen Bildes.
In einer Ausführungsform wird die Analyse der Einrichtungsbilder verwendet, um einen räumlichen Bereich zu bestimmen, in dem der fehlerfreie Gegenstand keine perspektivische Verzerrung aufweist. Der Grad der perspektivischen Verzerrung zwischen Gegenständen in verschiedenen Bildern kann z. B. durch die Erkennung von Bereichen in einem Gegenstand, die keine entsprechenden Merkmale zwischen den Einrichtungsbildern aufweisen, durch die Analyse der Schnittpunktlage und der Winkel zwischen den Rändern des Gegenstands oder den markierten Stellen von Interesse des Gegenstands usw. analysiert werden. Die Grenzen des räumlichen Bereichs können berechnet werden, indem zwei (oder mehr) Einrichtungsbilder (in denen Gegenstände unterschiedlich positioniert und/oder ausgerichtet sein können) verglichen werden und bestimmt wird, welche der Bilder perspektivische Verzerrungen aufweisen und welche nicht.
Der berechnete Bereich kann dann verwendet werden, um die Grenzen zu bestimmen, wo und/oder in welcher Orientierung, Skalierung oder anderen Anordnung ein geprüfter Gegenstand auf der Prüflinie platziert werden kann, um Verzerrungen zu vermeiden. Zusätzlich kann der Prozessor durch das Verwenden einer Menge von Einrichtungsbildern als Referenzen füreinander Bilder mit ähnlicher räumlicher Zerlegung erkennen, und diese Menge von Bildern kann dann analysiert werden, um zu sehen, ob es genügend ähnliche Einrichtungsbilder gibt, um eine Registrierung, Fehlererkennung und andere Analysen für jede mögliche Position auf der Prüflinie zu ermöglichen.
„Genügend Einrichtungsbilder“ werden gesammelt, wenn eine im Wesentlichen vollständige Darstellung eines Typs von Gegenstand erreicht wird. Zum Beispiel, wenn genügend Bilder gesammelt wurden, um den räumlichen Bereich zu bestimmen, in dem jedes Referenzbild als verzerrungsfreie Referenz verwendet werden kann, wie oben beschrieben. Die Analyse der Einrichtungsbilder kann durchgeführt werden, um Informationen über mögliche 2D-Formen und 3D-Merkmale (z. B. Drehungen auf der Prüflinie) eines Gegenstands zu sammeln oder um eindeutig unterscheidbare Merkmale des Gegenstands und die räumliche Beziehung zwischen diesen eindeutigen Merkmalen zu finden, die zwischen den Einrichtungsbildern erhalten bleiben.
Basierend auf den aus den Einrichtungsbildern gesammelten Informationen kann ein Prozessor einen zweiten Gegenstand desselben Typs erkennen und Prüfaufgaben durchführen, auch wenn der zweite Gegenstand zuvor nicht vom Prozessor erlernt wurde. So kann der Prozessor erkennen, wenn ein neuer Gegenstand (desselben Typs) abgebildet wird, und dann den neuen Gegenstand analysieren, um z. B. festzustellen, ob er sich an einem zulässigen Ort befindet, und nach einem Defekt an einem geprüften Gegenstand suchen, basierend auf der Analyse von Einrichtungsbildern.
Der Begriff „gleichartige Gegenstände“ oder „gleichartige Objekte“ bezieht sich auf Gegenstände oder Objekte, die von gleicher physikalischer Beschaffenheit sind und einander in Form und Abmessungen und möglicherweise Farbe und anderen physikalischen Merkmalen ähneln. Typischerweise können Gegenstände einer einzelnen Produktionsserie, einer Charge gleichartiger Gegenstände oder einer Charge von Gegenständen, die sich in der gleichen Phase ihrer Produktionslinie befinden, „gleichartige Gegenstände“ sein. Wenn es sich bei den geprüften Gegenständen z. B. um Sanitärprodukte handelt, sind verschiedene Waschbecken der gleichen Charge gleichartige Gegenstände.
Ein Defekt kann zum Beispiel einen sichtbaren Fehler auf der Oberfläche des Gegenstands, eine unerwünschte Größe des Gegenstands oder eines Teils des Gegenstands, eine unerwünschte Form oder Farbe des Gegenstands oder eines Teils des Gegenstands, eine unerwünschte Anzahl von Teilen des Gegenstands, eine falsche oder fehlende Montage von Schnittstellen des Gegenstands beinhalten, ein gebrochenes oder verbranntes Teil und eine falsche Ausrichtung des Gegenstands oder von Teilen des Gegenstands, ein falscher oder defekter Barcode und allgemein jeder Unterschied zwischen der fehlerfreien Probe und dem geprüften Gegenstand, der für einen Benutzer, d. h. einen menschlichen Prüfer, anhand der Bilder erkennbar wäre. In einigen Ausführungsformen kann ein Defekt Fehler beinhalten, die nur in vergrößerten oder hochauflösenden Bildern sichtbar sind, z. B. in Bildern, die mit Mikroskopen oder anderen Spezialkameras erhalten wurden.
In der folgenden Beschreibung werden verschiedene Aspekte der vorliegenden Erfindung beschrieben. Zu Erklärungszwecken werden spezifische Konfigurationen und Details dargelegt, um ein umfassendes Verständnis der vorliegenden Erfindung zu ermöglichen. Es wird jedoch auch für den Fachmann ersichtlich sein, dass die vorliegende Erfindung auch ohne die hier dargestellten spezifischen Details ausgeführt werden kann. Außerdem können bekannte Merkmale weggelassen oder vereinfacht werden, um die vorliegende Erfindung nicht zu verunklaren.
Wenn nicht ausdrücklich anders angegeben, wie aus den folgenden Erörterungen ersichtlich, wird davon ausgegangen, dass sich die in der gesamten Spezifikation verwendeten Begriffe wie „Analysieren“, „Verarbeiten“, „Rechnen“, „Berechnen“, „Bestimmen“, „Erkennen“, „Identifizieren“, „Erstellen“, „Produzieren“ oder dergleichen auf die Aktion und/oder Prozesse eines Computers oder Rechen-Systems beziehen, oder eines ähnlichen elektronischen Rechengeräts, die Daten, die als physikalische, z. B. elektronische, Größen in den Registern und/oder Speichern des Rechen-Systems dargestellt werden, manipulieren und/oder in andere Daten umwandeln, die in ähnlicher Weise als physikalische Größen in den Speichern, Registern oder anderen derartigen Geräten zur Informationsspeicherung, -Übertragung oder -anzeige des Rechen-Systems dargestellt werden. Sofern nicht anders angegeben, beziehen sich diese Begriffe auf automatische Aktionen eines Prozessors, unabhängig von und ohne Aktionen eines menschlichen Bedieners.
Ein System zur automatischen visuellen Überprüfung gemäß einer Ausführungsform der Erfindung ist in 1 schematisch dargestellt.
Das beispielhafte System 100, das für die automatisierte visuelle Überprüfung eines Gegenstands auf einer Prüflinie verwendet werden kann, beinhaltet einen Prozessor 102, der mit einer oder mehreren Kamera(s) 103 und mit einem Gerät, wie einem Benutzerschnittstellen-Gerät 106 und/oder anderen Geräten, wie einem Speichergerät 108, kommuniziert.
Die Komponenten des Systems 100 können drahtgebunden oder drahtlos miteinander kommunizieren und können geeignete Anschlüsse und/oder Netzwerk-Knotenpunkte beinhalten. In einigen Ausführungsformen kann der Prozessor 102 mit einem Gerät, wie z. B. dem Speichergerät 108 und/oder dem Benutzerschnittstellen-Gerät 106, über einen Controller, wie z. B. eine speicherprogrammierbare Steuerung (SPS), kommunizieren, die typischerweise in Fertigungsprozessen verwendet wird, z. B. für Datenverarbeitung, Speicherung, Rechenleistung und Verbindungsmöglichkeiten. Ein Controller kann mit dem Prozessor 102, dem Speichergerät 108, dem Benutzerschnittstellen-Gerät 106 und/oder anderen Komponenten des Systems 100 über USB, Ethernet, geeignete Verkabelung usw. kommunizieren.
Der Prozessor 102 kann z. B. einen oder mehrere Prozessoren beinhalten und kann eine Zentralrecheneinheit (CPU), eine Grafikprozessoreinheit (GPU), ein digitaler Signalprozessor (DSP), ein feldprogrammierbares Gate-Array (FPGA), ein Mikroprozessor, ein Controller, ein Chip, ein Mikrochip, eine integrierte Schaltung (IC) oder ein anderer geeigneter Mehrzweck- oder spezifischer Prozessor oder Controller sein. Der Prozessor 102 kann lokal eingebettet oder dezentral sein.
Das Benutzerschnittstellen-Gerät 106 kann einen Bildschirm, wie z. B. einen Monitor oder Bildschirm, beinhalten, um einem Benutzer Bilder, Befehle und/oder Benachrichtigungen anzuzeigen (z. B. über Text oder andere auf dem Monitor angezeigte Inhalte). Das Benutzerschnittstellen-Gerät 106 kann auch dafür ausgelegt sein, Eingabe von einem Benutzer zu empfangen. Zum Beispiel kann das Benutzerschnittstellen-Gerät 106 einen Monitor und eine Tastatur und/oder eine Maus und/oder einen Touchscreen beinhalten, um einem Benutzer die Eingabe von Feedback zu ermöglichen.
Das Speichergerät 108 kann ein Server sein, der z. B. flüchtige und/oder nicht flüchtige Speichermedien wie ein Festplattenlaufwerk (HDD) oder ein Solid-State-Laufwerk (SSD) beinhaltet. Das Speichergerät 108 kann lokal oder dezentral verbunden sein, z. B. in der Cloud.
Kamera(s) 103, die dazu eingerichtet sind, ein Bild einer Prüflinie zu erhalten, werden typischerweise in Bezug auf eine Prüflinie 105 (z. B. ein Förderband) platziert oder positioniert, so dass sich Gegenstände 104, die auf der Prüflinie 105 platziert sind, innerhalb des FOV 103' der Kamera 103 befinden. Abhängig von der Bildaufnahmerate der Kamera 103 und der Geschwindigkeit der Prüflinie 105 und möglicherweise anderen Parametern kann jeder Gegenstand 104 für mehrere Sekunden innerhalb des FOV 103' bleiben und es können mehrere Bilder desselben Gegenstands 104 aufgenommen werden.
Die Kamera 103 kann einen CCD- oder CMOS- oder einen anderen geeigneten Chip beinhalten. Die Kamera 103 kann eine 2D- oder 3D-Kamera sein. In einigen Ausführungsformen kann die Kamera 103 eine Standardkamera beinhalten, die z. B. bei mobilen Geräten wie Smartphones oder Tablets vorhanden ist. In anderen Ausführungsformen ist die Kamera 103 eine Spezialkamera, z. B. eine Kamera zur Aufnahme hochauflösender Bilder.
Der Prozessor 102 empfängt Bilddaten (die Daten wie Pixelwerte, die die Intensität des reflektierten Lichts darstellen, sowie Teil- oder Vollbilder oder Videos beinhalten können) von Objekten auf der Prüflinie 105 von der/den einen oder mehreren Kamera(s) 103 und führt Prozesse gemäß Ausführungsformen der Erfindung aus.
Der Prozessor 102 steht typischerweise in Verbindung mit einer Speichereinheit 112. Die Speichereinheit 112 kann zumindest einen Teil der von der/den Kamera(s) 103 empfangenen Bilddaten speichern.
Die Speichereinheit 112 kann z. B. einen Direktzugriffsspeicher (RAM), einen dynamischen RAM (DRAM), einen Flash-Speicher, einen flüchtigen Speicher, einen nichtflüchtigen Speicher, einen Cache-Speicher, einen Puffer, eine Kurzzeitspeichereinheit, eine Langzeitspeichereinheit oder andere geeignete Speichereinheiten oder Speichereinheiten beinhalten.
In einigen Ausführungsformen speichert die Speichereinheit 112 ausführbare Befehle, die, wenn sie vom Prozessor 102 ausgeführt werden, die Durchführung von Vorgängen des Prozessors 102, wie hier beschrieben, erleichtern.
In einer Ausführungsform wendet der Prozessor 102 Bildverarbeitungstechniken an (z. B. wie oben beschrieben), um automatisch gleichartige Objekte in Bildern einer Prüflinie zu erkennen. Sobald ein gleichartiges Objekt erkannt wird, kann der Prozessor 102 automatisch ein Bild des erkannten Objekts erfassen, speichern und auf dem Bildschirm anzeigen, anstatt dass der Benutzer das Objekt manuell bestätigen muss, bevor er sein Bild erfasst und speichert, wie es in Systemen des bisherigen Standes der Technik der Fall war.
In einer Ausführungsform empfängt der Prozessor 102 ein Bild eines Objekts (z. B. Objekt 104), typischerweise eines fehlerfreien Objekts, und erkennt das Objekt im Bild (z. B. unter Verwendung von Objekterkennungsalgorithmen, z. B. wie hier beschrieben). Der Prozessor 102 kann einen Umriss erstellen, der das erkannte Objekt eng umgibt (d. h. der Umriss liegt typischerweise nahe an den Grenzen des Objekts), und kann dann veranlassen, dass das Objekt und der Umriss angezeigt werden, z. B. über eine Benutzerschnittstelle (106).
In einigen Ausführungsformen kann ein Benutzer Eingabe, wie z. B. Befehle oder Informationen, über die Benutzerschnittstelle 106 eingeben, und der Prozessor 102 erstellt den Umriss um das erkannte Objekt basierend auf der Eingabe des Benutzers. Beispielsweise kann die Eingabe des Benutzers einen Umriss beinhalten, der das Objekt allgemein umgibt, und basierend auf dem allgemeinen Umriss erstellt der Prozessor 102 einen Umriss, der das Objekt eng umgibt.
In einigen Ausführungsformen kann das Bild des Objekts gespeichert werden (z. B. in einer Datenbank auf dem Speichergerät 108), basierend auf der Eingabe eines Benutzers über das Benutzerschnittstellen-Gerät 106. Beispielsweise kann ein Bild des Objekts 104 einem Benutzer angezeigt werden, z. B. über das Benutzerschnittstellen-Gerät 106, und nur wenn ein Benutzer bestätigt (z. B. dass das Objekt von einem gewünschten Typ ist oder dass das Objekt frei von Defekten ist usw.), wird dieses Bild gespeichert und kann in späteren Prozessen verwendet werden, wie hier beschrieben.
In einer Ausführungsform kann der Prozessor 102 zunächst ein Objekt 104 in einem Bild der Prüflinie 105 erkennen (z. B. unter Verwendung von Objekterkennungsalgorithmen, z. B. wie hierin beschrieben), eine Begrenzungsform um das Objekt herum erstellen und die Begrenzungsform um das Objekt herum einem Benutzer anzeigen, z. B. auf dem Benutzerschnittstellen-Gerät 106, zur Bestätigung oder Korrektur durch den Benutzer. In einigen Ausführungsformen kann der Prozessor 102 die Eingabe des Benutzers, z. B. die Bestätigung und/oder Korrektur der Begrenzungsform, über die Benutzerschnittstelle 106 entgegennehmen.
In einigen Ausführungsformen kann der Prozessor 102 eine angepasste Begrenzungsform gemäß der Eingabe des Benutzers erstellen. Der Controller 102 kann dann ein Gerät basierend auf der angepassten Begrenzungsform steuern.
In einigen Ausführungsformen kann der Prozessor 102 einen anderen Prozessor steuern. Beispielsweise kann der Prozessor 102 veranlassen, dass die angepasste Begrenzungsform auf ein gleichartiges Objekt in einem zuvor oder nachfolgend erhaltenen Bild der Prüflinie angewendet wird. Ein Bildschirm, z. B. der Bildschirm des Benutzerschnittstellen-Geräts 106, kann dann so gesteuert werden, dass er das zuvor oder nachfolgend erhaltene Bild der Prüflinie mit der angepassten Begrenzungsform um ein Objekt desselben Typs anzeigt.
Eine Begrenzungsform und/oder eine angepasste Begrenzungsform kann eine Form sein, wie z. B. ein Polygon oder eine Kreisform, die ein abgebildetes Objekt in der Nähe der Grenzen des Objekts umschließt.
2A zeigt schematisch einen beispielhaften Prozess für eine automatische visuelle Überprüfung, typischerweise eine Einrichtungsphase des visuellen Prüfprozesses, die dazu dient, Referenzbilder für die folgende Prüfphase zu sammeln. In einer Ausführungsform wird der Prozess von einem Prozessor 102 durchgeführt und beinhaltet das Erhalten eines Bildes eines Objekts (22), z. B. eines fehlerfreien Objekts, auf der Prüflinie. Zum Beispiel kann ein Bild des Objekts 104 auf der Prüflinie 105 von der Kamera 103 erhalten werden.
Der Prozessor 102 erstellt dann eine Begrenzungsform um das Objekt im Bild (23) und zeigt die Begrenzungsform um das Objekt an (24). Beispielsweise können ein Bild des Objekts und die Begrenzungsform, die dem Bild des Objekts überlagert ist, auf einem Bildschirm des Benutzerschnittstellen-Geräts 106 angezeigt werden.
Der Prozessor 102 nimmt eine Eingabe eines Benutzers (25) (z. B. über das Benutzerschnittstellen-Gerät 106) entgegen, die eine Bestätigung des Objekts beinhalten, z. B. durch Bestätigung oder Anpassung der Begrenzungsform. „Bestätigung eines Objekts“ kann Angaben eines Benutzers zum Status eines angezeigten Objekts beinhalten. Die Bestätigung kann z. B. den Hinweis beinhalten, dass es sich bei dem angezeigten Objekt tatsächlich um die Art von Objekt handelt, die der Benutzer prüfen möchte. Alternativ oder zusätzlich kann die Bestätigung auch die Angabe beinhalten, dass das angezeigte Objekt fehlerfrei oder defekt ist.
Sobald ein Objekt bestätigt ist (26), kann die Form und/oder die Merkmale des bestätigten Objekts verwendet werden, um automatisch gleichartige Objekte in nachfolgend erhaltenen Bildern zu erkennen. So kann der Prozessor 102 automatisch gleichartige Objekte in nachfolgenden Bildern (27) erkennen und das Bild eines erkannten gleichartigen Objekts (28) automatisch erfassen und auf dem Bildschirm anzeigen und möglicherweise für eine spätere Verwendung speichern, anstatt auf eine manuelle Eingabe und/oder Bestätigung gleichartiger Objekte zu warten.
In einer Ausführungsform kann die Einrichtungsphase weiterhin rationalisiert und vereinfacht werden, indem einmal (oder wenige Male) eine Bestätigung vom Benutzer erhalten wird und viele Referenzbilder basierend auf der einen (oder wenigen) Bestätigungen gesammelt werden.
In dieser Ausführungsform, von der ein Beispiel in 2B schematisch dargestellt ist, wird einem Benutzer ein Bild eines Gegenstands, der von einer Begrenzungsform umgeben ist, angezeigt (202) und eine anfängliche Benutzerbestätigung wird empfangen (204), um anzuzeigen, dass das angezeigte Bild ein vom Benutzer bestätigtes Bild ist. Die Benutzer-Bestätigung kann die Bestätigung beinhalten, dass der angezeigte gebundene Gegenstand genau gebunden ist und/oder dass es sich um einen bestätigten fehlerfreien Gegenstand handelt und/oder dass der Gegenstand korrekt positioniert ist und/oder die Bestätigung anderer Aspekte des Gegenstands innerhalb des Bildes. Vom Benutzer bestätigte Bilder können z. B. in einer Referenzbilddatenbank gespeichert werden.
Zusätzliche Bilder von gleichartigen Objekten werden dann erfasst (206), z. B. werden genügend Bilder erfasst, um eine vollständige Darstellung eines Gegenstands zu erhalten (wie oben beschrieben). Sobald eine vorgegebene oder gewünschte Anzahl zusätzlicher Bilder erfasst wurde (207) oder eine vorgegebene Zeit verstrichen ist, werden dem Benutzer Bilder von verdächtigen Gegenständen (z. B. Bilder von Gegenständen, die sich von den fehlerfreien Gegenständen in der Referenzbilddatenbank unterscheiden) auf dem Bildschirm angezeigt (208), um eine Bestätigung oder Korrektur durch den Benutzer zu erhalten.
Verdächtige Gegenstände können verdächtige Defekte haben oder sich an einer falschen Position oder Stelle befinden oder nicht sehr gut erkannt werden oder nicht genau durch die Begrenzungsform begrenzt werden usw. Gleichartige Objekte können zulässige Unterschiede aufweisen, die keine Defekte sind. So können Objekte z. B. Textur-, Muster- oder Farbunterschiede auf der Fläche des Objekts aufweisen, die vom Benutzer nicht als Fehler angesehen werden. Auch können gleichartige Objekte zulässige Formtoleranzen aufweisen. Beispielsweise kann ein Objekt aus verschiedenen Winkeln und/oder an verschiedenen Stellen auf der Prüflinie aufgenommen werden, ohne dass es perspektivische Verzerrungen aufweist und somit innerhalb der zulässigen Formtoleranz liegt. Aufgrund dieser und anderer zulässiger Unterschiede können Objekte als fehlerhaft oder fehlerverdächtig erkannt werden, obwohl sie vom Benutzer nicht als fehlerhaft angesehen werden.
Die Benutzer-Eingabe kann anzeigen, ob ein vermuteter Gegenstand tatsächlich kein gutes Referenzbild ist (z. B. ob der Gegenstand einen Defekt beinhaltet oder nicht, ob die Begrenzung des Gegenstands korrekt ist, ob der Gegenstand richtig positioniert ist oder nicht usw.). In einigen Ausführungsformen kann, wenn die Benutzer-Eingabe anzeigt, dass vermutete Defekte tatsächlich Defekte sind, oder Defekte anzeigt, die vom Prozessor 102 nicht erkannt wurden, dieser Defekt rückwirkend in zuvor erhaltenen und gespeicherten Referenzbildern erkannt werden, und diese Bilder, in denen der Defekt erscheint, können rückwirkend aus der Referenzbilddatenbank genommen werden. Ebenso können andere Hinweise oder Bestätigungen des Benutzers (z. B. zur Lage des Gegenstandes, zur Umrissform des Gegenstandes usw.) zur Aktualisierung der Referenzbilddatenbank verwendet werden, ggf. auch rückwirkend.
Die rückwirkende Aktualisierung der Referenzbilddatenbank kann dazu beitragen, die Anforderung einer manuellen Bestätigung durch den Benutzer bei vergangenen und zukünftigen Bildern zu vermeiden, und ermöglicht die Durchführung von Überprüfungen basierend auf einer einzigen Benutzer-Eingabe, wodurch der Benutzer Zeit spart und der Prüfvorgang erleichtert wird.
Die automatische Anzeige einer Begrenzungsform um ein angezeigtes Objekt und die Abfrage der anfänglichen Benutzerbestätigung in einem frühen, kurzen Stadium ermöglicht das Sammeln vieler zusätzlicher Bilder von gleichartigen Objekten, auch mit vermuteten Defekten oder anderen Unterschieden zu Referenzbildern. Anstatt die Bestätigung des Benutzers für jeden verdächtigen Gegenstand anzufordern, kann die Bestätigung des Benutzers nur einmal (oder wenige Male) angefordert werden, z. B. nachdem genügend Referenzbilder gesammelt wurden, um mit der Prüfphase fortzufahren. Auf diese Weise muss der Benutzer nicht viel Zeit mit der Bestätigung und Anpassung der Referenzbilder verbringen, während diese gesammelt werden, sondern kann dies in einem einzigen Fall tun, nachdem eine bestimmte Anzahl von Referenzbildern gesammelt wurde. Ausführungsformen der Erfindung ermöglichen es somit, den Zeitaufwand des Anwenders für die Überprüfung der Bilder zu minimieren.
In einigen Ausführungsformen kann die Bestätigung des Benutzers (z. B., ob ein verdächtiger Gegenstand ein gutes Referenzbild ist oder nicht) über eine Taste oder einen anderen Mechanismus eingegeben werden, der von dem Benutzerschnittstellen-Gerät 106 verwendet wird. Ein Benutzer kann die Taste drücken oder auf andere Weise die Bestätigung eines über die Benutzerschnittstelle 106 angezeigten Bildes anzeigen, das jedoch möglicherweise nicht das optimale Bild für das Verwenden als Referenzbild ist. Wie oben beschrieben, können mehrere Bilder desselben verdächtigen Gegenstands aufgenommen werden, so dass mehrere Bilder eines verdächtigen Gegenstands zur Bestätigung durch den Benutzer angezeigt werden können. Einige der Bilder können Bilder des Objekts sein, während es sich noch bewegt (z. B. aufgrund der Bewegung der Prüflinie 105) oder können anderweitig nicht optimal für die Fehlererkennung und andere Prüfaufgaben sein. In einigen Ausführungsformen kann ein Benutzer eines der mehreren Bilder bestätigen, das nicht unbedingt das optimale Bild des verdächtigen Objekts ist. In diesem Fall kann der Prozessor 102 die Benutzerbestätigung empfangen und dann ein optimales Bild des Objekts identifizieren, für das die Benutzerbestätigung empfangen wurde. Sobald das optimale Bild (z. B. ein Bild, das minimale Bewegung beinhaltet, ein Bild, das das Objekt am deutlichsten zeigt oder anderweitig optimal für die Überprüfung ist) identifiziert wurde, verwendet der Prozessor 102 das optimale Bild als das vom Benutzer bestätigte Bild, d. h. ein Bild, mit dem die Referenzdatenbank aktualisiert wird. In einigen Ausführungsformen ist also ein vom Benutzer bestätigtes Bild, das zur Aktualisierung der Referenzbilddatenbank verwendet wird, nicht notwendigerweise das gleiche Bild, für das eine Benutzer-Bestätigung empfangen wurde. Diese Ausführungsform ermöglicht es dem Benutzer, auf einfache Weise ein Objekt zu bestätigen oder anderweitig anzuzeigen, z. B. durch Klicken auf einen Bildschirm, auf dem ein Bild des Objekts angezeigt wird, auch in schnell bewegten Umgebungen (z. B. wenn Bilder sehr schnell angezeigt werden) oder in sehr langsam bewegten Prozessen, da der Benutzer nicht darauf warten muss, dass ein bestimmtes Bild angezeigt wird. Vielmehr kann der Benutzer ein beliebiges Bild des Objekts bestätigen oder angeben, und das System wählt automatisch ein optimales Bild dieses Objekts aus, wodurch der Überprüfungsprozess erheblich rationalisiert wird.
In einigen Ausführungsformen kann das System nach Erhalt der Benutzerbestätigung vorübergehend in den Prüfmodus wechseln, um Parameter der Überprüfung zu simulieren (z. B. Kamera- und/oder Beleuchtungsparameter). Der Prozessor 102 kann nämlich als Reaktion auf den Erhalt der Benutzerbestätigung Prüfalgorithmen auf Bilder des Objekts anwenden. Das optimale Bild kann dann unter Verwendung von Prüfparametern identifiziert werden, wodurch sichergestellt wird, dass das optimale Bild, das zur Aktualisierung der Referenzdatenbank verwendet wird, den Bildern ähnelt, die während der Prüfphase erhalten werden, wodurch ein genauerer und effizienterer visueller Prüfprozess ermöglicht wird.
In einer anderen Ausführungsform, die in 2C schematisch dargestellt ist, beinhaltet ein Verfahren zur automatischen Sichtprüfung, das z. B. von einem Prozessor 102 durchgeführt wird, das Erhalten eines Bildes eines Objekts (222) auf der Prüflinie. Zum Beispiel kann ein Bild des Objekts 104 auf der Prüflinie 105 von der Kamera 103 erhalten werden.
Der Prozessor 102 erstellt dann eine Begrenzungsform um das Objekt im Bild (224) und zeigt die Begrenzungsform um das Objekt an (226). Beispielsweise kann ein Bild des Objekts und die Begrenzungsform, die dem Bild des Objekts überlagert ist, auf dem Bildschirm des Benutzerschnittstellen-Geräts 106 angezeigt werden.
Der Prozessor 102 nimmt eine Eingabe von einem Benutzer (228) entgegen (z. B. über die Benutzerschnittstelle 106) und erstellt eine angepasste Begrenzungsform gemäß der Eingabe des Benutzers (230). Der Prozessor 102 kann dann ein Gerät basierend auf der angepassten Begrenzungsform steuern (232).
In einigen Ausführungsformen wird die Begrenzungsform automatisch um ein in einem Bild erkanntes Objekt erstellt. Die Bildanalyse unter Verwendung von Computer-Vision-Techniken kann verwendet werden, um das Objekt in dem in Schritt (222) erhaltenen Bild zu erkennen, und die Begrenzungsform kann in Schritt (224) automatisch um das erkannte Objekt herum erstellt werden. Das Verfahren kann z. B. zur anfänglichen Erkennung des Objekts ein Pixel-Intensitätsschwellenwert-Verfahren verwenden, bei dem Pixel, die höher als der Schwellenwert sind, als zum Objekt gehörend betrachtet werden. Sobald ein erstes Objekt erkannt wurde, wird eine Begrenzungsform um das Objekt herum erstellt und dem Benutzer zur Bestätigung oder Korrektur angezeigt.
In zusätzlichen Bildern wird ein gleichartiger Gegenstand erkannt, z. B. wie oben beschrieben, unter Verwendung von räumlichen Eigenschaften und eindeutig repräsentierenden Merkmalen oder Attributen, die von dem anfänglichen fehlerfreien Gegenstand unter Verwendung verschiedener Bildgebungsparameter und durch Analyse der Beziehung zwischen verschiedenen Bildern eines gleichartigen fehlerfreien Gegenstands gelernt wurden. Wie oben beschrieben, ermöglicht diese Analyse die unterscheidende Erkennung eines gleichartigen Gegenstandes (entweder fehlerfrei oder mit einem Fehler) in einem Bild, unabhängig von der Bildgebungsumgebung des Bildes. Sobald ein gleichartiger Gegenstand erkannt wurde, kann eine Begrenzungsform um den gleichartigen Gegenstand erstellt werden. Da Objekte automatisch erkannt werden und Begrenzungsformen automatisch um erkannte Objekte herum erstellt werden können, kann der Prozessor 102 auch automatisch auf die Begrenzungsform oder auf bestimmte Teile der Begrenzungsform heranzoomen, um einen Benutzer bei der Anpassung der Begrenzungsform zu unterstützen. Beispielsweise kann der Prozessor 102 die Anzeige eines vergrößerten Bildes eines Teils des Objekts und/oder der es umgebenden Begrenzungsform veranlassen, Eingabe von einem Benutzer bezüglich der Begrenzungsform empfangen und dann eine angepasste Begrenzungsform gemäß der Eingabe des Benutzers erstellen.
In anderen Ausführungsformen wird eine anfängliche Begrenzungsform von einem Benutzer eingegeben oder angegeben und es können sowohl eine Benutzerangabe als auch automatische Algorithmen verwendet werden, um die Begrenzungsform zu erstellen. Beispielsweise kann eine Segmentierung auf Pixelebene verwendet werden, oder eine automatische Segmentierung kann verwendet werden, um das Bild in verschiedene Segmente aufzuteilen und dem Benutzer die Möglichkeit zu geben, die Segmente auszuwählen, die das Objekt darstellen. In einigen Ausführungsformen kann ein Benutzer eine Begrenzungsform markieren (z. B. auf einem Bildschirm), und ein automatischer Algorithmus erstellt dann ein Polygon (oder eine andere geeignete Form), das der Objektgrenze am nächsten kommt, die der vom Benutzer eingegebenen Begrenzungsform entspricht. In anderen Beispielen kann der automatische Algorithmus ein Polygon (oder eine andere geeignete Form) aus einem vom Benutzer gewählten Segment erstellen.
Eine Begrenzungsform kann auf einem Bildschirm (z. B. einem Bildschirm des Benutzerschnittstellen-Geräts 106) als eine Linie, z. B. eine farbige Linie, eine gestrichelte Linie oder eine andere Art von Linie, angezeigt werden, die das Objekt umgibt, oder als jede andere Angabe, die typischerweise für einen Benutzer sichtbar ist.
In einigen Fällen können Objekte auf einer Prüflinie an unterschiedlichen Positionen platziert sein, entweder durch Design oder durch menschliches Versagen oder ähnliches, so dass ein gleichartiges Objekt in einem Bild auf der Prüflinie in einem Winkel relativ zu einer Position des Objekts in einem anderen Bild positioniert sein kann. Der Begriff „Winkel“ kann sich auf unterschiedliche Positionen im Raum beziehen, z. B. auf die Neigung, die Drehung und das Gieren des Objekts auf der Prüflinie.
Basierend auf dem Winkel kann eine angepasste Begrenzungsform erstellt werden. Zum Beispiel kann eine erste Begrenzungsform um ein erstes Objekt in einem ersten Bild angezeigt werden. Wenn ein zweites Objekt in einem zweiten Bild festgestellt wird, das sich in einem Winkel zum ersten Objekt befindet, kann die Position des zweiten Objekts im zweiten Bild korrigiert werden. Zum Beispiel kann das zweite Objekt um den gleichen Winkel in eine entgegengesetzte Richtung gedreht werden, so dass es im zweiten Bild an der gleichen Position wie das erste Objekt im ersten Bild angezeigt wird. Eine zweite Begrenzungsform (die eine angepasste Begrenzungsform sein kann) wird um das zweite Objekt herum erstellt und kann um den Winkel gedreht werden, so dass auch sie im zweiten Bild an einer ähnlichen Position wie die im ersten Bild angezeigte Begrenzungsform angezeigt wird.
In anderen Ausführungsformen können das zweite Objekt und die zweite Begrenzungsform im zweiten Bild in einem Winkel relativ zum ersten Objekt und seiner Begrenzungsform, wie sie im ersten Bild angezeigt werden, dargestellt werden.
In einigen Ausführungsformen wird nach dem Entgegennehmen der Benutzer-Eingabe (Schritt 228) ein neues Bild erhalten und ein neues gleichartiges Objekt im neuen Bild erkannt. Eine angepasste Begrenzungsform (z. B. basierend auf der Eingabe des Benutzers) kann um das gleichartige Objekt im neuen Bild erstellt werden (Schritt 230) und ein Gerät kann basierend auf der angepassten Begrenzungsform gesteuert werden (Schritt 232).
Geräte, die basierend auf der angepassten Begrenzungsform gesteuert werden, können Module beinhalten, die dem Prozessor 102 zugeordnet sind, oder andere Geräte, die mit dem Prozessor 102 kommunizieren, z. B. wie unten unter Bezugnahme auf 3 beschrieben.
In dem Beispiel, das in 3 schematisch dargestellt ist, empfängt der Prozessor 102, nachdem ein erstes Bild eines Objekts mit einer das Objekt umgebenden Begrenzungsform angezeigt wurde, die Benutzer-Eingabe 308.
Die Eingabe des Benutzers kann z. B. die Bestätigung der Begrenzungsform beinhalten, die um das Objekt im ersten Bild angezeigt wird. In diesem Fall ist die angepasste Begrenzungsform dieselbe Begrenzungsform, die um das Objekt im ersten Bild erstellt wurde.
In anderen Ausführungsformen kann die Eingabe des Benutzers Änderungen oder Anpassungen an der im ersten Bild angezeigten Begrenzungsform beinhalten, und die angepasste Begrenzungsform ist eine gemäß der Eingabe des Benutzers geänderte Begrenzungsform. Wie oben beschrieben, kann der Prozessor 102 um das erkannte Objekt herum heranzoomen, z. B. um die Ränder des Objekts, um dem Benutzer eine klarere Sicht auf die Objektränder zu ermöglichen. Der Benutzer kann dann bei Bedarf die Begrenzungsform um die Objektgrenzen herum anpassen, ohne den Heran-Zoom-Vorgang manuell durchführen zu müssen.
Die Bestätigung oder Änderung der Begrenzungsform, die vom Benutzer eingegeben wird, kann auch die Bestätigung des Objekts darstellen. Der Benutzer bestätigt nämlich, dass das angezeigte Objekt der gewünschte Objekttyp ist. Sobald ein Objekt bestätigt wurde, können gleichartige Objekte in nachfolgend aufgenommenen Bildern automatisch erkannt werden, und der Prozessor 102 kann die Kamera 103 und das Benutzerschnittstellen-Gerät 106 so steuern, dass nur Bilder aufgenommen, gespeichert und angezeigt werden, wenn gleichartige Objekte erkannt werden.
In einigen Ausführungsformen, nachdem ein erstes Bild eines Objekts mit einer Begrenzungsform, die das Objekt umgibt, angezeigt wird, empfängt der Prozessor 102 Benutzer-Eingabe und erstellt basierend auf den Benutzer-Eingabe eine angepasste Begrenzungsform.
Der Prozessor 102 kann die angepasste Begrenzungsform auf ein gleichartiges Objekt in einem zweiten Bild anwenden. Bei dem zweiten Bild kann es sich um ein Bild handeln, das vor dem ersten Bild aufgenommen wurde (d. h. das zweite Bild kann zu einem früheren Zeitpunkt als das erste Bild aufgenommen worden sein) oder um ein Bild, das nachfolgend zum ersten Bild aufgenommen wurde (d. h. das zweite Bild kann zu einem späteren Zeitpunkt als das erste Bild aufgenommen worden sein).
In einer Ausführungsform kann der Prozessor 102 ein Benutzerschnittstellen-Gerät (z. B. das Benutzerschnittstellen-Gerät 106) so steuern, dass es die zuvor oder später erhaltenen Bilder mit der angepassten Begrenzungsform um die gleichartigen Objekte in den Bildern anzeigt.
Alternativ oder zusätzlich kann ein Defekterkennungsmodul 312 verwendet werden, um einen oder mehrere Defekte auf dem Objekt zu erkennen, das von der angepassten Begrenzungsform im Bild umgeben ist. Defekte können innerhalb des Bereichs, der von der angepassten Begrenzungsform umgeben ist, in der Zukunft, in später aufgenommenen Bildern und/oder rückwirkend, in früher aufgenommenen Bildern, erkannt werden. Somit kann der Prozessor 102 das Defekterkennungsmodul 312 steuern.
Alternativ oder zusätzlich kann der Prozessor 102 eine Kamera (z. B. Kamera 103) steuern, um die Bildgebungsparameter (wie Belichtungszeit, Fokus und Beleuchtung) in Bezug auf den Bereich des Bildes innerhalb der angepassten Begrenzungsform zu optimieren. Beispielsweise können Belichtungszeit, Fokus, Beleuchtung und andere Bildgebungsparameter automatisch angepasst werden, um ein optimales Bild des Bereichs innerhalb der angepassten Begrenzungsform zu liefern, auch auf Kosten anderer Bereiche des Bildes.
In einer Ausführungsform, die in 4 schematisch dargestellt ist, wird das erste Bild später als das zweite Bild aufgenommen, so dass ein Prozessor dazu verwendet werden kann, ein zuvor oder nachfolgend aufgenommenes Bild eines Objekts auf der Prüflinie mit der angepassten Begrenzungsform um gleichartige Objekte anzuzeigen.
Ein Verfahren zur automatischen visuellen Überprüfung kann das Verwenden eines Prozessors beinhalten, um eine Begrenzungsform um ein Objekt in einem ersten Bild einer Prüflinie (ein zum Zeitpunkt =t erhaltenes Bild) zu erstellen und die Begrenzungsform um das Objekt für einen Benutzer (402) anzuzeigen. Der Prozessor kann die Eingabe des Benutzers entgegennehmen. Wenn die Benutzer-Eingabe Änderungen an der Begrenzungsform (404) beinhaltet, werden die Änderungen gespeichert (408) (z. B. in dem Speichergerät 108) und auf Begrenzungsformen in früheren Bildern (Bilder, die zum Zeitpunkt = t-1 oder früher erhalten wurden) und auf später erhaltene Bilder (Bilder, die zum Zeitpunkt =t+1 und später erhalten wurden) angewendet (410). Wenn die Benutzer-Eingabe keine Änderungen beinhaltet (z. B. wenn der Benutzer die angezeigte Begrenzungsform bestätigt) (404), wird die Begrenzungsform auf später erhaltene Bilder (Bilder, die zum Zeitpunkt =t+1 und später erhalten wurden) angewendet (406).
Wenn also die Benutzer-Eingabe Änderungen an der Begrenzungsform (404) beinhaltet, kann eine angepasste Begrenzungsform gemäß der Benutzer-Eingabe erstellt werden, ein gleichartiges Objekt kann dann in einem zweiten Bild der Prüflinie erkannt werden (z. B. kann das Objekt mithilfe von Computer-Vision-Techniken, wie hier beschrieben, erkannt werden) und die angepasste Begrenzungsform kann auf das im zweiten Bild erkannte Objekt angewendet werden. Das zweite Bild kann dann mit der angepassten Begrenzungsform um das gleichartige Objekt herum auf dem Bildschirm angezeigt werden.
Das Verwenden der bestätigten oder angepassten Begrenzungsform rückwirkend und in der Zukunft kann dazu beitragen, die Anforderung einer manuellen Bestätigung durch den Benutzer in vergangenen und zukünftigen Bildern zu vermeiden, und ermöglicht das Durchführen von Prüfaufgaben basierend auf einer einzigen Benutzer-Eingabe, wodurch der Benutzer Zeit spart und der Prüfprozess vereinfacht wird.
In einer Ausführungsform, die in 5 schematisch dargestellt ist, beinhaltet ein Verfahren zur automatischen visuellen Überprüfung die Aufnahme eines Bildes eines Objekts (502), z. B. eines Objekts auf der Prüflinie. Das Objekt und eine das Objekt umgebende Begrenzungsform werden einem Benutzer auf dem Bildschirm angezeigt (504). Wenn die Benutzer-Eingabe eine Bestätigung der angezeigten Begrenzungsform beinhaltet (506), dann ist die angepasste Begrenzungsform dieselbe Begrenzungsform, die dem Benutzer ursprünglich angezeigt wurde (in Schritt 504), und die Begrenzungsform kann auf nachfolgend erhaltene Bilder von Objekten desselben Typs angewendet werden (508). Wenn die Benutzer-Eingabe keine Bestätigung der Begrenzungsform (506) beinhaltet, sondern vielmehr Änderungen an der Begrenzungsform (510), dann werden die Änderungen an der Begrenzungsform auf gleichartige Objekte in nachfolgend und/oder zuvor erhaltenen Bildern (512) angewendet. So können gleichartige Objekte in zuvor und/oder nachfolgend aufgenommenen Bildern nun durch eine geänderte oder angepasste Begrenzungsform begrenzt werden. Defekte können dann (rückwirkend und/oder in der Zukunft) innerhalb der geänderten oder angepassten Begrenzungsform erkannt werden (514).
In einer Ausführungsform kann die Eingabe eines Benutzers verwendet werden, um die Fehlererkennung zu erleichtern. Ein Benutzer kann eine Eingabe zu Defekten machen, und das System gemäß Ausführungsformen der Erfindung kann die Benutzer-Eingabe verwenden, um den Prozess der Defekterkennung zu rationalisieren.
In einem Beispiel, das in 6 schematisch dargestellt ist, beinhaltet ein Verfahren zur automatischen visuellen Überprüfung, das von Prozessor 102 ausgeführt werden kann, die Anzeige eines ersten Bildes eines Gegenstands auf der Prüflinie, typischerweise mit einer den Gegenstand umgebenden Begrenzungsform (602). Der Prozessor 102 empfängt dann eine Benutzer-Eingabe, z. B. in Bezug auf Defekte des Gegenstands (604), und erstellt basierend auf der Benutzer-Eingabe eine Markierung einer Region von Interesse (ROI) (606).
Beispielsweise kann ein Benutzer (z. B. über das Benutzerschnittstellen-Gerät 106) eine Angabe zur Position eines Defekts innerhalb des Objekts eingeben und eine Markierung einer ROI kann basierend auf der vom Benutzer angegebenen Position erstellt werden. Beispielsweise kann der Benutzer einen oder mehrere Punkte auf einem Bild des Gegenstands angeben, und der Prozessor 102 kann eine Linie oder eine andere Angabe oder Markierung erstellen (z. B. wie unter Bezugnahme auf die Erstellung einer Begrenzungsform beschrieben), die die Pixel oder Gruppen von Pixeln beinhaltet, aus denen die vom Benutzer eingegebenen Punkte bestehen. In einem anderen Beispiel kann der Benutzer eine Angabe zu einer ROI eingeben. Beispielsweise kann der Benutzer auf dem Bild von dem Gegenstand eine oder mehrere Formen zeichnen, die einen Bereich (oder Bereiche) des Gegenstands umgeben, in dem der Benutzer eine Fehlererkennung wünscht, und der Prozessor verwendet die eingegebene(n) Form(en), um die Markierung(en) zu erstellen. Die Anzeige der ROI kann Korrekturen oder Anpassungen an einer angezeigten Markierung beinhalten. Zum Beispiel kann ein Benutzer angeben, dass es Defekte außerhalb einer angezeigten Markierung gibt und/oder dass Defekte innerhalb einer angezeigten Markierung nicht als Defekte angesehen werden. In einigen Ausführungsformen können Pixel oder Bereiche im Bild, die anfänglich innerhalb eines Bereichs liegen, der durch die Angabe einer ROI definiert ist, und/oder die anfänglich vom Prozessor 102 als Defekte bestimmt werden, von einem Benutzer als nicht-defekte Bereiche angegeben werden. Basierend auf dieser oder einer anderen Benutzer-Eingabe kann der Prozessor 102 die Anzeige der ROI automatisch ändern oder anpassen, so dass diese Pixel oder Bereiche aus der Region von Interesse ausgeschlossen werden, wodurch das Auftreten von Fehlalarmen reduziert wird.
Der Prozessor 102 kann weiterhin einen gleichartigen Gegenstand auf der Prüflinie in einem zweiten Bild (608) erkennen und eine Begrenzungsform erstellen, die den gleichartigen Gegenstand umgibt, z. B. wie oben beschrieben. Der Prozessor 102 kann die Markierung der ROI auf den gleichartigen Gegenstand im zweiten Bild (610) anwenden. In einer Ausführungsform wird die Markierung der ROI so auf den gleichartigen Gegenstand im zweiten Bild angewendet, dass sie in Bezug auf die Begrenzungsform des gleichartigen Objekts in direkter Korrelation zur Ausrichtung der Markierung der ROI im ersten Bild in Bezug auf die Begrenzungsform im ersten Bild ausgerichtet ist.
Der Prozessor 102 kann dann einen anderen Prozessor oder ein anderes Gerät steuern, basierend auf der Markierung der ROI, die auf das zweite Bild (612) angewendet wurde. Beispielsweise kann der Prozessor 102 veranlassen, dass das zweite Bild mit der Markierung, die dem gleichartigen Gegenstand überlagert ist, auf dem Bildschirm angezeigt wird (z. B. auf dem Benutzerschnittstellen-Gerät 106). Alternativ oder zusätzlich kann der Prozessor 102 ein Fehlererkennungsmodul (z. B. Modul 312) steuern, um Fehler innerhalb der ROI auf dem gleichartigen Gegenstand zu erkennen. Alternativ oder zusätzlich kann der Prozessor 102 eine Kamera (z. B. die Kamera 103) steuern, um die Bildgebungsparameter (z. B. Belichtungszeit, Fokus und Beleuchtung) so zu ändern, dass die Bildgebung der ROI optimiert wird.
In einigen Ausführungsformen, wie oben beschrieben, beinhaltet die Benutzer-Eingabe einen Hinweis darauf, dass (z. B. von Modul 312) erkannte Defekte vom Benutzer nicht als Defekte angesehen werden. Beispielsweise können Unterschiede in den sichtbaren Merkmalen des Gegenstands, wie ein Muster und/oder eine Farbe und/oder eine Textur, vom Fehlererkennungsmodul 312 als Fehler erkannt werden, die jedoch vom Benutzer nicht als Fehler angesehen werden. Wenn diese Merkmale dem Benutzer als Defekte angezeigt werden, kann der Benutzer eine Korrektur eingeben, die anzeigt, dass das Merkmal kein Defekt ist. Basierend auf solcher Benutzer-Eingabe kann der Prozessor 102 also Bereiche mit falsch erkannten Defekten identifizieren und automatisch die Form und/oder Position der Markierung der ROI ändern oder eine geänderte Form und/oder Position der Markierung der ROI zur Freigabe durch den Benutzer vorschlagen, so dass die geänderte Markierung den Bereich mit der falschen Erkennung nicht enthält.
Das erste Bild kann vor dem zweiten Bild oder nachfolgend zum zweiten Bild aufgenommen werden. Wenn das erste Bild nach dem zweiten Bild aufgenommen wird, können Änderungen oder Anpassungen, die (manuell oder automatisch) an der Markierung der ROI im ersten Bild vorgenommen wurden, rückwirkend auf Bilder angewendet werden, die vor der Änderung aufgenommen wurden. In dieser Ausführungsform kann die geänderte Markierung rückwirkend auf Bildern der Prüflinie angezeigt werden und die Fehlererkennung kann rückwirkend innerhalb der geänderten ROI in zuvor aufgenommenen Bildern erfolgen.
Die automatische Erstellung und Anzeige angepasster Ränder von Gegenständen und von Regionen von Interesse für die Erkennung von Fehlern in den Gegenständen und für andere Prüfaufgaben rationalisieren und vereinfachen die visuellen Prüfprozesse erheblich.

Claims

Ein Einrichtungsprozess für eine visuelle Überprüfung, umfassend: Verwenden eines Prozessors um ein Bild eines Objekts auf einer Prüflinie anzuzeigen; eine Benutzer-Bestätigung des Objekts zu empfangen, um ein Benutzer-bestätigtes Bild zu erhalten; eine Vielzahl zusätzlicher Bilder gleichartiger Objekte auf der Prüflinie zu erfassen; nachdem eine gewünschte Menge zusätzlicher Bilder erfasst ist, einem Benutzer Bilder gleichartiger Objekte anzuzeigen, die sich vom Benutzer-bestätigten Bild unterscheiden, um dadurch eine von dem Benutzer benötigte Zeit zur Überprüfung der Bilder zu minimieren.
Der Einrichtungsprozess nach Anspruch 1, wobei Computer-Vision-Techniken verwendet werden, um die gleichartigen Objekte in den zusätzlichen Bildern zu erkennen.
Der Einrichtungsprozess nach Anspruch 1, wobei die gewünschte Menge an zusätzlichen Bildern eine Menge an Bildern ist, die eine vollständige Darstellung des gleichartigen Objekts zur Verfügung stellen.
Der Einrichtungsprozess nach Anspruch 1, wobei der Prozessors zum Anzeigen von Bildern gleichartiger Objekte verwendet wird, die sich von dem Benutzer-bestätigten Bild nach einer vorbestimmten Zeit unterscheiden.
Der Einrichtungsprozess nach Anspruch 1, wobei der Prozessor verwendet wird, um die Benutzer-Bestätigung zu empfangen; ein optimales Bild des Objekts, für das die Benutzer-Bestätigung empfangen wurde, zu identifizieren; das optimale Bild als Benutzer-bestätigtes Bild zu verwenden.
Der Einrichtungsprozess nach Anspruch 5, wobei der Prozessor die Benutzer-Bestätigung über ein Benutzerschnittstellen-Gerät erhält.
Der Einrichtungsprozess nach Anspruch 6, wobei das Benutzer-bestätigte Bild nicht das gleiche Bild ist, für das die Benutzer-Bestätigung empfangen wurde.
Der Einrichtungsprozess nach Anspruch 5, wobei der Prozessor verwendet wird, um die Benutzer-Bestätigung zu empfangen und Prüfalgorithmen auf Bilder des Objekts anzuwenden, um das optimale Bild zu identifizieren.
Ein Verfahren zur automatischen visuellen Überprüfung, umfassend: Verwenden eines Prozessors zum Anzeigen eines ersten Bildes eines ersten Gegenstandes auf der Prüflinie und eines Umrisses des Gegenstandes; Empfangen einer Bestätigung des ersten Gegenstandes; Erkennen eines gleichartigen Gegenstandes auf der Prüflinie in einem zweiten Bild; und Anzeigen des zweiten Bildes mit einem Umriss des Gegenstandes, der den gleichartigen Gegenstand im zweiten Bild umgibt.
Das Verfahren nach Anspruch 9, wobei die Bestätigung des Gegenstandes eine Eingabe umfasst, dass der Gegenstand fehlerfrei ist.
Das Verfahren nach Anspruch 9, wobei die Bestätigung des ersten Gegenstandes eine Eingabe zur Änderung des Umrisses des ersten Gegenstandes umfasst.
Das Verfahren nach Anspruch 11 umfassend Anzeigen eines vergrößerten Bildes des ersten Gegenstandes und des Umrisses des ersten Gegenstandes; Empfangen der Eingabe eines Benutzers zur Änderung des Umrisses des ersten Gegenstandes; und Erstellen eines angepassten Umrisses gemäß der Eingabe des Benutzers.
Ein Verfahren zur automatischen visuellen Überprüfung, umfassend: Verwenden eines Prozessors zum Erstellen einer Begrenzungsform um ein Objekt in einem Bild von einer Prüflinie; Anzeigen der Begrenzungsform um das Objekt an einen Benutzer; Entgegennehmen einer Eingabe des Benutzers; Erstellen einer angepassten Begrenzungsform gemäß der Eingabe des Benutzers; und Steuern eines Geräts basierend auf der angepassten Begrenzungsform.
Das Verfahren nach Anspruch 13, wobei Computer-Vision-Techniken verwendet werden, um das Objekt in dem Bild der Prüflinie zu identifizieren.
Das Verfahren nach Anspruch 13, wobei der Prozessor verwendet wird, einen vergrößerten Teil des Bildes, das die Begrenzungsform um das Objekt umfasst, anzuzeigen.
Das Verfahren nach Anspruch 13, wobei die Begrenzungsform von dem Benutzer bestätigt wird.
Das Verfahren nach Anspruch 13, wobei die Eingabe des Benutzers die Bestätigung der Begrenzungsform umfasst und wobei die angepasste Begrenzungsform die gleiche Begrenzungsform ist, die um das Objekt in dem Bild der Prüflinie erzeugt wurde.
Das Verfahren nach Anspruch 13, wobei die Eingabe des Benutzers Änderungen an der Begrenzungsform umfasst und wobei die angepasste Begrenzungsform eine Begrenzungsform ist, die gemäß der Eingabe des Benutzers geändert wurde.
Das Verfahren nach Anspruch 13, wobei die Eingabe des Benutzers eine Bestätigung umfasst, dass das Objekt fehlerfrei ist.
Das Verfahren nach Anspruch 13, wobei ein Fehler innerhalb der angepassten Begrenzungsform erkannt wird.
Das Verfahren nach Anspruch 13, wobei das Verwenden des Prozessors zum Steuern eines Geräts basierend auf der angepassten Begrenzungsform das Steuern einer Kamera umfasst, um Bildgebungsparameter zu optimieren, die sich auf einen Bereich innerhalb der angepassten Begrenzungsform beziehen.
Das Verfahren nach Anspruch 13, wobei das Verwenden des Prozessors zur Steuerung des Geräts basierend auf der angepassten Begrenzungsform das Anzeigen eines zuvor oder nachfolgend erhaltenen Bildes der Prüflinie umfasst, wobei das Bild die angepasste Begrenzungsform um ein gleichartiges Objekt aufweist.
Das Verfahren nach Anspruch 22, wobei das gleichartige Objekt auf der Prüflinie in einem Winkel relativ zu einer Position des Objekts im Bild der Prüflinie positioniert ist und wobei die angepasste Begrenzungsform basierend auf dem Winkel erzeugt wird.
Ein System zur automatischen visuellen Überprüfung, umfassend eine mit einem Benutzerschnittstellen-Gerät verbundene Recheneinheit, eingerichtet zum Veranlassen, dass eine Begrenzungsform in einem ersten Bild auf dem Benutzerschnittstellen-Gerät angezeigt wird, wobei das erste Bild ein Objekt umfasst und die Begrenzungsform das Objekt umgibt; Akzeptieren der Eingabe über das Benutzerschnittstellen-Gerät; Erstellen einer angepassten Begrenzungsform gemäß der Eingabe; und Veranlassen, dass die angepasste Begrenzungsform in einem zweiten Bild auf der Benutzerschnittstelle angezeigt wird, wobei das zweite Bild ein gleichartiges Objekt umfasst und die angepasste Begrenzungsform das gleichartige Objekt umgibt.
Das System nach Anspruch 24, wobei die Recheneinheit dazu eingerichtet ist, ein herangezoomtes Bild der Begrenzungsform in dem ersten Bild anzuzeigen.
Das System nach Anspruch 24, wobei die Eingabe eine Bestätigung der Begrenzungsform oder eine Änderung der Begrenzungsform umfasst.
Das System nach Anspruch 24, wobei die Recheneinheit mit einer Kamera verbunden ist, um von der Kamera das erste und zweite Bild zu erhalten.
Ein Verfahren zur automatischen visuellen Überprüfung, umfassend: Verwenden eines Prozessors zum Empfangen einer Benutzer-Eingabe bezüglich Defekten an einem Gegenstand in einem ersten Bild einer Prüflinie; Erstellen einer Markierung einer Region von Interesse basierend auf der Benutzer-Eingabe; Erkennen eines gleichartigen Gegenstandes auf der Prüflinie in einem zweiten Bild; Anbringen der Markierung an dem gleichartigen Gegenstand im zweiten Bild; und Steuern eines Geräts basierend auf der Markierung, die auf dem gleichartigen Gegenstand im zweiten Bild angebracht ist.
Das Verfahren nach Anspruch 28, wobei der Prozessor verwendet wird, um das zweite Bild mit der Markierung, die dem gleichartigen Gegenstand überlagert ist, anzuzeigen; und ein Defekterkennungsmodul zum Erkennen von Defekten innerhalb der Region von Interesse zu veranlassen.
Das Verfahren nach Anspruch 29, wobei der Prozessor verwendet wird, um eine Änderung der Markierung, die dem gleichartigen Gegenstand überlagert ist zu empfangen; und das Defekterkennungsmodul zum Erkennen von Defekten innerhalb eines geänderten Bereichs von Interesse zu veranlassen.
Das Verfahren nach Anspruch 28, wobei der der Prozessor verwendet wird, um die Markierung der Region von Interesse basierend auf der Benutzer-Eingabe anzupassen.
Das Verfahren nach Anspruch 28, wobei die Benutzer-Eingabe eine Anzeige der Position von Fehlern auf dem Gegenstand umfasst.
Das Verfahren nach Anspruch 28, wobei die Benutzer-Eingabe eine Anzeige umfasst, dass erkannte Defekte nicht als Defekte betrachtet werden.
Das Verfahren nach Anspruch 28, wobei die Benutzer-Eingabe eine Anzeige einer Region von Interesse auf dem ersten Bild umfasst.
Das Verfahren nach Anspruch 28, wobei der Prozessor zum Erstellen einer Begrenzungsform um den Gegenstand im ersten Bild und um den gleichartigen Gegenstand im zweiten Bild verwendet wird.
Das Verfahren nach Anspruch 35, wobei der Prozessor dazu verwendet wird, die Markierung auf dem gleichartigen Gegenstand im zweiten Bild anzubringen, so dass diese bezüglich der Begrenzungsform des gleichartigen Gegenstands in direkter Korrelation zu der Ausrichtung der Markierung im ersten Bild bezüglich der Begrenzungsform des Gegenstands im ersten Bild ausgerichtet ist.
Das Verfahren nach Anspruch 28, wobei das Verwenden des Prozessors zum Steuern des Geräts das Steuern einer Kamera zum Optimieren von Bildgebungsparametern in Bezug auf die Region von Interesse umfasst.
Das Verfahren nach Anspruch 28, wobei das erste Bild nach dem zweiten Bild erhalten wird.
Das Verfahren nach Anspruch 38, wobei das Verwenden des Prozessors zur Steuerung des Geräts das Anzeigen der Markierung auf Bildern der Prüflinie im Nachhinein umfasst.
Ein visuelles Überprüfungssystem umfassend eine Kamera, die zum Erhalten eines Bildes eines Objekts auf einer Prüflinie eingerichtet ist; ein Benutzerschnittstellen-Gerät mit einem Bildschirm; und ein Prozessor zum: Empfangen des Bildes; Erkennen des Objekts von dem Bild; Erstellen eines Umrisses, der das erkannte Objekt eng umgibt; und Veranlassen, dass das Objekt und der Umriss über die Benutzerschnittstelle angezeigt werden.
Das System nach Anspruch 40, wobei das Objekt ein fehlerfreies Objekt ist.
Das System nach Anspruch 40, wobei das Benutzerschnittstellen-Gerät dazu eingerichtet ist, die Eingabe eines Benutzer entgegenzunehmen, und wobei der Prozessor basierend auf der Eingabe des Benutzers den Umriss um das erkannte Objekt erzeugt.
Das System nach Anspruch 42, wobei die Eingabe des Benutzers einen Umriss umfasst, der das Objekt umgibt.
Das System nach Anspruch 20, wobei das Bild des Objekts für eine spätere Verwendung basierend auf der Eingabe eines Benutzers über das Benutzerschnittstellen-Gerät gespeichert wird.