DE102018207414A1

DE102018207414A1 - Bildverarbeitungssystem

Info

Publication number: DE102018207414A1
Application number: DE102018207414.3A
Authority: DE
Inventors: Yuta Namiki
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-05-18
Filing date: 2018-05-14
Publication date: 2018-11-22
Also published as: JP2018195107A; US10430650B2; CN108961144B; CN108961144A; US20180336407A1; JP6487493B2

Abstract

Zum Bereitstellen eines Bildverarbeitungssystems, das zum Erzeugen eines angemessenen Modellmusters automatisch für Eingangsform-Information in der Lage ist, durch Erlernen einer Korrektur, die während der Erzeugung eines Modellmusters vorgenommen wird, welches aus unterschiedlichen Eingangsformdaten erfasst wird. Ein Bildverarbeitungssystem 1 umfasst: eine Modellmuster-Erfassungseinheit 31, die ein Modellmuster 50 ermittelt, das aus einem Eingangsbild (Eingangsform-Information) 5 erzeugt wird; ein Bedienerpaneel (Modellmuster-Korrektureinheit) 35, das zum Korrigieren des Modellmusters 50 verwendet wird, das durch die Modellmuster-Erfassungseinheit 31 ermittelt ist; und eine Maschinenlerneinheit 40, die Modellmuster-Erzeugungsinformation zum Erzeugen des Modellmusters 50 aus dem Eingangsbild 5 durch Durchführen supervidierten Lernens unter Verwendung eines Satzes von Lerndatenteilen, die alle Korrekturinformation über das durch Verwendung des Bedienpaneels 35 und des Eingangsbilds 5, die miteinander assoziiert sind, korrigierte Modellmuster 50 durchzuführen. Das Bildverarbeitungssystem ist zum Erzeugen eines Modellmusters in der Lage, in welchem ein Ergebnis des Lernens unter Verwendung des Eingangsbilds 5, das neu eingegeben wird, und der Modellmuster-Erzeugungsinformation reflektiert wird.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungssystem, das ein Bild eines Ziels in Eingangsforminformation detektiert, basierend auf einem Modellmuster, welches das Merkmal des Bildes des Ziels repräsentiert.
Stand der Technik
Gemäß einer konventioneller Weise bekannten Technik zum Detektieren eines Bildes eines Ziels in Eingangsformdaten, (Eingangsbild), die durch eine Bildaufnahmevorrichtung erfasst wird, wird beispielsweise ein Abgleich zwischen Standard-Information, wie etwa einem Modellmuster, das erzeugt wird, indem ein Modell des Bildes des Ziels oder einer Vorlage gemacht wird, und der Eingangsform-Information durchgeführt. Falls ein Niveau des Abgleichs ein vorbestimmtes Niveau übersteigt, wird das Ziel als detektiert festgestellt. Patentdokumente 1 bis 3 beschreiben verwandte Techniken.
Patentdokument 1 beschreibt eine Bildverarbeitungstechnik des Trennens eines Vordergrundbildes und eines Hintergrundbildes durch Erlernen einer Region, außer einer Maskenregion in einem Eingangsbild als dem Hintergrundbild. Patentdokument 2 beschreibt eine Technik des Korrigierens der Position eines repräsentativen Punkts, der ein Mustermodell bildet, erzeugt durch einen Anwender durch Durchführen von Abgleich zwischen dem Vorlagemodell und einer Merkmalsmenge, die aus dem Eingangsbild erhöht wird. Patentdokument 3 beschreibt eine Technik zum Detektieren eines Zielobjekts in einem Bild. Gemäß dieser Technik wird nach einem optimalen Parameter für Bildverarbeitung, die an einem Eingangsbild und einem Lernbild durchzuführen ist, gesucht. Basierend auf diesem Parameter wird die Bildverarbeitung am Lernbild und am Eingangsbild durchgeführt.
Das Nicht-Patentdokument 1 beschreibt ein Verfahren des Extrahierens eines Kantenpunktes aus einem Eingangsbild als einem Merkmalspunkt, der ein Modellmuster bildet. Ein Kantenpunkt ist ein Punkt, wo sich die Helligkeit in einem Bild stark ändert. Allgemein weist ein Bild des Umrisses eines Ziels einen hohen Helligkeitsgradienten auf. Somit wird ein Abgleich der Konturenform des Ziels unter Verwendung eines Kantenpunktes einer Merkmalsgröße durchgeführt. Beispielsweise wird eine aus einem Bild einschließlich eines zu detektierenden Ziels erhöhte Kantenpunktgruppe als ein Modellmuster gespeichert. Das Ziel wird basierend auf einem Abgleichs-Niveau zwischen einer aus einem durch eine Bildaufnahmevorrichtung erfassten Eingangsbild extrahierten Kantenpunktgruppe und der Kantenpunktgruppe als dem Modellmuster detektiert. Die Technik dieses Typs ist dafür bekannt, die verallgemeinerte Hough-Transformation zu verwenden. Das Nicht-Patentdokument 2 offenbart ein Verfahren des Extrahierens eines Elements, das ein anderes Modellmuster als einen Kantenpunkt bildet. Das Nicht-Patentdokument 2 beschreibt ein Verfahren des Extrahierens eines SIFT-Merkmalspunkts aus einem Eingangsbild.

Patentdokument 1: Japanische ungeprüfte Patentanmeldung, Veröffentlichungs-Nr. 2011-209966
Patentdokument 2: Japanische ungeprüfte Patentanmeldung, Veröffentlichungs-Nr. 2000-215319
Patentdokument 3: Japanische ungeprüfte Patentanmeldung, Veröffentlichungs-Nr. 2014-137756
Patentdokument 1: „Computer Vision“, verfasst von David A. Forsyth und Jean Ponce, übersetzt durch Tsuyoshi Ohkita, veröffentlicht durch Kyoritsu Shuppan Co., Ltd., 2007. 1
Nicht-Patentdokument 2: „Object Recognition from Local Scale-Invariant Features", David G. Lowe, Proc. Of the International Conference on Computer Vision, Corfu (Sept. 1999).

ZUSAMMENFASSUNG DER ERFINDUNG
In einigen Fällen repräsentiert ein aus einem Eingangsbild erzeugtes Modellmuster nicht angemessen das Merkmal des Ziels. In vielen Fällen, zusätzlich zu einem Kantenpunkt, der zur Detektion etwa eine Kontur angemessen ist, beinhaltet das Eingangsbild einen Kantenpunkt, der zur Detektion unangemessen ist, wie etwa beispielsweise einen anderen Kontrast als eine Kontur. Daher wird ein nicht zu detektierender Bereich unabsichtlich simultan mit der Erzeugung des Modellmusters aus dem Eingangsbild detektiert. Im Falle der Detektion eines Gussteils weist eine Gussoberfläche eine individuelle Differenz in ihrer Kontur auf. Weiter wird auch in vielen Fällen die Textur der Gussoberfläche als ein Kantenpunkt extrahiert. Somit ist das Detektieren der Kontur eines durch eine Maschine bearbeiteten Bereichs im Hinblick auf Passungsgenauigkeit bevorzugter.
Solch ein zur Detektion unangemessenes Element kann aus einem Modellmuster durch Bedienung durch einen Anwender eliminiert werden. Beispielsweise kann ein bestimmter Platz in einem aus einem Eingangsbild erzeugten Modellmuster maskiert werden und kann ein Element innerhalb dieser Maske aus einem das Modellmuster bildenden Element ausgeschlossen werden. Zusätzlich zum Löschen eines das Modellmuster bildenden Elementes kann ein neues Element dem Modellmuster hinzugefügt werden. Weiter kann die Position eines existierenden Elements geändert werden. Jedoch ist das Korrigieren des Modellmusters per Hand eine für einen Anwender komplizierte Operation. Weiter erfordert das Korrigieren des Modellmusters zu einem günstigen Modellmuster, das zum Abgleich verfügbar ist, Wissen. Somit wird ein optimales Modellmuster wünschenswerter Weise automatisch aus einem Eingangsbild durch Lernen erzeugt.
In dieser Hinsicht bezeichnet gemäß der Technik von Patentdokument 1 ein Anwender die Position eines Menschen zum Lernen von Trennung zwischen einem Vordergrundbild und einem Hintergrundbild. Jedoch ist ein Verfahren des Erzeugens eines Modellmusters nicht erlernt. Gemäß dem Verfahren von Patentdokument 2, während die Position eines, ein Modellmuster bildenden Merkmalspunktes automatisch korrigiert wird, ist ein zum Bestimmen, ob der Merkmalspunkt zu einer richtigen Position korrigiert worden ist oder nicht, verwendetes Element nicht im Modellmuster enthalten. Das in Patentdokument 3 beschriebene Lernen ist eine Operation zum Erzeugen eines Wörterbuches zum Detektieren eines Ziels. Daher ist die vorstehende Korrektur, die in Beantwortung eines unangemessenen Elements gemacht werden soll, das ein Modellmuster bildet, nicht in diesem Lernen reflektiert. Wie oben beschrieben, sind die konventionellen Techniken nicht zum Widerspiegeln einer Korrektur verfügbar, die während der Erzeugung eines Modellmusters gemacht wird, das zum Abgleichen zu verwenden ist, und dienen nicht dazu, ein Verfahren des Erzeugens eines Modellmusters zu erlernen.
Die vorliegende Erfindung dient dazu, ein Bildverarbeitungssystem bereitzustellen, das zum Erzeugen eines angemessenen Modellmusters automatisch für Eingangsform-Information in der Lage ist, durch Erlernen einer Korrektur, die während der Erzeugung eines aus verschiedenen Eingangsform-Informationen ermittelten Modellmusters gemacht wird.

(1) Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungssystem (beispielsweise das später beschriebene Bildverarbeitungssystem 1, 201, 301), das ein Bild eines Ziels (beispielsweise das später beschriebene Ziel 2) in Eingangsform-Information (beispielsweise die später beschriebenen Eingangsbilddaten, CAD-Daten, dreidimensionale Punktgruppendaten), basierend auf einem Modellmuster (beispielsweise das später beschriebene Modellmuster 50), welches das Merkmal des Bildes des Ziels repräsentiert, detektiert, umfassend: eine Modellmuster-Erfassungseinheit (beispielsweise die später beschriebene Modellmuster-Erfassungseinheit 31), welche das aus der Eingangsform-Information erzeugte Modellmuster ermittelt; eine Modellmuster-Korrektureinheit (beispielsweise das später beschriebene Bedienerpaneel 35), welches zum Korrigieren des durch die Modellmuster-Erfassungseinheit ermittelte Modellmuster verwendet wird; und eine Maschinenlerneinheit (beispielsweise die später beschriebene Maschinenlerneinheit 40), die Erzeugungsinformation zum Erzeugen des Modellmusters aus der Eingangsform-Information durch Durchführen supervidierten Lernens unter Verwendung eines Satzes von Lerndatenteilen erzeugt, die alle Korrekturinformation zu dem Modellmuster enthalten, welches unter Verwendung der Modellmuster-Korrektureinheit und der miteinander assoziierten Eingangsform-Information korrigiert ist. Das Bildverarbeitungssystem ist in der Lage, ein Modellmuster zu erzeugen, in welchem ein Ergebnis des Lernens unter Verwendung der Eingangsform-Informationen widergespiegelt wird, die am Bildverarbeitungssystem eingegeben wird, und der Erzeugungsinformation.
(2) Im in (1) beschriebenen Bildverarbeitungssystem kann die Eingangsform-Information Bildinformation sein, die aus einer Bildaufnahme durch einen visuellen Sensor (beispielsweise der später beschriebene visuelle Sensor 11) resultiert.
(3) Im in (1) beschriebenen Bildverarbeitungssystem kann die Eingangsform-Information CAD-Daten sein.
(4) Im in (1) beschriebenen Bildverarbeitungssystem kann die Eingangsform-Information dreidimensionale Punktgruppendaten sein.
(5) Im in einem von (1) bis (4) beschriebenen Bildverarbeitungssystem kann die Korrekturinformation Information über ein Gewicht sein, das für ein Element eingestellt ist, welches das Modellmuster bildet, kann die Erzeugungsinformation Information zum Einstellen von Gewichtungsinformation für das Element sein und kann das Gewicht des Elements, das aus der Eingangsform-Information erzeugt ist, basierend auf der Erzeugungsinformation eingestellt werden.
(6) Im in einem von (1) bis (4) beschriebenen Bildverarbeitungssystem kann die Korrekturinformation Information sein, die als eine Region für das Modellmuster in den Eingangsform-Information bezeichnet ist, kann die Erzeugungsinformation Information zum Bezeichnen der Region für das Modellmuster in der Eingangsform-Information sein, und kann die Region für das Modellmuster in der Eingangsform-Information bezeichnet sein, basierend auf der Erzeugungsinformation.
(7) Im in einem von (1) bis (4) beschriebenen Bildverarbeitungssystem kann die Korrekturinformation die physikalische Größe eines Elements sein, welches das Modellmuster bildet, einschließlich einer Position, einer Stellung, einer Helligkeit etc., kann die Erzeugungsinformation Information zum Einstellen der physikalischen Größe des Elements sein und kann die physikalische Größe des Elementes, die aus der Eingangsform-Information ermittelt wird, basierend auf der Erzeugungsinformation eingestellt werden.
(8) Im in einem von (1) bis (4) beschriebenen Bildverarbeitungssystem kann die Korrekturinformation Information sein, die das Modellmuster selbst repräsentiert, kann die Erzeugungsinformation Information zum Erzeugen des Modellmusters aus der Eingangsform-Information sein, und kann das Modellmuster aus der Eingangsform-Information, basierend auf der Erzeugungsinformation, erzeugt werden.
(9) Im in einem vom (1) bis (8) beschriebenen Bildverarbeitungssystem kann die Maschinenlerneinheit den Satz von Lerndatenteilen aus mehreren Eingangsinformations-Erfassungseinheiten (beispielsweise den später beschriebenen visuellen Sensoren 11, Bildverarbeitungsvorrichtungen 10) ermitteln, welche die Eingangsform-Information ermitteln, um supervidiertes Lernen durchzuführen.
(10) In dem in (9) beschriebenen Bildverarbeitungssystem können die Eingangsform-Informations-Erfassungseinheiten Bildverarbeitungsvorrichtungen (beispielsweise die später beschriebenen Bildverarbeitungsvorrichtungen 10) sein, die für die Bildverarbeitung verantwortlich sind, und kann ein aus supervidiertem Lernen durch die Maschinenlerneinheit ermitteltes Lernergebnis für jede der Bildverarbeitungsvorrichtungen verfügbar sein.

Das Bildverarbeitungssystem der vorliegenden Erfindung ist in der Lage, ein angemessenes Modellmuster automatisch für Eingangsform-Information zu erzeugen, durch Erlernen einer Korrektur, die während der Erzeugung eines aus verschiedener Eingangsform-Information ermittelten Modellmusters vorgenommen wird.
Figurenliste

1 ist eine schematische Ansicht, die ein Beispiel einer Vorrichtung zeigt, die ein Bildverarbeitungssystem einer Ausführungsform verwendet, und in welcher die Position eines visuellen Sensors fixiert ist;
2 ist eine schematische Ansicht, die ein Beispiel einer Vorrichtung zeigt, welche das Bildverarbeitungssystem dieser Ausführungsform verwendet, du in welcher die Position des visuellen Sensors beweglich ist;
3 ist ein Funktionsblockdiagramm des Bildverarbeitungssystems dieser Ausführungsform;
4 ist ein Flussdiagramm, das eine Prozedur zum Erzeugen eines Modellmusters zeigt;
5 zeigt eine Modellmuster-Bezeichnungsregion, die in einem Bild bezeichnet ist;
6 zeigt ein Modellmuster, das mehrere Merkmalspunkte beinhaltet;
7 zeigt, wie ein unnötiger Merkmalspunkt im Prozess des Korrigierens des Modellmusters gelöscht wird;
8 zeigt, wie ein Merkmalspunkt im Prozess des Korrigierens des Modellmusters hinzugefügt wird;
9 zeigt, wie die physikalische Größe eines Merkmalspunkts einschließlich einer Position, einer Stellung und Helligkeit im Prozess des Korrigierens des Modellmusters korrigiert wird;
10 ist ein Flussdiagramm, das eine Prozedur des Erlernens des Modellmusters zeigt;
11 zeigt, wie ein unnötiger Merkmalspunkt gelöscht wird, indem ein Gesamtbild mit einer Maske abgedeckt wird;
12 zeigt schematisch ein Beispiel eines Bildverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Erfindung, mit welchem mehrere visuelle Sensoren verbunden sind; und
13 zeigt schematisch ein Beispiel eines Bildverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Erfindung, mit dem mehrere Bildverarbeitungsvorrichtungen verbunden sind.

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Eine bevorzugte Ausführungsform der vorliegenden Erfindung wird unten unter Bezugnahme auf die Zeichnungen beschrieben. Ein Bildverarbeitungssystem 1 gemäß einer Ausführungsform der vorliegenden Erfindung ist ein System zum Detektieren eines Bilds eines Ziels 2 in einem Eingangsbild 5 basierend auf einem Modellmuster 50, welches das Merkmal des Bildes des Ziels 2 repräsentiert. Es werden zuerst zwei beispielhafte Vorrichtungen, die das Bildverarbeitungssystem 1 dieser Ausführungsform verwenden, beschrieben.
1 ist eine schematische Ansicht, die ein Beispiel einer Vorrichtung 6 zeigt, welche das Bildverarbeitungssystem 1 dieser Ausführungsform verwendet, in welcher die Position eines visuellen Sensors 11 fixiert ist. Wie in 1 gezeigt, wird das Ziel 2 auf einem Werkstücktisch 4 platziert. Der visuelle Sensor 11 ist eine Kamera zum Aufnehmen eines Bildes des Ziels 2. Der visuelle Sensor 11 ist an einer Position durch Haltemittel (in den Zeichnungen nicht gezeigt) fixiert, wo der visuelle Sensor 11 ein Bild des Ziels 2 aufnehmen kann. Durch den visuellen Sensor 11 ermittelte Bildinformation wird an eine Bildverarbeitungsvorrichtung 10 gesendet. Die Bildverarbeitungsvorrichtung 10 führt eine Bildverarbeitung, die später beschrieben wird, durch, um ein Bild des Ziels 2 zu detektieren, basierend auf dem Eingangsbild 5 (siehe 5), das aus dem visuellen Sensor 11 empfangen wird.
In 1 wurde das Beispiel, in welchem die Position des visuellen Sensors 11 fixiert ist, beschrieben. Im als Nächstes, unter Bezugnahme auf in 11, beschriebenen Fall ist die Position des visuellen Sensors 11 beweglich. 2 ist eine schematische Ansicht, die ein Beispiel einer Vorrichtung 7 zeigt, die das Bildverarbeitungssystem 1 dieser Ausführungsform verwendet, und in welcher die Position des visuellen Sensors 11 beweglich ist. Eine mit einer Struktur in der unter Bezugnahme auf 1 beschriebenen Vorrichtung 6 gemeinsame oder vergleichbare Struktur kann durch dasselbe Zeichen identifiziert werden und mag nicht beschrieben werden.
2 zeigt einen Armtyp-Roboter 20 mit einem Ende, an welchem eine Roboterhand 21 angebracht ist. Der visuelle Sensor 11 dieses Beispiels ist an der Roboterhand 21 als ein Endgerät des Roboters 20 fixiert. Die Roboterhand 21 ist eine bewegliche Einheit, die durch den Roboter 20 oder durch einen Mechanismus in der Roboterhand 21 zu bewegen ist. Dies macht auch die Position des visuellen Sensors 11 beweglich. Die für die Bildverarbeitung verantwortliche Bildverarbeitungsvorrichtung 10 ist konfiguriert, in der Lage zu sein, mit einer Roboter-Steuerung 25, welche die Bewegung des Roboters 20 steuert, zu kommunizieren, etc., um einen Austausch von Information zwischen der Bildverarbeitungsvorrichtung 10 und dem Roboter 20 zu gestatten. Die Bildverarbeitungsvorrichtung 10 führt die später beschriebene Bildverarbeitung durch, um ein Bild des Ziels 2 zu detektieren, basierend auf dem Eingangsbild 5 (siehe 5), das aus dem visuellen Sensor 11 empfangen wird, während Bewegungen oder Zustände des Roboters 20 und der Roboterhand 21 gestattet werden.
Wie oben beschrieben, ist das Bildverarbeitungssystem 1 dieser Ausführungsform sowohl auf die Vorrichtung 6, in welcher die Position des visuellen Sensors 11 fixiert ist, als auch auf die Vorrichtung 7, in welcher die Position des visuellen Sensors 11 beweglich ist, anwendbar. Die Bildverarbeitung durch das Bildverarbeitungssystem 1 wird als Nächstes beschrieben. 3 ist ein Funktionsblockdiagramm des Bildverarbeitungssystems 1 dieser Ausführungsform.
Wie in 3 gezeigt, beinhaltet das Bildverarbeitungssystem 1 dieser Ausführungsform die Bildverarbeitungsvorrichtung 10 als einen Computer, der für die Bildverarbeitung verantwortlich ist, den visuellen Sensor 11, der das Eingangsbild 5 erfasst, ein Bedienpaneel (Bedieneinheit) 35, die von einem Bediener zur Korrektur etc. an dem Modellmuster 50, das aus dem Eingangsbild 5 erzeugt wird, verwendet wird, und eine Anzeige (Ausgabeeinheit) 36, auf welcher Bildinformation, wie etwa das Eingangsbild 5 und das Modellmuster 50, angezeigt wird.
Die Bildverarbeitungsvorrichtung 10 wird durch einen Computer realisiert, der eine CPU, ein Speichermedium, das vorbestimmte Software speichert, und Anderes enthält. Die Bildverarbeitungsvorrichtung 10 dieser Ausführungsform ist mit einer Modellmuster-Erfassungseinheit 31, einer Zustands-Beobachtungseinheit 32, einer Speichereinheit 33, und einer Maschinenlerneinheit 40 konfiguriert.
Die Modellmuster-Erfassungseinheit 31 erfasst das aus den durch den visuellen Sensor 11 erfasste Eingangsbild 5 erzeugte Modellmuster 50 und Korrekturinformation zur Korrektur am Modellmuster 50. Die Zustands-Beobachtungseinheit 32 ermittelt das Eingangsbild 5 als Eingangsdaten. In dieser Ausführungsform ist die Korrekturinformation, die zu ermitteln ist, eine Bedienererzeugte Information, die von der Korrektur durch einen Bediener herrührt.
Die Speichereinheit 33 speichert verschiedene Typen von Information über die Bildverarbeitungsvorrichtung 10. Die Speichereinheit 33 dieser Ausführungsform speichert mehrere Teile von Gruppen-Information als Lerndaten, die das Modellmuster 50 und die Korrekturinformation und das Eingangsbild 5 miteinander assoziiert speichern. In der nachfolgenden Beschreibung wird ein Satz von in der Speichereinheit 33 gespeicherten Lerndatenteilen ein Lerndatensatz genannt.
Die Maschinenlerneinheit 40 führt ein Maschinenlernen aus, um so die Erzeugungsinformation zum Erzeugen des Modellmusters 50 angemessen aus dem Eingangsbild 5, basierend auf dem in der Speichereinheit 33 gespeicherten Lerndatensatz, auszugeben, um ein Lernmodell zu erfassen. Die Maschinenlerneinheit 40 hat eine Beziehung zwischen Eingabe und Ausgabe auf solche Weise erlernt, dass eine aus der Maschinenlerneinheit 40 zu nehmende Ausgabe zu Erzeugungsinformation als ein Ziel der Abschätzung passt. Dadurch kann die auf das Eingangsbild 5 responsive Erzeugungsinformation abgeschätzt werden. In dieser Ausführungsform wird Maschinenlernen durchgeführt, indem einem Lernmodell gefolgt wird, das durch ein neuronales Netzwerk konstruiert ist, das ein neuronales Mehrschicht-Netzwerk enthält. Jegliches geeignete System ist als Lernmodell verfügbar, das durch ein neutrales Netzwerk aufgebaut ist, das eine Eingangsschicht, eine Ausgangsschicht und eine Zwischenschicht beinhaltet. Beispielsweise ist ein konvolutionales neuronales Netzwerk (CNN) verfügbar.
In dieser Ausführungsform sind das Ziel 2, der visuelle Sensor 11 und die Bildverarbeitungsvorrichtung als Umgebung definiert. Weiter sind Korrekturinformation, die von der Korrektur am Modellmuster 50 durch einen Bediener durch das Bedienpaneel 35 und das Eingangsbild 5 als ein Paar (Gruppe) herrührt, als Korrekturdaten (Lehrerdaten) definiert. Die Korrekturinformation ist das Modellmuster 50 wie korrigiert, eine Modellmuster-Bezeichnungsregion 60, welche während der Erzeugung des Modellmusters 50 zu bezeichnen ist, oder ein Korrekturwert einer physikalischen Größe eines Elements (später beschriebener Merkmalspunkt), der das Modellmuster 50 bildet, oder beispielsweise die Gewichtung dieses Elements. Die Maschinenlerneinheit 40 führt Maschinenlernen unter Verwendung des Satzes von Lerndatenteilen durch, um eine Funktion zum Abbilden aus einem Eingangsbild (Eingangsdaten) auf beabsichtigte Daten (Erzeugungsinformation) zu ermitteln.
Ein Beispiel der Erzeugung des Modellmusters 50 wird als Nächstes beschrieben. 4 ist ein Flussdiagramm, das eine Prozedur des Erzeugens des Modellmusters 50 zeigt. 5 zeigt die Modellmuster-Bezeichnungsregion 60, die in einem Bild bezeichnet ist. 6 zeigt das Modellmuster 50, das mehrere Merkmalspunkte P_i enthält.
Wie in 5 gezeigt, wird das Ziel 2, das als das Modellmuster 50 zu lehren beabsichtigt ist, innerhalb der Sicht des visuellen Sensors 11 platziert und wird ein Bild des Ziels 2 aufgenommen, wodurch das Eingangsbild 5 ermittelt wird, welches das Ziel 2 enthält (Schritt S101). Zu dieser Zeit sind vorzugsweise die Position des visuellen Sensors 11 und diejenige des Ziels 2 relativ zueinander festgelegt, an derselben Position des visuellen Sensors 11 und derjenigen des Ziels 2 zu sein, an welcher das Ziel 2 während der tatsächlichen Verwendung zu detektieren ist.
Eine Region im aufgenommenen Bild, wo das Ziel 2 erscheint, wird als eine Region für das Modellmuster 50 bezeichnet (Schritt S102). Diese im Schritt S102 bezeichnete Region wird die Modellmuster-Bezeichnungsregion 60 genannt. Die Modellmuster-Bezeichnungsregion 60 dieser Ausführungsform wird als eine rechteckige Region oder eine kreisförmige Region bezeichnet, um so das Ziel 2 zu umgeben. Wie später beschrieben, kann die Modellmuster-Bezeichnungsregion 60 als Korrekturinformation (Bediener erzeugt Information) gespeichert werden und kann zum Maschinenlernen verwendet werden.
Als Nächstes wird ein Merkmalspunkt extrahiert (Schritt S103). Der Merkmalspunkt dient dazu, das Modellmuster 50 zu bilden. Mehrere Merkmalspunkte P_i (i = 1 bis NP) werden aus der Modellmuster-Bezeichnungsregion 60 extrahiert. Der Merkmalspunkt P_i kann durch verschiedene Verfahren extrahiert werden. Bei dieser Ausführungsform wird ein Kantenpunkt mit großem Helligkeitsgradienten in einem Bild, der zum Erfassen der Konturform eines Ziels verfügbar ist, als der Merkmalspunkt P_i verwendet.
Die physikalische Größe eines Kantenpunktes beinhaltet die Position des Kantenpunktes und die Richtung des Helligkeitsgradienten und die Abmessung des Helligkeitsgradienten am Kantenpunkt etc. Unter der Annahme, dass die Richtung des Helligkeitsgradienten am Kantenpunkt die Stellung eines Merkmalspunktes ist, kann die Stellung des Merkmalspunktes zusätzlich zur Position des Merkmalspunktes definiert werden. Die physikalische Größe des Kantenpunkts, spezifisch die Position und die Stellung (Richtung von Helligkeitsgradient) des Kantenpunkts und die Abmessung des Helligkeitsgradienten im Kantenpunkt wird als die physikalische Größe des Merkmalspunkts gespeichert.
Ein Modellmuster-Koordinatensystem 51 wird definiert. Basierend auf dem Modellmuster-Koordinatensystem 51 und einem Ursprung O wird der Merkmalspunkt P_i im Hinblick auf einen Stellungsvektor v_Pi, einen Positionsvektor t_Pi etc. des Merkmalspunkts P_i ausgedrückt. Beispielsweise ist der Schwerpunkt jedes Merkmalspunkts P_i, der das Modellmuster 50 bildet, als der Ursprung O im Modellmuster-Koordinatensystem 51 definiert. Der Ursprung O kann durch ein angemessenes Verfahren wie etwa Auswählen irgendeines Punktes aus den Merkmalspunkten P_i definiert werden. Das Verwenden des Modellmuster-Koordinatensystems 51 ist auch ein beispielhaftes Verfahren. Es kann ein anderes Verfahren zum Ausdrücken der Position und der Stellung des Merkmalspunkts P_i eingesetzt werden. Hinsichtlich der Achsenrichtung des Modellmuster-Koordinatensystems 51 (Stellung) kann mit einem von zwei Punkten aus den Merkmalspunkten P_i, die das Modellmuster 50 bilden, ausgewählt werden, kann beispielsweise eine Richtung von einem dieser zwei Punkte zum anderen als eine X-Achsenrichtung definiert werden und kann eine Richtung orthogonal zur X-Achsenrichtung als eine Y-Achsenrichtung definiert werden. Die Achsenrichtung kann auch in einer solchen Weise definiert werden, dass ein Bild-Koordinatensystem und ein Modellmuster-Koordinatensystem 51 parallel zueinander in einem Bild werden, das zum Erzeugen des Modellmusters 50 verwendet wird. Auf diese Weise kann die Einstellung des Modellmuster-Koordinatensystems 51 und des Ursprungs O angemessen entsprechend der Situation geändert werden. Ein Verfahren selbst zum Extrahieren eines Kantenpunktes als einem Merkmalspunkt ist eine bekannte Technik, die beispielsweise im Nicht-Patentdokument 1 beschrieben ist, so dass dieses Verfahren nicht im Detail beschrieben wird.
Als Nächstes wird, basierend auf der physikalischen Größe des extrahierten Merkmalspunkts P_i, das Modellmuster 50 erzeugt (Schritt S104). Die physikalische Größe des extrahierten Merkmalspunkts P_i wird in der Speichereinheit 33 als der Merkmalspunkt P_i gespeichert, der das Modellmuster 50 bildet. In dieser Ausführungsform wird das Modellmuster-Koordinatensystem 51 innerhalb der Modellmuster-Bezeichnungsregion 60 definiert. Die Position und die Stellung des Merkmalspunkts P_i werden als Werte gespeichert, die in dem Modellmuster-Koordinatensystem 51 ausgedrückt sind (siehe 6), basierend auf Werten, die in einem Bild-Koordinatensystem 70 ausgedrückt sind (siehe 5).
Falls das Modellmuster 50 korrigiert werden muss, wird das Modellmuster 50 korrigiert (Schritt S105). Die Korrektur am Modellmuster 50 im Schritt S105 wird durch einen Bediener vorgenommen. Aus der Bedienung im Schritt S105 resultierende Information wird als Korrekturinformation in der Speichereinheit 33 gespeichert. Falls das Modellmuster 50 nicht korrigiert wird, kann auch Information, welche die Abwesenheit einer Korrektur anzeigt, als Korrekturinformation gespeichert werden.
Beispiele der im Schritt S105 gespeicherten Korrekturinformation werden als Nächstes beschrieben. Im zuerst beschriebenen Beispiel wird ein unnötiger Merkmalspunkt P_i gelöscht. In der nachfolgenden Beschreibung wird der unnötige Merkmalspunkt P_i ein unnötiger Merkmalspunkt D genannt.
7 zeigt, wie die unnötigen Merkmalspunkte D mit einer Maske 55 im Prozess des Korrigierens des Modellmusters 50 abgedeckt werden. Wie in 7 gezeigt, können die unnötigen Merkmalspunkte D während der Erzeugung des Modellmusters 50 extrahiert werden. Der Bediener bedient das Bedienpaneel 35, um die Maske 55 so zu platzieren, das die unnötigen Merkmalspunkte D auf einem Bedienbildschirm der Anzeige 36 abdeckt. Dann werden die Merkmalspunkte D (Merkmalspunkte P_i) in einer mit der Maske 55 abgedeckten Region gelöscht. Das Modellmuster 50, das die mehreren Merkmalspunkte P_i enthält, aus welchem die Merkmalspunkte P_i gelöscht worden sind, wird als das Modellmuster 50 wie korrigiert in der Speichereinheit 33 gespeichert. Entsprechend diesem Verfahren kann ein eine mit der Maske 55 abgedeckte Region 0 und eine nicht mit der Maske 55 abgedeckte Region 1 enthaltendes Maskenbild als die Korrekturinformation (Lehrerdaten) gespeichert werden. Das Modellmuster 50 selbst, das durch Löschen der unnötigen Merkmalspunkte D erzeugt wird, kann als die Korrekturinformation (Lehrerdaten) gespeichert werden.
Als Nächstes wird ein Beispiel beschrieben, bei dem durch Ändern der Gewichtungen der mehreren Merkmalspunkte P_i, die das Modellmuster 50 bilden, erzeugte Information als Korrekturinformation zum Maschinenlernen verwendet wird. Gewichtungsinformation, welche die Gewichtung des Merkmalspunkts P_i repräsentieren, ist Information, die zum Berechnen eines Pegels des Abgleichs zwischen dem Merkmalspunkt P_i im Modellmuster 50 und einem Merkmalspunkt im Eingangsbild 5 verfügbar ist. Bezug nehmend auf 7, indem die Gewichtung des Merkmalspunkts D als Null bestimmt wird, kann beispielsweise der Merkmalspunkt D als ein gelöschter Merkmalspunkt angesehen werden. Auf diese Weise kann das Löschen des unnötigen Merkmalspunkts D aus den Merkmalspunkten P_i, die das Modellmuster 50 bilden, als Gewichtung angesehen werden. Standardmäßig weist der Merkmalspunkt P_i im Modellmuster 50 eine Gewichtung 1 auf. Diese Gewichtung kann beispielsweise durch Bedienerbezeichnung einer Position, die bei der Gewichtung mit der Maske 55 verändert werden soll, verändert werden. Gemäß diesem Verfahren kann ein gewichtetes Bild, das einen Integralwert beinhaltet, der proportional zu einer Gewichtung ist, als jeder Pixelwert oder das Modellmuster 50, das von der Gewichtung herrührt, als die Korrekturinformation gespeichert werden.
Als Nächstes wird ein Beispiel des Hinzufügens eines notwendigen Merkmalspunkts P_i zum Modellmuster 50 beschrieben. In der nachfolgenden Beschreibung wird der Merkmalspunkt P_i, der hinzuzufügen ist, ein Merkmalspunkt A genannt. 7 zeigt, wie die Merkmalspunkte A im Prozess des Korrigierens des Modellmusters 50 hinzugefügt werden. Wie in 8 gezeigt, wird in einigen Fällen ein Merkmalspunkt P_i, der zu extrahieren ist, nicht extrahiert, und ist die Hinzufügung der Merkmalspunkte A beabsichtigt.
Der Bediener platziert ein Liniensegment 56 (siehe abwechselnd lang und kurz gestrichelte Linien von 8) an eine Rotationsposition, wo der Bediener beabsichtigt, einen Merkmalspunkt P_i auf dem Bedienbildschirm hinzuzufügen. Die Merkmalspunkte A sind an adäquaten Intervallen auf dem Liniensegment 56 angeordnet. Dann wird das die hinzugefügten Merkmalspunkte A enthaltende Modellmuster 50 in der Speichereinheit 33 gespeichert. Gemäß diesem Verfahren können das hinzugefügte Liniensegment 56, die hinzugefügten Merkmalspunkte A, das Modellmuster 50, das die hinzugefügten Merkmalspunkte A enthält, etc., als die Korrekturinformation gespeichert werden.
Als Nächstes wird ein Beispiel beschrieben, bei dem die Merkmalsgröße des Merkmalspunkts P_i in dem eine Position, eine Stellung und eine Helligkeit enthaltenden Modellmuster 50 korrigiert wird. 9 zeigt, wie die physikalische Größe des Merkmalspunkts P_i, der eine Position, eine Stellung und eine Helligkeit enthält, im Prozess des Korrigierens des Modellmusters 50 korrigiert wird. In der nachfolgenden Beschreibung wird der Merkmalspunkt P_i wie korrigiert ein korrigierter Merkmalspunkt C genannt. In 9 werden zu korrigierende Merkmalspunkte P_i durch gestrichelte Linien gezeigt.
Wie in 9 gezeigt, kann beabsichtigt sein, dass einige Merkmalspunkte P_i im Hinblick auf Position, Stellung und Helligkeit korrigiert werden. Der Bediener korrigiert die Positionen der Merkmalspunkte P_i auf dem Bedienbildschirm. Dann wird das durch Ersetzen der Merkmalspunkte P_i als Korrekturziele durch die korrigierten Merkmalspunkte C erzeugte Modellmuster 50 als ein neues Modellmuster 50 in der Speichereinheit 33 gespeichert. In diesem Fall können die korrigierten Merkmalspunkte C, das Modellmuster 50, in welchem die Positionskorrektur reflektiert ist, etc., als die Korrekturinformation gespeichert werden.
Die Beispiele der als die Lerndaten in der Speichereinheit 33 gespeicherten Korrekturinformation sind wie oben beschrieben. Das Nachfolgende beschreibt einen Maschinenlernprozess, der durch die Bildverarbeitungsvorrichtung 10 dieser Ausführungsform durchgeführt wird. 10 ist ein Flussdiagramm, das eine Prozedur des Lernens des Modellmusters 50 zeigt.
Das Eingangsbild 5 wird erfasst (Schritt S201). Das in diesem Schritt erfasste Eingangsbild 5 kann ein partielles Bild innerhalb der Modellmuster-Bezeichnungsregion 60 sein. Das erfasste Eingangsbild 5 wird in der Speichereinheit 33 gespeichert.
Das Modellmuster 50 wird gelehrt. Falls notwendig, wird das Modellmuster 50 korrigiert (Schritt S202). Als Ergebnis der Prozesse in Schritt S201 und Schritt S202 kann ein Paar (Gruppe), die das Eingangsbild 5 enthält, als Eingangsdaten und Korrekturinformation als Korrekturdaten erfasst werden. Die ermittelten Informationsteile werden gespeichert. Die Prozesse in Schritt S201 und Schritt S202 werden N Mal für das Ermitteln von N Paaren, die alle Lerndaten sind, wiederholt. Als ein Ergebnis der Implementierung der Prozesse in Schritt S201 und Schritt S202 N Mal werden mehrere (N) Lerndatenteile erfasst. Ein Satz dieser N Lerndatenteile wird als Lerndatensatz verwendet.
Das Lernen wird unter Verwendung der als ein Satz von N Lerndatenteilen eingestellten Lerndaten durchgeführt (Schritt S203). Das Eingangsbild 5 wird zur Erzeugung des Modellmusters 50 Emitter (Schritt S204). Ein neues Eingangsbild wird an der Maschinenlerneinheit 40 eingegeben und es wird Modellmuster-Erzeugungsinformation erzeugt (Schritt S205). Das Modellmuster 50, in welchem ein Ergebnis des Lernens widergespiegelt wird, wird basierend auf dem Eingangsbild 5 und der Modellmuster-Erzeugungsinformation erzeugt (Schritt S206).
Das Nachfolgende beschreibt ein Beispiel des Prozesses in Schritt S203. In diesem Beispiel wird ein Korrekturprozess durch einen Bediener unter Verwendung der Maske 55 als Korrekturinformation erlernt. Der Lernprozess wird durchgeführt, indem die folgende Prozedur genommen wird.

(1) Ein Lerndatenteil wird aus dem erfassten Satz von N Lerndatenteilen genommen.
(2) Als Nächstes wird ein Bild in der Modellmuster-Bezeichnungsregion 60 in der Korrekturinformation aus dem Eingangsbild 5 in den Lerndaten ausgeschnitten.
(3) Jeder Pixelwert im Eingangsbild 5 wird an einem Lernmodell eingegeben, um ein Bild der Maske 55 zu erzeugen.
(4) Ein Fehler zwischen einem Maskenbild in der Korrekturinformation (Lerndaten) und dem erzeugten Bild der Maske 55 wird berechnet.
(5) Der Fehler wird durch das Fehler-Rückausbreitungsverfahren rückausgebreitet, welches das Lernmodell verwendet, um einen Parameter für das Lernmodell zu aktualisieren.

In den Prozessen (1) bis (5) führt die Maschinenlerneinheit 40 ein Maschinenlernen unter Verwendung von Lehrerdaten durch, einschließlich eines Eingangsbilds als Eingangsdaten und eines Bildes der Maske 55 wie als eine Markierung editiert.
Als Nächstes wird beschrieben, wie das Modellmuster 50 unter Verwendung des Lernmodells erzeugt wird, das vom Lernen des Korrekturprozesses unter Verwendung der Maske 55 resultiert. Dieser Prozess entspricht den Prozessen in Schritt S204 und Schritt S205 und wird durchgeführt, indem die folgende Prozedur verwendet wird.

(1) Der Bediener bezeichnet die Modellmuster-Bezeichnungsregion 60 im Eingangsbild 5.
(2) Ein partielles Bild wird aus der Modellmuster-Bezeichnungsregion 60 ausgeschnitten.
(3) Das Modellmuster 50 wird aus dem partiellen Bild erzeugt, indem dem normalen Prozess gefolgt wird.
(4) Das partielle Bild (Eingangsbild) wird am Lernmodell eingegeben, um ein Bild der Maske 55 (Erzeugungsinformation) zu ermitteln, die für das partielle Bild angemessen ist.
(5) Das Maskenbild wird auf das Modellmuster 50 angewendet, um den Merkmalspunkt D in einem Bereich zu löschen, der von der Maske 55 abgedeckt ist.

Als Ergebnis der Prozesse (1) bis (5), falls das Eingangsbild 5 an der Maschinenlerneinheit 40 eingegeben wird, nachdem die Maschinenlerneinheit 40 das Lernen durchführt, wird ein Bild der Maske 55, in welchem das Ergebnis des Lernens widergespiegelt wird, automatisch ausgegeben. Auf diese Weise wird der unnötige Merkmalspunkt D in dem mit der Maske 55 abgedeckten Bereich automatisch gelöscht. Als Ergebnis wird das Lernergebnis im schließlich erzeugten Modellmuster 50 widergespiegelt.
11 zeigt, wie unnötige Merkmalspunkte D' gelöscht werden, indem ein gesamtes Bild mit der Maske 55 abgedeckt wird. Wie in 11 gezeigt, kann der Prozess des Ausschneidens eines partiellen Bildes weggelassen werden und kann das Eingangsbild 5 insgesamt verwendet werden. Dieses Verfahren kann durch Verarbeiten des Eingangsbilds 5 insgesamt implementiert werden, um so eine andere Region als die Modellmuster-Bezeichnungsregion 60 mit der Maske 55 abzudecken. Dieser Prozess wird durchgeführt, indem die folgende Prozedur ergriffen wird.

(1) Das Eingangsbild 5 wird am Lernmodell eingegeben, um ein Maskenbild zu ermitteln.
(2) Das Modellmuster 50 wird aus dem Eingangsbild 5 erzeugt, indem dem normalen Prozess gefolgt wird.
(3) Das Bild der Maske 55 wird auf das Modellmuster 50 angewendet, um die Merkmalspunkte D', die mit der Maske 55 abgedeckt sind, zu löschen.

Die unnötigen Merkmalspunkte D' werden auch automatisch als Ergebnis der Prozesse (1) bis (3) gelöscht. Somit wird das Lernergebnis in dem schließlich erzeugten Modellmuster 50 widergespiegelt.
Die vorstehende Ausführungsform erzielt die folgenden Effekte. Das Bildverarbeitungssystem 1 beinhaltet: eine Modellmuster-Erfassungseinheit 31, die das Modellmuster 50, das aus dem Eingangsbild 5 erzeugt wird, ermittelt; ein Bedienerpaneel (Modellmuster-Korrektureinheit) 35, die zum Korrigieren des durch die Modellmuster-Erfassungseinheit 31 ermittelten Modellmuster 50 verwendet wird; und die Maschinenlerneinheit 40, die Modellmuster-Erzeugungsinformation zum Erzeugen des Modellmusters 50 aus dem Eingangsbild 5 durch Durchführen supervidierten Lernens unter Verwendung eines Satzes von Lerndatenteilen erzeugt, die alle Korrekturinformation zum Modellmuster 50 enthalten, das unter Verwendung des Bedienpaneels 35 und des Eingangsbilds 5, die miteinander assoziiert sind, korrigiert wird. Das Bildverarbeitungssystem 1 ist in der Lage, ein Modellmuster zu erzeugen, in welchem ein Ergebnis des Lernens unter Verwendung des Eingangsbilds 5, das neu eingegeben wird, und der Modellmuster-Erzeugungsinformation widergespiegelt wird. Als Ergebnis wird der Prozess der Bedienung, der vom Bediener durchgeführt wird, um die Modellmuster 50 angemessen für verschiedene Eingangsbilder 5 zu ermitteln, erlernt. Somit kann das angemessene Modellmuster 50, in welchem ein Lernergebnis widergespiegelt ist, selbst für ein unbekanntes Bild ohne Bedienung durch den Bediener ermittelt werden.
In dieser Ausführungsform ist das Eingangsbild 5 Bildinformation, die aus der Bildaufnahme durch den visuellen Sensor 11 resultiert. Somit wird ein durch den visuellen Sensor 11 aufgenommenes tatsächliches Eingangsbild verwendet, so dass ein Lernmodell, das zu ermitteln ist, responsiver auf die tatsächliche Bedienung sein kann.
In dieser Ausführungsform kann die Korrekturinformation Information über eine Gewichtung sein, die für den Merkmalspunkt (Element) P_i eingestellt ist, welches das Modellmuster 50 bildet. Die Modellmuster-Erzeugungsinformation kann Information zum Einstellen von Gewichtungsinformation für den Merkmalspunkt P_i sein, der das Modellmuster 50 bildet. In diesem Fall wird die Gewichtung des Merkmalspunkts P_i, welche das Modellmuster 50 bildet, das aus dem Eingangsbild 5 erzeugt wird, basierend auf der Erzeugungsinformation eingestellt. Somit werden die mehreren Merkmalspunkte P_i erlernt, um zu bestimmen, welcher Merkmalspunkt P_i wichtig oder unnötig ist. Als Ergebnis, selbst durch die Verwendung eines anderen Bilds, das nicht zum Lernen verwendet worden ist, kann das Modellmuster 50, aus welchem der unnötige Merkmalspunkt D gelöscht ist, immer noch ohne Bedienung durch die Bediener ermittelt werden.
In dieser Ausführungsform kann die Korrekturinformation Information sein, die als eine Region für das Modellmuster 50 im Eingangsbild 5 bezeichnet wird. Die Modellmuster-Erzeugungsinformation kann Information zum Bezeichnen der Region für das Modellmuster 50 im Eingangsbild 5 sein. In diesem Fall wird die Region für das Modellmuster in dem Eingangsbild 5, basierend auf der Modellmuster-Erzeugungsinformation bezeichnet. Als Ergebnis wird die Abmessung eines Bereichs im Eingangsbild 5, das zum Extrahieren des Modellmusters 50 verwendet wird, erlernt, so dass die zum Extrahieren des Modellmusters 50 verwendete Modellmuster-Bezeichnungsregion 60 automatisch bezeichnet ist, ohne Bedienung durch den Bediener. Auf diese Weise wird der Merkmalspunkt P_i in einem angemessenen Bereich extrahiert, um die Erzeugung des angemessenen Modellmusters 50 zu gestatten.
In dieser Ausführungsform kann die Korrekturinformation die physikalische Größe des Merkmalspunkts P_i sein, der das Modellmuster 50 bildet, einschließlich einer Position, einer Stellung und Helligkeit etc.. Die Modellmuster-Erzeugungsinformation kann Information zum Einstellen der physikalischen Größe des Merkmalspunkts P_i sein, welches das Modellmuster 50 bildet. In diesem Fall wird die physikalische Größe des Merkmalspunkts P_i, der das Modellmuster 50 bildet, das aus dem Eingangsbild 5 erfasst wird, basierend auf der Modellmuster-Erzeugungsinformation eingestellt. Als Ergebnis wird die Korrektur an der physikalischen Größe des Merkmalspunkts P_i, der eine Position, eine Stellung und Helligkeit etc. beinhaltet, die vom Bediener durchgeführt wird, erlernt. Falls ein Maschinenlernen unter Verwendung eines graphischen Objektes durchgeführt wird, das zum Hinzufügen des Merkmalspunkts A als Lehrerdaten editiert wird, und falls das neue Eingangsbild 5 an der Maschinenlerneinheit 40 eingegeben wird, wird das Modellmuster 50 als ein angemessenes Graphikobjekt ausgegeben, in welchem die Hinzufügung des Merkmalspunkts A zu einer notwendigen Position widergespiegelt ist.
In dieser Ausführungsform kann die Korrekturinformation Information sein, die das Modellmuster 50 selbst repräsentiert. Die Modellmuster-Erzeugungsinformation kann Information sein (beispielsweise eine Funktion oder Algorithmus) zum Erzeugen des Modellmusters 50 aus dem Eingangsbild 5. In diesem Fall wird das Modellmuster 50 aus dem Eingangsbild 5 basierend auf der Modellmuster-Erzeugungsinformation erzeugt. Als Ergebnis führt die Maschinenlerneinheit 40 ein Lernen unter Verwendung des Eingangsbilds 5 als einer Eingabe und Verwendung des Modellmusters 50, das schließlich durch den Bediener erzeugt wird, als Lehrerdaten durch. Dadurch, in Reaktion auf die Eingabe des Eingangsbilds 5 an der Maschinenlerneinheit 40, kann das angemessene Modellmuster 50 automatisch ohne Bedienung durch den Bediener erzeugt werden.
Im Beispiel der vorstehenden Ausführungsform wird ein Kantenpunkt als ein Merkmalspunkt verwendet, der das Modellmuster 50 bildet. Jedoch ist dies nicht die einzige Konfiguration. Das Nachfolgende beschreibt Verfahren zum Erzeugen des Modellmusters 50, die sich vom Verfahren der vorstehenden Ausführungsform unterscheiden.
Zuerst wird ein anderes Verfahren des Extrahierens eines Merkmalspunktes als das Verfahren, das einen Kantenpunkt verwendet, beschrieben. Der Merkmalspunkt kann durch verschiedene andere Verfahren als das Verfahren detektiert werden, das einen Kantenpunkt verwendet. Beispielsweise ist ein Merkmalspunkt, wie etwa ein skalen-invarianter Merkmalstransformations-(SIFT)-Merkmalspunkt verfügbar. Ein Verfahren selbst zum Extrahieren des SIFT-Merkmalspunkts aus einem Bild ist eine bekannte Technik, die im Nicht-Patentdokument 2 beschrieben ist, so dass dieses Verfahren hier im Detail nicht beschrieben wird.
Das Modellmuster 50 kann durch Lokalisieren eines geometrischen graphischen Objekts wie etwa eines Liniensegments, eines Rechtecks und eines Kreises erzeugt werden, die zu einer Kontur des Ziels 2, das in einem Bild erscheint, passen. In diesem Fall kann das Modellmuster 50 durch Lokalisieren von Merkmalspunkten in adäquaten Intervallen längs des den Umriss bildenden geometrischen Graphikobjektes erzeugt werden. Ein Bild, das Pixel enthält, kann als ein Modellmuster verwendet werden.
In der vorstehenden Ausführungsform wird ein durch den visuellen Sensor (Kamera) 11 detektiertes Bild als das Eingangsbild 5 verwendet. Alternativ kann das Eingangsbild 5 ein Bild sein, das durch andere Mittel ermittelt wird. Beispielsweise sind CAD-Daten als das Eingangsbild 5 erhältlich. Falls zweidimensionale CAD-Daten verwendet werden, kann ein Modellmuster durch dasselbe Verfahren wird das vorstehende Verfahren unter Verwendung eines geometrischen graphischen Objektes erzeugt werden. Falls dreidimensionale CAD-Daten verwendet werden, kann ein Modellmuster durch Projizieren der Form des Ziels 2, welches als CAD-Daten ausgedrückt wird, auf ein Bild und Extrahieren eines Merkmalspunktes aus dem projizierten Bild erzeugt werden.
Das Nachfolgende beschreibt die Erzeugung des Modellmusters 50 unter Verwendung von CAD-Daten.

(1) Ein lokales Koordinatensystem wird definiert, in welchem ein Ursprung O in einem Bild (Bildaufnahmeoberfläche) eingestellt wird, welches durch den visuellen Sensor (Kamera) 11 aufgenommen wird.
(2) Durch Kalibrieren des visuellen Sensors (Kamera) 11 vorab kann ein dreidimensionaler Punkt, der im lokalen Koordinatensystem ausgedrückt ist, in einen zweidimensionalen Punkt im aufgenommenen Bild umgewandelt werden.
(3) Das als CAD-Daten ausgedrückte Ziel 2 ist virtuell in dem lokalen Koordinatensystem lokalisiert. Die lokalisierten CAD-Daten werden im lokalen Koordinatensystem ausgedrückt. Eine Korrelation zwischen dem visuellen Sensor (Kamera) 11 und dem Ziel 2 wird eingestellt, im Wesentlichen die gleiche wie eine Korrelation dazwischen zu sein, zum tatsächlichen Detektieren eines Ziels.
(4) Eine Gruppe von dreidimensionalen Punkten auf einem Umriss, die in vorbestimmten Intervallen lokalisiert sind, wird aus dem Umriss ermittelt. Falls notwendig, wird ein Umriss der als ein Modellmuster zu verwendenden CAD-Daten bezeichnet.
(5) Die dreidimensionale Punktgruppe wird auf das durch den visuellen Sensor (Kamera) 11 aufgenommene Bild projiziert, um eine zweidimensionale Punktgruppe in einem Bild-Koordinatensystem zu ermitteln. Die Richtung des Helligkeitsgradienten kann hinzugefügt werden, indem eine Licht-Dunkel-Richtung in den CAD-Daten bezeichnet wird. Die hier erwähnte Licht-Dunkel-Richtung gibt an, welche der zwei durch den Umriss als eine Grenze getrennte Regionen eine hellere Region ist.
(6) Die erfasste zweidimensionale Punktgruppe im Bild-Koordinatensystem wird umgewandelt, um in einem Modell-Koordinatensystem ausgedrückt zu werden und die resultierende zweidimensionale Punktgruppe wird als ein Merkmalspunkt in der Speichereinheit 33 gespeichert.

Wie oben beschrieben, kann das Eingangsbild 5 Bildinformation sein, die basierend auf den CAD-Daten erzeugt wird. Auf diese Weise sind verschiedene Systeme auf das Eingangsbild 5 anwendbar. Beispielsweise sind ein Bereichsbild oder dreidimensionale Punktgruppendaten als das Eingangsbild 5 verfügbar.
Im Beispiel der vorstehenden Ausführungsform ist das Bildverarbeitungssystem 1 unter Verwendung der Bildverarbeitungsvorrichtung 10 konfiguriert, mit welchem der einzelne visuelle Sensor 11 verbunden ist. Jedoch ist dies nicht die einzige Konfiguration. Ein Bildverarbeitungssystem mit einer anderen Konfiguration als der vorstehenden Ausführungsform wird als Nächstes beschrieben. Im unten beschriebenen Beispiel wird eine Struktur, die mit einer Struktur der vorstehenden Ausführungsform vergleichbar ist, durch das Zeichen identifiziert und wird nicht im Detail beschrieben.
12 zeigt schematisch ein Beispiel eines Bildverarbeitungssystems 201 gemäß einer Ausführungsform der vorliegenden Erfindung, mit welchem mehrere visuelle Sensoren 11 verbunden sind. Wie in 12 gezeigt, sind N visuelle Sensoren 11 als Eingangsbild-Erfassungseinheiten mit einer Zellsteuerung 100 über einen Netzwerkbus 110 verbunden. Die Zellsteuerung 100 weist eine Funktion auf, die mit derjenigen der Bildverarbeitungsvorrichtung 10 vergleichbar ist. Die Zellsteuerung 100 erfasst ein Eingangsbild 5, das aus jedem der N visuellen Sensoren 11 empfangen wird. Während in 12 nicht gezeigt, sind eine oder mehrere Bedieneinheiten mit dem Netzwerkbus 110 verbunden und das Modellmuster 50 kann über die Bedieneinheit korrigiert werden. Korrekturinformation, die durch die Bedienung durch die Bedieneinheit erzeugt wird, bildet eine Gruppe zusammen mit einem entsprechenden Eingangsbild 5 und diese Gruppe wird als Lerndaten in der Zellsteuerung 100 gespeichert.
Wie oben beschrieben, erfasst im Bildverarbeitungssystem 201, das in 12 gezeigt ist, die Maschinenlerneinheit 40 einen Satz von Lerndatenteilen, der in der Zellsteuerung 100 gespeichert ist, um supervidiertes Lernen durchzuführen. In diesem Beispiel können Lernprozesse sequentiell online durchgeführt werden.
13 zeigt schematisch ein Beispiel eines Bildverarbeitungssystems 301 gemäß einer Ausführungsform der vorliegenden Erfindung, mit welchem mehrere Bildverarbeitungsvorrichtungen 10 verbunden sind. Wie in 13 gezeigt, sind m Bildverarbeitungsvorrichtungen 10 als Eingangsbild-Erfassungseinheiten mit der Zellsteuerung 100 durch den Netzwerkbus 110 verbunden. Ein oder mehrere visuelle Sensoren 11 sind mit jeder der Bildverarbeitungsvorrichtungen 10 verbunden. Das Bildverarbeitungssystem 301 beinhaltet insgesamt N visuelle Sensoren 11.
Wie oben beschrieben, wird im Beispiel von 13 Korrekturinformation, die durch jede der Bildverarbeitungsvorrichtungen 10 erfasst wird, zusammen mit dem Eingangsbild 5 an die Zellsteuerung 100 automatisch oder per Hand gesendet. Die Zellsteuerung 100 speichert einen Satz von Lerndatenteilen als einen Lerndatensatz, der aus den mehreren Bildverarbeitungsvorrichtungen 10 gesendet wird. Dann führt die Zellsteuerung 100 ein Maschinenlernen durch, um ein Lernmodell zu konstruieren. Das Lernmodell ist durch jede der Bildverarbeitungsvorrichtungen 10 verfügbar.
Das in 13 gezeigte Bildverarbeitungssystem 301 beinhaltet die mehreren Bildverarbeitungsvorrichtungen 10 als die Eingangsbild-Erfassungseinheiten. Lernergebnisse, die durch supervidiertes Lernen durch die Maschinenlerneinheiten 40 ermittelt werden, sind wechselseitig zwischen allen Bildverarbeitungsvorrichtungen 10 verfügbar. Auch in diesem Beispiel können die Lernprozesse sequentiell online durchgeführt werden.
Es ist anzumerken, dass die vorliegende Erfindung nicht auf die vorstehende bevorzugte Ausführungsform der vorliegenden Erfindung beschränkt ist, sondern angemessener Weise verändert werden kann. Beispielsweise kann die durch einen Bediener durchgeführte Bedienung selbst zur Korrektur des Modellmusters 50 als Korrekturinformation gespeichert werden. In diesem Fall erlernt die Maschinenlerneinheit 40 eine Reihe von Bedienungen, die zum Editieren des Modellmusters 50 durchgeführt werden, als Lehrerdaten. Falls die Eingangsbild 5 an der Maschinenlerneinheit 40 eingegeben wird, nachdem die Maschinenlerneinheit 40 das Lernen durchführt, wird eine Reihe von Bedienungen zum Editieren des Modellmusters 50 ausgegeben.
Im Beispiel der vorstehenden Ausführungsform bildet ein Satz von Merkmalspunkten ein Modellmuster. Alternativ kann ein Modellmuster ein partielles Bild sein, das aus einem Eingangsbild ausgeschnitten ist, oder beispielsweise einer Kombination graphischer Objekte, wie etwa Liniensegmenten. Verschiedene Verfahren, die zum Erzeugen eines Modellmusters aus Eingangsform-Information in der Lage sind, sind anwendbar. Ein Modellmuster kann durch jegliches geeignete Verfahren erzeugt werden.
Im Beispiel der vorstehenden Ausführungsform wird die Modellmuster-Korrektureinheit durch Korrektur durch einen Bediener durch das Bedienerpaneel 35 realisiert. Jedoch ist dies nicht die einzige Konfiguration. Das Maschinenlernen kann unter Verwendung von Korrekturinformation durchgeführt werden, die aus einem Korrekturprozess herrührt, der automatisch als Ergebnis der Abpassung durchgeführt wird. In diesem Fall entspricht Software oder eine Vorrichtung, die für den Korrekturprozess verantwortlich ist, der Modellmuster-Korrektureinheit.
Im Beispiel der vorstehenden Ausführungsform wird das Eingangsbild 5 hauptsächlich als Eingangsform-Information verwendet. Alternativ kann das Eingangsformbild CAD-Daten oder dreidimensionale Punktgruppendaten sein. Spezifisch ist die Eingangsform-Information nicht immer erforderlich, ein Bild selbst zu sein. Solange wie die Eingangsform-Information eine Form repräsentiert, ist die vorliegende Erfindung auf einen Fall anwendbar, bei dem die Eingangsform-Information nicht durch ein Bild angegeben ist.
In der vorstehenden Ausführungsform wird jedes der Bildverarbeitungssysteme 1, 201 und 301 unterscheidbar von der Bildverarbeitungsvorrichtung 10 für die Bequemlichkeit der Beschreibung beschrieben. Jedoch sind die Bildverarbeitungssysteme 1, 201 und 301 und die Bildverarbeitungsvorrichtung 10 nicht in einem Sinne zu interpretieren, der durch ihren Namen beschränkt ist. Eine Einzelbild-Verarbeitungsvorrichtung, welches die Erfordernisse der vorliegenden Erfindung erfüllt, entspricht auch einem Bildverarbeitungssystem.
Bezugszeichenliste

1, 201, 301: Bildverarbeitungssystem
5: Eingangsbild (Eingangsform-Information)
10: Bildverarbeitungsvorrichtung (Eingangsbild-Erfassungseinheit)
11: Visueller Sensor (Eingangsbild-Erfassungseinheit)
31: Modellmuster-Erfassungseinheit
35: Bedienpaneel (Modellmuster-Korrektureinheit)
40: Maschinenlerneinheit
50: Modellmuster

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

„Object Recognition from Local Scale-Invariant Features“, David G. Lowe, Proc. Of the International Conference on Computer Vision, Corfu (Sept. 1999) [0004]

Claims

Bildverarbeitungssystem (1, 201, 301), das ein Bild eines Ziels (2) in Eingangsform-Information (5), basierend auf einem Modellmuster (50), welches das Merkmal des Bildes des Ziels (2) repräsentiert, detektiert, umfassend: eine Modellmuster-Erfassungseinheit (31), welche das aus der Eingangsform-Information (5) erzeugte Modellmuster (50) ermittelt; eine Modellmuster-Korrektureinheit (35), welches zum Korrigieren des durch die Modellmuster-Erfassungseinheit (31) ermittelten Modellmusters (50) verwendet wird; und eine Maschinenlerneinheit (40), die Erzeugungsinformation zum Erzeugen des Modellmusters (50) aus der Eingangsform-Information (5) durch Durchführen supervidierten Lernens unter Verwendung eines Satzes von Lerndatenteilen erzeugt, die alle Korrekturinformation zu dem Modellmuster (50) enthalten, welches unter Verwendung der miteinander assoziierten Modellmuster-Korrektureinheit (35) und Eingangsform-Information (5) korrigiert ist, wobei das Bildverarbeitungssystem in der Lage ist, ein Modellmuster (50) zu erzeugen, in welchem ein Ergebnis des Lernens unter Verwendung der Eingangsform-Informationen (5), die am Bildverarbeitungssystem eingegeben wird, und der Erzeugungsinformation widergespiegelt wird.
Bildverarbeitungssystem gemäß Anspruch 1, wobei die Eingangsform-Information (5) Bildinformation ist, die aus einer Bildaufnahme durch einen visuellen Sensor (11) resultiert.
Bildverarbeitungssystem gemäß Anspruch 1, wobei die Eingangsform-Information (5) CAD-Daten ist.
Bildverarbeitungssystem gemäß Anspruch 1, wobei die Eingangsform-Information (5) dreidimensionale Punktgruppendaten ist.
Bildverarbeitungssystem gemäß einem der Ansprüche 1 bis 4, wobei die Korrekturinformation Information über ein Gewicht ist, das für ein Element eingestellt ist, welches das Modellmuster (50) bildet, die Erzeugungsinformation Information zum Einstellen von Gewichtungsinformation für das Element ist, und das Gewicht des Elements, das aus der Eingangsform-Information (5)erzeugt ist, basierend auf der Erzeugungsinformation eingestellt wird.
Bildverarbeitungssystem gemäß einem der Ansprüche 1 bis 4, wobei die Korrekturinformation Information ist, die als eine Region für das Modellmuster (50) in der Eingangsform-Information (5) bezeichnet ist, die Erzeugungsinformation Information zum Bezeichnen der Region für das Modellmuster (50) in der Eingangsform-Information (5) ist, und die Region für das Modellmuster (50) in der Eingangsform-Information (5) bezeichnet ist, basierend auf der Erzeugungsinformation.
Bildverarbeitungssystem gemäß einem der Ansprüche 1 bis 4, wobei die Korrekturinformation die physikalische Größe eines Elements ist, welches das Modellmuster (50) bildet, einschließlich einer Position, einer Stellung, einer Helligkeit etc., die Erzeugungsinformation Information zum Einstellen der physikalischen Größe des Elements ist, und die physikalische Größe des Elementes, die aus der Eingangsform-Information (5) ermittelt wird, basierend auf der Erzeugungsinformation eingestellt wird.
Bildverarbeitungssystem gemäß einem der Ansprüche 1 bis 4, wobei die Korrekturinformation Information ist, die das Modellmuster (50) selbst repräsentiert, die Erzeugungsinformation Information zum Erzeugen des Modellmusters (50) aus der Eingangsform-Information (5) ist, und das Modellmuster (50) aus der Eingangsform-Information (5), basierend auf der Erzeugungsinformation, erzeugt wird.
Bildverarbeitungssystem gemäß einem der Ansprüche 1 bis 8, wobei die Maschinenlerneinheit (40) den Satz von Lerndatenteilen aus mehreren Eingangsinformations-Erfassungseinheiten (10, 11) ermittelt, welche die Eingangsform-Information (5) ermitteln, um supervidiertes Lernen durchzuführen.
Bildverarbeitungssystem gemäß Anspruch 9, wobei die Eingangsform-Informations-Erfassungseinheiten Bildverarbeitungsvorrichtungen (10) sind, die für die Bildverarbeitung verantwortlich sind, und ein aus supervidiertem Lernen durch die Maschinenlerneinheit (40) ermitteltes Lernergebnis für jede der Bildverarbeitungsvorrichtungen (10) verfügbar ist.