DE69025693T2

DE69025693T2 - Verfahren und System zum Vergleichen von Punktmustern sowie Bilderkennungsverfahren und -system mit Verwendung desselben

Info

Publication number: DE69025693T2
Application number: DE69025693T
Authority: DE
Inventors: Hiroshi Sakou; Darrin R Uecker
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1989-10-13
Filing date: 1990-10-11
Publication date: 1996-10-31
Anticipated expiration: 2010-10-12
Also published as: JPH03127185A; JP2810152B2; EP0422654A2; DE69025693D1; EP0422654B1; EP0422654A3; US5259038A

Description

Die vorliegende Erfindung betrifft ein Vergleichsverfahren, um eine optimale Entsprechung oder Übereinstimmung zwischen einer Anzahl von Daten zu erhalten, die zu zwei Gruppen gehören und die physikalische Gegenstände darstellen. Insbesondere betrifft die vorliegende Erfindung einen Punktmuster-Vergleichsprozeß und ein Vergleichssystem, um eine Übereinstimmung zwischen einer Anzahl von Koordinaten charakteristischer Punkte, die von einem Gegenstand als Abbildung erhalten werden, und einer Anzahl von Koordinaten vorgegebener charakteristischer Punkte eines Modells festzustellen und ein automatisches Erkennen des Gegenstandes zu ermöglichen, und auch ein Bilderkennungsverfahren und ein System, bei dem ein solcher Prozeß angewendet wird.
Bei der Automatisierung in einem Herstellerwerk sind Mustererkennungstechniken sehr wichtig. Es wurden bisher bereits viele Geräte entwickelt, die Produkte oder Teile positionieren und die dafür auf der Basis dieser Techniken visuelle Muster der Produkte untersuchen. Diese Techniken beruhen jedoch meistens darauf, daß die Produkte oder Teile die gleiche Form haben und daß sich die Umgebung, etwa die Beleuchtung, nicht ändert, damit eine einfache und schnelle Erkennungsfunktion möglich ist. Zum Beispiel wird zum Positionieren von Chips im Verlauf des Zusammenbaus (Drahtbondens) einer Halbleitervorrichtung ein der Form der Elektrodenflächen der Halbleitervorrichtung entsprechendes Modellmuster vorabgespeichert, und es erfolgt ein Mustervergleich zwischen einer aufgenommenen Abbildung der Halbleitervorrichtung und dem vorab gespeicherten Modellmuster, um die Position der Elektrodenflächen festzustellen. Wenn bei diesem Verfahren jedoch bei verschiedenen Chips verschiedene Elektrodenformen verwendet werden, ist es so lange nicht möglich, die Elektroden der Chips zu erkennen, wie das Modell nicht modifiziert wird. Dem bekannten Erkennungsverfahren fehlt daher die nötige Flexibilität. Um diesen Nachteil zu überwinden, wurde kürzlich eine modellgesteuerte Bilderkennungstechnik entwickelt, damit das Erkennen flexibler wird. Die modellgesteuerte Bilderkennungstechnik zeichnet sich dadurch aus, daß vorab in einen Computer allgemeine Kenntnisse über die Form eines Gegenstandes und die räumliche Beziehung zwischen dem Gegenstand und der Abbildungsvorrichtung usw. eingespeichert werden, und daß eine Bildverarbeitung auf der Basis eines Vergleichs und einer übereinstimmung zwischen dem Verarbeitungsergebnis und den gespeicherten Werten erfolgt. Diese Technik ermöglicht auch dann eine geeignete Bildverarbeitung, wenn der Gegenstand verschiedene Stellungen einnimmt.
Diese Bilderkennungstechnik weist jedoch ein großes Anpassungsproblem auf. Es ist das Problem der Übereinstimmung einer Gruppe von charakteristischen Punkten qi (i: ganze Zahl zwischen 1 und n) eines vorab gespeicherten Modells und einer Gruppe von charakteristischen Punkten pi (i: ganze Zahl zwischen 1 und n) des Bildes eines Gegenstandes, das bei der Bildverarbeitung erhalten wird. Dieser Vergleich ist sehr wichtig bei der Bestimmung des Vorhandenseins oder Nichtvorhandenseins eines Gegenstandes in einem Bild oder der Stellung des Gegenstandes. Die charakteristischen Punkte schließen gewöhnlich die charakteristischen Stellen der Kontur eines Gegenstandes ein, etwa Punkte auf der Konturlinie mit einer maximalen oder minimalen Krümmung oder ohne Krümmung.
Wenn eine Person eine Übereinstimmung zwischen einem Modell und dessen Abbildung etwa bei dem in der Fig. 11A gezeigten Beispiel feststellt, wird folgende Prozedur ausgeführt. Sie vergleicht die räumliche Verteilung einer Gruppe von charakteristischen Punkten eines Modells (von dem die Person in der Regel eine allgemeine Vorstellung hat und die in der Zeichnung mit bezeichnet sind) mit der räumlichen Verteilung der Gruppe von charakteristischen Punkten (in der Zeichnung mit bezeichnet) in der vorliegenden Abbildung, wodurch bei ausreichender Übereinstimmung zwischen den charakteristischen Punkten des Modells und den charakteristischen Punkten der vorliegenden Abbildung jedes Teil des Gegenstandes erkannt werden kann.
Wenn die Übereinstimmung mit einem Computer festgestellt wird, ist zu berücksichtigen, daß eine Drehung der charakteristischen Punkte des Modells gegenüber der vorliegenden Abbildung aufgrund verschiedener Stellungen oder ein Größenunterschied aufgrund verschiedener Abstände zum Gegenstand auftreten kann, so daß ein entsprechender Mechanismus zum Vergleichen der allgemeinen räumlichen Verteilung der charakteristischen Punkte der vorliegenden Abbildung mit denen des Modells erforderlich ist. Das heißt, da eine Reihe von Koordinaten für eine Gruppe charakteristischer Punkte der vorliegenden Objektabbildung, die durch Bildverarbeitung erhalten werden, für den Computer nur eine zufällig verteilte Folge von Positionsdaten ist, ist es erforderlich, die Übereinstimmung zwischen einer bestimmten Koordinate eines der charakteristischen Punkte der vorliegenden Abbildung und der entsprechenden Koordinate des entsprechenden charakteristischen Punktes des Modells festzustellen, wobei die Übereinstimmung zwischen den anderen Koordinaten abzuschätzen ist. Das einfachste Verfahren ist es&sub1; die Übereinstimmung zwischen den jeweiligen charakteristischen Punkten der Abbildung und allen charakteristischen Punkten des Modells mechanisch herzustellen, für alle Paarkombinationen der charakteristischen Punkte der Abbildung und des Modells den Fehler (der im folgenden als Übereinstimmungsfehler bezeichnet wird) zu berechnen und als die richtige Kombination diejenige Paarkombination von charakteristischen Punkten des Modells und der Abbildung auszuwählen, die den minimalen Fehler ergibt. Für n charakteristische Punkte sind dafür jedoch n! Kombinationen erforderlich, was eine große Anzahl von Übereinstimmungskombinationen ist und daher eine lange Berechnungszeit erfordert, bis die Lösung erhalten wird, auch wenn zu diesem Zweck ein Computer verwendet wird. Der Grund dafür wird genauer erläutert. Wenn zum Beispiel als n charakteristische Punkte 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, ... charakteristische Punkte genommen werden ist, die Anzahl n! der Kombinationen davon gleich 1, 2, 6, 24, 120, 720, 5040, 40320, 362880, 3628800, 399168000, 4790020000, ... Die gesamte Verarbeitungszeit ist daher gleich n! mal der Berechnungszeit für einen Übereinstimmungsfehler. Auch wenn die Berechnungszeit für einen Übereinstimmungsfehler gleich 1 ms ist und die Anzahl von charakteristischen Punkten zum Beispiel höchstens 12, ergibt sich eine Bearbeitungszeit für alle Kombinationen von 4790020000 ms = 1331 Stunden. Daher wurde bisher angenommen, daß die optimale Übereinstimmung einen Fehler besitzt, der kleiner ist als ein vorgegebener Wert, so daß, wenn der Fehler während des Übereinstimmungsvorganges den vorgegebenen Wert übersteigt, die Anzahl der Übereinstimmungen durch Abbrechen der Übereinstimmungsoperation an dieser Stelle ver ringert wird. Dieser Stand der Technik ist in der Veröffentlichung mit dem Titel "RECOGNITION OF OVERLAPPING OBJECTS USING POINT PATTERN MATCHING ALGORITHM", D-567 in der Spring National Conference des Institute of Electronical Information and Communication Engineers of Japan (1989) beschrieben.
Bezüglich des allgemeinen Standes der Technik wird auf die folgenden Druckschriften verwiesen:
(1) INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS; 19.-22. Juni 1989, Washington, U.S., IEEE, New York, U.S., Bd. II Seiten II-287 bis II-290, W. Li et al: "Object Recognition Based on Graph Matching Implemented by a Hopfield-style Neural Network";
(2) INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS; 19.-22. Juni 1989, Washington, U.S., IEEE, New York, U.S., Bd. II Seiten II-281 bis II-286, B. Parvin et al: "A Constraint Satisfaction Network for Matching 3D Objects".
Dieser Stand der Technik beschreibt auf einem Modell basierende Gegenstands-Erkennungstechniken anhand eines neuronalen Netzes vom Hopfield-Typ und durch Minimieren einer Energiefunktion. Insbesondere zeigen gemäß D1 die Zustände der Neuronen im neuronalen Netzwerk eine Übereinstimmung zwischen vorgegebenen Oberflächenmustern des Gegenstandes und dessen Modell an. Gemäß D2 wird die Krümmung an charakteristischen Punkten und der Abstand zwischen den charakteristischen Punkten als charakteristische Eigenschaft verwendet.
Die obigen bekannten Verfahren versagen, wenn ohne Berücksichtigung der Größe des Übereinstimmungsfehlers die optimale Kombination aus allen möglichen Kombinationen gefunden werden soll. Der Grund dafür ist, daß, auch wenn ein be stimmter erlaubter Übereinstimmungsfehler eingestellt ist, die Möglichkeit besteht, daß der optimale Übereinstimmungsfehler größer ist als der erlaubte Übereinstimmungsfehler, was von der Form des zu erkennenden Gegenstandes abhängt. Außerdem ist es manchmal unmöglich, den erlaubten Übereinstimmungsfehler abzuschätzen.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und ein System zum Vergleichen eines Punktmusters für das Erkennen eines Gegenstands zu schaffen, mit dem die optimale Übereinstimmungskombination gefunden werden kann, ohne daß n! aller Übereinstimmungsfehler zu berechnen ist.
Eine weitere Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und ein System zum Vergleichen eines Punktmusters für das Erkennen eines Gegenstands zu schaffen, mit dem die Feststellung einer Übereinstimmung zwischen einer Gruppe von charakteristischen Punkten einer Abbildung und einer Gruppe von vorgegebenen charakteristischen Punkten eines Modells zum automatischen Erkennen des Gegenstandes möglich ist.
Diese Aufgaben werden erfindungsgemäß wie in den Ansprüchen 1, 2, 5 und 6 angegeben gelöst.
Erf indungsgemäß werden die obigen Aufgaben mittels eines neuronalen Netzwerks mit den folgenden Eigenschaften gelöst, vorzugsweise mit einem neuronalen Netzwerk des Hopfield-Typs. Es werden zwei Gruppen von Punkten betrachtet, das heißt eine Gruppe von charakteristischen Punkten qi eines Modells (i: ganze Zahl zwischen 1 und n) und eine Gruppe von charakteristischen Punkten Pj an der Grenzlinie eines Gegenstandes (j: ganze Zahl zwischen 1 und n). Dann wird ein einziges Neuron Nij auf jeder der Vergleichslinien zwischen jedem der charakteristischen Punkte qi des Modells und allen eingegebenen charakteristischen Punkten pj plaziert. Dabei werden die Neuronen nicht wirklich auf den Vergleichslinien angeordnet und angeschlossen, dies ist nur ein Konzept für die Erläuterung. Die Interpretation ist derart, daß, wenn das Ausgangssignal Vij des Neurons Nij mit einem Wert zwischen 0 und 1 im wesentlichen gleich 0 ist, der charakteristische Punkt qi nicht mit dem charakteristischen Punkt pi übereinstimmt, während, wenn das Ausgangssignal des Neurons im wesentlichen gleich 1 ist, der charakteristische Punkt qi mit dem charakteristischen Punkt pi übereinstimmt. Die Gesamtenergie E des neuronalen Netzes wird als Summe einer Zwangsenergie E&sub1; und einer Aufwandsenergie E&sub2; betrachtet. Die Zwangsenergie E&sub1; wird so definiert, daß sie ein Minimum aufweist, wenn die charakteristischen Punkte qi des Modells und die eingegebenen charakteristischen Punkten Pj in einer 1:1- Beziehung übereinstimmen:
Die Aufwandsenergie E&sub2; wird andererseits so definiert, daß sie im Sinne der kleinsten Quadrate bei optimaler Übereinstimmung einen minimalen Übereinstimmungsfehler ergibt, wenn die Gruppe eingegebener charakteristischer Punkte pj = (Xj, Yj) einer linearen Transformation (zum Beispieleiner affinen Transformation (Parallelverschiebung, Drehung)) und kleinen Variationen der Gruppe von charakteristischen Punkten qi = (xi, yi) des Modells entspricht:
wobei die Transformationskoeffizienten a, b, c, A, B und C die folgenden Matrixgleichungen erfüllen; K&sub1;, K&sub2;, K&sub3; und m sind dabei geeignet gewählte positive Konstanten:
Die zweite Energie E&sub2; stellt eines der Merkmale der vorliegenden Erfindung dar.
Wenn die Energie E des Netzwerks wie oben definiert wird und ein Paar Vij gefunden wird, das eine minimale Energie E ergibt, d.h. das sowohl ein minimales E&sub1; als auch ein minimales E&sub2; ergibt, so stellt dieses Paar die optimale Lösung dar.
Um ein solches zu erhalten, das die minimale Energie E ergibt, wird das Ausgangssignal Vij des Neurons Nij als Funktion der Zeit t betrachtet. Dann wird ein solches Vij durch die folgende dynamische Gleichung erhalten:
duij / dt = -δE/δVij,
wobei uij das Eingangssignal am Neuron und Vij wie folgt ist:
Vij = 1 / (1+exp{-uij})
E = E&sub1; + E&sub2;.
Diese Energie E nimmt mit der Zeit ab, was mathematisch bewiesen werden kann. Entsprechend wird die obige dynamische Gleichung bei geeigneten Anfangsbedingungen mit der Euler-Cauchy-Methode gelöst, und das Vij-Paar zum Zeitpunkt des Erreichens des Gleichgewichtspunktes wird als Lösung betrachtet. Differentiale der obigen Gleichung ergeben die folgende Gleichung. Aus der obigen Gleichungen ergibt sich nach der Euler-Cauchy-Methode die folgende Gleichung:
Vij (t+Δt) = Vij (t) - Δt Vij (t) (1-Vij(t)) δE/δVij
Die Konvergenzwerte für die Vij werden numerisch berechnet. Durch das Herausfinden von i und j für den Konvergenzwert von Vij gleich 1 kann die Übereinstimmung zwischen den charakteristischen Punkten festgestellt werden. Aus unseren Experimenten ergab sich, daß die Anzahl von Iterationen, die für eine Übereinstimmung zwischen den charakteristischen Punkten erforderlich waren, d.h. die Anzahl von t Erneuerungen, proportional der Anzahl n charakteristischer Punkte war. Dies wird auf die Auswirkungen der parallelen Berechnung im vorliegenden neuronalen Netzwerk zurückgeführt.
Erfindungsgemäß kann damit durch Berechnungen, deren Ausmaß proportional zu n ist, die optimale Übereinstimmung erhalten werden, während gleichzeitig das Erfordernis zur Ausführung der Berechnung des Übereinstimmungsfehlers an n! Kombinationen zum Vergleichen von n charakteristischen Punkten entfällt. Es ist daher ein schneller Vergleich zwischen einer Gruppe von charakteristischen Punkten aus einer Abbildung und einer Gruppe von charakteristischen Punkten eines Modells für eine automatische Gegenstandserkennung möglich.
Das obige Mustervergleichssystem kann als Gegenstandserkennungssystem zum Erkennen eines Teils eines Gegenstandes in einer Abbildung durch Bildverarbeitung angewendet werden. Das Gegenstandserkennungssystem umfaßt eine erste Einheit zum Extrahieren einer ersten Gruppe von charakteristischen Punkten qi (i: ganze Zahl zwischen 1 und n) aus dem Gegenstand in der Abbildung, eine zweite Einheit zum vorherigen Speichern einer zweiten Gruppe von charakteristischen Punkten pj (j: ganze Zahl zwischen 1 und n) an einem Modell, das dem Gegenstand entspricht, und von Attributdaten für die zweite Gruppe von charakteristischen Punkten, ein neuronales Netzwerk mit einer Anzahl von Neuronen für jeweils eine der Punktpaarkombinationen zwischen der ersten Gruppe von charakteristischen Punkten und der zweiten Gruppe von charakten stischen Punkten, eine dritte Einheit zum Auslesen des Ausgangswertes aus jedem Neuron und zum Feststellen, daß, wenn der Ausgangswert des Neurons im wesentlichen gleich "1" ist, die zum Neuron gehörende Punktpaarkombination übereinstimmt, und eine vierte Einheit zum Auslesen, aus der zweiten Einheit, der Attributdaten der zweiten Gruppe von charakteristischen Punkten entsprechend der Punktpaarkombinationen, die von der dritten Einheit als übereinstimmend erfaßt wurden, wodurch die Position des Teils des Gegenstandes erkannt werden kann und die Attributdaten über das Teil erhalten werden.

KURBESCHREIBUNG DER ZEICHNUNG

Die Fig. 1 zeigt die allgemeine Anordnung eines erfindungsgemäßen Gegenstands-Erkennungssystems;
die Fig. 2 ein detailliertes Beispiel der Anordnung der Bildverarbeitungseinheit 5 in der Fig. 1;
die Fig. 3 ein Flußdiagramm zur Erläuterung des Vorganges der Extraktion eines charakteristischen Punkts;
die Fig. 4 ein Beispiel für eine Abbildung des zu vergleichenden Gegenstandes;
die Fig. 5 charakteristische Punkte, die aus der beispielhaften Abbildung der Fig. 4 erhalten werden;
die Fig. 6A ein detailliertes Beispiel der Anordnung der Vergleichseinheit in der Fig. 1;
die Fig. 6B beispielhaft die Struktur von Tabellen in dem Speicher der Fig. 6A für die charakteristischen Punkte des Modells;
die Fig. 7, wie zu vergleichende Punkte und Neuronen plaziert werden;
die Fig. 8 beispielhaft eine Schaltungsanordnung zur Ausführung der iterativen Berechnungen eines neuronalen Netzwerks;
die Fig. 9 ein Flußdiagramm für Erläuterung der Arbeitsweise der CPU in der Fig. 6A,
die Fig. 10 eine weitere Schaltungsanordnung zur Aus führung der iterativen Berechnungen eines neuronalen Netzwerks;
die Fig. 11A bis 11C Beispiele für Vergleichsergebnisse zwischen charakteristischen Punkten; und
die Fig. 12 die Beziehung zwischen der Anzahl n von charakteristischen Punkten und der Anzahl von Iterationen, die für den Vergleich nötig sind.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Anhand der Zeichnung werden Ausführungsformen der vorliegenden Erfindung genauer erläutert. Es wird ein Beispiel für ein Punktmuster-Vergleichsverfahren und System beschrieben, das bei einem Bilderkennungssystem verwendet wird, insbesondere bei einem Bilderkennungssystem, mit dem automatisch in einer Fabrik oder dergleichen Produkte derart ausgewählt werden, daß die Gegenstandserkennung automatisiert ist. In einer Produktionslinie werden zum Beispiel Produkte der gleichen Art, aber mit etwas verschiedenen Formen auf einem Förderband oder einem ähnlichen Fördermechanismus befördert. Wenn die Hand eines Roboters zur Auswahl verwendet wird, ist es erforderlich, daß die Roboterhand das ausgewählte Produkt so an einer vorgegebenen Stelle ergreift, daß keine Festigkeitsprobleme entstehen, wenn das Produkt vom Roboter ergriffen wird. Die auf dem Fördermechanismus beförderten Produkte weisen verschiedene Stellungen auf und haben verschiedene Formen. Es ist daher ein intelligentes Gegenstandserkennungssystem erforderlich, dessen Erkennungsfunktion in der Lage ist, auch unter den erwähnten Bedingungen eine bestimmte Stelle des Produkts zu erkennen.
Die Fig. 1 zeigt die generelle Anordnung eines erfindungsgemäßen Gegenstandserkennungssystems. Das Gegenstandserkennungssystem ermöglicht eine Realisierung der erwähnten intelligenten Erkennung, was im folgenden genauer beschrieben wird.
Zuerst erfolgt eine Erläuterung der schematischen Verarbeitungsprozedur des Systems. Produkte 1, 2, ... (im gezeigten Beispiel Spielzeugflugzeuge 1 und 2), die eine etwas verschiedene Form haben, werden von einem Transportband 3 bewegt, wobei auch die Stellung der Flugzeuge auf dem Band verschieden ist. Wenn das einzelne Produkt an einer bestimmten Stelle A ankommt, wird der Zuführvorgang angehalten, und eine TV-Kamera 4 nimmt eine stationäre Abbildung des entsprechenden Produkts auf, die dann zu einer Bildverarbeitungseinheit 5 gesendet wird. Die Bildverarbeitungseinheit 5 extrahiert einen Satz oder eine Gruppe von Koordinaten charakteristischer Punkte (Koordinatengruppe charakteristischer Punkte) die die Kontur (Vorsprünge und Vertiefungen) des Produkts angeben, aus den Daten der Produktabbildung, und sendet die extrahierten Daten zu einer Vergleichseinheit 6. Die Vergleichseinheit 6 vergleicht die Gruppe der Koordinaten charakteristischer Punkte mit einer Gruppe von Koordinaten charakteristischer Punkte eines Modells (die im folgenden manchmal als Koordinatengruppe charakteristischer Modellpunkte bezeichnet wird). Die Koordinatengruppe charakteristischer Modellpunkte gibt die Kontur eines typischen Produkts mit normaler Größe und Stellung wieder. In der Einheit 6 sind verschiedene Arten von Daten gespeichert, die die jeweiligen charakteristischen Punkte oder Daten angeben, die erforder lich sind, damit eine Roboterhand 7 das Produkt ergreifen kann, wie etwa die allgemeine Höhe, die Festigkeit usw. der charakteristischen Punkte. In Abhängigkeit von der Art des Produkts und seiner Stellung unterscheiden sich natürlich die eingegebenen Koordinaten der charakteristischen Punkte von den charakteristischen Modellpunkten. Die Vergleichseinheit 6 vergleicht die räumlichen Positionen der Koordinaten der charakteristischen Modellpunkte mit den eingegebenen Koordinaten der charakteristischen Punkte und stellt die optimalen Kombinationen zwischen den charakteristischen Punkten des Modells und den entsprechenden eingegebenen charakteristischen Punkten fest. Die Vergleichseinheit 6 stellt auch diejenigen vorgegebenen der charakteristischen Modellpunkte fest, die dafür vorgesehen sind, von der Roboterhand 7 ergriffen zu werden, und gibt an eine Roboterhand-Steuereinheit 8 diejenigen der eingegebenen charakteristischen Punktkoordinaten weiter, die solchen charakteristischen Modellpunkten entsprechen, sowie verschiedene damit verbundene Daten. Die Roboterhand-Steuereinheit 8 berechnet auf der Basis dieser Daten und der relativen Positionsbeziehungen zur TV-Kamera 4, dem Transportband 3 und der Roboterhand 7 die dreidimensionalen Koordinaten der Stellen des Produkts, die von der Roboterhand ergriffen werden sollen, und weist die Roboterhand 7 an, die vorgesehene Stelle zu ergreifen und das Produkt zu einem vorgegebenen Platz zu bewegen. Dann wird das Transportband wieder gestar tet, um das nächste Produkt auswählen zu können.
Eines der Merkmale des vorliegenden Gegenstandserkennungssystems ist es, daß allgemeine Kenntnisse über Produkte eines bestimmten Typs vorab in einem Speicher in der Form von charakteristischen Modellpunktkoordinaten und damit verbunde nen Daten gespeichert werden. Wenn es erforderlich wird, eine ganz andere Art von Produkten zu erkennen, brauchen nur diese Kenntnisse ausgetauscht zu werden. Es erfolgt nun eine Erläuterung der Bildverarbeitungseinheit 5 und der Vergleichseinheit 6, die wesentliche Teile des vorliegenden Systems darstellen.
In der Fig. 2 ist eine bestimmte Anordnung der Bildverarbeitungseinheit 5 gezeigt, bei der ein analoges Bildsignal, das von der TV-Kamera 4 erhalten wird, in einer Schwellenschaltung 9 in binäre digitale Bilddaten umgewandelt wird, die zur Speicherung zu einem binären Bildspeicher 10 gesendet werden. Ein Rechenwerk (ALU) 11 extrahiert die Konturlinie des Produkts aus den binären Bilddaten des binären Bildspeichers 10 und berechnet entsprechend den vorspringenden und vertieften Einzelheiten der Konturlinie die Koordinaten der charakteristischen Punkte. Die von der ALU 11 ausgeführten Verarbeitungsschritte werden durch das Flußdiagramm der Fig. 3 dargestellt.
Im Schritt 31 der Fig. 3 werden die Koordinaten von Pixeln der Produktkontur abgeleitet. Es wird bei dem gezeigten Beispiel angenommen, daß die Bilddaten eine einzige Gruppe von Daten bilden, die für das Produkt alle den Wert "1" und für andere Teile als das Produkt alle den Wert "0" haben. Wie in der Fig. 4 gezeigt, tastet das System die Abbildung von oben nach unten ab, um im Abbildungsraster nach Pixeln zu suchen, die den Wert "1" haben. Das erste gefundene Pixel mit dem Wert "1" wird zum Startpunkt B. Das System beginnt den Abtastvorgang am Startpunkt B längs der Grenzen der Kontur des Produktbildes, um eine Reihe von Koordinaten zu finden, die den die Kontur begrenzenden Pixeln entsprechen. Bezüglich Details des Abtastverfahrens wird auf das Buch mit dem Titel "DIGITAL PICTURE PROCESSING", Kapitel 9 'Digital Geometry', Boundary Tracing, übersetzt von Makoto Nagao und herausgegeben von Kindai Kagakusha, verwiesen. Im Schritt 32 wird die Reihe von Begrenzungskoordinaten (X, Y) wie folgt in der Form von Funktionen des Abstandes d längs der Begrenzungslinie vom Startpunkt B als Begrenzungsfolgeparameter ausgedrückt:
X = f(d) (1)
Y = g(d) (2)
Im Schritt 33 werden diese Funktionen (1) und (2) dem folgenden Gauß-Filter unterworfen:
wobei s die Standardabweichung des Gauß-Filters ist. Durch diese Filterung werden kleine Rauschanteile in der Konturbegrenzung aus der ursprünglichen Begrenzung entfernt, und es wird die Begrenzung erhalten, die die allgemeine Konfiguration anzeigt. Die so erhaltene Begrenzungslinie ist in der Fig. 5 dargestellt. Im Schritt 34 werden diejenigen der charakteristischen Punkte Pi (i: ganze Zahl zwischen 1 und n) der Konturbegrenzungslinie festgestellt, die die folgende Gleichung (5) erfüllen:
(F'G" - F"G') / (F'² + G'²) 3/2 = 0 (5)
wobei F' und F" die erste bzw. zweite Ableitung der Funktion F(d;s) der Gleichung (3) bezeichnet. Die gefundenen charakteristischen Punkte geben geometrische Wendepunkte auf der Be grenzungslinie an. Der Satz der so gefundenen Koordinaten der charakteristischen Punkte wird im Speicher 12 der Fig. 2 für die charakteristischen Punkte gespeichert. Es wird nun angenommen, daß die Koordinaten (Xj, Yj), der Gruppe von eingegebenen charakteristischen Punkten Pj und die Koordinaten (xi, yi) der Gruppe von charakteristischen Modellpunkten qi wie folgt normalisiert werden, damit der Vergleichsvorgang (der später noch erläutert wird) nicht von den absoluten Koordinaten beeinflußt wird:
wobei xbar und ybar die Mittelwerte aller x bzw. y, max{xi"} das Maximum aller xi" sowie (Xj', Yj') und (xi', yi') die Koordinaten der jeweiligen Wendepunkte bezeichnen.
In der Fig. 6A ist ein Beispiel für die Anordnung der Vergleichseinheit 6 gezeigt. Die Vergleichseinheit 6 ist dafür vorgesehen, die Gruppen von charakteristischen Punktkoordinaten der Produktbegrenzung, die von der Bildverarbeitungseinheit 5 festgestellt und die im Speicher 12 für die charakteristischen Punkte gespeichert wurden, mit der Gruppe von vorgegebenen charakteristischen Modellpunktkoordinaten zu vergleichen, um die Bedeutung der charakteristischen Punkte des Produkts zu erfahren. Dazu umfaßt die Vergleichseinheit 6 einen Speicher 13 für die charakteristischen Punkte des Modells zum Speichern der Gruppe von Koordinaten für die charakteristischen Punkte des Modells, ein neuronales Netzwerk 14 zum Ausführen des Vergleichsvorganges und eine Steuereinheit (CPU) 15. Die Steuereinheit 15 wählt anhand der Vergleichsergebnisdaten für durch das neuronale Netzwerk erhaltene charakteristische Punkte und anhand vorgegebener Titeldaten 16, die eine vorgegebene Stelle für das Ergreifen durch die Roboterhand anzeigen, die aktuellen Koordinatenwerte für die bezeichnete Stelle aus dem Speicher für die charakteristischen Punkte und verschiedene Daten aus dem Speicher für die charakteristischen Modellpunkte aus, die hinsichtlich der bezeichneten Stelle mit den Koordinaten für die charakteristischen Punkte des Modells verbunden sind. Diese Daten werden von der Steuereinheit 15 zur Roboterhand- Steuereinheit 8 gesendet. Die Fig. 68 zeigt eine Beispiel für eine Koordinatendatentabelle 13a, eine Titeldatentabelle 13b und eine weitere Datentabelle 13c im Speicher 13 für die charakteristischen Punkte des Modells.
Es erfolgt nun eine Erläuterung des Prinzips des neuronalen Netzwerks 14, das bei der vorliegenden Vergleichseinheit die Hauptfunktion ausführt, und eine Erläuterung einer beispielhaften Schaltungskonfiguration zu dessen Realisierung. Zuerst wird anhand der Fig. 7 erklärt, wie die charakteristischen Punkte qi (i: ganze Zahl zwischen 1 und n) mit den charakteristischen Punkten pj (j: ganze Zahl zwischen 1 und n) der eingegebenen Begrenzungslinie verglichen werden. Zu diesem Vergleich wird vorzugsweise ein neuronales Netzwerk des Hopfield-Typs verwendet. Die Fig. 7 zeigt, wie die Neuronen anzuordnen sind. Auf der Vergleichslinie zwischen den charakteristischen Punkten qi und pj des Modells bzw. der Abbildung wird ein Neuron Nij angeordnet. Natürlich stellt dies nur ein Konzept dar; das Neuron wird nicht tatsächlich angeordnet und angeschlossen. Das Ausgangssignal Vij des Neurons Nij hat einen Wert von 0 bis 1. Wenn das Ausgangssignal Vij im wesentlichen gleich 0 ist, wird dies interpretiert als "der charakteristische Punkt qi stimmt nicht mit dem charakteristischen Punkt pj überein", während, wenn das Ausgangssignal Vij im wesentlichen gleich 1 ist, dies als "der charakteristische Punkt qi stimmt mit dem charakteristischen Punkt pj überein" interpretiert wird. Es ist dabei auch möglich, daß ein erster Schwellenwert V&sub1; nahe an 1 und ein zweiter Schwellenwert V&sub2; gewählt wird mit (1 ≈ V&sub1; > V&sub2; ≈ 0), so daß, wenn die Beziehung Vij ≥ V&sub1; erfüllt ist, dies als "Übereinstimmung" bewertet wird, während, wenn die Beziehung Vij ≤ V&sub2; erfüllt ist, dies als "keine Übereinstimmung" bewertet wird. In diesem Fall entspricht die Gesamtenergie E des neuronalen Netzwerks einer linearen Addition einer Zwangsenergie E&sub1; und einer Aufwandsenergie E&sub2; und im dargestellten Beispiel einer Summe der Zwangs- und der Aufwandsenergie E&sub1; und E&sub2;. Die Zwangsenergie E&sub1; ist so definiert, daß sie einen Minimalwert hat, wenn der charakteristische Punkt qi des Modells mit dem eingegebenen charakteristischen Punkt pi in einer 1:1 Beziehung übereinstimmt:
Die Aufwandsenergie E&sub2; wird so definiert, daß sie im Sinne der kleinsten Quadrate bei optimaler Übereinstimmung einen minimalen Übereinstimmungsfehler (minimalen quadratischen Fehler) ergibt, wenn die Gruppe eingegebener charakteristischer Punkte Pj (= (Xj, Yj)) einer linearen Transformation, z.B. einer affinen Transformation (Parallelverschiebung, Drehung) unterworfen wird und hinsichtlich der Gruppe von charakteristischen Punkten qi = (xi, yi) des Modells sehr kleine Änderungen auftreten.
wobei n' eine ganze Zahl, vorzugsweise 1 oder 2 ist, die Transformationskoeffizienten a, b, c, A, B und C die folgenden Matrixgleichungen (8) und (9) erfüllen, und K&sub1;, K&sub2;, K&sub3; und m geeignet gewählte positive Konstanten sind. Die zweite Energie stellt eines der Merkmale der vorliegenden Erfindung dar.
Wenn die Energie E des Netzwerks wie oben definiert wird und eine Lösung für das Paar Vij gefunden wird, das eine minimale Energie E ergibt, d.h. das sowohl ein minimales E&sub1; als auch ein minimales E&sub2; ergibt, so stellt die Lösung für die Gleichungen (8) und (9) die optimale Lösung dar. Bei der Lösung für das optimale Paar ist die Lösung für die Gleichungen (8) und (9) gleich der Lösung der bekannten Methode der kleinsten Quadrate dar, da das Vij in den Gleichungen (8) und (9) einen Wert von 0 oder 1 hat.
Um ein solches Vij zu erhalten, das die minimale Energie E ergibt, wird bekanntlich das Ausgangssignal Vij des Neurons Nij in einem neuronalen Netzwerk des Hopfield-Typs als Funktion der Zeit t betrachtet, und es wird die folgende dynamische Gleichung (11) für dieses Netzwerk gelöst:
duij / dt = -δE/δVij,
Vij = 1 / (1+exp {-uij}) (11)
wobei dE/dt wie folgt ist:
Die folgende Gleichung (12) wird aus der Gleichung (11) abge leitet:
dVij / dt = -Vij (1-Vij) δE/δVij. (12)
Es wird daher die folgende Beziehung erhalten:
Aus dieser Beziehung ist ersichtlich, daß die Energie E der dynamischen Gleichung (11) mit der Zeit abnimmt. Die obige dynamische Gleichung wird nach der bekannten Euler-Cauchy- Methode gelöst, und das Vij-Paar zum Zeitpunkt des Erreichens des Gleichgewichtspunktes wird als Lösung betrachtet. Mit anderen Worten wird die Gleichung (12) in die folgende Gleichung (13) umgewandelt, die für eine numerische Berechnung geeignet ist:
Vij (t+Δt) = Vij (t) - Δt Vij(t) (1-Vij(t)) δE/δVij (13)
Die Konvergenzwerte für die Vij werden durch iterative numerische Berechnung anhand der obigen Gleichung erhalten.
Die Fig. 8 zeigt ein Beispiel für eine Schaltung für die iterativen Berechnungen des neuronalen Netzwerks. Die Schaltung der Fig. 8 umfaßt eine Gruppe von Schaltungseinheiten zum Berechnen von n Konvergenzwerten für das Neuronen- Ausgangssignal Vij. In der Zeichnung stellt der von einer gestrichelten Linie umrandete Bereich eine Schaltungseinheit dar. Die Erläuterung konzentriert sich auf die beispielhafte Anordnung der Schaltungseinheit. Register 17 und 18 dienen dazu, um den Wert des Neuronen-Ausgangssignals Vij entsprechend dem ersten Term auf der rechten Seite der Gleichung (13) und den Wert der Änderung ΔVij = -ΔtVij (1-Vij) δE/δVij im Neuronen-Ausgangssignal Vij entsprechend dem zweiten Term auf der rechten Seite der Gleichung (13) zu speichern. Wie im Flußdiagramm der Fig. 9 zum Erläutern der Arbeitsweise der Steuereinheit (CPU) 15 (vgl. Fig. 6A) gezeigt, stellt die Steuereinheit 15 das Vij und den Anfangswert des ΔVij in den Registern 17 und 18 ein (Schritt 91) und dann vor der iterativen Berechnung in der Berechnungseinheit 21 die darin benötigten Konstanten Δt, K&sub1;, K&sub2; und K&sub3; (Schritt 92). Die Werte des Neuronen-Ausgangssignals Vij und der Änderung ΔVij werden in einem Addierer 19 addiert, um entsprechend der linken Seite der Gleichung (13) das nächste Vij zu erhalten. Das erhaltene Vij wird mit vorgegebenem zeitlichen Abstand wieder in das Register 17 eingeschrieben. Inzwischen werden die in den jeweiligen Schaltungseinheiten berechneten Vij zuerst einer Berechnungseinheit (Matrix-Berechnungs-ALU) 20 eingegeben. Die Berechnungseinheit 20 führt unter Verwendung der Eingangswerte Vij, der Koordinaten (xi, yi) (i: ganze Zahl zwischen 1 und n) für die charakteristischen Punkte des Modells aus dem Speicher (13 in der Fig. 6A) für die charakteristischen Punkte des Modells und der Koordinaten (Xj, Yj) (j: ganze Zahl zwischen 1 und n) für die eingegebenen charakteristischen Punkte aus dem Speicher (12 in der Fig. 2) für die charakteristischen Punkte die Matrixberechnung der Gleichungen (8) und (9) gemäß einem Mikroprogramm aus, um die Koeffizienten a, b, c, A, B und C festzustellen. Die Berechnungseinheiten (ALU für die ΔVij -Berechnung) 21 in jeder Schaltungseinheit berechnet gemäß dem Mikroprogramm für Vij das ΔVij = -ΔtVij (1-Vij) δE/δVij und schreibt das Berechnungsergebnis wieder in das Register 18 ein. Die Berechnungseinheit 21 wird aktiviert, wenn die Berechnung in den Berechnungseinheiten 20 vollständig abgeschlossen ist, während das Einschreiben des nächsten Vij und der Änderung ΔVij in die Register 17 und 18 zeitlich dann erfolgt, wenn die Berechnung in der Berechnungseinheit 21 vollständig beendet ist. Der zeitliche Ablauf wird generell von einer Zeitgeneratorschaltung 22 gesteuert. Die Steuereinheit 15 (vgl. Fig. 6A) prüft bei jeder iterativen Berechnung, ob die Werte der jeweiligen Register 17 in den Schaltungseinheiten, d.h. die Werte für Vij auf 1 oder 0 konvergieren oder nicht. Das heißt, die Steuereinheit 15 liest die Werte für die Vij aus den jeweiligen Registern 17 aus, zählt die Anzahl CN dieser Register 17, bei denen die Beziehung Vij ≈ 1 erfüllt ist (Schritt 93) und prüft, ob die Beziehung CN = n erfüllt ist (Schritt 94). Wenn die Beziehungen CN = n erfüllt ist, das heißt, nachdem alle Werte Vij konvergieren, stellt die Steuereinheit die Paare (i, j) fest, die die Beziehung Vij ≈ 1 erfüllen, so daß an dieser Stelle die Übereinstimmung zwischen den charakteristischen Punkten festgestellt ist (Schritt 95). Daraufhin sendet die CPU 15 die Koordinaten Pj des eingegebenen charakteristischen Punktes aus dem Speicher für die charakteristischen Punkte, die zu den Koordinaten qi des charakteristischen Punktes des Modells aus dem Speicher 13 (vgl. Fig. 6A) für die charakteristischen Punkte des Modells gehören, die die vorgegebenen Titelstellendaten 16 (vgl. Fig. 6A) haben, die die Ergreifungsstelle für die Roboterhand und auch verschiedene Arten von Daten für die Koordinaten des charakteristischen Punkts des Modells angeben. Obwohl die vorstehende Erläuterung in Verbindung mit einem Beispiel erfolgte, bei dem die iterative Berechnung einmal für den vorgegebenen Anfangswert des ausgeführt wird, um die Übereinstimmung festzustellen, kann die iterative Berechnung auch mehrmals mit geänderten Anfangswerten für das ΔVij aus geführt werden, und die Übereinstimmung, die bei Konvergenz ein Minimum des Wertes E&sub2; (Gleichung (7)) ergibt, kann als die richtige Lösung verwendet werden.
Es erfolgt nun die Beschreibung eines weiteren Beispiels für eine Schaltungskonfiguration des neuronalen Netzwerks 14. Diese Schaltung ist eine Analogschaltung, deren allgemeine Anordnung in dem Buch "BASIC THEORY OF NEURO- COMPUTING", herausgegeben von der Nippon Industrial Technology Foundation, Neuro-Computer Search Group, 4. Meeting usw. beschrieben ist. Diese Druckschrift zeigt, daß, wenn die Energie E eines Netzwerks bezüglich des Ausgangssignales Vij des Neurons ein Mehrfachpolynom erster Ordnung ist, aus einer analogen Neuro-Netzwerk-Schaltung ein neuronales Netz aufgebaut werden kann. Es ist dabei jedoch erforderlich, die Werte der Widerstände und Ströme, die mit den Gewichtungskoeffizienten zwischen den Neuronen verbunden sind und die für die Eigenschaften der Schaltung äußerst wichtig sind, optimal einzustellen. Die folgende Beschreibung konzentriert sich darauf, wie die optimalen Neuronen-Gewichtungskoeffizienten so einzustellen sind, daß sie am besten für die vorliegende Erfindung geeignet sind.
Es ist bei der vorliegenden Ausführungsform insbesondere anzumerken, daß die Neuronen-Gewichtungskoeffizienten für jede Gruppe von Koordinaten für eingegebene charakteristische Punkte eines Produkts modifiziert werden, das hinsichtlich von Koordinaten für charakteristische Punkte eines Modells zu erkennen ist.
Im Falle einer analogen neuronalen Netzwerkschaltung wird das dynamische Verhalten des Netzwerks wie in der Gleichung (11) wie folgt definiert:
Es wird angenommen, daß sich die Gesamtenergie E in der Form eines Mehrfachpolynoms erster Ordnung ausdrücken läßt:
wobei τ eine positive Konstante ist und die folgenden Beziehungen erfüllt sind:
Da wie bei der obigen Beschreibung die Beziehung dE/dt ≤ 0 bewiesen werden kann, läßt sich durch Lösen der Gleichung (14) eine Lösung erhalten, die ein Minimum der Energie E erzeugt.
Die Fig. 10 zeigt ein Beispiel für eine Schaltung zum Lösen der Gleichung (14). Die Schaltung umfaßt eine Gruppe von Schaltungseinheiten zum Berechnen der Konvergenzwerte der Ausgangssignale Vij von n² Neuronen. In der Zeichnung entspricht der von einer gestrichelten Linie umgebene Bereich einer Schaltungseinheit. Die Erläuterung ist auf die beispielhafte Anordnung dieser Schaltungseinheit gerichtet. Die Schaltungseinheit weist einen Verstärker 23 zum Erzeugen eines Ausgangssignales Vij (= (uij)) für ein Eingangssignal uij, eine Gruppe von variablen Widerständen Rijij zum Verbinden der jeweiligen Neuronen, einen variablen Widerstand rij, einen Kondensator C, einen Analog/Digital-(A/D)-Konverter 25 und ein Register 26 zum Auslesen des Wertes von Vij durch die Steuereinheit 15 (vgl. Fig. 6A) auf. Den jeweiligen Schaltungseinheiten wird zusätzlich zu den Strömen von den anderen Schaltungseinheiten von einer Gewichtungskoeffizientenfestlegungsschaltung 24 ein Konstantstrom Iij zugeführt. Wenn nun auf einen Punkt D in der Schaltungseinheit das Kirchhoffsche Gesetz angewendet wird, ist die folgende Gleichung erfüllt:
Diese Gleichung (16) kann wie folgt modifiziert werden:
Einsetzen der Gleichung (15) in die Gleichung (14) ergibt
Wenn rij, Rijkl und Iij so festgelegt werden, daß die folgenden Gleichungen erfüllt sind, löst die jeweilige Schaltungseinheit des neuronalen Netzwerks die obigen dynamischen Gleichungen: (konstanter Wert)
Die Energie E (= E&sub1; + E&sub2;) des erfindungsgemäßen Vergleichsverfahrens kann näherungsweise in der Form solcher Mehrfachpolynome erster Ordnung wie die Gleichung (15) ausgedrückt werden. Dies wird im folgenden bewiesen.
Das Lösen der Gleichungen (8) und (9) bezüglich der Koeffizienten a, b, c, A, B und C ergibt
wobei
Das Einsetzen dieser Gleichungen in die ersten und zweiten Terme der Gleichung (7) ergibt
wobei
ekli = aikl xi + bklyi + Ckl
Ekli = Aikl xi + Bklyi + Ckl
Das Modifizieren der Gleichungen (21) derart, daß das Merkmal der Gleichung, d.h. die Minimumlösung nicht geändert wird, ergibt
wobei δklpq = 1: k = p und l = q =0: sonst.
Das Einsetzen dieser Gleichungen in die Gleichung (7) und weiteres Modifizieren derart, daß sich das Merkmal der Gleichung nicht ändert, ergibt die Umwandlung der Gleichung (7) in das folgende Mehrfachpolynom erster Ordnung:
Gleichermaßen wird die Gleichung (6) in das folgende Mehrfachpolynom erster Ordnung umgewandelt:
wobei δkp = 1: k=p = 0: sonst.
Entsprechend ergibt das Addieren der Gleichungen (22) und (23) eine Gesamtenergie E von
Wenn γ eine positive Konstante ist und eine Lösung gefunden wird, die die minimale Energie E ergibt, wird sie davon nicht beeinflußt und kann weggelassen werden. Der Koeffizient αklpq in der Gleichung (24) erfüllt außerdem die wijkl- Bedingung der Gleichung (15), da αklkl = 0 und αklpq = αpqkl ist. Zusätzlich kann der dritte Term der Gleichung (15) für große Werte von T weggelassen werden. Entsprechend läßt sich die Gleichung (24) in genau das gleiche Mehrf achpolynom erster Ordnung umwandeln wie die Gleichung (15). Wenn die jeweiligen Widerstandswerte und Stromwerte in der Fig. 10 so festgelegt werden, daß die folgende Gleichung erfüllt ist, kann so ein analoges neuronales Netzwerk realisiert werden, das für das Vergleichsverfahren der vorliegenden Erfindung geeignet ist. (τ = großer konstanter Wert)
Die Koeffizienten αijkl und βij werden als Funktionen der Koordinaten der charakteristischen Punkte des Modells und der Koordinaten der eingegebenen charakteristischen Punkte ausge drückt, wie es aus der Gleichung (25) ersichtlich ist. Es ist daher erforderlich, die jeweiligen Widerstandswerte und Stromwerte, die durch diese Koeffizienten ausgedrückt werden, hinsichtlich der verschiedenen Koordinaten für die eingegebenen charakteristischen Punkte zu modifizieren. Dazu ist die Gewichtungskoeffizientfestlegungsschaltung 24 der Fig. 10 entsprechend den Gleichungen (25) und (26) vorgesehen, um die jeweiligen Widerstands- und Stromwerte in Abhängigkeit von den verschiedenen Koordinaten der charakteristischen Punkte des Modells und der eingegebenen charakteristischen Punkte festzulegen und die Werte dann in den jeweiligen Schaltungseinheiten einzustellen. In der Fig. 10 sind außerdem Stromquellen und Schalter 27 vorgesehen, die dazu verwendet werden, die Anfangspotentiale von uij in den jeweiligen Schaltungseinheiten einzustellen. Diese Anfangspotentiale werden auch von der Gewichtungskoeffizientfestlegungsschaltung 24 bestimmt. Auf diese Weise kann die Vergleichseinheit 6 mit dem analogen neuronalen Netzwerk 14 ausgeführt werden. Es ist auch möglich, daß bei der iterativen Berechnung das Anfangspotential uij für jede schaltungseinheit mehrmals geändert wird. Diejenige Lösung, die bei der Konvergenz das Minimum der Werte E&sub2; (Gleichung 22) ergibt, kann als korrekte Übereinstimmung verwendet werden.
Die Fig. 11A bis 11C zeigen Beispiele für das Vergleichsergebnis zwischen charakteristischen Punkten, wenn der Vergleich von der obigen Vergleichseinheit 6 ausgeführt wird. Bei den Beispielen stimmen die charakteristischen Punkte des Modells ( ) auf der linken Seite im Sinne der kleinsten Quadrate optimal mit den eingegebenen charakteristischen Punkten ( ) auf der rechten Seite überein. Die Fig. 11A ist ein Beispiel, bei dem das Plastikmodell eines Spielzeugflugzeugs mit einer Abbildung davon verglichen wird, die Fig. 11B ein Beispiel, bei dem ein " " (Stern) mit einer Abbildung davon verglichen wird, und die Fig. 11C ein Beispiel, bei der der japanische Buchstabe " " mit einer Abbildung davon verglichen wird. Die Fig. 12 zeigt die Beziehung zwischen der Anzahl n charakteristischer Punkte und der Anzahl Iterationen (der Anzahl t Erneuerungen), die für den Vergleich erforderlich sind, wenn das neuronale Netzwerk der Fig. 8 verwendet wird. Da das Testergebnis der Fig. 12 zeigt, daß die Anzahl von Iterationen proportional zur Anzahl n charakteristischer Punkte ist, kann die Verarbeitungsgeschwindigkeit erfindungsgemäß stark erhöht werden, da beim Stand der Technik eine Verarbeitungszeit erforderlich ist, die proportional n! ist.
Die vorstehende Beschreibung erfolgte in Verbindung mit einem Fall, bei dem eine Gruppe von eingegebenen charakteristischen Punkten der gebräuchlichen linearen Transformation, z.B. einer affinen Transformation, und kleinen Änderungen hinsichtlich einer Gruppe von charakteristischen Punkten des Modells unterworfen wurde. Auch im Falle einer Transformation, die eine konstante Beziehung zwischen den Koeffizienten a, b, c, A, B und C der Gleichung (7) ergibt, kann sie jedoch dann, wenn die Transformation den orthogonalen Zustand beibehält, oder bei einer nichtlinearen Transformation hinsichtlich xi und yi erfindungsgemäß gelöst werden. Im ersten Fall (die Transformation behält den orthogonalen Zustand bei) ist die Energie E&sub2; wie folgt definiert:
In diesem Fall erfüllen die Transformationskoeffizienten a, b, c und C die folgende Matrixgleichung (28):
Die Matrixgleichung ist der Lösung auf der Basis der Methode der kleinsten Quadrate von Kombinationen von Vij äquivalent, wenn Vij auf 1 oder 0 konvergiert. Auch im letzteren Fall einer nichtlinearen Transformation ist die Energie E&sub2; wie folgt definiert:
wobei die nichtlinearen Transformationsfunktionen f(xi, yi; a, b, c) und F(xi, yi; A, B, C) bezüglich der Koeffizienten a, b, c, A, B und C lineare Funktionen sind. In diesem Fall können Gleichungen, die den Gleichungen (8) und (9) entspre chen, auf der Basis der Methode der kleinsten Quadrate erstellt werden.
Auch wenn die vorliegenden Ausführungsformen in Verbindung mit einem Vergleich von charakteristischen Punkten in einem zweidimensionalen Koordinatensystem beschrieben wurden, kann die Erfindung leicht auf den Vergleich von charakteristischen Punkten in einem K-dimensionalen Koordinatensystem (K: ganze Zahl 3 oder größer) erweitert werden. In diesem Fall wird die Energie E&sub2; wie folgt definiert:
wobei K&sub3; ein linearer Gewichtungskoeffizient ist, der eine ganze Zahl ist (vorzugsweise 1 oder 2), Xj1, Xj2, Xj3, ... Xjk) und (xi1, xi2, xi3, ... xik) die Koordinaten charakteristischer Punkte des Modells bzw. eingegebener charakteristischer Punkte bezeichnen und a&sub1;&sub2;, a&sub1;&sub3;, ... akk sowie c&sub1;, c&sub2;, c&sub3;, ... ck affine Transformationskoeffizienten sind. Die Transformationskoeffizienten erfüllen die folgende Matrixgleichung (31):
Diese Matrixgleichung entspricht K Gleichungen, da der Parameter p einen Wert zwischen 1 und K annimmt. Für K = 2 entspricht die Matrixgleichung (31) natürlich den Gleichungen (8) und (9) des zweidimensionalen Falles, wobei xi, yi, xj, Yj, a&sub1;&sub1;, a&sub1;&sub2;, c&sub1;&sub1; a&sub2;&sub1;, a&sub2;&sub2; und c&sub2; in xi1, xi2, Xj1, Xj2, a, b, c, A, B und C übergehen.
Die vorstehende Ausführungsform wurde in Verbindung mit einem Fall beschrieben, bei dem die Anzahl n von charakteristischen Punkten des Modells gleich der Anzahl n von eingegebenen charakteristischen Punkten ist. Wenn die Anzahl n von charakteristischen Punkten des Modells nicht gleich der Anzahl n von eingegebenen charakteristischen Punkten ist, wenn zum Beispiel die Anzahl N von eingegebenen charaktenstischen Punkten nicht gleich der Anzahl n von charakteristischen Punkten des Modells ist, wird die obere Grenze von hinsichtlich j der vorliegenden Ausführungsform von n zu N geändert.
Obwohl bei den vorstehenden Ausführungsformen ein Abbildungs-Mustervergleich beschrieben wurde, kann die vorliegende Erfindung allgemein auf den optimalen Vergleich einer Anzahl von Daten aus zwei Gruppen angewendet werden, die physikalischen Gegenständen entsprechen.

Claims

1. Gegenstands-Erkennungsverfahren zum Erkennen der Lage eines Gegenstandes in einer Abbildung durch Bildverarbeitung, mit den Schritten

des Extrahierens einer ersten Gruppe von charaktenstischen Punkten qi, wobei i eine ganze Zahl zwischen 1 und n ist und die erste Gruppe von charakteristischen Punkten einer Gruppe von n Punkten entspricht, die den Gegenstand in der Abbildung repräsentieren, in einem K-dimensionalen Raum, wobei n eine ganze Zahl gleich 2 oder mehr und K eine ganze Zahl gleich 2 oder mehr ist;

des vorhergehenden Speicherns, in einem Speicher, einer zweiten Gruppe von charakteristischen Punkten pj, wobei j eine ganze Zahl zwischen 1 und n ist und die zweite Gruppe von charakteristischen Punkten einer Gruppe von n Punkten entspricht, die ein dem Gegenstand entsprechendes Modell repräsentieren, im gleichen Raum wie dem K-dimensionalen Raum, und von Attributdaten für die zweite Gruppe von charakteristischen Punkten;

des Verarbeitens der Punkte in einem neuronalen Netzwerk mit einer Anzahl von Neuronen, wobei für jeweils eine der Punktpaarkombinationen aus der ersten Gruppe von charakteristischen Punkten und der zweiten Gruppe von charakteristischen Punkten ein Neuron vorgesehen ist und die Neuronen miteinander so verbunden sind, daß jedes Neuron Daten erhält, die gemäß dem Summenwert der gewichteten Ausgangswerte der anderen Neuronen variieren;

des Auslesens eines Ausgangswertes aus jedem Neuron und des Festlegens, daß, wenn der Ausgangswert des Neurons im wesentlichen "1" ist, die zum Neuron gehörende Punktpaarkombination übereinstimmt, während, wenn der Ausgangswert des Neurons im wesentlichen "0" ist, die zum Neuron gehörende Punktpaarkombination nicht übereinstimmt; und

des Auslesens, aus dem Speicher, der Attributdaten der zweiten Gruppe von charakteristischen Punkten entsprechend der Punktpaarkombination, die im Festlegungsschritt als übereinstimmend bestimmt wurden;

wobei das neuronale Netzwerk so betrieben wird, daß die Gesamtenergie der Neuronen minimal wird, wobei eine erste Energie so definiert ist, daß sie einen minimalen Wert hat, wenn die erste Gruppe von Punkten mit der zweiten Gruppe von Punkten insgesamt in einem 1:1-Verhältnis übereinstimmt;

wobei das Verfahren dadurch gekennzeichnet ist, daß die minimale Gesamtenergie die Summe aus der ersten Energie und einer zweiten Energie ist, die so definiert ist, daß im Sinne der kleinsten Quadrate der Übereinstimmungsfehler minimal ist, wenn die erste Gruppe von Punkten mit der zweiten Gruppe von Punkten insgesamt in einem 1:1-Verhältnis übereinstimmt, wobei die zweite Energie eine Aufwandsenergie ist, die so definiert ist, daß, wenn die erste Gruppe von Punkten bezüglich der zweiten Gruppe von Punkten einer linearen Transformation unterworfen wird, die zweite Energie E&sub2; gegeben ist zu

wobei

die Koordinaten der zweiten Gruppe von Punkten pj und die Koordinaten der ersten Gruppe von Punkten qi durch Xj1, Xj2, Xj3, ..., Xjk bzw. xi1, xi2, xi3, ..., xik ausgedrückt werden,

V das Ausgangssignal eines Neurons ist,

n' eine ganze Zahl ist mit n' ≥ 1,

p, q ganze Zahlen zwischen 1 und K sind und die affinen Transformationskoeffizienten al1, al2, al3, ... , akk und c&sub1;, c&sub2;, c&sub3;, ... , ck die folgenden K Sätze von Gleichungen erfüllen:

2. Gegenstands-Erkennungsverfahren zum Erkennen der Lage eines Gegenstandes in einer Abbildung durch Bildverarbeitung, mit den Schritten

des Extrahierens einer ersten Gruppe von charaktenstischen Punkten qi, wobei i eine ganze Zahl zwischen 1 und n ist und die erste Gruppe von charakteristischen Punkten einer Gruppe von n Punkten entspricht, die den Gegenstand in der Abbildung repräsentieren, in einem zweidimensionalen Raum, wobei n eine ganze Zahl gleich 2 oder mehr ist;

des vorhergehenden Speicherns, in einem Speicher, einer zweiten Gruppe von charakteristischen Punkten pj, wobei j eine ganze Zahl zwischen 1 und n ist und die zweite Gruppe von charakteristischen Punkten einer Gruppe von n Punkten entspricht, die ein dem Gegenstand entsprechendes Modell repräsentieren, im gleichen Raum wie dem zweidimensionalen Raum, und von Attributdaten für die zweite Gruppe von charakteristischen Punkten;

wobei das Verfahren dadurch gekennzeichnet ist, daß die minimale Gesamtenergie die Summe aus der ersten Energie und einer zweiten Energie ist, die so definiert ist, daß im Sinne der kleinsten Quadrate der Übereinstimmungsfehler mmi mal ist, wenn die erste Gruppe von Punkten mit der zweiten Gruppe von Punkten insgesamt in einem 1:1-Verhältnis übereinstimmt, wobei die zweite Energie eine Aufwandsenergie ist, die so definiert ist, daß, wenn die erste Gruppe von Punkten bezüglich der zweiten Gruppe von Punkten einer linearen Transformation unterworfen wird, die zweite Energie E&sub2; gegeben ist zu

wobei

die Koordinaten der zweiten Gruppe von Punkten pj und die Koordinaten der ersten Gruppe von Punkten qi durch Xj, Yj bzw. xi, yi ausgedrückt werden,

V das Ausgangssignal eines Neurons ist,

n' eine ganze Zahl ist mit n' ≥ 1, und

die Transformationskoeffizienten a, b, c, A, B und C die folgenden Gleichungen erfüllen:

3. Gegenstands-Erkennungsverfahren nach Anspruch 1 oder Anspruch 2, wobei die Verarbeitung in einem neuronalen Netzwerk des Hopfield-Typs erfolgt.

4. Gegenstands-Erkennungsverfahren nach einem der Ansprüche 1 bis 3, wobei der Festlegungsschritt das Vorsehen eines ersten Schwellenwertes, der im wesentlichen nahe an, jedoch nicht über "1" liegt, und eines zweiten Schwellenwertes umfaßt, der im wesentlichen nahe an, jedoch nicht unter "0" liegt, und wobei festgestellt wird, daß, wenn der Ausgangswert eines Neurons den ersten Schwellenwert übersteigt, die zu dem Neuron gehörende Punktpaarkombination übereinstimmt, und daß, wenn der Ausgangswert eines Neurons den zweiten Schwellenwert nicht übersteigt, die zu dem Neuron gehörende Punktpaarkombinat ion nicht übereinstimmt.

5. Gegenstands-Erkennungssystem zum Erkennen der Lage eines Gegenstandes in einer Abbildung durch Bildverarbeitung, mit

einer ersten Einrichtung (5) zum Extrahieren einer ersten Gruppe von charakteristischen Punkten qi, wobei i eine ganze Zahl zwischen 1 und n ist und die erste Gruppe von charakteristischen Punkten einer Gruppe von n Punkten entspricht, die den Gegenstand in der Abbildung repräsentieren, in einem K-dimensionalen Raum, wobei n eine ganze Zahl gleich 2 oder mehr und K eine ganze Zahl gleich 2 oder mehr ist;

einer zweiten Einrichtung (13) zum vorhergehenden Speichern einer zweiten Gruppe von charakteristischen Punkten pj, wobei j eine ganze Zahl zwischen 1 und n ist und die zweite Gruppe von charakteristischen Punkten einer Gruppe von n Punkten entspricht, die ein dem Gegenstand entsprechendes Modell repräsentieren, im gleichen Raum wie dem K- dimensionalen Raum, und von Attributdaten (16) für die zweite Gruppe von charakteristischen Punkten;

einem neuronalen Netzwerk (14) mit einer Anzahl von Neuronen, wobei für jeweils eine der Punktpaarkombinationen aus der ersten Gruppe von charakteristischen Punkten und der zweiten Gruppe von charakteristischen Punkten ein Neuron vorgesehen ist und die Neuronen miteinander so verbunden sind, daß jedes Neuron Daten erhält, die gemäß dem Summenwert der gewichteten Ausgangswerte der anderen Neuronen variieren;

einer dritten Einrichtung (15) zum Auslesen eines Ausgangswertes aus jedem Neuron und zum Festlegen, daß, wenn der Ausgangswert des Neurons im wesentlichen "1" ist, die zum Neuron gehörende Punktpaarkombination übereinstimmt, während, wenn der Ausgangswert des Neurons im wesentlichen "0" ist, die zum Neuron gehörende Punktpaarkombination nicht übereinstimmt; und mit

einer vierten Einrichtung (15) zum Auslesen, aus der zweiten Einrichtung, der Attributdaten der zweiten Gruppe von charakteristischen Punkten entsprechend der Punktpaarkombination, die von der dritten Einrichtung als übereinstimmend bestimmt wurden;

wobei das System dadurch gekennzeichnet ist, daß die minimale Gesamtenergie die Summe aus der ersten Energie und einer zweiten Energie ist, die so definiert ist, daß im Sinne der kleinsten Quadrate der Übereinstimmungsfehler minimal ist, wenn die erste Gruppe von Punkten mit der zweiten Gruppe von Punkten insgesamt in einem 1:1-Verhältnis übereinstimmt, wobei die zweite Energie eine Aufwandsenergie ist, die so definiert ist, daß, wenn die erste Gruppe von Punkten bezüglich der zweiten Gruppe von Punkten einer linearen Transformation unterworfen wird, die zweite Energie E&sub2; gegeben ist zu

wobei

V das Ausgangssignal eines Neurons ist,

n' eine ganze Zahl ist mit n' ≥ 1,

p, q ganze Zahlen zwischen 1 und K sind und

die affinen Transformationskoeffizienten al1, al2, al3, ..., akk und c&sub1;, c&sub2;, c&sub3;, ... , ck die folgenden K Sätze von Gleichungen erfüllen:

6. Gegenstands-Erkennungssystem zum Erkennen der Lage eines Gegenstandes in einer Abbildung durch Bildverarbeitung, mit

einer ersten Einrichtung (5) zum Extrahieren einer ersten Gruppe von charakteristischen Punkten qi, wobei i eine ganze Zahl zwischen 1 und n ist und die erste Gruppe von charakteristischen Punkten einer Gruppe von n Punkten entspricht, die den Gegenstand in der Abbildung repräsentieren, in einem zweidimensionalen Raum, wobei n eine ganze Zahl gleich 2 oder mehr ist;

einer zweiten Einrichtung (13) zum vorhergehenden Speichern einer zweiten Gruppe von charakteristischen Punkten wobei j eine ganze Zahl zwischen 1 und n ist und die zweite Gruppe von charakteristischen Punkten einer Gruppe von n Punkten entspricht, die ein dem Gegenstand entsprechendes Modell repräsentieren, im gleichen Raum wie dem zweidimensionalen Raum, und von Attributdaten (16) für die zweite Gruppe von charakteristischen Punkten;

wobei

die Koordinaten der zweiten Gruppe von Punkten pi und die Koordinaten der ersten Gruppe von Punkten qi durch Xj, Yj bzw. xi, yi ausgedrückt werden,

V das Ausgangssignal eines Neurons ist,

n' eine ganze Zahl ist mit n' ≥ 1, und

7. Gegenstands-Erkennungssystem nach Anspruch 5 oder Anspruch 6, wobei das neuronale Netzwerk (14) ein neuronales Netzwerk des Hopfield-Typs ist.

8. Gegenstands-Erkennungssystem nach einem der Ansprüche 5 bis 7, wobei die dritte Einrichtung (15) einen ersten Schwellenwert, der im wesentlichen nahe an, jedoch nicht über "1" liegt, und einen zweiten Schwellenwert vorsieht, der im wesentlichen nahe an, jedoch nicht unter "0" liegt, und wobei festgestellt wird, daß, wenn der Ausgangswert eines Neurons den ersten Schwellenwert übersteigt, die zu dem Neuron gehörende Punktpaarkombination übereinstimmt, und daß, wenn der Ausgangswert eines Neurons den zweiten Schwellenwert nicht übersteigt, die zu dem Neuron gehörende Punktpaarkombination nicht übereinstimmt.