DE19502554C2 - Lernverfahren für ein Objekterkennungsgerät, Objekterkennungsverfahren und -gerät, sowie Verfahren und Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung - Google Patents

Lernverfahren für ein Objekterkennungsgerät, Objekterkennungsverfahren und -gerät, sowie Verfahren und Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung

Info

Publication number
DE19502554C2
DE19502554C2 DE19502554A DE19502554A DE19502554C2 DE 19502554 C2 DE19502554 C2 DE 19502554C2 DE 19502554 A DE19502554 A DE 19502554A DE 19502554 A DE19502554 A DE 19502554A DE 19502554 C2 DE19502554 C2 DE 19502554C2
Authority
DE
Germany
Prior art keywords
intermediate representation
information
neural network
transformed
object recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19502554A
Other languages
English (en)
Other versions
DE19502554A1 (de
Inventor
Minoru Sekiguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of DE19502554A1 publication Critical patent/DE19502554A1/de
Application granted granted Critical
Publication of DE19502554C2 publication Critical patent/DE19502554C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Description

Die vorliegende Erfindung betrifft ein Lernverfahren und ein Objekterkennungs­ verfahren eines Objekterkennungsgerätes, sowie ein Objekterkennungsgerät zum Transformieren einer ungenauen Information oder einer großen Informationsmenge in eine komprimierte und kompakte Information, die es ermöglichen, auf der Basis ,transformierter Informationen Rückschlüsse zu ziehen oder Feststellung zu treffen. Die Erfindung betrifft ferner ein Verfahren und eine Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung, die ein Zielobjekt betrifft.
Zur genaueren Erläuterung des der vorliegenden Erfindung zugrundeliegenden Problems werden im folgenden zunächst übliche Verfahrensabläufe und die mit ihnen verbundenen Anforderungen beschrieben.
Um ein bestimmtes Konzept auszudrücken, verwendet man im allgemeinen entweder ungenaue Informationen oder eine große Informationsmenge. Es sei angenommen, daß an einen Roboter die Anweisung gegeben wird: "Ergreife einen Apfel". Zur Ausführung dieser Anweisung müssen Informationen verarbeitet werden, die das Konzept "Äpfel" repräsentieren. Um das Konzept "Äpfel" auszudrücken, benutzen herkömmliche Lernverfahren von Objekterkennungsgeräten Informationen, die ent­ sprechende Attribute, wie Farbe, Form, Gewicht, Material und Zweck darstellen. Obwohl die Äpfel bezüglich Farbe, Form und anderer Attribute voneinander abweichen können, müssen die Äpfel betreffenden Informationen in einer Kategorie "Äpfel" klassifiziert werden.
Bei einem Verfahren zur Mitteilung dieser Informationen können Informationen verwendet werden, die angeben, daß die Farbe rot und das Gewicht klein ist. Was diese Zustandsinformationen betrifft, so ist die Informationsmenge zwar begrenzt, ihre Inhalte sind jedoch ungenau. Da einige Informationen fehlen können, ist es schwierig, ein Konzept auf der Basis solcher ungenauen Informationen genau aufzubauen. Wenn ungenaue Zustandsinformationen verwendet werden, entsprechen die von einem Menschen bewußt hergeleiteten Wissensinformationen diesen Informationen nicht exakt. Eine zuverlässige Informationsverarbeitung, wie das Ziehen von Rückschlüssen und das Treffen von Entscheidungen, zur Ausführung der obigen Arbeitsanweisung ist nicht möglich.
Bei einem anderen Verfahren zur Informationsmitteilung verwendet man Informationen, die einen Wert repräsentieren, der die einzelnen Attribute, wie Farbe, Gewicht, Material und Zweck, spezifiziert (z. B. wird die Masseninformation von "Äpfeln" in der Form XX g bis YY g dargestellt). Mit dieser Art von Information läßt sich zwar die Ungenauigkeit beseitigen, die zu bearbeitende Informationsmenge ist jedoch ungeheuer groß. Die Verarbeitung einer derart großen Informationsmenge ist zeitaufwendig und deshalb unpraktisch. Deswegen ist es erforderlich aus einer großen Informationsmenge nur die wirklich benötigten Informationen zu extrahieren und diese zu komprimieren.
Wenn eine Arbeitsanweisung mit dem Inhalt "Ergreife einen Apfel" gegeben wird, müssen die Informationen, die auf Wissensinformationen basieren, die von einem Menschen bewußt aus dem Konzept "Äpfel" abgeleitet werden, mit Informationen in Einklang stehen, die auf Zustandsinformationen basieren, die ein Roboter von einem Apfel gewinnt. Wenn die beiden Informationen nicht konsistent sind, ist eine anschließende Informationsverarbeitung, z. B. ein zuverlässiges Ziehen von Rück­ schlüssen oder Treffen von Entscheidungen, nicht möglich.
Verfahren und Vorrichtungen, die die vorangehend beschriebenen Anforderungen erfüllen, wurden bisher noch nicht vorgeschlagen.
Aus der DE 43 17 372 A1 ist beispielsweise lediglich ein akustisches und visuelles Spracherkennungssystem bekannt, bei dem die Zwischendarstellungen zweier neuronaler Netze miteinander verschmolzen werden. Weiter offenbart zum Beispiel die DE 41 00 500 A1 ein Objekterkennungsverfahren, das neuronale Netze verwendet, die zuvor trainiert wurden, und das auch Wissensinformationen über die Zielobjekte benutzt.
Ausgehend von dem vorgenannten Stand der Technik und der oben geschilderten Problematik ist es eine Aufgabe der vorliegenden Erfindung, ein Lernverfahren eines Objekterkennungsgerätes, ein Objekterkennungsverfahren, sowie ein Objekterkennungs­ gerät bereitzustellen, die in der Lage sind, so verschiedene Dinge wie mit Sensoren erfasste Zustandsinformationen und Konzepte aus menschlichen Wissensinformationen zu vergleichen. Die Verfahren und Vorrichtungen sollen weiter in der Lage sein, trotz der Ungenauigkeit oder der Menge der Informationen zuverlässige und rasche Rückschlüsse oder Entscheidungen zu ermöglichen.
Weiter ist es eine Aufgabe der vorliegenden Erfindung, auch ein Verfahren und eine Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung bereitzustellen, welche das erfindungsgemäße Lernverfahren bzw. das erfindungsgemäße Objekt­ erkennungsgerät benutzen.
Die erfindungsgemäßen Mittel zur Lösung dieser Aufgaben sind in den Patentansprüchen angegeben.
Bei dem Lernverfahren eines Objekterkennungsgerätes transformiert ein erstes neuronales Netz die von einem bestimmten Objekt mittels einer Detektoreinrichtung erfassten Zustandsinformationen in eine erste Zwischendarstellung, und ein zweites neuronales Netz transformiert eingegebene Wissensinformationen über das Objekt, die ein Mensch aus einem Konzept ableitet, in eine zweite Zwischendarstellung. Die beiden Zwischendarstellungen werden miteinander verschmolzen, um eine gemeinsame Zwischendarstellung zu erzeugen. Die gemeinsame Zwischendarstellung wird als "Lehrsignal" an Ausgangseinheiten jedes der neuronalen Netze zurückgeführt, so daß die neuronalen Netze auf der Basis eines "Rückausbreitungsgesetzes" trainiert werden.
Mit den so trainierten neuronalen Netzen werden im Objekterkennungsverfahren wiederum Zustandsinformationen und Wissensinformationen in Zwischendarstellungen transformiert. Diese beiden Zwischendarstellungen werden dann miteinander ver­ glichen, um eine Übereinstimmung zwischen dem durch die Zustandsinformationen repräsentierten Konzept und dem durch die Wissensinformationen repräsentierten Konzept festzustellen.
Die beiden neuronalen Netze und die Zwischendarstellungen können auch im Rahmen einer Objekterkennung dazu benutzt werden, um Arbeitsanweisungen maschinell auszuführen.
In das erste neuronale Netz werden beispielsweise Zustandsinformationen eingegeben, die aus der Ausführung der Arbeitsanweisung durch einen Roboter resultieren. In das zweite neuronale Netz werden Wissensinformation eingegeben, die ein Konzept betreffen, das in der Arbeitsanwei­ sung spezifiziert wird. Falls die von den beiden neuronalen Netzen gelieferten Zwischendarstel­ lungen miteinander in Einklang stehen, läßt sich hieraus der Rückschluß ziehen, daß der Roboter die Arbeit exakt ausgeführt hat.
Die oben genannten Ziele und Merkmale der vorliegenden Erfindung werden in der folgenden Beschreibung eines bevorzugten Ausführungsbeispiels anhand der anliegenden Zeichnungen weiter verdeutlicht.
Fig. 1 zeigt ein Blockdiagramm der Gesamtkonfiguration eines Ausführungsbeispiels der Erfindung,
Fig. 2 zeigt Einzelheiten der Schaltung zur Transformierung von Zustandsinformationen in eine Zwischendarstellung gemäß der Erfindung,
Fig. 3 zeigt Einzelheiten der Schaltung zur Transformierung von Wissensinformationen in eine Zwischendarstellung gemäß der Erfindung,
Fig. 4 zeigt eine Bitkonfiguration der Farbinformation gemäß vorliegender Erfindung,
Fig. 5 zeigt eine Bitkonfiguration der einzelnen Zwischendarstellungen gemäß vorliegen­ der Erfindung,
Fig. 6 und 7 zeigen ein Beispiel, bei dem die vorliegende Erfindung als Objekterkennung imple­ mentiert ist, die von einem Roboter durchgeführt wird,
Fig. 8 zeigt einen Prozeß zur inversen Transformierung einer gemeinsamen Zwischendar­ stellung in Wissensinformationen gemäß vorliegender Erfindung.
Unter Bezugnahme auf die Zeichnungen sei ein Ausführungsbeispiel der Erfindung beschrieben.
Fig. 1 zeigt die Gesamtkonfiguration eines Ausführungsbeispiels der vorliegenden Erfindung.
In Fig. 1 ist ein einem bestimmten Konzept entsprechendes Objekt, z. B. ein Apfel, mit 11 be­ zeichnet. Mit 12 ist eine Detektoreinrichtung zur Erfassung von Zustandsinformationen, bei­ spielsweise ein Sensor in einem Roboter, bezeichnet. Mit 13 ist eine erste Informations-Trans­ formationseinrichtung zum Transformieren der von der Zustandsinformations-Detektoreinrich­ tung gelieferten Zustandsinformationen in eine Zwischendarstellung bezeichnet. Diese erste In­ formations-Transformationseinrichtung 13 ist ein lernfähiges System in Form eines neuronalen Netzes. Mit 14 ist eine erste Zwischendarstellung bezeichnet, die aus der von der ersten Informations- Transformationseinrichtung 13 durchgeführten Transformierung resultiert.
Mit 22 sind Wissensinformationen bezeichnet, die ein Mensch aus dem Konzept "Äpfel" ableitet. Mit 23 ist eine zweite Informations-Transformationseinrichtung bezeichnet, die die eingegebenen Wissensinformationen 22 in eine Zwischendarstellung transformiert. Die zweite Informations- Transformationseinrichtung 23 ist ein lernfähiges System ebenfalls in Form eines neuronalen Netzes. Mit 24 ist ei­ ne zweite Zwischendarstellung bezeichnet, die sich aus einer von der zweiten Informations- Transformationseinrichtung 23 durchgeführten Transformierung ergibt. Mit 26 ist eine Verschmel­ zungseinrichtung bezeichnet, die die erste Zwischendarstellung 14 und die zweite Zwischendar­ stellung 24 verschmilzt, um eine neue gemeinsame Zwischendarstellung zu erzeugen. Mit 27 ist eine die der Verschmelzungseinrichtung 26 erzeugte gemeinsame Zwischendarstellung bezeich­ net.
In Fig. 2 ist die Schaltung zur Erzeugung einer ersten Zwischendarstellung unter Benutzung der Zustandsinformationen detailliert dargestellt.
Zur Detektierung der Zustände des Objekts 11 stehen ein Farbsensor 12A, ein Formsensor 12B, ein Massensensor 12C und weitere Sensoren 12D zur Verfügung. Der Farbsensor 12A besteht aus einem Fotosensor zur Messung des spektralen Reflexionsvermögens oder dgl. und einem A/D-Wandler. Der Fotosensor detektiert die Wellenlänge des von dem Objekt reflektieren Lichts, und der A/D-Wandler liefert eine Farbinformation in Form einer digitalen 4-Bit-Information. Der Formsensor 12B besteht aus einer Bildaufnahmevorrichtung, z. B. einer Kamera, und einer Bild­ verarbeitungseinrichtung. Die Bildaufnahmevorrichtung detektiert die Form des Objekts 11, und die Bildverarbeitungseinrichtung klassifiziert die Form in einem 4-Bit-Formmuster. Ähnlich be­ steht der Massensensor 12C aus einer Einrichtung zur Messung einer Masse und einem A/D- Wandler. Die gemessene Masse des Objekts 11 wird in eine 4-Bit-Masseninformation umge­ setzt.
Die Informations-Transformationseinrichtung 13 ist als neuronales Netz realisiert. Dieses besitzt Eingabeeinheiten 131A bis 131 D, eine Zwischeneinheit 132 und eine Ausgabeeinheit 133.
Die von den einzelnen Sensoren 12A bis 12D gelieferten 4-Bit-Zustandsinformationen werden den einzelnen Eingabeeinheiten 131A bis 131D des ersten neuronalen Netzes 13 zugeführt. Das neuronale Netz 13 transformiert diese Zustandsinformationen in eine erste 8-Bit-Zwischendar­ stellung 14.
Fig. 3 zeigt eine detailliertere Darstellung der Schaltung zur Erzeugung einer zweiten Zwischen­ darstellung unter Verwendung der Wissensinformation.
Für das in Fig. 2 dargestellte Objekt werden farbbezogene Wissensinformationen 22A, formbe­ zogene Wissensinformationen 22B, massenbezogene Wissensinformationen 22C sowie weitere Wissensinformationen 22D verfügbar gemacht. Diese Arten von Wissensinformationen werden nach Quantitäten von Eigenschaften eines Objekts spezifiziert, die aus dem Wissen abgeleitet werden, so daß das Wissen leicht klassifiziert werden kann. Wenn das Objekt 11 z. B. ein Apfel ist, werden die Wissensinformationen folgendermaßen spezifiziert: "der Apfel ist rot, seine Form ist rund, und seine Masse beträgt 100 g".
Die Wissensinformation wird in Form einer 4-Bit-Information für jedes Attribut mitgeteilt. Wenn beispielsweise die farbbezogene Wissensinformation mit 4 Bit dargestellt wird, werden Bit- Kombinationen festgelegt, wie sie in Fig. 4 aufgelistet sind. D. h.: 0000 wird als Schwarz und 0001 als Rot (dunkel) festgelegt. 0010 wird als Blau (dunkel) festgelegt und 1110 als Hellblau (hell). 1111 wird als Weiß festgelegt. Bei der formbezogenen Wissensinformation wird z. B. 0001 als runde Form, 0010 als dreieckige Form und 0100 als quadratische Form festgelegt. Die Masse und weitere Eigenschaften werden nach Quantitäten der Eigenschaften spezifiziert, die aus dem Wissen abgeleitet sind.
Die Wissensinformationen 22A bis 22D werden in das neuronale Netz 23 eingegeben, das die zweite Informations-Transformationseinrichtung bildet. Das zweite neuronale Netz 23 besitzt Eingabeeinheiten 231A bis 231 D, eine Zwischeneinheit 232 und eine Ausgabeeinheit 233. Das neuronale Netz 23 transformiert die eingegebene Wissensinformation in eine zweite 8-Bit-Zwi­ schendarstellung 24.
Als nächstes sei die Wirkungsweise der in Fig. 1 dargestellten Schaltung beschrieben.
Es sei angenommen, daß weder das erste noch das zweite neuronale Netz bereits trainiert sind und als Objekt 11 ein Apfel ausgewählt wird. Die Sensoren 12A bis 12D detektieren die den Ap­ fel betreffenden Zustandsinformationen und führen diese dem ersten neuronalen Netz 13 zu. Die Wissensinformationen 22A bis 22D, die Äpfel betreffen, werden in das zweite neuronale Netz 23 eingegeben. Das erste neuronale Netz 13 transformiert die Zustandsinformationen in die erste Zwischendarstellung 14. Das zweite neuronale Netz 23 transformiert die Wissensinformationen 22 in die zweite Zwischendarstellung 24. Die erste Zwischendarstellung 14 und die zweite Zwi­ schendarstellung 24 können entweder identisch sein oder sich voneinander unterscheiden. Mit anderen Worten, die auf der Zustandsinformation basierende Zwischendarstellung und die auf der Wissensinformation basierende Zwischendarstellung, die beide dasselbe Objekt 11 betref­ fen, können sich voneinander unterscheiden.
Die Verschmelzungseinrichtung 26 verarbeitet die erste und die zweite Zwischendarstellung 14 und 24 und erzeugt eine gemeinsame Zwischendarstellung, indem sie die UND- oder ODER-Ver­ knüpfungen der ersten und der zweiten Zwischendarstellung 14 und 24 berechnet oder indem sie in Abhängigkeit von den Wahrscheinlichkeiten aus jedem Bitpaar der ersten und zweiten Zwi­ schendarstellung 14 und 24 eines auswählt. Fig. 5 zeigt, daß eine gemeinsame Zwischendarstel­ lung 27 durch bitweise Berechnung der ODER-Verknüpfung der ersten und zweiten Zwischen­ darstellung 14 und 24 erzeugt wird.
Als nächstes wird die von der Verschmelzungseinrichtung 26 erzeugte gemeinsame Zwischen­ darstellung den Ausgabeeinheiten 133 und 233 des ersten bzw. zweiten neuronalen Netzes 13 bzw. 23 als Lehrsignal zugeführt. Das erste und das zweite neuronale Netz 13 und 23 werden auf der Basis eines Rückausbreitungsgesetzes trainiert.
Wenn anschließend Zustandsinformationen, die ein gelerntes Konzept betrifft, in das erste neu­ ronale Netz 13 und eine Wissensinformation, die dasselbe Konzept betrifft, in das zweite neuro­ nale Netz eingegeben werden, geben beide neuronalen Netze die gleiche Zwischendarstellung aus.
Es wurde der Fall betrachtet, daß eine Zustandsinformation und eine Wissensinformation zur Er­ zeugung einer gemeinsamen Zwischendarstellung benutzt werden. Die vorliegende Erfindung ist auch auf den Fall anwendbar, daß eine Mehrzahl von Zustandsinformationen und eine Wissensin­ formation zur Erzeugung einer gemeinsamen Zwischendarstellung verwendet werden.
So fällt beispielsweise unter das Konzept "Äpfel" auch eine andere Apfelart mit abweichender Farbe, Form und Gewicht. Zur Erzeugung einer gemeinsamen Zwischendarstellung für alle Arten von Äpfeln mit unterschiedlichen Attributen werden das erste und das zweite neuronale Netz 13 und 23 unter Benutzung der den ersten Apfel betreffenden Zustandsinformation und der zugehö­ rigen Wissensinformation trainiert. Zustandsinformationen, die den zweiten Apfel betreffen, des­ sen Attribute sich von denen des ersten Apfels unterscheiden, werden in das erste neuronale Netz 13 eingegeben. Das zweite neuronale Netz 23 gibt zu dieser Zeit dieselbe Wissensinforma­ tion ein wie diejenige, die den ersten Apfel betrifft. Das erste neuronale Netz 13 liefert eine Zwi­ schendarstellung auf der Basis der Zustandsinformation, die den zweiten Apfel betrifft. Das zwei­ te neuronale Netz 23 liefert eine gemeinsame Zwischendarstellung, die zuvor erzeugt wurde. Die Verschmelzungseinrichtung 26 produziert eine neue gemeinsame Zwischendarstellung, wobei sie diese beiden Zwischendarstellungen verwendet. Auf der Basis der neuen gemeinsamen Zwi­ schendarstellung werden das erste und das zweite neuronale Netz 13 und 23 trainiert. Anschlie­ ßend wird die beschriebene Prozedur über eine geforderte Anzahl von Äpfeln mit unterschiedli­ chen Attributen wiederholt.
Wenn anschließend eine Zustandsinformation, die einen Apfel mit abweichenden Attributen, ein­ schließlich Farbe und Form, in das erste neuronale Netz eingegeben wird, wird die Information solange in dieselbe gemeinsame Zwischendarstellung transformiert, wie die Information einen Apfel betrifft.
Gemäß vorliegender Erfindung können unterschiedliche Zwischendarstellungen erzeugt werden, um eine Vielzahl unterschiedlicher Konzepte aufzubauen, die Äpfel, Orangen usw. umfassen.
Es sei angenommen, daß in der in Fig. 1 dargestellten Schaltung in der oben beschriebenen Weise "Äpfel" gelernt wurden. In diesem Stadium werde die von einer Orange gewonnene Zu­ standsinformation in das erste neuronale Netz 13 und die von Orangen abgeleitete Wissensin­ formation in das zweite neuronale Netz 23 eingegeben. Die nachfolgende Prozedur ist identisch mit derjenigen, die in Verbindung mit Fig. 1 beschrieben wurde. Auf diese Weise wird eine ge­ meinsame Zwischendarstellung von Orangen erzeugt.
Fig. 6 und 7 zeigen ein Beispiel, bei dem die vorliegende Erfindung in die von einem Roboter durchgeführte Objekterkennung implementiert ist.
In Fig. 6 bezeichnet 31 eine Arbeitsanweisung, die ein Mensch in einen Roboter eingibt, z. B. den Befehl "Ergreife einen Apfel". Mit 32 ist ein Befehlsinterpreter zur Interpretierung einer Arbeits­ anweisung bezeichnet. Mit 33 ist Wissen bezeichnet, das von dem Befehlsinterpreter 32 gelie­ fert wird, z. B.: "ein Apfel". Mit 22A und 22B sind Wissensinformationen bezeichnet, die von Bits repräsentiert werden und in Verbindung mit der Information 33 eines Apfels gespeichert sind, z. B. "rot (dunkel)" und "rund". Mit 23 ist das zweite neuronale Netz bezeichnet, das dazu dient, die Wissensinformation 32A und 32B in eine Zwischendarstellung zu transformieren. Das zweite neuronale Netz wurde in der oben beschriebenen Weise trainiert. Mit 24 ist eine von dem zwei­ ten neuronalen Netz 23 gelieferte zweite Zwischendarstellung bezeichnet, mit 37 eine weiter un­ ten näher beschriebene Vergleichereinrichtung, die die zweite Zwischendarstellung 24 mit der ersten Zwischendarstellung 14 vergleicht, um festzustellen, ob die beiden Darstellungen mitein­ ander vereinbar sind.
In Fig. 7 bezeichnet 41 einen Roboter. Mit 41A ist ein Sensor zur Gewinnung von Zustandsinfor­ mationen bezeichnet, mit 42A und 42B die von dem Sensor 41A gewonnenen Zustandsinforma­ tionen, z. B. eine Farbinformation und eine Forminformation. Mit 13 ist ein erstes neuronales Netz bezeichnet, das dazu dient die Zustandsinformationen 42A und 42B in eine Zwischendarstellung zu transformieren. Dieses erste neuronale Netz wurde in der oben beschriebenen Weise trai­ niert. Mit 44 ist eine von dem ersten neuronalen Netz 13 gelieferte erste Zwischendarstellung bezeichnet.
Als nächstes sei die Wirkungsweise der in Fig. 6 und 7 dargestellten Schaltung beschrieben.
Zunächst gibt ein Mensch die Arbeitsanweisung 31 ein: "Ergreife einen Apfel". Diese Anweisung 31 wird von dem Befehlsinterpreter 32 interpretiert und in zwei Informationsarten aufgeteilt: "ein Apfel" und "ergreife". Die Wissensinformationen 22A und 22B, die "rot (dunkel)" und "rund" in Form von Bits repräsentieren und in Verbindung mit dem Wissen 33 über einen Apfel gespeichert sind, werden in das zweite neuronale Netz 23 eingegeben. Das zweite neuronale Netz 23 liefert die zweite Zwischendarstellung 24, die der eingegebenen Information zugeordnet ist. Da das neuro­ nale Netz 23 trainiert wurde, ist die Zwischendarstellung 24 eine gemeinsame Zwischendarstel­ lung.
Auf der anderen Seite gewinnt der Sensor 41A des Roboters 41 von dem Objekt 11 Zustandsin­ formationen, einschließlich der Farbinformation 42A und der Forminformation 42B. Diese Zu­ standsinformationen 42A und 42B werden von dem ersten neuronalen Netz 13 in die erste Zwi­ schendarstellung 44 transformiert.
Die Vergleichereinrichtung 37 vergleicht die erste Zwischendarstellung 24 mit der zweiten Zwi­ schendarstellung 44. Wenn beide Darstellungen miteinander vereinbar sind, wird ein Vereinbar­ keitssignal abgegeben. Falls die Darstellungen nicht miteinander vereinbar sind, wird ein Unver­ einbarkeitssignal abgegeben. Wenn die Vergleichereinrichtung 37 kein Vereinbarkeitssignal ab­ gibt, ermöglicht der Roboter 41 dem Sensor 41A die Gewinnung von Zustandsinformationen aus den nachfolgenden Objekten, bis ein Vereinbarkeitssignal abgegeben wird. Wenn ein Vereinbar­ keitssignal abgegeben wird, bedeutet dies, daß es dem Roboter gelungen ist, "einen Apfel" zu finden. Der Roboter 41 führt dann die nächste Anweisung, nämlich das "Ergreifen" aus.
Gemäß vorliegender Erfindung kann ein Mensch dem Roboter 41, wie oben erwähnt, die Anwei­ sung geben, nach einem Apfel zu suchen, indem er lediglich eine ungenaue Arbeitsanweisung eingibt und sagt "Ergreife einen Apfel".
Bei dem vorangehend beschriebenen Ausführungsbeispiel wird eine große Speicherkapazität be­ nötigt, um alle Wissensinformationen zu speichern, die Konzepten zugeordnet sind. Wenn hinge­ gen allein die Zwischendarstellungen in Verbindung mit Konzepten gespeichert werden, benötigt man nur begrenzte Speicherkapazität. Wenn Wissensinformationen, die ein bestimmtes Konzept betreffen, benötigt werden, wird eine zugehörige Zwischendarstellung invers in Wissensinfor­ mationen transformiert. Auf diese Weise werden die benötigte Wissensinformationen zur Verfü­ gung gestellt. Die Benutzung der inversen Transformation ermöglicht die Transformierung einer Zwischendarstellung in eine Darstellung, die für einen Menschen verständlich ist.
Fig. 8 zeigt einen Prozeß zur inversen Transformierung einer Zwischendarstellung in eine Wis­ sensinformation, wie dies oben erwähnt wurde. In Fig. 8 bezeichnet 27 eine bereits erzeugte gemeinsame Zwischendarstellung. 28 bezeichnet eine Einrichtung zur Rückgewinnung von In­ formation. 22 bezeichnet die von der Einrichtung 28 zur Rückgewinnung von Information gelie­ ferte Wissensinformation. Die Einrichtung 28 zur Informationsrückgewinnung ist durch das in Fig. 1 und 3 dargestellte zweite neuronale Netz 23 realisiert. Die Ausgabeeinheit 233 in dem zweiten neuronalen Netz 23 dient als Eingabeeinheit für die Einrichtung 28 zur Informationsrück­ gewinnung, während die Eingabeeinheit 231 des zweiten neuronalen Netzes 23 als Ausgabeein­ heit für die Einrichtung 28 zur Informationsrückgewinnung verwendet wird.
Die inverse Informationstransformation ist erst dann möglich, wenn das Lernen in der in Fig. 1 und 3 dargestellten Schaltung durch die Verbindung einer Wissensinformation mit einer Zwi­ schendarstellung beendet ist. Es sei hier erwähnt, daß die in Fig. 8 dargestellte Schaltung keine korrekte Wissensinformation aus einer Zwischendarstellung herleiten kann, wenn eine Zwi­ schendarstellung mit zwei oder mehr Arten von Wissensinformation verknüpft ist.

Claims (6)

1. Lernverfahren eines Objekterkennungsgerätes, mit folgenden Verfahrensschritten:
man läßt eine Detektoreinrichtung (12) Zustandsinformationen eines Objektes (11) erfassen;
man läßt von einem ersten neuronalen Netz (13) die Zustandsinformationen in eine erste Zwischendarstellung (14) transformieren;
man läßt Wissensinformationen (22) über das Objekt (11) von einem zweiten neuronalen Netz (23) in eine zweite Zwischendarstellung (24) transformieren;
man verschmilzt die erste Zwischendarstellung (14) und zweite Zwischen­ darstellung (24), um eine gemeinsame Zwischendarstellung (27) zu erzeugen; und
man führt die gemeinsame Zwischendarstellung (27) dem ersten und zweiten neuronalen Netz (13, 23) als Lehrsignal zu, um das erste und zweite neuronale Netz zu trainieren.
2. Lernverfahren nach Anspruch 1, dadurch gekennzeichnet, daß in dem Verfahrensschritt der Verschmelzung die zwei Zwischendarstellungen einer ODER-Verknüpfung unterzogen werden, um die gemeinsame Zwischen­ darstellung (27) zu erzeugen.
3. Objekterkennungsverfahren, mit folgenden Verfahrensschritten:
man trainiert ein Objekterkennungsgerät mit dem Lernverfahren nach Anspruch 1 oder 2,
man läßt eine Detektoreinrichtung (12) Zustandsinformationen eines Objektes (11) erfassen;
man läßt die erfassten Zustandsinformationen von dem ersten trainierten neuronalen Netz (13) in eine dritte Zwischendarstellung (44) transformieren;
man läßt Wissensinformationen (22) über ein Zielobjekt von dem zweiten trainierten neuronalen Netz (23) in eine vierte Zwischendarstellung transformieren; und
man vergleicht die dritte Zwischendarstellung (44) mit der vierten Zwischendarstellung und stellt fest, ob sie übereinstimmen.
4. Verfahren zur maschinellen Ausführung einer Arbeitsanweisung, die ein Zielobjekt betrifft, mit folgenden Verfahrensschritten:
man trainiert ein Objekterkennungsgerät mit dem Lernverfahren nach Anspruch 1 oder 2,
man gibt eine Arbeitsanweisung (31) ein;
man interpretiert die eingegebene Arbeitsanweisung (31) und teilt sie in Informationseinheiten auf;
man gewinnt aus den Informationseinheiten Wissensinformationen (22A bis 22D) wieder, die das Zielobjekt betreffen;
man läßt diese Wissensinformationen (22A bis 22D) von dem zweiten neuronalen Netz (23) in eine vierte Zwischendarstellung transformieren;
man läßt eine Detektoreinrichtung (12) Zustandsinformationen eines Objektes (11) erfassen;
man läßt diese Zustandsinformationen von dem ersten neuronalen Netz (13) in eine dritte Zwischendarstellung (44) transformieren; und
man vergleicht die dritte Zwischendarstellung (44) mit der vierten Zwischen­ darstellung und stellt fest, ob sie übereinstimmen.
5. Objekterkennungsgerät, mit
einem ersten neuronalen Netz (13) zum Transformieren eingegebener Zustands­ informationen eines Objektes (11) in eine erste Zwischendarstellung (14);
einem zweiten neuronalen Netz (23) zum Transformieren eingegebener Wissens­ informationen (22) über ein Objekt in eine zweite Zwischendarstellung (24);
einer Verschmelzungseinrichtung (26) zum Verschmelzen der ersten Zwischen­ darstellung (14) und der zweiten Zwischendarstellung (24), um eine gemeinsame Zwischendarstellung (27) zu erzeugen, wobei diese gemeinsame Zwischen­ darstellung (27) als Lehrsignal dem ersten und zweiten neuronalen Netz (13, 23) zuführbar ist, umso das erste und zweite neuronale Netz zu trainieren; und
einer Vergleichereinrichtung (26) zum Vergleichen einer dritten Zwischen­ darstellung (44), die von dem trainierten ersten neuronalen Netz (13) aus den Zustandsinformationen transformiert wurde, mit einer vierten Zwischendarstellung, die von dem trainierten zweiten neuronalen Netz (23) aus den Wissens­ informationen (22) transformiert wurde, und zum Entscheiden, ob sie überein­ stimmen.
6. Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung, die ein Zielobjekt betrifft, mit einem Objekterkennungsgerät nach Anspruch 5, gekennzeichnet durch
einen Befehlsinterpreter (32) zum Interpretieren einer eingegebenen Arbeits­ anweisung (31) und zum Aufteilen der Arbeitsanweisung in Informationseinheiten; und
eine Einrichtung zum Wiedergewinnen von Wissensinformationen aus den Informationseinheiten, die das Zielobjekt betreffen.
DE19502554A 1994-02-28 1995-01-27 Lernverfahren für ein Objekterkennungsgerät, Objekterkennungsverfahren und -gerät, sowie Verfahren und Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung Expired - Fee Related DE19502554C2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02943594A JP3633642B2 (ja) 1994-02-28 1994-02-28 情報の処理装置

Publications (2)

Publication Number Publication Date
DE19502554A1 DE19502554A1 (de) 1995-08-31
DE19502554C2 true DE19502554C2 (de) 1999-07-01

Family

ID=12276067

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19502554A Expired - Fee Related DE19502554C2 (de) 1994-02-28 1995-01-27 Lernverfahren für ein Objekterkennungsgerät, Objekterkennungsverfahren und -gerät, sowie Verfahren und Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung

Country Status (3)

Country Link
US (1) US5845050A (de)
JP (1) JP3633642B2 (de)
DE (1) DE19502554C2 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038567A (en) * 1998-02-19 2000-03-14 Microsoft Corporation Method and system for propagating object properties in a desktop publishing program
US6272396B1 (en) * 1998-02-20 2001-08-07 Tairob Industrial Technology Ltd. Method for applying knowledge from a skilled worker via a master expert machine to a slave expert machine for repetitive tasks
WO2006005669A2 (de) * 2004-07-09 2006-01-19 Siemens Aktiengesellschaft System zur informationsextraktion und/oder informationsbewertung
US8156147B1 (en) 2007-02-06 2012-04-10 The Mathworks, Inc. Sharing of instructions across model boundaries
US20090132088A1 (en) * 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
US9052710B1 (en) * 2009-03-20 2015-06-09 Exelis Inc. Manipulation control based upon mimic of human gestures
WO2010122445A1 (en) * 2009-04-23 2010-10-28 Koninklijke Philips Electronics N.V. Object-learning robot and method
JP5516610B2 (ja) * 2012-01-19 2014-06-11 株式会社安川電機 ロボット、ロボットハンドおよびロボットハンドの保持位置調整方法
US10456910B2 (en) * 2016-01-14 2019-10-29 Purdue Research Foundation Educational systems comprising programmable controllers and methods of teaching therewith
US11420325B2 (en) * 2018-03-05 2022-08-23 Omron Corporation Method, apparatus and system for controlling a robot, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0246517A1 (de) * 1986-05-20 1987-11-25 Nippon Kokan Kabushiki Kaisha Verfahren zur Steuerung des Betriebs eines Hochofens
US5099436A (en) * 1988-11-03 1992-03-24 Allied-Signal Inc. Methods and apparatus for performing system fault diagnosis
DE4100500A1 (de) * 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren
DE4317372A1 (de) * 1992-05-26 1993-12-02 Ricoh Kk Ein akustisches und visuelles Spracherkennungssystem auf der Basis eines Neural-Netzwerkes

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH087789B2 (ja) * 1988-08-15 1996-01-29 工業技術院長 パターン連想記憶方法および装置
US5093899A (en) * 1988-09-17 1992-03-03 Sony Corporation Neural network with normalized learning constant for high-speed stable learning
US5005147A (en) * 1988-12-30 1991-04-02 The United States Of America As Represented By The Administrator, The National Aeronautics And Space Administration Method and apparatus for sensor fusion
US5144685A (en) * 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
JPH03189856A (ja) * 1989-12-20 1991-08-19 Fujitsu Ltd 外部評価基準の学習方式
US5299284A (en) * 1990-04-09 1994-03-29 Arizona Board Of Regents, Acting On Behalf Of Arizona State University Pattern classification using linear programming
FR2661265B1 (fr) * 1990-04-24 1994-07-29 Thomson Csf Systeme neuronal de classification et procede de classification utilisant un tel systeme.
JPH04227507A (ja) * 1990-07-02 1992-08-17 Nec Corp 移動ロボット用のマップを作成し保持する方法
US5276772A (en) * 1991-01-31 1994-01-04 Ail Systems, Inc. Real time adaptive probabilistic neural network system and method for data sorting
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
JP2635836B2 (ja) * 1991-02-28 1997-07-30 株式会社東芝 全自動洗濯機
US5303330A (en) * 1991-06-03 1994-04-12 Bell Communications Research, Inc. Hybrid multi-layer neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0246517A1 (de) * 1986-05-20 1987-11-25 Nippon Kokan Kabushiki Kaisha Verfahren zur Steuerung des Betriebs eines Hochofens
US5099436A (en) * 1988-11-03 1992-03-24 Allied-Signal Inc. Methods and apparatus for performing system fault diagnosis
DE4100500A1 (de) * 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren
DE4317372A1 (de) * 1992-05-26 1993-12-02 Ricoh Kk Ein akustisches und visuelles Spracherkennungssystem auf der Basis eines Neural-Netzwerkes

Also Published As

Publication number Publication date
DE19502554A1 (de) 1995-08-31
US5845050A (en) 1998-12-01
JP3633642B2 (ja) 2005-03-30
JPH07239785A (ja) 1995-09-12

Similar Documents

Publication Publication Date Title
DE69131687T2 (de) Verfahren zur Ressourcenverteilung und -planung, und System dafür
DE68924822T2 (de) Signalverarbeitungssystem und Lernverarbeitungssystem.
DE102006008482B4 (de) Eingangsvektorbildungsverfahren bei neuronalen Netzwerken zur Auto-Identifikation einer partiellen Entladungsquelle
DE68926702T2 (de) Bildverarbeitungsgerät
DE102018128531A1 (de) System und Verfahren zum Analysieren einer durch eine Punktwolke dargestellten dreidimensionalen Umgebung durch tiefes Lernen
WO2020049154A1 (de) Verfahren und vorrichtung zur klassifizierung von objekten
DE102019127282A1 (de) System und Verfahren zum Analysieren einer dreidimensionalen Umgebung durch tiefes Lernen
DE102017211331A1 (de) Bildauswertung mit zielgerichteter Vorverarbeitung
DE19502554C2 (de) Lernverfahren für ein Objekterkennungsgerät, Objekterkennungsverfahren und -gerät, sowie Verfahren und Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung
DE2946360A1 (de) Mustererkennungsverfahren
DE2820645A1 (de) Vorrichtung und verfahren zur spracherkennung
DE102018102688A1 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsprogramm und Bildverarbeitungssystem
DE69122356T2 (de) Verfahren und Gerät zur Mustererkennung unter Verwendung eines neuronalen Netzwerks
DE102019209644A1 (de) Verfahren zum Trainieren eines neuronalen Netzes
DE3938645C1 (de)
EP3785169A1 (de) Verfahren und vorrichtung zur umsetzung eines eingangsbildes einer ersten domäne in ein ausgangsbild einer zweiten domäne
EP4000010A1 (de) Vorrichtung und computerimplementiertes verfahren für die verarbeitung digitaler sensordaten und trainingsverfahren dafür
DE69602662T2 (de) Verfahren zur Beschleunigung der Ausführungsgeschwindigkeit von Neuronalnetzwerken für korrelierte Signalverarbeitung
EP3785178B1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes
DE2838185C2 (de) Korrelationseinrichtung in einem Radargerät zum Erfassen eines Radarsignals aus dem Rauschen
DE68928071T2 (de) Vorrichtung und Verfahren zum Erzeugen von Regeln für unscharfe Inferenz
DE69228337T2 (de) Erkennungs- und Beurteilungsgerät
DE68921292T2 (de) Sprechererkennungssystem.
DE2312356A1 (de) Verfahren und vorrichtung zur bestimmung der grundfrequenz von sprachsignalen
WO2019242968A1 (de) Recheneinheit, verfahren und computerprogramm zum multiplizieren zumindest zweier multiplikanden

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20120801