DE19502554C2 - Lernverfahren für ein Objekterkennungsgerät, Objekterkennungsverfahren und -gerät, sowie Verfahren und Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung - Google Patents
Lernverfahren für ein Objekterkennungsgerät, Objekterkennungsverfahren und -gerät, sowie Verfahren und Vorrichtung zur maschinellen Ausführung einer ArbeitsanweisungInfo
- Publication number
- DE19502554C2 DE19502554C2 DE19502554A DE19502554A DE19502554C2 DE 19502554 C2 DE19502554 C2 DE 19502554C2 DE 19502554 A DE19502554 A DE 19502554A DE 19502554 A DE19502554 A DE 19502554A DE 19502554 C2 DE19502554 C2 DE 19502554C2
- Authority
- DE
- Germany
- Prior art keywords
- intermediate representation
- information
- neural network
- transformed
- object recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Description
Die vorliegende Erfindung betrifft ein Lernverfahren und ein Objekterkennungs
verfahren eines Objekterkennungsgerätes, sowie ein Objekterkennungsgerät zum
Transformieren einer ungenauen Information oder einer großen Informationsmenge in
eine komprimierte und kompakte Information, die es ermöglichen, auf der Basis
,transformierter Informationen Rückschlüsse zu ziehen oder Feststellung zu treffen. Die
Erfindung betrifft ferner ein Verfahren und eine Vorrichtung zur maschinellen
Ausführung einer Arbeitsanweisung, die ein Zielobjekt betrifft.
Zur genaueren Erläuterung des der vorliegenden Erfindung zugrundeliegenden
Problems werden im folgenden zunächst übliche Verfahrensabläufe und die mit ihnen
verbundenen Anforderungen beschrieben.
Um ein bestimmtes Konzept auszudrücken, verwendet man im allgemeinen entweder
ungenaue Informationen oder eine große Informationsmenge. Es sei angenommen, daß
an einen Roboter die Anweisung gegeben wird: "Ergreife einen Apfel". Zur
Ausführung dieser Anweisung müssen Informationen verarbeitet werden, die das
Konzept "Äpfel" repräsentieren. Um das Konzept "Äpfel" auszudrücken, benutzen
herkömmliche Lernverfahren von Objekterkennungsgeräten Informationen, die ent
sprechende Attribute, wie Farbe, Form, Gewicht, Material und Zweck darstellen.
Obwohl die Äpfel bezüglich Farbe, Form und anderer Attribute voneinander abweichen
können, müssen die Äpfel betreffenden Informationen in einer Kategorie "Äpfel"
klassifiziert werden.
Bei einem Verfahren zur Mitteilung dieser Informationen können Informationen
verwendet werden, die angeben, daß die Farbe rot und das Gewicht klein ist. Was diese
Zustandsinformationen betrifft, so ist die Informationsmenge zwar begrenzt, ihre
Inhalte sind jedoch ungenau. Da einige Informationen fehlen können, ist es schwierig,
ein Konzept auf der Basis solcher ungenauen Informationen genau aufzubauen. Wenn
ungenaue Zustandsinformationen verwendet werden, entsprechen die von einem
Menschen bewußt hergeleiteten Wissensinformationen diesen Informationen nicht exakt.
Eine zuverlässige Informationsverarbeitung, wie das Ziehen von Rückschlüssen und das
Treffen von Entscheidungen, zur Ausführung der obigen Arbeitsanweisung ist nicht
möglich.
Bei einem anderen Verfahren zur Informationsmitteilung verwendet man Informationen,
die einen Wert repräsentieren, der die einzelnen Attribute, wie Farbe, Gewicht,
Material und Zweck, spezifiziert (z. B. wird die Masseninformation von "Äpfeln" in der
Form XX g bis YY g dargestellt). Mit dieser Art von Information läßt sich zwar die
Ungenauigkeit beseitigen, die zu bearbeitende Informationsmenge ist jedoch ungeheuer
groß. Die Verarbeitung einer derart großen Informationsmenge ist zeitaufwendig und
deshalb unpraktisch. Deswegen ist es erforderlich aus einer großen Informationsmenge
nur die wirklich benötigten Informationen zu extrahieren und diese zu komprimieren.
Wenn eine Arbeitsanweisung mit dem Inhalt "Ergreife einen Apfel" gegeben wird,
müssen die Informationen, die auf Wissensinformationen basieren, die von einem
Menschen bewußt aus dem Konzept "Äpfel" abgeleitet werden, mit Informationen in
Einklang stehen, die auf Zustandsinformationen basieren, die ein Roboter von einem
Apfel gewinnt. Wenn die beiden Informationen nicht konsistent sind, ist eine
anschließende Informationsverarbeitung, z. B. ein zuverlässiges Ziehen von Rück
schlüssen oder Treffen von Entscheidungen, nicht möglich.
Verfahren und Vorrichtungen, die die vorangehend beschriebenen Anforderungen
erfüllen, wurden bisher noch nicht vorgeschlagen.
Aus der DE 43 17 372 A1 ist beispielsweise lediglich ein akustisches und visuelles
Spracherkennungssystem bekannt, bei dem die Zwischendarstellungen zweier
neuronaler Netze miteinander verschmolzen werden. Weiter offenbart zum Beispiel die
DE 41 00 500 A1 ein Objekterkennungsverfahren, das neuronale Netze verwendet, die
zuvor trainiert wurden, und das auch Wissensinformationen über die Zielobjekte
benutzt.
Ausgehend von dem vorgenannten Stand der Technik und der oben geschilderten
Problematik ist es eine Aufgabe der vorliegenden Erfindung, ein Lernverfahren eines
Objekterkennungsgerätes, ein Objekterkennungsverfahren, sowie ein Objekterkennungs
gerät bereitzustellen, die in der Lage sind, so verschiedene Dinge wie mit Sensoren
erfasste Zustandsinformationen und Konzepte aus menschlichen Wissensinformationen
zu vergleichen. Die Verfahren und Vorrichtungen sollen weiter in der Lage sein, trotz
der Ungenauigkeit oder der Menge der Informationen zuverlässige und rasche
Rückschlüsse oder Entscheidungen zu ermöglichen.
Weiter ist es eine Aufgabe der vorliegenden Erfindung, auch ein Verfahren und eine
Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung bereitzustellen,
welche das erfindungsgemäße Lernverfahren bzw. das erfindungsgemäße Objekt
erkennungsgerät benutzen.
Die erfindungsgemäßen Mittel zur Lösung dieser Aufgaben sind in den Patentansprüchen
angegeben.
Bei dem Lernverfahren eines Objekterkennungsgerätes transformiert ein erstes
neuronales Netz die von einem bestimmten Objekt mittels einer Detektoreinrichtung
erfassten Zustandsinformationen in eine erste Zwischendarstellung, und ein zweites
neuronales Netz transformiert eingegebene Wissensinformationen über das Objekt, die
ein Mensch aus einem Konzept ableitet, in eine zweite Zwischendarstellung. Die beiden
Zwischendarstellungen werden miteinander verschmolzen, um eine gemeinsame
Zwischendarstellung zu erzeugen. Die gemeinsame Zwischendarstellung wird als
"Lehrsignal" an Ausgangseinheiten jedes der neuronalen Netze zurückgeführt, so daß
die neuronalen Netze auf der Basis eines "Rückausbreitungsgesetzes" trainiert werden.
Mit den so trainierten neuronalen Netzen werden im Objekterkennungsverfahren
wiederum Zustandsinformationen und Wissensinformationen in Zwischendarstellungen
transformiert. Diese beiden Zwischendarstellungen werden dann miteinander ver
glichen, um eine Übereinstimmung zwischen dem durch die Zustandsinformationen
repräsentierten Konzept und dem durch die Wissensinformationen repräsentierten
Konzept festzustellen.
Die beiden neuronalen Netze und die Zwischendarstellungen können auch im Rahmen
einer Objekterkennung dazu benutzt werden, um Arbeitsanweisungen maschinell
auszuführen.
In das erste neuronale Netz werden beispielsweise Zustandsinformationen eingegeben, die aus
der Ausführung der Arbeitsanweisung durch einen Roboter resultieren. In das zweite neuronale
Netz werden Wissensinformation eingegeben, die ein Konzept betreffen, das in der Arbeitsanwei
sung spezifiziert wird. Falls die von den beiden neuronalen Netzen gelieferten Zwischendarstel
lungen miteinander in Einklang stehen, läßt sich hieraus der Rückschluß ziehen, daß der Roboter
die Arbeit exakt ausgeführt hat.
Die oben genannten Ziele und Merkmale der vorliegenden Erfindung werden in der folgenden
Beschreibung eines bevorzugten Ausführungsbeispiels anhand der anliegenden Zeichnungen
weiter verdeutlicht.
Fig. 1 zeigt ein Blockdiagramm der Gesamtkonfiguration eines Ausführungsbeispiels der
Erfindung,
Fig. 2 zeigt Einzelheiten der Schaltung zur Transformierung von Zustandsinformationen in
eine Zwischendarstellung gemäß der Erfindung,
Fig. 3 zeigt Einzelheiten der Schaltung zur Transformierung von Wissensinformationen in
eine Zwischendarstellung gemäß der Erfindung,
Fig. 4 zeigt eine Bitkonfiguration der Farbinformation gemäß vorliegender Erfindung,
Fig. 5 zeigt eine Bitkonfiguration der einzelnen Zwischendarstellungen gemäß vorliegen
der Erfindung,
Fig. 6 und 7 zeigen ein Beispiel, bei dem die vorliegende Erfindung als Objekterkennung imple
mentiert ist, die von einem Roboter durchgeführt wird,
Fig. 8 zeigt einen Prozeß zur inversen Transformierung einer gemeinsamen Zwischendar
stellung in Wissensinformationen gemäß vorliegender Erfindung.
Unter Bezugnahme auf die Zeichnungen sei ein Ausführungsbeispiel der Erfindung beschrieben.
Fig. 1 zeigt die Gesamtkonfiguration eines Ausführungsbeispiels der vorliegenden Erfindung.
In Fig. 1 ist ein einem bestimmten Konzept entsprechendes Objekt, z. B. ein Apfel, mit 11 be
zeichnet. Mit 12 ist eine Detektoreinrichtung zur Erfassung von Zustandsinformationen, bei
spielsweise ein Sensor in einem Roboter, bezeichnet. Mit 13 ist eine erste Informations-Trans
formationseinrichtung zum Transformieren der von der Zustandsinformations-Detektoreinrich
tung gelieferten Zustandsinformationen in eine Zwischendarstellung bezeichnet. Diese erste In
formations-Transformationseinrichtung 13 ist ein lernfähiges System in Form eines neuronalen Netzes.
Mit 14 ist eine erste Zwischendarstellung bezeichnet, die aus der von der ersten Informations-
Transformationseinrichtung 13 durchgeführten Transformierung resultiert.
Mit 22 sind Wissensinformationen bezeichnet, die ein Mensch aus dem Konzept "Äpfel" ableitet.
Mit 23 ist eine zweite Informations-Transformationseinrichtung bezeichnet, die die eingegebenen
Wissensinformationen 22 in eine Zwischendarstellung transformiert. Die zweite Informations-
Transformationseinrichtung 23 ist ein lernfähiges System ebenfalls in Form eines neuronalen Netzes. Mit 24 ist ei
ne zweite Zwischendarstellung bezeichnet, die sich aus einer von der zweiten Informations-
Transformationseinrichtung 23 durchgeführten Transformierung ergibt. Mit 26 ist eine Verschmel
zungseinrichtung bezeichnet, die die erste Zwischendarstellung 14 und die zweite Zwischendar
stellung 24 verschmilzt, um eine neue gemeinsame Zwischendarstellung zu erzeugen. Mit 27 ist
eine die der Verschmelzungseinrichtung 26 erzeugte gemeinsame Zwischendarstellung bezeich
net.
In Fig. 2 ist die Schaltung zur Erzeugung einer ersten Zwischendarstellung unter Benutzung der
Zustandsinformationen detailliert dargestellt.
Zur Detektierung der Zustände des Objekts 11 stehen ein Farbsensor 12A, ein Formsensor 12B,
ein Massensensor 12C und weitere Sensoren 12D zur Verfügung. Der Farbsensor 12A besteht
aus einem Fotosensor zur Messung des spektralen Reflexionsvermögens oder dgl. und einem
A/D-Wandler. Der Fotosensor detektiert die Wellenlänge des von dem Objekt reflektieren Lichts,
und der A/D-Wandler liefert eine Farbinformation in Form einer digitalen 4-Bit-Information. Der
Formsensor 12B besteht aus einer Bildaufnahmevorrichtung, z. B. einer Kamera, und einer Bild
verarbeitungseinrichtung. Die Bildaufnahmevorrichtung detektiert die Form des Objekts 11, und
die Bildverarbeitungseinrichtung klassifiziert die Form in einem 4-Bit-Formmuster. Ähnlich be
steht der Massensensor 12C aus einer Einrichtung zur Messung einer Masse und einem A/D-
Wandler. Die gemessene Masse des Objekts 11 wird in eine 4-Bit-Masseninformation umge
setzt.
Die Informations-Transformationseinrichtung 13 ist als neuronales Netz realisiert. Dieses besitzt
Eingabeeinheiten 131A bis 131 D, eine Zwischeneinheit 132 und eine Ausgabeeinheit 133.
Die von den einzelnen Sensoren 12A bis 12D gelieferten 4-Bit-Zustandsinformationen werden
den einzelnen Eingabeeinheiten 131A bis 131D des ersten neuronalen Netzes 13 zugeführt. Das
neuronale Netz 13 transformiert diese Zustandsinformationen in eine erste 8-Bit-Zwischendar
stellung 14.
Fig. 3 zeigt eine detailliertere Darstellung der Schaltung zur Erzeugung einer zweiten Zwischen
darstellung unter Verwendung der Wissensinformation.
Für das in Fig. 2 dargestellte Objekt werden farbbezogene Wissensinformationen 22A, formbe
zogene Wissensinformationen 22B, massenbezogene Wissensinformationen 22C sowie weitere
Wissensinformationen 22D verfügbar gemacht. Diese Arten von Wissensinformationen werden
nach Quantitäten von Eigenschaften eines Objekts spezifiziert, die aus dem Wissen abgeleitet
werden, so daß das Wissen leicht klassifiziert werden kann. Wenn das Objekt 11 z. B. ein Apfel
ist, werden die Wissensinformationen folgendermaßen spezifiziert: "der Apfel ist rot, seine Form
ist rund, und seine Masse beträgt 100 g".
Die Wissensinformation wird in Form einer 4-Bit-Information für jedes Attribut mitgeteilt. Wenn
beispielsweise die farbbezogene Wissensinformation mit 4 Bit dargestellt wird, werden Bit-
Kombinationen festgelegt, wie sie in Fig. 4 aufgelistet sind. D. h.: 0000 wird als Schwarz und
0001 als Rot (dunkel) festgelegt. 0010 wird als Blau (dunkel) festgelegt und 1110 als Hellblau
(hell). 1111 wird als Weiß festgelegt. Bei der formbezogenen Wissensinformation wird z. B. 0001
als runde Form, 0010 als dreieckige Form und 0100 als quadratische Form festgelegt. Die Masse
und weitere Eigenschaften werden nach Quantitäten der Eigenschaften spezifiziert, die aus dem
Wissen abgeleitet sind.
Die Wissensinformationen 22A bis 22D werden in das neuronale Netz 23 eingegeben, das die
zweite Informations-Transformationseinrichtung bildet. Das zweite neuronale Netz 23 besitzt
Eingabeeinheiten 231A bis 231 D, eine Zwischeneinheit 232 und eine Ausgabeeinheit 233. Das
neuronale Netz 23 transformiert die eingegebene Wissensinformation in eine zweite 8-Bit-Zwi
schendarstellung 24.
Als nächstes sei die Wirkungsweise der in Fig. 1 dargestellten Schaltung beschrieben.
Es sei angenommen, daß weder das erste noch das zweite neuronale Netz bereits trainiert sind
und als Objekt 11 ein Apfel ausgewählt wird. Die Sensoren 12A bis 12D detektieren die den Ap
fel betreffenden Zustandsinformationen und führen diese dem ersten neuronalen Netz 13 zu. Die
Wissensinformationen 22A bis 22D, die Äpfel betreffen, werden in das zweite neuronale Netz 23
eingegeben. Das erste neuronale Netz 13 transformiert die Zustandsinformationen in die erste
Zwischendarstellung 14. Das zweite neuronale Netz 23 transformiert die Wissensinformationen
22 in die zweite Zwischendarstellung 24. Die erste Zwischendarstellung 14 und die zweite Zwi
schendarstellung 24 können entweder identisch sein oder sich voneinander unterscheiden. Mit
anderen Worten, die auf der Zustandsinformation basierende Zwischendarstellung und die auf
der Wissensinformation basierende Zwischendarstellung, die beide dasselbe Objekt 11 betref
fen, können sich voneinander unterscheiden.
Die Verschmelzungseinrichtung 26 verarbeitet die erste und die zweite Zwischendarstellung 14
und 24 und erzeugt eine gemeinsame Zwischendarstellung, indem sie die UND- oder ODER-Ver
knüpfungen der ersten und der zweiten Zwischendarstellung 14 und 24 berechnet oder indem sie
in Abhängigkeit von den Wahrscheinlichkeiten aus jedem Bitpaar der ersten und zweiten Zwi
schendarstellung 14 und 24 eines auswählt. Fig. 5 zeigt, daß eine gemeinsame Zwischendarstel
lung 27 durch bitweise Berechnung der ODER-Verknüpfung der ersten und zweiten Zwischen
darstellung 14 und 24 erzeugt wird.
Als nächstes wird die von der Verschmelzungseinrichtung 26 erzeugte gemeinsame Zwischen
darstellung den Ausgabeeinheiten 133 und 233 des ersten bzw. zweiten neuronalen Netzes 13
bzw. 23 als Lehrsignal zugeführt. Das erste und das zweite neuronale Netz 13 und 23 werden auf
der Basis eines Rückausbreitungsgesetzes trainiert.
Wenn anschließend Zustandsinformationen, die ein gelerntes Konzept betrifft, in das erste neu
ronale Netz 13 und eine Wissensinformation, die dasselbe Konzept betrifft, in das zweite neuro
nale Netz eingegeben werden, geben beide neuronalen Netze die gleiche Zwischendarstellung
aus.
Es wurde der Fall betrachtet, daß eine Zustandsinformation und eine Wissensinformation zur Er
zeugung einer gemeinsamen Zwischendarstellung benutzt werden. Die vorliegende Erfindung ist
auch auf den Fall anwendbar, daß eine Mehrzahl von Zustandsinformationen und eine Wissensin
formation zur Erzeugung einer gemeinsamen Zwischendarstellung verwendet werden.
So fällt beispielsweise unter das Konzept "Äpfel" auch eine andere Apfelart mit abweichender
Farbe, Form und Gewicht. Zur Erzeugung einer gemeinsamen Zwischendarstellung für alle Arten
von Äpfeln mit unterschiedlichen Attributen werden das erste und das zweite neuronale Netz 13
und 23 unter Benutzung der den ersten Apfel betreffenden Zustandsinformation und der zugehö
rigen Wissensinformation trainiert. Zustandsinformationen, die den zweiten Apfel betreffen, des
sen Attribute sich von denen des ersten Apfels unterscheiden, werden in das erste neuronale
Netz 13 eingegeben. Das zweite neuronale Netz 23 gibt zu dieser Zeit dieselbe Wissensinforma
tion ein wie diejenige, die den ersten Apfel betrifft. Das erste neuronale Netz 13 liefert eine Zwi
schendarstellung auf der Basis der Zustandsinformation, die den zweiten Apfel betrifft. Das zwei
te neuronale Netz 23 liefert eine gemeinsame Zwischendarstellung, die zuvor erzeugt wurde. Die
Verschmelzungseinrichtung 26 produziert eine neue gemeinsame Zwischendarstellung, wobei
sie diese beiden Zwischendarstellungen verwendet. Auf der Basis der neuen gemeinsamen Zwi
schendarstellung werden das erste und das zweite neuronale Netz 13 und 23 trainiert. Anschlie
ßend wird die beschriebene Prozedur über eine geforderte Anzahl von Äpfeln mit unterschiedli
chen Attributen wiederholt.
Wenn anschließend eine Zustandsinformation, die einen Apfel mit abweichenden Attributen, ein
schließlich Farbe und Form, in das erste neuronale Netz eingegeben wird, wird die Information
solange in dieselbe gemeinsame Zwischendarstellung transformiert, wie die Information einen
Apfel betrifft.
Gemäß vorliegender Erfindung können unterschiedliche Zwischendarstellungen erzeugt werden,
um eine Vielzahl unterschiedlicher Konzepte aufzubauen, die Äpfel, Orangen usw. umfassen.
Es sei angenommen, daß in der in Fig. 1 dargestellten Schaltung in der oben beschriebenen
Weise "Äpfel" gelernt wurden. In diesem Stadium werde die von einer Orange gewonnene Zu
standsinformation in das erste neuronale Netz 13 und die von Orangen abgeleitete Wissensin
formation in das zweite neuronale Netz 23 eingegeben. Die nachfolgende Prozedur ist identisch
mit derjenigen, die in Verbindung mit Fig. 1 beschrieben wurde. Auf diese Weise wird eine ge
meinsame Zwischendarstellung von Orangen erzeugt.
Fig. 6 und 7 zeigen ein Beispiel, bei dem die vorliegende Erfindung in die von einem Roboter
durchgeführte Objekterkennung implementiert ist.
In Fig. 6 bezeichnet 31 eine Arbeitsanweisung, die ein Mensch in einen Roboter eingibt, z. B. den
Befehl "Ergreife einen Apfel". Mit 32 ist ein Befehlsinterpreter zur Interpretierung einer Arbeits
anweisung bezeichnet. Mit 33 ist Wissen bezeichnet, das von dem Befehlsinterpreter 32 gelie
fert wird, z. B.: "ein Apfel". Mit 22A und 22B sind Wissensinformationen bezeichnet, die von Bits
repräsentiert werden und in Verbindung mit der Information 33 eines Apfels gespeichert sind,
z. B. "rot (dunkel)" und "rund". Mit 23 ist das zweite neuronale Netz bezeichnet, das dazu dient, die
Wissensinformation 32A und 32B in eine Zwischendarstellung zu transformieren. Das zweite
neuronale Netz wurde in der oben beschriebenen Weise trainiert. Mit 24 ist eine von dem zwei
ten neuronalen Netz 23 gelieferte zweite Zwischendarstellung bezeichnet, mit 37 eine weiter un
ten näher beschriebene Vergleichereinrichtung, die die zweite Zwischendarstellung 24 mit der
ersten Zwischendarstellung 14 vergleicht, um festzustellen, ob die beiden Darstellungen mitein
ander vereinbar sind.
In Fig. 7 bezeichnet 41 einen Roboter. Mit 41A ist ein Sensor zur Gewinnung von Zustandsinfor
mationen bezeichnet, mit 42A und 42B die von dem Sensor 41A gewonnenen Zustandsinforma
tionen, z. B. eine Farbinformation und eine Forminformation. Mit 13 ist ein erstes neuronales Netz
bezeichnet, das dazu dient die Zustandsinformationen 42A und 42B in eine Zwischendarstellung
zu transformieren. Dieses erste neuronale Netz wurde in der oben beschriebenen Weise trai
niert. Mit 44 ist eine von dem ersten neuronalen Netz 13 gelieferte erste Zwischendarstellung
bezeichnet.
Als nächstes sei die Wirkungsweise der in Fig. 6 und 7 dargestellten Schaltung beschrieben.
Zunächst gibt ein Mensch die Arbeitsanweisung 31 ein: "Ergreife einen Apfel". Diese Anweisung
31 wird von dem Befehlsinterpreter 32 interpretiert und in zwei Informationsarten aufgeteilt: "ein
Apfel" und "ergreife". Die Wissensinformationen 22A und 22B, die "rot (dunkel)" und "rund" in Form
von Bits repräsentieren und in Verbindung mit dem Wissen 33 über einen Apfel gespeichert sind,
werden in das zweite neuronale Netz 23 eingegeben. Das zweite neuronale Netz 23 liefert die
zweite Zwischendarstellung 24, die der eingegebenen Information zugeordnet ist. Da das neuro
nale Netz 23 trainiert wurde, ist die Zwischendarstellung 24 eine gemeinsame Zwischendarstel
lung.
Auf der anderen Seite gewinnt der Sensor 41A des Roboters 41 von dem Objekt 11 Zustandsin
formationen, einschließlich der Farbinformation 42A und der Forminformation 42B. Diese Zu
standsinformationen 42A und 42B werden von dem ersten neuronalen Netz 13 in die erste Zwi
schendarstellung 44 transformiert.
Die Vergleichereinrichtung 37 vergleicht die erste Zwischendarstellung 24 mit der zweiten Zwi
schendarstellung 44. Wenn beide Darstellungen miteinander vereinbar sind, wird ein Vereinbar
keitssignal abgegeben. Falls die Darstellungen nicht miteinander vereinbar sind, wird ein Unver
einbarkeitssignal abgegeben. Wenn die Vergleichereinrichtung 37 kein Vereinbarkeitssignal ab
gibt, ermöglicht der Roboter 41 dem Sensor 41A die Gewinnung von Zustandsinformationen aus
den nachfolgenden Objekten, bis ein Vereinbarkeitssignal abgegeben wird. Wenn ein Vereinbar
keitssignal abgegeben wird, bedeutet dies, daß es dem Roboter gelungen ist, "einen Apfel" zu
finden. Der Roboter 41 führt dann die nächste Anweisung, nämlich das "Ergreifen" aus.
Gemäß vorliegender Erfindung kann ein Mensch dem Roboter 41, wie oben erwähnt, die Anwei
sung geben, nach einem Apfel zu suchen, indem er lediglich eine ungenaue Arbeitsanweisung
eingibt und sagt "Ergreife einen Apfel".
Bei dem vorangehend beschriebenen Ausführungsbeispiel wird eine große Speicherkapazität be
nötigt, um alle Wissensinformationen zu speichern, die Konzepten zugeordnet sind. Wenn hinge
gen allein die Zwischendarstellungen in Verbindung mit Konzepten gespeichert werden, benötigt
man nur begrenzte Speicherkapazität. Wenn Wissensinformationen, die ein bestimmtes Konzept
betreffen, benötigt werden, wird eine zugehörige Zwischendarstellung invers in Wissensinfor
mationen transformiert. Auf diese Weise werden die benötigte Wissensinformationen zur Verfü
gung gestellt. Die Benutzung der inversen Transformation ermöglicht die Transformierung einer
Zwischendarstellung in eine Darstellung, die für einen Menschen verständlich ist.
Fig. 8 zeigt einen Prozeß zur inversen Transformierung einer Zwischendarstellung in eine Wis
sensinformation, wie dies oben erwähnt wurde. In Fig. 8 bezeichnet 27 eine bereits erzeugte
gemeinsame Zwischendarstellung. 28 bezeichnet eine Einrichtung zur Rückgewinnung von In
formation. 22 bezeichnet die von der Einrichtung 28 zur Rückgewinnung von Information gelie
ferte Wissensinformation. Die Einrichtung 28 zur Informationsrückgewinnung ist durch das in
Fig. 1 und 3 dargestellte zweite neuronale Netz 23 realisiert. Die Ausgabeeinheit 233 in dem
zweiten neuronalen Netz 23 dient als Eingabeeinheit für die Einrichtung 28 zur Informationsrück
gewinnung, während die Eingabeeinheit 231 des zweiten neuronalen Netzes 23 als Ausgabeein
heit für die Einrichtung 28 zur Informationsrückgewinnung verwendet wird.
Die inverse Informationstransformation ist erst dann möglich, wenn das Lernen in der in Fig. 1
und 3 dargestellten Schaltung durch die Verbindung einer Wissensinformation mit einer Zwi
schendarstellung beendet ist. Es sei hier erwähnt, daß die in Fig. 8 dargestellte Schaltung keine
korrekte Wissensinformation aus einer Zwischendarstellung herleiten kann, wenn eine Zwi
schendarstellung mit zwei oder mehr Arten von Wissensinformation verknüpft ist.
Claims (6)
1. Lernverfahren eines Objekterkennungsgerätes,
mit folgenden Verfahrensschritten:
man läßt eine Detektoreinrichtung (12) Zustandsinformationen eines Objektes (11) erfassen;
man läßt von einem ersten neuronalen Netz (13) die Zustandsinformationen in eine erste Zwischendarstellung (14) transformieren;
man läßt Wissensinformationen (22) über das Objekt (11) von einem zweiten neuronalen Netz (23) in eine zweite Zwischendarstellung (24) transformieren;
man verschmilzt die erste Zwischendarstellung (14) und zweite Zwischen darstellung (24), um eine gemeinsame Zwischendarstellung (27) zu erzeugen; und
man führt die gemeinsame Zwischendarstellung (27) dem ersten und zweiten neuronalen Netz (13, 23) als Lehrsignal zu, um das erste und zweite neuronale Netz zu trainieren.
man läßt eine Detektoreinrichtung (12) Zustandsinformationen eines Objektes (11) erfassen;
man läßt von einem ersten neuronalen Netz (13) die Zustandsinformationen in eine erste Zwischendarstellung (14) transformieren;
man läßt Wissensinformationen (22) über das Objekt (11) von einem zweiten neuronalen Netz (23) in eine zweite Zwischendarstellung (24) transformieren;
man verschmilzt die erste Zwischendarstellung (14) und zweite Zwischen darstellung (24), um eine gemeinsame Zwischendarstellung (27) zu erzeugen; und
man führt die gemeinsame Zwischendarstellung (27) dem ersten und zweiten neuronalen Netz (13, 23) als Lehrsignal zu, um das erste und zweite neuronale Netz zu trainieren.
2. Lernverfahren nach Anspruch 1,
dadurch gekennzeichnet,
daß in dem Verfahrensschritt der Verschmelzung die zwei Zwischendarstellungen
einer ODER-Verknüpfung unterzogen werden, um die gemeinsame Zwischen
darstellung (27) zu erzeugen.
3. Objekterkennungsverfahren, mit folgenden Verfahrensschritten:
man trainiert ein Objekterkennungsgerät mit dem Lernverfahren nach Anspruch 1 oder 2,
man läßt eine Detektoreinrichtung (12) Zustandsinformationen eines Objektes (11) erfassen;
man läßt die erfassten Zustandsinformationen von dem ersten trainierten neuronalen Netz (13) in eine dritte Zwischendarstellung (44) transformieren;
man läßt Wissensinformationen (22) über ein Zielobjekt von dem zweiten trainierten neuronalen Netz (23) in eine vierte Zwischendarstellung transformieren; und
man vergleicht die dritte Zwischendarstellung (44) mit der vierten Zwischendarstellung und stellt fest, ob sie übereinstimmen.
man trainiert ein Objekterkennungsgerät mit dem Lernverfahren nach Anspruch 1 oder 2,
man läßt eine Detektoreinrichtung (12) Zustandsinformationen eines Objektes (11) erfassen;
man läßt die erfassten Zustandsinformationen von dem ersten trainierten neuronalen Netz (13) in eine dritte Zwischendarstellung (44) transformieren;
man läßt Wissensinformationen (22) über ein Zielobjekt von dem zweiten trainierten neuronalen Netz (23) in eine vierte Zwischendarstellung transformieren; und
man vergleicht die dritte Zwischendarstellung (44) mit der vierten Zwischendarstellung und stellt fest, ob sie übereinstimmen.
4. Verfahren zur maschinellen Ausführung einer Arbeitsanweisung, die ein Zielobjekt
betrifft, mit folgenden Verfahrensschritten:
man trainiert ein Objekterkennungsgerät mit dem Lernverfahren nach Anspruch 1 oder 2,
man gibt eine Arbeitsanweisung (31) ein;
man interpretiert die eingegebene Arbeitsanweisung (31) und teilt sie in Informationseinheiten auf;
man gewinnt aus den Informationseinheiten Wissensinformationen (22A bis 22D) wieder, die das Zielobjekt betreffen;
man läßt diese Wissensinformationen (22A bis 22D) von dem zweiten neuronalen Netz (23) in eine vierte Zwischendarstellung transformieren;
man läßt eine Detektoreinrichtung (12) Zustandsinformationen eines Objektes (11) erfassen;
man läßt diese Zustandsinformationen von dem ersten neuronalen Netz (13) in eine dritte Zwischendarstellung (44) transformieren; und
man vergleicht die dritte Zwischendarstellung (44) mit der vierten Zwischen darstellung und stellt fest, ob sie übereinstimmen.
man trainiert ein Objekterkennungsgerät mit dem Lernverfahren nach Anspruch 1 oder 2,
man gibt eine Arbeitsanweisung (31) ein;
man interpretiert die eingegebene Arbeitsanweisung (31) und teilt sie in Informationseinheiten auf;
man gewinnt aus den Informationseinheiten Wissensinformationen (22A bis 22D) wieder, die das Zielobjekt betreffen;
man läßt diese Wissensinformationen (22A bis 22D) von dem zweiten neuronalen Netz (23) in eine vierte Zwischendarstellung transformieren;
man läßt eine Detektoreinrichtung (12) Zustandsinformationen eines Objektes (11) erfassen;
man läßt diese Zustandsinformationen von dem ersten neuronalen Netz (13) in eine dritte Zwischendarstellung (44) transformieren; und
man vergleicht die dritte Zwischendarstellung (44) mit der vierten Zwischen darstellung und stellt fest, ob sie übereinstimmen.
5. Objekterkennungsgerät, mit
einem ersten neuronalen Netz (13) zum Transformieren eingegebener Zustands informationen eines Objektes (11) in eine erste Zwischendarstellung (14);
einem zweiten neuronalen Netz (23) zum Transformieren eingegebener Wissens informationen (22) über ein Objekt in eine zweite Zwischendarstellung (24);
einer Verschmelzungseinrichtung (26) zum Verschmelzen der ersten Zwischen darstellung (14) und der zweiten Zwischendarstellung (24), um eine gemeinsame Zwischendarstellung (27) zu erzeugen, wobei diese gemeinsame Zwischen darstellung (27) als Lehrsignal dem ersten und zweiten neuronalen Netz (13, 23) zuführbar ist, umso das erste und zweite neuronale Netz zu trainieren; und
einer Vergleichereinrichtung (26) zum Vergleichen einer dritten Zwischen darstellung (44), die von dem trainierten ersten neuronalen Netz (13) aus den Zustandsinformationen transformiert wurde, mit einer vierten Zwischendarstellung, die von dem trainierten zweiten neuronalen Netz (23) aus den Wissens informationen (22) transformiert wurde, und zum Entscheiden, ob sie überein stimmen.
einem ersten neuronalen Netz (13) zum Transformieren eingegebener Zustands informationen eines Objektes (11) in eine erste Zwischendarstellung (14);
einem zweiten neuronalen Netz (23) zum Transformieren eingegebener Wissens informationen (22) über ein Objekt in eine zweite Zwischendarstellung (24);
einer Verschmelzungseinrichtung (26) zum Verschmelzen der ersten Zwischen darstellung (14) und der zweiten Zwischendarstellung (24), um eine gemeinsame Zwischendarstellung (27) zu erzeugen, wobei diese gemeinsame Zwischen darstellung (27) als Lehrsignal dem ersten und zweiten neuronalen Netz (13, 23) zuführbar ist, umso das erste und zweite neuronale Netz zu trainieren; und
einer Vergleichereinrichtung (26) zum Vergleichen einer dritten Zwischen darstellung (44), die von dem trainierten ersten neuronalen Netz (13) aus den Zustandsinformationen transformiert wurde, mit einer vierten Zwischendarstellung, die von dem trainierten zweiten neuronalen Netz (23) aus den Wissens informationen (22) transformiert wurde, und zum Entscheiden, ob sie überein stimmen.
6. Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung, die ein
Zielobjekt betrifft, mit einem Objekterkennungsgerät nach Anspruch 5,
gekennzeichnet durch
einen Befehlsinterpreter (32) zum Interpretieren einer eingegebenen Arbeits anweisung (31) und zum Aufteilen der Arbeitsanweisung in Informationseinheiten; und
eine Einrichtung zum Wiedergewinnen von Wissensinformationen aus den Informationseinheiten, die das Zielobjekt betreffen.
einen Befehlsinterpreter (32) zum Interpretieren einer eingegebenen Arbeits anweisung (31) und zum Aufteilen der Arbeitsanweisung in Informationseinheiten; und
eine Einrichtung zum Wiedergewinnen von Wissensinformationen aus den Informationseinheiten, die das Zielobjekt betreffen.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02943594A JP3633642B2 (ja) | 1994-02-28 | 1994-02-28 | 情報の処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19502554A1 DE19502554A1 (de) | 1995-08-31 |
DE19502554C2 true DE19502554C2 (de) | 1999-07-01 |
Family
ID=12276067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19502554A Expired - Fee Related DE19502554C2 (de) | 1994-02-28 | 1995-01-27 | Lernverfahren für ein Objekterkennungsgerät, Objekterkennungsverfahren und -gerät, sowie Verfahren und Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung |
Country Status (3)
Country | Link |
---|---|
US (1) | US5845050A (de) |
JP (1) | JP3633642B2 (de) |
DE (1) | DE19502554C2 (de) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6038567A (en) * | 1998-02-19 | 2000-03-14 | Microsoft Corporation | Method and system for propagating object properties in a desktop publishing program |
US6272396B1 (en) * | 1998-02-20 | 2001-08-07 | Tairob Industrial Technology Ltd. | Method for applying knowledge from a skilled worker via a master expert machine to a slave expert machine for repetitive tasks |
WO2006005669A2 (de) * | 2004-07-09 | 2006-01-19 | Siemens Aktiengesellschaft | System zur informationsextraktion und/oder informationsbewertung |
US8156147B1 (en) | 2007-02-06 | 2012-04-10 | The Mathworks, Inc. | Sharing of instructions across model boundaries |
US20090132088A1 (en) * | 2007-04-24 | 2009-05-21 | Tairob Ltd. | Transfer of knowledge from a human skilled worker to an expert machine - the learning process |
US9052710B1 (en) * | 2009-03-20 | 2015-06-09 | Exelis Inc. | Manipulation control based upon mimic of human gestures |
WO2010122445A1 (en) * | 2009-04-23 | 2010-10-28 | Koninklijke Philips Electronics N.V. | Object-learning robot and method |
JP5516610B2 (ja) * | 2012-01-19 | 2014-06-11 | 株式会社安川電機 | ロボット、ロボットハンドおよびロボットハンドの保持位置調整方法 |
US10456910B2 (en) * | 2016-01-14 | 2019-10-29 | Purdue Research Foundation | Educational systems comprising programmable controllers and methods of teaching therewith |
US11420325B2 (en) * | 2018-03-05 | 2022-08-23 | Omron Corporation | Method, apparatus and system for controlling a robot, and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0246517A1 (de) * | 1986-05-20 | 1987-11-25 | Nippon Kokan Kabushiki Kaisha | Verfahren zur Steuerung des Betriebs eines Hochofens |
US5099436A (en) * | 1988-11-03 | 1992-03-24 | Allied-Signal Inc. | Methods and apparatus for performing system fault diagnosis |
DE4100500A1 (de) * | 1991-01-10 | 1992-07-16 | Bodenseewerk Geraetetech | Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren |
DE4317372A1 (de) * | 1992-05-26 | 1993-12-02 | Ricoh Kk | Ein akustisches und visuelles Spracherkennungssystem auf der Basis eines Neural-Netzwerkes |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH087789B2 (ja) * | 1988-08-15 | 1996-01-29 | 工業技術院長 | パターン連想記憶方法および装置 |
US5093899A (en) * | 1988-09-17 | 1992-03-03 | Sony Corporation | Neural network with normalized learning constant for high-speed stable learning |
US5005147A (en) * | 1988-12-30 | 1991-04-02 | The United States Of America As Represented By The Administrator, The National Aeronautics And Space Administration | Method and apparatus for sensor fusion |
US5144685A (en) * | 1989-03-31 | 1992-09-01 | Honeywell Inc. | Landmark recognition for autonomous mobile robots |
JPH03189856A (ja) * | 1989-12-20 | 1991-08-19 | Fujitsu Ltd | 外部評価基準の学習方式 |
US5299284A (en) * | 1990-04-09 | 1994-03-29 | Arizona Board Of Regents, Acting On Behalf Of Arizona State University | Pattern classification using linear programming |
FR2661265B1 (fr) * | 1990-04-24 | 1994-07-29 | Thomson Csf | Systeme neuronal de classification et procede de classification utilisant un tel systeme. |
JPH04227507A (ja) * | 1990-07-02 | 1992-08-17 | Nec Corp | 移動ロボット用のマップを作成し保持する方法 |
US5276772A (en) * | 1991-01-31 | 1994-01-04 | Ail Systems, Inc. | Real time adaptive probabilistic neural network system and method for data sorting |
US5239594A (en) * | 1991-02-12 | 1993-08-24 | Mitsubishi Denki Kabushiki Kaisha | Self-organizing pattern classification neural network system |
JP2635836B2 (ja) * | 1991-02-28 | 1997-07-30 | 株式会社東芝 | 全自動洗濯機 |
US5303330A (en) * | 1991-06-03 | 1994-04-12 | Bell Communications Research, Inc. | Hybrid multi-layer neural networks |
-
1994
- 1994-02-28 JP JP02943594A patent/JP3633642B2/ja not_active Expired - Fee Related
-
1995
- 1995-01-11 US US08/371,430 patent/US5845050A/en not_active Expired - Lifetime
- 1995-01-27 DE DE19502554A patent/DE19502554C2/de not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0246517A1 (de) * | 1986-05-20 | 1987-11-25 | Nippon Kokan Kabushiki Kaisha | Verfahren zur Steuerung des Betriebs eines Hochofens |
US5099436A (en) * | 1988-11-03 | 1992-03-24 | Allied-Signal Inc. | Methods and apparatus for performing system fault diagnosis |
DE4100500A1 (de) * | 1991-01-10 | 1992-07-16 | Bodenseewerk Geraetetech | Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren |
DE4317372A1 (de) * | 1992-05-26 | 1993-12-02 | Ricoh Kk | Ein akustisches und visuelles Spracherkennungssystem auf der Basis eines Neural-Netzwerkes |
Also Published As
Publication number | Publication date |
---|---|
DE19502554A1 (de) | 1995-08-31 |
US5845050A (en) | 1998-12-01 |
JP3633642B2 (ja) | 2005-03-30 |
JPH07239785A (ja) | 1995-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69131687T2 (de) | Verfahren zur Ressourcenverteilung und -planung, und System dafür | |
DE68924822T2 (de) | Signalverarbeitungssystem und Lernverarbeitungssystem. | |
DE102006008482B4 (de) | Eingangsvektorbildungsverfahren bei neuronalen Netzwerken zur Auto-Identifikation einer partiellen Entladungsquelle | |
DE68926702T2 (de) | Bildverarbeitungsgerät | |
DE102018128531A1 (de) | System und Verfahren zum Analysieren einer durch eine Punktwolke dargestellten dreidimensionalen Umgebung durch tiefes Lernen | |
WO2020049154A1 (de) | Verfahren und vorrichtung zur klassifizierung von objekten | |
DE102019127282A1 (de) | System und Verfahren zum Analysieren einer dreidimensionalen Umgebung durch tiefes Lernen | |
DE102017211331A1 (de) | Bildauswertung mit zielgerichteter Vorverarbeitung | |
DE19502554C2 (de) | Lernverfahren für ein Objekterkennungsgerät, Objekterkennungsverfahren und -gerät, sowie Verfahren und Vorrichtung zur maschinellen Ausführung einer Arbeitsanweisung | |
DE2946360A1 (de) | Mustererkennungsverfahren | |
DE2820645A1 (de) | Vorrichtung und verfahren zur spracherkennung | |
DE102018102688A1 (de) | Bildverarbeitungsvorrichtung, Bildverarbeitungsprogramm und Bildverarbeitungssystem | |
DE69122356T2 (de) | Verfahren und Gerät zur Mustererkennung unter Verwendung eines neuronalen Netzwerks | |
DE102019209644A1 (de) | Verfahren zum Trainieren eines neuronalen Netzes | |
DE3938645C1 (de) | ||
EP3785169A1 (de) | Verfahren und vorrichtung zur umsetzung eines eingangsbildes einer ersten domäne in ein ausgangsbild einer zweiten domäne | |
EP4000010A1 (de) | Vorrichtung und computerimplementiertes verfahren für die verarbeitung digitaler sensordaten und trainingsverfahren dafür | |
DE69602662T2 (de) | Verfahren zur Beschleunigung der Ausführungsgeschwindigkeit von Neuronalnetzwerken für korrelierte Signalverarbeitung | |
EP3785178B1 (de) | Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes | |
DE2838185C2 (de) | Korrelationseinrichtung in einem Radargerät zum Erfassen eines Radarsignals aus dem Rauschen | |
DE68928071T2 (de) | Vorrichtung und Verfahren zum Erzeugen von Regeln für unscharfe Inferenz | |
DE69228337T2 (de) | Erkennungs- und Beurteilungsgerät | |
DE68921292T2 (de) | Sprechererkennungssystem. | |
DE2312356A1 (de) | Verfahren und vorrichtung zur bestimmung der grundfrequenz von sprachsignalen | |
WO2019242968A1 (de) | Recheneinheit, verfahren und computerprogramm zum multiplizieren zumindest zweier multiplikanden |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
D2 | Grant after examination | ||
8364 | No opposition during term of opposition | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20120801 |