DE602004008131T2

DE602004008131T2 - Automatisches Arbeitsgerät und automatisches Arbeitskontrollprogramm

Info

Publication number: DE602004008131T2
Application number: DE602004008131T
Authority: DE
Inventors: Chiaki Aoyama
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2003-02-25
Filing date: 2004-02-23
Publication date: 2008-04-30
Anticipated expiration: 2024-02-24
Also published as: EP1462993A2; JP4612280B2; JP2004255486A; ATE370470T1; US7403836B2; US20040167671A1; DE602004008131D1; EP1462993A3; EP1462993B1

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf ein automatisches Arbeitsgerät und ein automatisches Arbeitssteuerprogramm, die in Robotern oder selbstfahrenden Fahrzeugen verwendet oder realisiert werden, die Kameras aufweisen, um Objekte in Bildern wahrzunehmen und zu detektieren.
HINTERGRUND DER ERFINDUNG
Automatische Arbeitsgeräte sind herkömmlich wohl bekannt bei der Verwendung verschiedener automatischer Arbeiten für bestimmte Aufgaben, Operationen und Dienste. Zum Beispiel bauen Montagehallenroboter Teile zusammen und Schweißroboter führen Schweißvorgänge in den Produktfertigungsbetrieben durch. Bei der Verwendung der herkömmlichen Robotervorrichtungen, bringen Menschen den Robotern zuerst die bestimmte Tätigkeit derart bei, dass die Roboter die Teile, die auf einem Fließband befördert werden, in einem bestimmten Zeitintervall greifen und sie in eine vorgegebene Position bringen, um montiert zu werden. Dann wiederholen die Roboter die Bewegungen oder wiederholen das Verhalten, wie es die Menschen im Voraus, wie oben beschrieben, beigebracht haben.
Diese Roboter können die identisch selbe Bewegung beständig, wie zuvor beigebracht, ausführen und es gibt weniger Flexibilität bei dem Fließbanddesign und einem Wechsel der Teile oder der Austauschbarkeit der Teile in der Fertigungslinie. Aufgrund der konsistenten Roboterbewegung sind zusätzliche und vorbereitende Arbeiten erforderlich, wie das Legen von Teilen in eine bestimmte Position oder ihr Ausrichten durch eine automatische Ausrichtestation, bevor der Robotereinsatz beginnt. Außerdem ist es für den Roboter schwierig, die Teile zu greifen, die sich auf der Förderlinie bewegen und daher ist ein sequentieller Vorgang derart erforderlich, dass die Teile auf dem Fließband anhalten und die Roboter sie für die nächste Montagebewegung greifen. Dies führt zu einem ziemlich langen Montagevorgang.
Deshalb sind hochautonome automatische Arbeitsgeräte wünschenswert, die die Objekte (hierin nachstehend Ziele genannt) wahrnehmen und detektieren können, die sich bewegen, und die Aktionen mit ihnen zur Montage oder Fertigung in einem konsistenten, der Bewegung der Ziele angepassten Zeitintervall ausführen können.
Auf der anderen Seite sind verschiedene Technologien kürzlich bei der Bildverarbeitung entwickelt worden und einige Technologien zur Erfassung und Verfolgung offenbart worden. Zum Beispiel gibt es eine Technologie, die die Position des Ziels misst und die Bewegung des Ziels verfolgt unter Verwendung eines Bilds, das durch eine Beobachtungskamera erhaltenen wird, die eine Fischaugenlinse aufweist (siehe Referenz 1). Es gibt einen Fachbeitrag, der über einen Roboter berichtet, der den hüpfenden Ball durch eine Kamera verfolgt und die momentane Position des Balls detektiert und ihn zu dem Ballspieler zurückschlägt (siehe Referenz 2).
Referenz 1:

Veröffentlichte japanische Patentanmeldung: JP, 06-167564, A (1994)

Referenz 2:

„A Beach Ball Volley Playing Robot with a Human", The Robotics Society of Japan, Nr. 5, Vol. 18, S. 105–111 (2000)

Eine Technologie für ein aktives Stereosehsystem verwendet foveale Weitwinkellinsen, um ein effizientes Echtzeitstereoverfolgungssystem zu realisieren. Folglich sind zwei Projektionskurven definiert, die entsprechend für die Fovea und die Peripherie sind, und durch eine Übergangskurve gleichmäßig verknüpft. Dadurch sind geeignete Parameter für eine ganzheitliche Projektionskurve definiert, um eine passende Linse mit sowohl einer hochauflösenden Fovea als auch einem Superweitwinkel in einem einzelnen Linsensystem zu entwerfen. Aufgrund einer konstanten, niedrigen Bildkompressionsrate in der Peripherie, wurde die peripheriebasierte Objekt-/Bewegungsdetektierung verbessert, der Betrachtungswinkel beträgt jedoch nicht mehr als ungefähr 120 Grad und die Helligkeit nimmt Richtung der Peripherie ziemlich signifikant ab (siehe Referenz 3).
Eine weitere Technologie für ein aktives Sehsystem für mobile Roboter behandelt die Idee, wie ein bewegliches Ziel zu fixieren und zu verfolgen ist, und den Roboter zu führen, um dem Ziel zu folgen, während sich dieses bewegt. Um die Fixation und die Verfolgung eines Ziels zu realisieren, sind zwei Bereiche in der Bildebene definiert, nämlich der Randbereich und der kreisförmige Foveabereich umfassend den Blindfleckbereich in seinem Zentrum. Ferner umfasst das aktive Sehsystem ein Sakkade-Modul, um das Ziel zu detektieren und es durch Drehen des Kamerakopfs bei maximaler Geschwindigkeit in den Foveabereich zu bringen, ein stetiges Verfolgungsmodul, um das Ziel zu verfolgen und es bei moderater Geschwindigkeit im Zentrum des Bildes zu halten, eine Vergenz, um beide Kameras auf demselben Ziel zu halten, und ein VOR, um die Augen während der Bewegung des Kamerakopfs zu stabilisieren. Damit kann das aktive Sehsystem die menschlichen Augenbewegungen nachahmen. Eine Objektfolgeverarbeitung des aktiven Sehsystems für mobile Roboter wird wie folgt ausgeführt: ein Farbmodell wird gelernt, ein Objekt wird dann in dem erfassten Bild segmentiert. Anschließend wird die Bildposition berechnet und erst wenn die Position gefunden ist, starten alle Kamerasteuermodule und der Roboter bewegt sich (siehe Referenz 4).
Referenz 3:

Kuniyoshi Y et. al: „Active Stereo Vision System with Foveated Wide Angle Lenses", Recent Developments in Computer Vision, Second Asian Conference an Computer Vision, accv '95, Invited Session Papers, Springer-Verlag Berlin, Deutschland, 1996, S. 191–200.

Referenz 4:

Jiang Peng et al: "An Active Vision System for Mobile Robots", Systems, Man, and Cybernetics, 2000 IEEE International Conference an Nashville, TN, USA B.-11. Okt. 2000, Piscataway, NJ, USA, IEEE, US, Vol. 2, 8. Oktober 2000 (08.10.2000), Seiten 1472–1477.

Für den Fall, in dem eine allgemeine stereoskopische Kamera, die zwei Objektivlinsensysteme aufweist, für die Positionsdetektion des beweglichen Ziels verwendet wird, wird ein Betrachtungswinkel von lediglich 60 Grad in Horizontalrichtung erzielt, selbst wenn die im Wesentlichen einheitliche Positionsgenauigkeit des Bilds zu spezifizieren und detektieren ist. Für einen solch schmalen Betrachtungswinkel ist es nicht möglich, das sich in verschiedene Richtungen bewegende Ziel stetig zu erfassen oder die Position des Ziels kontinuierlich zu detektieren und zu verfolgen. Um den schmalen Betrachtungswinkel zu unterstützen, ist ein Hochgeschwindigkeitsdrehmechanismus erforderlich, um die Kamera anzusteuern, sich auf das Ziel für die kontinuierliche Verfolgung auszurichten. Ferner ist es schwierig, die gleichzeitige Detektion und Verfolgung mehrerer Ziele in einem weiten räumlichen Bereich in seinem einfachen Detektions- und Verfolgungssystem in jedem Moment zu unterstützen. Für den Fall, in dem eine genaue Aktion zu dem beweglichen Ziel erforderlich ist, ist das herkömmliche Detektions- und Verfolgungssystem unzureichend.
Auf der anderen Seite wurde, da ein weiter Betrachtungswinkel erforderlich ist, um die Beobachtung in einem weiten Betrachtungsbereich zur Verfolgung der beweglichen Ziele abzudecken, eine Technologie der stereoskopischen Anwendungstechnik mittels Fischaugenlinsen vorgeschlagen zu dem Zweck, solche weiten Betrachtungswinkel zu erzielen. Jedoch können die peripheren Betrachtungssichten keine richtig genaue Position aufgrund der verzerrten Bilder in dem bei der Verwendung der Fischaugenlinsen erhaltenen Randbereich liefern, was ein Charakteristikum der Linse ist.
Eine der verschiedenen Anwendungen der vorliegenden Erfindung bezieht sich auf die oben beschriebene Aufgabe. Zusätzlich zu einer solchen Anwendung weist die vorliegende Erfindung weitere Vorteile auf, ein automatisches Arbeitsgerät bereitzustellen, das den Herstellungsvorgang unterstützt.
KURZZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung stellt ein System bereit, das durch ein Gerät und ein Steuerprogramm davon realisiert ist, so dass das System sich auszeichnet, ein automatisches Arbeitsgerät zu gestalten, um die vorgegebenen Aufgaben durch Detektieren und Verfolgen der Ziele hinsichtlich der räumlichen Position anhand der Bilder zu bearbeiten, die durch mehrere Beobachtungskameravorrichtungen erhalten werden, die Linsen mit nicht zentraler Projektion, wie Fischaugenlinsen, aufweisen, worin das System eine Drehantriebseinheit zur Änderung der Richtung der Beobachtungskameravorrichtungen, eine Zielbildextraktionseinheit, die das Bild der Ziele aus den durch die Beobachtungskameravorrichtungen aufgenommenen Bildern extrahiert, und eine Drehsteuerung umfasst, die die Drehantriebseinheit in Übereinstimmung mit der Zuverlässigkeit steuert, die durch die Evaluierung der Zielpositionsinformation als Antwort auf die durch die Zielbildextraktionseinheit in den Bildern spezifizierte Zielposition erhalten wird.
Des Weiteren zeichnet sich die vorliegende Erfindung aus, ein automatisches Arbeitsgerät zu gestalten, um vorgegebene Aufgaben durch Detektieren und Verfolgen der Ziele hinsichtlich der räumlichen Position mittels der durch mehrere Beobachtungskameravorrichtungen erhaltenen Bilder abzuwickeln, wobei jede der Beobachtungskameravorrichtungen Linsen mit nicht zentraler Projektion aufweist, worin das System eine Drehantriebseinheit zur Änderung der Ausrichtung der Beobachtungskameravorrichtungen, eine Zielbildextraktionseinheit, die das Bild der Ziele aus den durch die Beobachtungskameravorrichtungen aufgenommenen Bildern extrahiert, eine Positionsbestimmungseinheit, die die Zielposition bestimmt, die in den Bildern durch die Zielbildextraktionseinheit spezifiziert ist, und eine Drehsteuerung umfasst, die die Drehantriebseinheit steuert, so dass die Ziele in dem zentralen Bereich der durch die Beobachtungskameravorrichtungen aufgenommenen Bilder überwacht werden, wenn sich das Ziel, dessen Position durch die Zielbildextraktionseinheit spezifiziert ist, in dem Randbereich der Bilder befindet, worin die durch die Beobachtungssysteme aufgenommenen Bilder in einen solchen zentralen Bereich und einen Randbereich unterteilt sind.
Die Funktion des automatischen Arbeitsgeräts gemäß der vorliegenden Erfindung wird wie folgt ausgeführt. Das Bild des Ziels wird durch die mehreren Beobachtungskameravorrichtungen aufgenommen. Die Beobachtungskameravorrichtungen verwenden Linsensysteme, die nicht zentrale Projektionslinsen sind, wie zum Beispiel normale Projektionsfischaugenlinsen, bei denen der Randbereich eine geringere Genauigkeit in der räumlichen Bestimmung aufweist als der zentrale Bereich. Die Beobachtungskameravorrichtungen der vorliegenden Erfindung haben eine geringere Genauigkeit bei der Bestimmung der Position. Jedoch besitzt das automatische Arbeitsgerät gemäß der vorliegenden Erfindung verlässliche Azimutalinformationen, selbst wenn die Ansicht in dem Fischaugenbild verzerrt ist. Wenn daher die Position des Ziels in dem Randbereich des Bilds nicht genau abgebildet ist, regelt die Drehantriebssteuerung schnell, um die Beobachtungskameravorrichtung anzusteuern und auf das Ziel auszurichten, selbst wenn die genaue räumliche Position nicht bekannt ist, wodurch es möglich ist, das Ziel schnell in dem zentralen Bereich des Bilds in der Beobachtungskamera zu erfassen.
Das automatische Arbeitsgerät weist ein Trägersystem auf, um die gegenseitige Entfernung zwischen dem Ziel und dem automatischen Arbeitsgerät selbst zu ändern. Bei der Ausführung der Tätigkeit ist es erwünscht, dass sich das automatische Arbeitsgerät bewegt, um die relative Position zu dem Ziel anzupassen und die vorgegebene Tätigkeit basierend auf der räumlichen Position des Ziels auszuführen.
Bei diesem Systemaufbau ist es möglich, dass das automatische Arbeitsgerät das Ziel in räumlicher Position mit hoher Genauigkeit detektiert und die relative Position durch das Trägersystem anpasst, so dass flexible und zuverlässige Aufgaben ausgeführt werden können.
Es ist möglich, die Zielbildextraktionseinheit derart zu entwerfen, dass sie eine Fähigkeit zur Unterscheidung der Farbe des Ziels in solcher Weise aufweist, dass das System die mögliche Referenzfarbe abspeichert und lediglich das Bild detektiert, das der Referenzfarbe entspricht. Um das Ziel zu erfassen, ist das durch die Beobachtungskameravorrichtung aufgenommene Bild in mehrere Bildelemente (Pixel) unterteilt und der Zusammenhang über eine bestimmte Menge dieser Bildelemente in dem Bild kann ausgewertet werden, indem die Bildelemente, die dem Zusammenhang zurechnen, durch eine einzige selbe ID gekennzeichnet sind. Die aus mehreren Bildelementen, die dieselbe ID aufweisen, zusammengesetzte Gruppe wird als ein konsistentes einzelnes Ziel behandelt.
In dem Fall, in dem das Ziel kugelförmig ist, ist es wünschenswert, die Beurteilung, ob das Ziel identisch dasselbe ist wie das Ziel, das zuvor erfasst wurde, wie in dem folgenden Verfahren erläutert auszuführen. Die Zielbildextraktionseinheit stellt die Information der Gruppe von Bildelementen bereit, die dieselbe ID aufweisen. Die Zahl der Bildelemente entlang der vertikalen Richtung und der horizontalen Richtung auf dem durch die Beobachtungskameravorrichtung aufgenommenen Bild wird entsprechend gezählt. Eine Berechnung wird in solcher Weise durchgeführt, dass die Zahl der Bildelemente in den Betrachtungswinkel unter Verwendung der umgekehrten Berechnung für sagittale Verzerrungen der Fischaugenlinse umgewandelt wird. Dann ist es wünschenswert, dass die Beurteilung, ob die Gruppe der Bildelemente das Ziel darstellen, das einmal als eine Kugel erfasst wurde, in Übereinstimmung mit dem Verhältnis des vertikalen Betrachtungswinkels zu dem horizontalen Betrachtungswinkel ausgeführt wird.
In dem Fall, dass das Ziel eine Kugelform aufweist, ist das Verhältnis des vertikalen Betrachtungswinkels zu dem horizontalen Betrachtungswinkel in einer Betrachtungswinkelabbildung nahe Eins. Daher kann bestätigt werden, ob das detektierte Ziel in dieser Betrachtungswinkelabbildung identisch dasselbe ist wie das zuvor erfasste. Da die Betrachtungswinkelabbildung anstelle der Bildelemente auf dem durch die Beobachtungskameravorrichtung aufgenommenem Bild verwendet wird, ist es möglich zu erkennen, ob es das Originalziel ist, wenn das Bild des Ziels in dem Randbereich der Beobachtungskameravorrichtung aufgenommen wurde, in dem das durch die Kugel projizierte Kreisbild ziemlich verzerrt ist. Ferner kann der Füllgrad, das heißt der Besetzungsgrad der Gruppe der Bildelemente zu dem durch den vertikalen Betrachtungswinkel und den horizontalen Betrachtungswinkel, die in der Betrachtungswinkelabbildung spezifiziert sind, gegebene Rechteck ausgewertet werden und das Ergebnis ermöglicht es, den Kreis, der ein Verhältnis von Eins aufweist, von einer Rechteck- oder Ringform zu unterscheiden und das Ziel richtig zu detektieren und zu identifizieren.
Bei der Festlegung der Referenzfarbe wird die Farbe des Ziels in dem durch die Beobachtungskameravorrichtung aufgenommenen Bild abgetastet und die Abtastdaten werden auf dem Farbdifferenzabstufungsdiagramm als Cr-Cb-Raum verteilt, weshalb gesagt werden kann, dass die abgetastete Farbe auf den Cr-Cb-Raum aufgetragen wird. Der Bereich, der sich zu dem Ursprung des Diagramms ausdehnt, was anzeigt, dass die Farbe achromatisch ist, wird bei der Bestimmung einer solchen grafischen Darstellung entfernt. Durch diese Festlegung kann die spezifische Farbe des Ziels definiert und als Referenzfarbe für die Identifizierung bei der Detektion verwendet werden, da die Luminanz entfernt werden kann mittels des Cr-Cb-Diagramms und Entfernen der aufgetragenen Daten in dem sich zum Ursprung des Cr-Cb-Diagramms ausdehnenden Bereich, in dem die durch die Oberflächenreflexion des Ziels in dem Umgebungslicht erzeugte achromatische Farbe entfernt werden kann.
Bevorzugter ist das automatische Arbeitsgerät wie folgt aufgebaut. Die Beobachtungskameravorrichtungen sind in dem Gerät horizontal installiert. Die Positionsbestimmungseinheit umfasst ein Distanzberechnungsmodul, das die Entfernung von dem Gerät zu dem Ziel mittels der Positionsinformation des Zielbilds aus den durch diese zwei Beobachtungskameravorrichtungen aufgenommenen Bildern bestimmt, ein Horizontalpositionsberechnungsmodul, das die Horizontalposition des Ziels in Bezug auf das Gerät mittels der Positionsinformation des Zielbilds aus den durch diese zwei Beobachtungskameravorrichtungen aufgenommenen Bildern berechnet, und ein Vertikalpositionsberechnungsmodul, das die Vertikalposition des Ziels in Bezug auf das Gerät mittels der Positionsinformation des Zielbilds aus den durch diese zwei Beobachtungskameravorrichtungen aufgenommenen Bildern berechnet. Die Steuerung der Einheiten und die Datenverarbeitung für dieses Gerät werden wie folgt durchgeführt. Jedes durch die zwei Beobachtungskameravorrichtungen aufgenommene Bild für jeden Abtastmoment zur Verfolgung des Ziels wird zuerst ausgewertet, ob es sich in einem von drei Bereichskategorien befindet, einem linken und rechten Randbereich, einem oberen und unteren Randbereich und einem zentralen Bereich. Sobald das Zielpositionsevaluierungsmodul beurteilt, dass sich das Ziel in dem linken oder rechten Randbereich befindet, steuert das Positionsevaluierungsmodul die Drehsteuerung, die die Drehantriebseinheit steuert, um die Beobachtungskameravorrichtungen in horizontaler Richtung zu drehen. Sobald das Zielpositionsevaluierungsmodul beurteilt, dass sich das Ziel in dem oberen oder unteren Randbereich befindet, steuert das Positionsevaluierungsmodul die Drehsteuerung, die die Drehantriebseinheit steuert, um die Beobachtungskameravorrichtungen in vertikaler Richtung zu drehen und ein Positionsbestimmungsvorgang beginnt wie folgt. Das Horizontalpositionsberechnungsmodul berechnet die Horizontalposition des Ziels in Bezug auf das Gerät und das Distanzberechnungsmodul berechnet die Entfernung von dem Gerät zu dem Ziel und dann wird die Horizontalposition des Ziels in der Horizontalebene spezifiziert. Der abschließende Vorgang wird mit der Information des Ziels in dem zentralen Bereich des durch die Beobachtungskameravorrichtungen aufgenommenen Bilds in einer Weise durchgeführt, dass die durch das Distanzberechnungsmodul erhaltene Entfernung zu dem Ziel, die durch das Horizontalpositionsberechnungsmodul erhaltene Horizontalposition des Ziels und die durch das Vertikalpositionsberechnungsmodul erhaltene Vertikalposition des Ziels verwendet werden, die Position des Ziels in der Horizontalebene und im Raum zu spezifizieren. Dann beginnt die Ausführung einer vorgegebenen Tätigkeit nach der Anpassung der Relativposition zwischen dem Ziel und dem automatischen Arbeitsgerät.
Bei dieser Abfolge der Richtungssteuerung der Beobachtungskameravorrichtung, wie oben erläutert, ist es möglich, die räumliche Position des Ziels bei jedem Vorgang der Bildabtastung zu spezifizieren. Die horizontale Festlegung derart, dass zwei Beobachtungskameravorrichtungen in der Horizontalebene ausgerichtet sind, weist ein Problem auf, das heißt, der Ansichtsunterschied zur Spezifizierung der Vertikalposition ist nicht ausreichend, wenn sich das Ziel in dem oberen oder unteren Randbereich befindet. Die Steuerung derart, dass die Horizontaldrehung der Beobachtungskameravorrichtungen die erste Aktion durchführt, löst jedoch die Vertikalpositionsbestimmung. Sie ist ausführlich im Folgenden erläutert.
Folglich ist die Vertikalposition (Z-Achsenposition) des Ziels weniger zuverlässig bei einer Anordnung mit einer Beobachtungskameravorrichtung, die zwei Kamerasets auf der linken und rechten Seite aufweist. Die Horizontalposition (Y-Achse) und die Entfernung zu dem Ziel sind jedoch zuverlässig. Daher ist es möglich, die Position des Ziels in der Horizontalebene (X-Y-Ebene) zu spezifizieren, selbst wenn sich das Bild des Ziels in dem oberen oder unteren Randbereich befindet. Wenn sich das Ziel in dem zentralen Bereich befindet, ist es möglich, eine ausreichende Genauigkeit bei der Bestimmung der Zielposition mit hoher Genauigkeit in X, Y, und Z zu erzielen. Die Positionsinformation der X-, Y-, und Z-Achse kann zum Zweck des Systems verwendet werden. Die vorgegebene Tätigkeit wird durch Anpassen der gegenseitigen Entfernung zwischen dem Ziel und dem automatischen Arbeitsgerät mit dem Träger basierend auf der Lage in der Horizontalebene und der Position im Raum durchgeführt.
Die Drehung der Beobachtungskameravorrichtung kann ausgeführt werden, wenn sich das Ziel in dem linken und rechten Randbereich des Bilds sowie in dem oberen und unteren Randbereich befindet.
Das automatische Arbeitssteuerprogramm gemäß der vorliegenden Erfindung zeichnet sich durch die Funktionen aus, ein automatisches Arbeitsgerät zu steuern, das mehrere Beobachtungskameravorrichtungen umfasst, die Linsen mit nicht zentraler Projektion, wie zum Beispiel Fischaugenlinsen, aufweisen, und die Richtung der Beobachtungskameravorrichtung zu ändern, und das die Arbeiten an dem Ziel ausführt, dessen Bild durch diese mehreren Beobachtungskameras detektiert wird, einen Computer in einer Weise derart, dass der Computer die Zuverlässigkeit der Positionsinformation hinsichtlich des Ziels als Antwort auf die in den Bildern durch die Zielbildextraktionseinheit spezifizierte Position des Ziels unterscheidet und die Drehung der Drehantriebseinheit steuert, die die Drehantriebseinheit in Übereinstimmung mit der Zuverlässigkeit steuert, die durch die Auswertung der Zielpositionsinformation als Antwort auf die Zielposition erhalten wird, die durch die Zielbildextraktionseinheit in den Bildern spezifiziert ist.
Das automatische Arbeitssteuerprogramm gemäß der vorliegenden Erfindung zeichnet sich durch die Funktionen aus, ein automatisches Arbeitsgerät zu steuern, das mehrere Beobachtungskameravorrichtungen umfasst, die Linsen mit nicht zentraler Projektion, wie zum Beispiel Fischaugenlinsen, aufweisen und die Richtung der Beobachtungskameravorrichtung zu ändern, und das die Aufgaben an dem Ziel ausführt, dessen Bild durch diese mehreren Beobachtungskameras detektiert wird, einen Computer in einer Weise derart, dass der Computer für eine Zielbildextraktionseinheit arbeitet, die das Bild der Ziele aus den durch die Beobachtungskameravorrichtung aufgenommenen Bildern extrahiert, ein Positionsevaluierungsmittel, um die räumliche Zielpositionsinformation als Antwort auf die Zielposition zu erhalten, die durch die Zielbildextraktionseinheit in den Bildern spezifiziert ist, und ein Drehsteuermittel, das die Beobachtungskameravorrichtung durch die Drehantriebseinheit ändert, so dass das Ziel, dessen Position durch die Zielbildextraktionseinheit in den Bildern spezifiziert ist und sich in dem Randbereich des Bilds befindet, das durch das durch die Beobachtungskameravorrichtung aufgenommene Bild erhalten wird, in der Mitte des Bilds betrachtet wird, wobei das Bild in einen Randbereich und einen zentralen Bereich des durch die Beobachtungskameravorrichtung aufgenommenen Bilds unterteilt wird.
Das Gerät und das Computerprogramm, das dieses steuert, werden zum Ballspielen, zum Handhaben von Materialen am Fließband, zur Lenkung und für den Verlangsamungs-Beschleunigungsvorgang von Fahrzeugen eingesetzt. Da es erforderlich ist, das Ziel zu detektieren und eine Aktion für das Ziel, wie zum Beispiel den beweglichen Ball, das Material auf dem Fließband und die parallel fahrenden oder von vorne kommenden Fahrzeuge, in diesen Anwendungen zu ergreifen, kann die vorliegende Erfindung bevorzugt eingesetzt werden.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Zeichnung, die das Aussehen des Roboters gemäß der vorliegenden Ausführungsform darstellt.
2 ist eine Perspektivzeichnung, die die internen Komponenten zum Betreiben der Aktion des Roboters gemäß der vorliegenden Ausführungsform darstellt.
3 ist ein Blockdiagramm der für den Roboter gemäß der vorliegenden Ausführungsform verwendeten Funktionseinheit.
4 ist ein Blockdiagramm der für die Steuerung und die Roboterfunktion verwendeten Hardware.
5 ist ein Funktionsblockdiagramm, das die Betriebsfunktion des Roboters gemäß der Ausführungsform darstellt.
6 ist ein Flussdiagramm, das den Ablauf der Bildverarbeitung darstellt.
7 ist eine schematische Darstellung, die den Vorgang der Farbabtastung in dem erfassten Bild zeigt.
8 ist eine schematische Darstellung, die den Vorgang der Farbabtastung der Ballonfarbe in dem Cr-Cb-Raum zeigt.
9 ist eine schematische Darstellung, die ein Beispiel der Extraktion des Bildelements zeigt, das die Referenzballonfarbe aufweist.
10 ist eine schematische Darstellung, die den Kennzeichnungsvorgang erläutert.
11A, 11B und 11C sind Zeichnungen, die die Formbestimmung des Ziels erläutern.
12 ist eine schematische Darstellung, die die Position des Ballons BL in den Raumkoordinaten zeigt.
13 stellt den berechneten Entfernungsfehler für zwei Linsenarten dar.
14 ist eine Zeichnung, die die Einteilung der Bildbereiche des durch die Kameras aufgenommenen Bilds darstellt.
15 ist ein Flussdiagramm, das die Aktion des Roboters gemäß der vorliegenden Ausführungsform darstellt.
16 sind Bildfelder des beweglichen Bilds, die eine Reihe von Roboteraktionen beim Ballspielen darstellen.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Die Ausführungsformen der vorliegenden Erfindung werden unter Verwendung der Zeichnungen wie folgt erläutert.
Zuerst wird ein Beispiel der Funktion des automatischen Arbeitsgeräts, der ein menschlich gestalteter Roboter ist, erläutert, worin das Spielen mit einem Ballon ausgeführt wird.
1 stellt ein Aussehen eines menschlich gestalteten Roboters dar. Wie in 1 zu sehen ist, weist der Roboter R zwei Beinteile R1 auf, einen Oberkörper R2, Armteile R3, einen Kopfteil R4 und er steht und geht automatisch. Der Roboter R trägt ein Steuergehäuseteil R5, das die Beinteile R1, den Oberkörper R2, die Armteile R3 und den Kopfteil R4 steuert. Der Kopfteil R4 weist CCD-Kameras auf (siehe 2 und 3).
2 stellt die Hauptkomponenten zum Betrieb des Roboters R dar. Alle in 2 dargestellten Verbindungen sind durch Elektromotoren dargestellt, die die Verbindungen antreiben.
Wie in 2 dargestellt, besitzt der Roboter R ein linkes und rechtes Bein R1 und sechs Gelenke 11R(L) bis 16R(L). Die zwölf Gelenke bestehen aus einem Paar Hüftgelenke 11R und 11L (R bezeichnet die rechte Seite und L die linke Seite), die die Beinteile drehen, einem Paar Hüftquerachsengelenke (Y-Achse) 12R und 12L, einem Paar Hüftlängsachsengelenke (X-Achse) 13R und 13L, einem Paar Kniequerachsengelenke (Y-Achse) 14R und 14L, einem Paar Fußknöchelquerachsengelenke (Y-Achse) 15R und 15L und einem Paar Fußknöchellängsachsengelenke (X-Achse) 16R und 16L. Zwei Fußteile 17R und 17L sind an den Beinteilen R1 befestigt.
Die Beinteile R1 besitzen Hüftgelenke 11R(L), 12R(L) und 13R(L), Kniegelenke 14R(L), Fußknöchelgelenke 15R(L) und 16R(L). Die Hüftgelenke 11R(L)–13R(L) und die Kniegelenke 14R(L) sind über 51R und 51L verbunden und die Hüftgelenke 14R(L) und die Fußgelenke 15R(L) und 16R(L) sind mit Unterschenkelgliedern 52R und 52L verbunden.
Die Beinteile R1 sind mit dem Oberkörper R2 durch Hüftgelenke 11R(L) bis 13R(L) verbunden. 2 stellt die Verbindung der Beinteile R1 und des Oberkörpers R2 mit einer Oberkörperverbindung 53 in einer einfachen Darstellung dar. Der Armteil R3 und der Kopfteil R4 sind mit dem Oberkörper R2 verbunden und das Gelenk 21 ist angebracht, um den Oberkörper R2 zu drehen. Die Beinteile R1 und die Steuereinheit, die deren Funktion als eine Transportausrüstung steuert, durch die die Relativposition zwischen dem Ziel und dem Roboter angepasst werden kann.
Die Arme R3 bestehen aus einem Paar Schulterquerachsengelenke (Y-Achse) 31R und 31L, einem Paar Schulterlängsachsengelenke (X-Achse) 32R und 32L, Schultergelenken 33R und 33L (um die Schwerpunktachse), um den Arm R3 zu drehen, Ellbogengelenke 34R und 34L um die Ellbogenquerachse (Y-Achse), Armgelenke 35R und 35L um die Schwerpunktachse (Z-Achse), um das Handgelenk zu drehen, Handgelenke 36R und 36L um die Handgelenkquerachse (Y-Achse) und die Gelenke 37R und 37L um die Handgelenklängsachse (X-Achse). Die Hände 38R und 38L sind an dem Ende des Handgelenks befestigt.
Bei diesem Aufbau besitzen die Armteile R3 Schultergelenke 31R(L), 32R(L) und 33R(L), ein Kniegelenk 34R(L), ein Armgelenk 35R(L) und ein Handgelenk 36R(L). Die Schultergelenke 31 bis 33R(L) und das Kniegelenk 36R(L) sind über einen Oberarm 54R(L) verbunden und das Kniegelenk 34R(L) und das Handgelenk 36R(L) sind über den Unterarm 55R(L) verbunden.
Zur Verdeutlichung der Zeichnung ist der rechte Armteil R3 am Kniegelenk 34R auf 90 Grad gedreht.
Der Kopfteil R4 besitzt ein Nackengelenk 41, das den Neigungswinkel des Kopfs R4 ändert, und ein anderes Nackengelenk 42, um das Panorama zu ändern. Der Kopfteil R4 weist Fischaugenlinsen 43a und CCD-Kameras 43 auf, die die Fischaugenlinsen 43a auf der linken Seite und der rechten Seite angeordnet haben. Die CCD-Kamera 43 kann eine 180-Grad-Sicht vor dem Kopf R4 in der Horizontalebene betrachten. Es ist möglich, die CCD-Kameras 43 zu drehen, um die Richtung des Betrachtungswinkels durch die Nackenknöchel 41 und 42 zu ändern. Mit anderen Worten fungieren die CCD-Kameras 43 als die Beobachtungskameras, durch die die Zielbilder aufgenommen werden, und die Nackengelenke 41 und 42 entsprechen der Beobachtungskameradrehvorrichtung.
Bei diesem Aufbau weist der Beinteil R1 12 Freiheitsgrade auf und erlaubt einen beliebigen Gehvorgang im dreidimensionalen Raum in einer konsolidierten Gehbewegung durch Bewegen der 12 Gelenke (6 Achsen × 2, wobei „x" eine Multiplikation kennzeichnet). Die Armteile R3 weisen 7 Freiheitsgrade für jeweils den linken und den rechten Arm auf. Durch Ansteuerung dieser Gelenke in geeignete Winkel ist es möglich, die vorgegebene Arbeit auszuführen.
Wie in 2 dargestellt, besitzt der Fußteil 17R(L) unter dem Fußknöchel 6-Achsenkraftsensoren 61 und die Abstoßung für drei Richtungen Fx, Fy und Fz und die Momente Mx, My und Mz werden dadurch detektiert.
Die ähnlichen 6-Achsenkraftsensoren 62 sind zwischen den Handgelenken und den Händen 38R und 38L befestigt, wobei die Kräfte neben jenen, die gegen den Roboterkörper aufgebracht werden, insbesondere die Abstoßungskräfte, die durch das Arbeitsziel erhalten werden, als Fx, Fy und Fz und die Momente Mx, My und Mz detektiert werden.
Ein Neigungssensor 63 ist in dem Oberkörper R2 eingebaut, womit der Neigungswinkel gegen die Schwerkraftrichtung und die Momentgeschwindigkeit detektiert werden. Der Elektromotor jedes Gelenks besitzt einen Zahnradsatz (in der Figur nicht dargestellt), um die Geschwindigkeit herabzusenken oder die Antriebskraft zu steigern, durch die das Oberschenkelglied 51R(L) und das Unterschenkelglied 52R(L) gemeinsam angetrieben werden. Die Drehung wird durch einen Drehwertgeber (in der Figur nicht dargestellt) detektiert und gemessen. Der Steuergehäuseteil R5 verwahrt eine Steuereinheit 100, an die die Bilddaten der durch die CCD-Kameras 43 aufgenommenen Bilder und die Ausgabedaten der Sensoren (der Datenfluss auf der rechten Seite des Roboters R ist lediglich zur Verdeutlichung dargestellt) gesendet werden. Jeder Elektromotor wird durch das Antriebssteuersignal angesteuert, das durch die Steuereinheit 100 gesendet wird.
Der Aufbau des Roboters R wird mit Bezug auf 3 erläutert, die ein Blockdiagramm des Roboters R ist. Wie in 3 dargestellt, weist der Roboter R eine zentrale Steuerfähigkeit auf, die durch die Steuereinheit 100 realisiert ist, die der Steuergehäuseteil R5 ist. Die an verschiedenen Teilen des Roboters R befestigten Sensoren senden die Sensorsignale an die Steuereinheit 100. Die Steuereinheit 100 bestimmt die Aktion des Roboters anhand der detektierten Signalwerte und berechnet die Antriebssteuerwerte für jedes anzusteuernde Gelenk.
Die Steuereinheit 100 ist ein Computersystem, das eine zentrale Verarbeitungseinheit (CPU), Speichervorrichtungen 102 und Eingabe- und Ausgabeschnittstellen (I/F) 103 aufweist. Das Computersystem verarbeitet die Eingangsinformationen mit dem in der Speichervorrichtung 102 gespeichertem Programm und führt die Funktion wie im Folgenden beschrieben aus.
Die Beinteile R1 umfassen die Gelenke 11R(L) bis 15R(L) und die 6-Achsenkraftsensoren 61. Die durch die 6-Achsenkraftsensoren detektierten Signale werden in die Steuereinheit 100 eingegeben und die Gelenke 11R(L) bis 15R(L) werden durch die Steuereinheit 100 angesteuert.
Der Oberkörper R2 weist das wie oben beschriebene Gelenk 21 auf, den Neigungssensor 63 und die Batterie 25. Die elektrische Leistung der Batterie 25 wird jedem Gelenk durch die Steuereinheit 100 zugeführt. Das detektierte Signal des Neigungssensors 63 wird in die Steuereinheit 100 eingegeben und das Gelenk 21 wird durch die Steuereinheit 100 angesteuert.
Die Armteile R3 weisen die Gelenke 31R(L) bis 37R(L), die Hand 38R(L), die 6-Achsenkraftsensoren 62 wie oben beschrieben auf. Die detektierten Signale der 6-Achsenkraftsensoren 62 werden in die Steuereinheit 100 eingegeben und die Gelenke 31R(L) bis 37R(L) und die Hand 38R(L) werden durch die Steuereinheit 100 angesteuert.
Der Kopfteil R4 weist CCD-Kameras 43 als Sensoren und einen Gyro-Sensor 44 zusätzlich zu den Nackengelenken 41 und 42 wie oben beschrieben auf. Gemäß der Information dieser Sensoren kann der Roboter R die Position im dreidimensionalen Raum erfassen. Folglich werden die Position in dem Bild des durch die CCD-Kameras aufgenommenen Bilds und die 3D-Position des Roboters R zusammen verknüpft. Die Gangablaufsteuerung des Roboters ist durch die veröffentlichte Technologie realisiert, die der vorliegende Anmelder in JP 10-217161, A (1998) eingereicht hat.
4 ist ein Blockdiagramm, das den Kernteil der vorliegenden Erfindung darstellt. Die Steuereinheit 100 ist grundlegend in zwei Teile unterteilt, in einen Bildverarbeitungscomputer 100a und den Aktionssteuercomputer 100b. Diese Computer sind mit einem optischen Kommunikationskabel verbunden.
Der Bildverarbeitungscomputer 100a weist einen Bildabtaster 105 auf, um die Bilder von dem beweglichen Bild zu erfassen, und die Grafik-CPU 101a und eine Kommunikationsbaugruppe 109a und diese sind mit einer Busleitung BL1 verbunden.
Der Aktionssteuercomputer 100b weist eine Kommunikationsbaugruppe 109b und die Steuer-CPU 101b auf und diese sind mit einer Busleitung BL2 verbunden.
Die CCD-Kameras 43 umfassen die rechte CCD-Kamera 43R und die linke CCD-Kamera 43L und diese sind mit dem Bildabtaster 105 verbunden. Der Bildabtaster 105 erfasst die Bilder, die durch die rechte CCD-Kamera 43R und die linke CCD-Kamera 43L aufgenommen werden und übergibt die Bilddaten an die Grafik-CPU 101a. Die durch die Grafik-CPU 101a verarbeiteten Bilddaten werden durch die Kommunikationsbaugruppe 109 und das optische Kabel 107 an den Aktionssteuercomputer 100b gesendet.
Die durch die Grafik-CPU 101a verarbeiteten Bilddaten werden in den Aktionssteuercomputer 100b durch die Kommunikationsbaugruppe 109b eingegeben. Die Steuer-CPU 101b bestimmt die Aktion, wie zum Beispiel Bewegen und Schlagen eines Ballons BL anhand der durch die Grafik-CPU 100a verarbeiteten Bilddaten und steuert die Elektromotoren der Gelenke 21, 31 usw. durch die Servoverstärker 108 usw. an.
5 stellt ein Funktionsblockdiagramm des Roboters R dar.
Wie in 5 dargestellt, weist die Steuereinheit 100 des Roboters R eine Bildverarbeitungsmaschine 110 auf, die die Position des Ziels, dessen Bild durch die CCD-Kameras 43R und 43L aufgenommen wird, unterscheidet, eine Hauptsteuermaschine 120, die den Aktionsplan anhand der Position des durch die Bildverarbeitungsmaschine 110 ermittelten Ziels bestimmt, eine Trägersteuerung 131, die tatsächlich die Beinteile R1 steuert, und eine Aktionssteuerung 132, die die Bewegung des Oberkörpers R2 und der Armteile R3 steuert, und eine Kopfsteuerung 133, die die Bewegung des Kopfteils R4 steuert.
Die Bildverarbeitungsmaschine 110 weist eine Bildeingabeeinheit 111 auf, eine Zielbildextraktionseinheit 112, ein Distanzberechnungsmodul 113, ein Horizontalpositionsberechnungsmodul 114, ein Vertikalpositionsberechnungsmodul 115 und ein Zielbereichsunterscheidungsmodul 116. Die Positionsbestimmungseinheit besteht aus einem Distanzberechnungsmodul 113, einem Horizontalpositionsberechnungsmodul 114 und einem Vertikalpositionsberechnungsmodul 115.
Die Bildverarbeitung in dieser Ausführungsform wird wie folgt erläutert. 6 ist ein Flussdiagramm, das die in der Bildverarbeitungsmaschine 110 durchgeführte Bildverarbeitung darstellt. Auf der linken Seite und der rechten Seite des Flussdiagramms sind das linksseitige Bild bzw. das rechtsseitige Bild, die zu verarbeiten sind und verarbeitet werden, dargestellt.
Wie in 6 dargestellt, wird das linksseitige Bild und das rechtsseitige Bild S101 durch die rechte CCD-Kamera 43R bzw. die linke CCD-Kamera 43L aufgenommen. Das linke Bild L101 und das rechte Bild R101 weisen ein Bild des Ballons BL in dem zentralen Bereich auf und die Hintergrundansicht ist um den Ballon BL aufgenommen. Die Hintergrundansicht ist das Innere des Raums, wobei es drei Reihen (fluoreszierender) Lichter LT an der Decke gibt und eine Prismensäule PL links vorne. Da das linke Bild L101 und das rechte Bild R101 eine Parallaxe aufweist, wird beurteilt, dass sich die Position des Ballons BL etwas in dem rechten Bereich befindet im Vergleich zu der in dem linken und rechten Bild gesehenen Position des Ballons BL.
Durch Extraktion der Bildelemente, die in der Referenzfarbe in dem Farbdifferenzabstufungsdiagramm als Cr-Cb-Raum enthalten sind, wird der Zielbereich unterschieden (S102). Die Bildelemente, die einen einzigen Zusammenhang aufweisen, werden detektiert und die Kennzeichnung (Kennzeichnungsvorgang genannt) S103 wird für jeden Verknüpfungsblock durchgeführt. Als nächstes wird eine Formerkennung der Bildelemente durchgeführt, die durch dasselbe Kennzeichen gekennzeichnet sind, um zu bestimmen, ob es sich um die Form des Ballons BL handelt, und der Ballon BL, der das Ziel der Arbeit ist, wird spezifiziert (S104). In dem abschließenden Schritt wird die dreidimensionale Position des Ballons BL durch die Positionen in dem rechten Bild und dem linken Bild berechnet (S105).
Die Bildeingabeeinheit 111 in 5 entspricht dem Bildabtaster 105, der das bewegliche Bild erfasst, das durch die rechte CCD-Kamera 43R und die linke CCD-Kamera 43L in einer Rahmenbildeinheit aufgenommen ist. Die Bildeingabeeinheit 111 sendet das Rahmenbild an die Zielbildextraktionseinheit 112.
Die Zielbildextraktionseinheit 112 extrahiert das Bild des Ballons BL, der das Ziel der Arbeit ist, aus den Ausgabebildern der Bildeingabeeinheit 111. In dieser Ausführungsform wird, um den Ballon BL anhand der Farbe des Ballons BL zu spezifizieren, die Farbe vor der Zielbereichsunterscheidung abgespeichert.
(Farbspeicher)
Das Folgende beschreibt das Verfahren, die Farbe des Ballons BL abzuspeichern, der das Ziel ist.
Zunächst werden die CCD-Kameras 43 gedreht, um die Ansicht des Ballons BL in dem zentralen Bereich des betrachteten Bildes wie in 7 dargestellt aufzunehmen. Das Bild des Ballons BL wird durch ein Rechteck S abgetastet, um so lediglich das Bild des Ballonbereichs in der Abtastung zu umfassen und die Bereiche außer dem Ballonbereich vollständig auszuschließen. Das System der Steuereinheit 100 handhabt grundsätzlich den Bereich und die Form der Rechtecke und die Position der Rechtecke in dem betrachteten Bild, so dass der Roboter R den Ballon BL in hoher Geschwindigkeit detektiert und ihn in Details spezifiziert. 8 stellt den abgetasteten Farbbereich C_S des Ballons BL dar, der durch die Farbinformation gegeben ist, die in dem Cr-Cb-Raum durch Abtasten jedes im YCrCb-Raum erhaltenen Bildelements aufgetragen ist. 8 stellt ein Beispiel dar, wenn die Farbe des Ballons BL blau ist. Gemäß den Eigenschaften des Cr-Cb-Raums ist der Bereich nahe des Ursprungs der achromatische Bereich oder ein weniger chromatischer. Das durch die CCD-Kameras 43 aufgenommene Bild wird weniger chromatisch, wenn die Bildelemente heller sind und folglich wird der Teil der Ballonoberfläche, an der die Lichter LT reflektieren, weniger chromatisch und die Farbe eines solchen Bilds des Ballons BL ist in dem Bereich nahe des Ursprungs aufgetragen (C_N wie in 8 dargestellt). Somit entspricht der Bereich C_N, der sich zum Ursprung erstreckt, den Bildelementen, die den Teil der Ballonoberfläche darstellen, an der das Licht reflektiert und der Bereich C_N sollte nicht als Referenzfarbe des Ballons BL, der das Arbeitsziel ist, akzeptiert werden. Wenn die Referenzfarbe einschließlich des C_N-Bereichs festgelegt ist, wird eine große Menge an Störungen, die, da sie nahe dem Bereich C_N in dem Bildrahmen liegen, irrelevante Farben für den Ballon BL aufweisen, bei der automatischen Arbeit detektiert. Die Farbe des Ballons BL ändert sich entsprechend der Lage in Bezug auf das Licht LT. Außerdem ist der Ballon BL durchscheinend und die detektierte Farbe beinhaltet die Ziele jenseits des Ballons BL und daher sollte die Referenzfarbe teilweise umfangreicher in dem Bereich außerhalb des achromatischen Bereichs sein. Deshalb ist wie in 8 dargestellt der Referenzfarbbereich des Ballons (C_B) in solcher Weise festgelegt, dass der achromatische Bereich ausgeschlossen ist und der umfangreichere Bereich in den Richtungen außer der Richtung zum C_S-Bereich, und die Farbverteilung in solch einem Bereich wird als die Farbe des Ballons BL abgespeichert.
Zusätzlich wird der Referenzfarbbereich C_B des Ballons BL in dem System der Steuereinheit 100 optimal festgelegt und abgespeichert, so dass der Roboter R den Ballon BL in hoher Geschwindigkeit detektieren kann und den Ballon BL im Detail als Antwort auf die Änderung des abgetasteten Farbbereichs des Ballons (C_S) und der Änderung der Lichtverhältnisse des Arbeitsraums spezifiziert. Die Farbe des Ziels, die im Voraus abgespeichert ist, ist nicht nur eine einzelne Farbe, sondern verschiedene Farben, so dass der Roboter R automatisch mit mehreren Ballons spielen kann.
(Zielbereichsunterscheidung)
Wie in dem Schritt S102 in 6 dargestellt, werden, wenn die Zielbereichsunterscheidung durchgeführt wird, lediglich die Bildelemente, die dieselbe Farbe aufweisen wie jene in dem Referenzfarbbereich des Ballons C_B (die „Referenzballonfarbe" genannt wird oder „Referenzfarbe", was als allgemeingültigerer Ausdruck verwendet wird) unterschieden. 9 stellt ein Beispiel dar, bei dem die Bildelemente der Referenzballonfarbe extrahiert sind. Wie in 9 dargestellt, wird im Wesentlichen eine Kreisform des Ballons BL unterschieden, aber das Bild der Ballonoberfläche, an der das Licht LT reflektiert wird (entspricht C_N in dem Cr-Cb-Raum) fehlt in dieser Kreisform. Die Ziele (die Bildelemente, die der Referenzballonfarbe entsprechen, sind auf dem Bild zu sehen) weisen dieselbe Farbe wie der Referenzfarbbereich des Ballons C_B auf, selbst wenn sie sich von dem Ballon BL unterscheiden. Solche Bildelemente werden als Störung behandelt.
(Kennzeichnungsvorgang)
Bei dem nächsten Vorgang werden die in Übereinstimmung mit der Referenzballonfarbe (mit anderen Worten die Farbe des Ziels) unterschiedenen Bildelemente, die wechselseitig verknüpft sind und einen Zusammenhang bilden, mit einer identischen Kennzeichnungs-ID gekennzeichnet. Ein Beispiel dieses Vorgangs ist, wenn ein bestimmtes Bildelement eine Farbe aufweist, die Nachbarbildelemente (Bildelemente oben links, oben, oben rechts, links, rechts, links unten, unten und rechts unten) jedoch nicht die Farbe aufweisen, wird dem Bildelement eine neue Kennzeichnungs-ID gegeben. Wenn das bestimmte Bildelement die Farbe aufweist und die acht Nachbarbildelemente die Farbe aufweisen, wird dem bestimmten Bildelement dieselbe Kennzeichnungs-ID als Kennzeichnungs-ID gegeben, die den acht Nachbarbildelementen zugewiesen ist. Wenn das bestimmte Bildelement die Farbe aufweist und mehr als zwei der acht Nachbarbildelemente die Farbe aufweisen und wenn die den Nachbarbildelementen gegebenen Kennzeichnungs-IDs wechselseitig verschieden sind, dann wird eine identische Kennzeichnungs-ID sowohl dem bestimmten Bildelement als auch allen Nachbarbildelementen gegeben.
Dieser Kennzeichnungsvorgang wird konkret mit Bezug auf 10 erläutert. Die in 10A bis 10E dargestellten Quadrate sind Bildelemente und die farbigen Elemente sind durch schattierte Quadrate gekennzeichnet. Die Bildelemente sind in Matrixform angereiht. Die Kennzeichnung wird von oben links durchgeführt. Wie in 10A dargestellt, weist lediglich ein beachtenswertes Bildelement (0, 0) die Farbe auf und die Nachbarbildelemente (das obere und das linke Bildelement) weisen die Farbe nicht auf. Dann wird das Bildelement neu gekennzeichnet.
Wie in 10B dargestellt, weist ein beachtenswertes Bildelement (0, 0) die Farbe auf und eines der Bildelemente (-1, -1), (0, -1), (1, -1), die sich oben benachbart zu dem beachtenswerten Bildelement befinden, weist die Farbe auf und das linke Nachbarbildelement weist die Farbe nicht auf, dann wird die ID-Kennzeichnung, die für das Bildelement verwendet wird, das die Farbe aufweist, dem beachtenswerten Bildelement zugeordnet.
Wie in 10C dargestellt, weist keines der drei oberen Bildelemente (-1, -1), (0, -1) und (1, -1) zu dem beachtenswerten Bildelement (0, 0) die Farbe auf und der linke Nachbar (-1, 0) weist die Farbe auf und dann wird die für das linke Nachbarbildelement verwendete ID-Kennzeichnung zur Kennzeichnung für das beachtenswerte Bildelement verwendet.
Wie in 10D dargestellt, weist jedes der oberen Bildelemente (-1, -1), (0, -1) und (1, -1) zu dem beachtenswerten Bildelement und der linke Nachbar (-1, 0) die Farbe und dieselbe Kennzeichnung auf. Dann wird das beachtenswerte Bildelement mit der Kennzeichnungs-ID gekennzeichnet. Wie in 10E dargestellt, weisen das beachtenswerte Bildelement, das obere Bildelement (1, -1) und das linke Bildelement (-1, 0) die Farbe auf und die Kennzeichnungs-ID des oberen Elements und die Kennzeichnungs-ID des linken Elements sind voneinander verschieden. Dieselbe Kennzeichnungs-ID des linken Bildelements wird stets neu mit dem beachtenswerten Bildelement und dem oberen Bildelement gekennzeichnet. Die Bildelemente, die dieselbe Kennzeichnungs-ID aufweisen wie das Bildelement (1, -1), werden alle mit denselben Kennzeichnungen wie die linke Nachbarkennzeichnungs-ID gekennzeichnet. In dem in dieser 10E dargestellten Vorgang weist der Bereich der U-Buchstabenform dieselbe Kennzeichnungs-ID für jeden der oberen zwei Zweige auf. Die Bildelemente, die keinem der Bereiche zugeordnet sind, werden mit dem Kennzeichnungswert „0" gekennzeichnet.
Dieser Vorgang wird über alle Bildelemente ausgeführt, folglich sind die Bildelemente, die miteinander verknüpft sind, mit einer identischen Kennzeichnung als ein einziger Bereich gekennzeichnet.
(Formbestimmung)
In dem nächsten Schritt wird die grobe Form des Bereichs, der eine identische Kennzeichnung aufweist, beurteilt. Durch diesen Vorgang wird der als Ballon BL unpassende Bereich entfernt. Da der Ballon BL allgemein eine Kreisform aufweist, wird das Bildseitenverhältnis als vertikaler Betrachtungswinkel zu dem horizontalen und der Besetzungsgrad der Bildelemente, die die Farbe aufweisen, in dem minimalen Rechteck, in dem der Bereich des Ballons BL enthalten ist, für die Bestimmung verwendet.
Und zwar wird das Verhältnis des vertikalen Betrachtungswinkels des Bereichs, der mit derselben Kennzeichnung gekennzeichnet ist, zu dem horizontalen Betrachtungswinkel berechnet. Wenn das Verhältnis dem vorgegebenen Intervall nahe 1 entspricht, zum Beispiel 0,8 bis 1,2, dann wird bestimmt, dass der Bereich möglicherweise der Ballon BL ist. Wenn das Verhältnis nicht innerhalb des vorgegebenen Intervalls liegt, wird bestimmt, dass der Bereich nicht die Möglichkeit aufweist, der Ballon BL zu sein, und die Kennzeichnungs-ID wird entfernt. Wenn der Bereich zum Beispiel ein vertikal langes Ellipsoid ist, wie in 11A dargestellt, ist das Betrachtungswinkelverhältnis viel größer als 1 und es wird bestimmt, dass der Bereich nicht der Ballon BL ist und die Kennzeichnungs-ID wird entfernt. Es ist zu bemerken, dass das Verhältnis in Betrachtungswinkeln angegeben ist und nicht in Anzahl der Bildelemente. Wenn das Foto des Ballons BL in einem Bild in der Ecke des Bildrahmens aufgenommen ist, weist er die Form eines Ellipsoids auf. Jedoch wird das Bildseitenverhältnis des vertikalen/horizontalen Betrachtungswinkels nahe zu Eins bestimmt.
Der Besetzungsgrad der Anzahl der Bildelemente, die eine identisch selbe Kennzeichnungs-ID aufweisen, zu dem Rechteck, in dem der Bereich beinhaltet ist, wird erhalten. Wenn dieser Besetzungsgrad in einem vorgegebenen Intervall liegt, zum Beispiel 0,68 bis 0,88, dann wird der Bereich als ein Ballon BL bestimmt, und wenn er nicht in dem vorgegebenen Intervall liegt, wird der Bereich nicht als der Ballon BL bestimmt. Durch Verwenden dieses Vorgangs wird das Ellipsoid, das eine lange um 45 Grad geneigte Achsen aufweist, wie in 11B dargestellt, oder die in 11C dargestellte Ringform mit einem Bildseitenverhältnis gleich Eins entfernt, da es nicht der Ballon BL ist und der Bereich und nur der wirkliche Ballonbereich wird extrahiert.
Die Grenzwerte des Bildseitenverhältnisses und des Besetzungsgrads werden geeignet festgelegt als Antwort auf die Form des Ziels und den Arbeitsraum.
Ein Distanzberechnungsmodul 113, ein Horizontalpositionsberechnungsmodul 114 und ein Vertikalpositionsberechnungsmodul 115, wie in 5 dargestellt, sind die Module, um die Entfernung zwischen dem Ziel und der CCD-Kamera 43 (oder Roboter 43), die durch die CCD-Kamera 43 gesehene Horizontalposition des Ziels und die Vertikalposition zu erhalten. Diese Module arbeiten als die Positionsbestimmungseinheit.
(Berechnung der Zielposition)
Zunächst wird die Mittellage des Bereichs des Ballons BL, dessen Bild extrahiert ist, erhalten. Die Mittellage ist durch den Mittelpunkt der Oberkante und der Unterkante des Ballonbereichs und den Mittelpunkt der linken Kante und der rechten Kante festgelegt. Als nächstes wird eine Richtung (genannt eine Zentralrichtung) zu dem Ballon BL von der CCD-Kamera 43 durch die durch diese Mittelpunkte spezifizierte Mittellage des Ballons BL bestimmt. Wie in 12 dargestellt, ist die Zentralrichtung durch den horizontal von der optischen Achse MR abgelenkten Horizontalwinkel α1 für die rechte CCD-Kamera 43R und den vertikalen Ablenkungswinkel γ von der optischen Achse MR als Vektor D1 festgelegt. Für die linke CCD-Kamera 43L ist sie durch den horizontal abgelenkten Winkel α2 von der optischen Achse ML und den vertikalen Ablenkungswinkel γ von der optischen Achse ML als Vektor D2 festgelegt. Die Entsprechung zwischen der Position der Bildelemente auf dem Bildrahmen und dem Betrachtungswinkel von der optischen Achse der CCD-Kamera 43 ist in einer Tabelle vorgespeichert (genannt „Kalibrierungsdaten").
Bei der automatischen Tätigkeit ist die Mittellage des Zielbereichs, dessen Bild durch die rechte CCD-Kamera 43R und die linke CCD-Kamera 43L aufgenommen ist, und die Position des Bildelements durch den Vektor D1 und D2 in Bezug auf die Kalibrierungsdaten spezifiziert.
Die Zentralrichtung des Ziels ist, wie in 12 dargestellt, durch den Vektor D1 und D2 gegeben.
Die Position (P_x, P_y, P_z) des Ziels, das ein Ballon ist, wird durch die folgenden Gleichungen erhalten; Px = (x1 tan α1 – y1 – x2 tan α2 + y2)/(tan α1 – tan α2) (1) Py = (Px – x1) tan α1 + y1 (2) Pz = (Px – x1) tan γ + z1 (3)wobei die Definitionen der Parameter sind:

(x1, y1, z1):: die Position der rechten CCD-Kamera 43R
(x2, y2, z2):: die Position der linken CCD-Kamera 43L
α1:: der horizontale Ablenkungswinkel des Vektors D1 von der optischen Achse MR der rechten CCD-Kamera 43R
γ:: der vertikale Ablenkungswinkel des Vektors D1 von der optischen Achse MR der rechten CCD-Kamera 43R
α2:: der horizontale Ablenkungswinkel des Vektors D2 von der optischen Achse ML der linken CCD-Kamera 43L

Es gibt mehrere mögliche Kandidaten (nicht auf einen einzelnen beschränkt) für den Bereich des Ballons BL. Wenn mehrere Kandidaten der Bereiche für den Ballon BL für dieselbe Farbe extrahiert werden, werden die Vektoren für die Zentralrichtungen für alle Bereiche für die Betrachtungsbilder in Paaren für die linke CCD-Kamera und für die rechte CCD-Kamera berechnet und die direkte Entfernung unter den Mittellagen der Kandidatenbereiche erhalten. Dann wird die Kombination der Bereiche ausgewählt, bei denen die direkte Entfernung innerhalb eines vorgegebenen erlaubten Intervalls liegt. Zum Beispiel gibt es zwei Kandidaten RA und RB für das rechte Betrachtungsbild und LA und LB für das linke Betrachtungsbild und es werden die Kombinationen RA-LA, RA-LB, RB-LA und RB-LB erstellt. Dann werden die direkten Entfernungen von der linken und rechten CCD-Kamera 43 zu den Kandidatenbereichen der Kombinationen erhalten. Wenn die oben gewonnenen direkten Entfernungen entsprechend 0,5 m, 0,01 m, 0,01 m und 0,5 m ergeben, dann werden RA-LB und RB-LA ausgewählt.
Wenn der Ballon BL selbst durch diesen Vorgang nicht als einziger spezifiziert ist, ist es möglich, den Bildseitenverhältnis für die Formbestimmung, der nahe einer Kreisform ist, zu beschränken, um einen einzigen Ballon BL zu bestimmen.
In dieser Ausführungsform realisieren das Distanzberechnungsmodul 113, das Horizontalpositionsberechnungsmodul 114 und das Vertikalberechnungsmodul 115 die obige Berechnung. Diese Module können jedoch funktionieren, die andere Berechnung für die Zielposition zu realisieren. Zum Beispiel wird das extrahierte Bild des Ballons BL zur Verbesserung der Verzerrung korrigiert. Dann werden die arithmetischen Mittel über die Koordinaten aller Bildelemente berechnet, um den Schwerpunkt des Ballons BL zu erhalten. Der Schwerpunkt kann als Mittellage des Ballons BL verwendet werden.
Die Entfernung von dem Ballon BL (in der X-Koordinate) kann durch die Parallaxe des Ballonbilds erhalten werden, die durch das rechte Bild und das linke Bild spezifiziert ist.
Das Zielbereichsunterscheidungsmodul 116, wie in 5 dargestellt, spezifiziert die Position des Ballons BL, der das Ziel ist, worin die Position in den Bereichen festgelegt ist, wie den linksseitigen und rechtsseitigen Bereichen (linker und rechter Bereich genannt), den oberseitigen und unterseitigen Bereichen (oberer und unterer Bereich genannt) und dem zentralen Bereich mit Ausnahme dieser Seitenbereiche. Mit anderen Worten spezifiziert das Zielbereichsunterscheidungsmodul 116, in welchem Bereich sich der Ballon BL befindet.
Der Grund, warum die Position des Ziels spezifiziert wird, ist, dass die Fischaugenlinse eine geringere Zuverlässigkeit der Position aufweist, wenn sich das Ziel an der Randseite des Bildrahmens befindet. 13 erläutert dieses Phänomen. Die horizontale Achse stellt den Ablenkungswinkel von der optischen Achse der CCD-Kamera dar. Die vertikale Achse stellt die Differenz zwischen zwei berechneten Entfernungen (hierin nachstehend „berechneter Distanzfehler" genannt) mittels zweier Kameras dar; eine wird mit den Bildern berechnet und die andere mit den diskretisierten Bildelementen. Wie in 13 dargestellt, weist die Zentralprojektionsweitwinkellinse einen konstanten berechneten Distanzfehler auf, selbst wenn der von der optischen Achse abgelenkte Winkel größer wird, aber die Orthogonalprojektionsfischaugenlinse, wie sie in der vorliegenden Ausführungsform verwendet wird, weist einen steilen Anstieg des berechneten Distanzfehlers auf, wenn der Ablenkungswinkel mehr als 40 Grad beträgt. Folglich ist die Zielposition zuverlässig in der Hinsicht, dass sie sich in der oberen oder unteren Position von der optischen Achse der Kamera befindet, aber die Position im 3D-Raum (X, Y, Z) ist ziemlich unzuverlässig. Aufgrund dieses Merkmals verwendet die vorliegende Erfindung die Positionsinformation als Antwort auf die Bereiche des Ziels in dem Bildrahmen. Wenn sich die Position des Ziels in dem zentralen Bereich des Bildrahmens befindet, berechnet die vorliegende Erfindung die 3D-Position des Ziels und verwendet diese für die automatische Tätigkeit. Wenn sich die Position des Ziels in dem Randbereich befindet, verwendet die vorliegende Erfindung diese lediglich für die Richtungsinformation.
Speziell wird der Bereich als Antwort auf die Zuverlässigkeit der Zielposition wie folgt festgelegt. Wie in 14 dargestellt, weist der Originalrahmen des durch die Fischaugenlinse (CCD-Kamera 43) aufgenommenen Bilds eine Kreisform auf, der obere und untere Teil des Bilds fehlt jedoch. In den linken und rechten Randbereichen ist lediglich die Richtung des Ziels zuverlässig und die durch das Bild erhaltene Entfernung zu dem Ziel ist nicht zuverlässig.
In dem oberen und unteren Bereich A_V sind die Horizontalrichtung und die Entfernung zu dem Ziel zuverlässig, die Vertikalposition (Z-Lage) ist jedoch nicht zuverlässig. Der Grund, sich auf die Entfernung zu dem Ziel zu verlassen, rührt von der Tatsache her, dass zwei CCD-Kameras 43 auf der linken und rechten Seite ausgerichtet sind und die Entfernung durch den Horizontalwinkel erhalten wird und die Horizontalposition des Ziels, die die grundlegende Angabe zur Gewinnung des Horizontalwinkels ist, ist zuverlässig.
In dem zentralen Bereich A_C ist die räumliche Position (X, Y, Z) des Ziels zuverlässig. Zusätzlich zu diesen drei Bereichen gibt es einen äußersten Randbereich AN, der nicht für die Spezifizierung der Zielposition verwendet werden kann.
Die Grenzen des oberen Bereichs A_V oder des linken und rechten Bereichs A_H zu den zentralen Bereich A_C sind bevorzugt in dem Bereich von 25 bis 35 Grad von der optischen Achse der CCD-Kamera 43 festgelegt. Da die erforderliche Entfernungsgenauigkeit für die in dieser Ausführungsform ausgeführte Arbeit 1 cm beträgt, wenn der Subpixelvorgang ausgeführt wird, und ein Bildelement etwa 5 cm entspricht (was bei ungefähr 30 Grad Winkel in 13 liegt). Der in 14 dargestellte Bereich (Bildkreis genannt) kann in der Größe und der Lage bezüglich der verwendeten Fischaugenlinsen in dieser Ausführungsform neu definiert werden.
Wenn der A_C-Bereich in dem Bild groß gemacht wird, liegt der Bereich AN zu weit außen, um den Ballon BL zu detektieren, besonders in der oberen und unteren Richtung am Rand der Fischaugenlinse. Wenn auf der anderen Seite die Bereiche A_C, A_H, A_V und A_N auf kleinere Bereiche beschränkt werden und das ganze durch die Fischaugenlinse aufgenommene Bild auf den rechteckigen Bildrahmen geschrumpft werden kann, wird der Betrachtungswinkel in der oberen und unteren Vertikalebene groß, der Bereich A_C, der eine hohe Genauigkeit der Positionsbestimmung aufweist, wird jedoch klein. Daher werden die Bereiche A_C, A_H, A_V und AN in Übereinstimmung mit den Eigenschaften der Fischaugenlinse, der geforderten Genauigkeit der Arbeit und den dynamischen Eigenschaften der Arbeit und dergleichen geeignet festgelegt.
In dieser Ausführungsform ist der untere Bereich breiter festgelegt als der obere Bereich, wie in 14 dargestellt. Die Gründe sind, die unerwünschten Effekte der Lichter LT zu beseitigen, die unnötige Suche eines fallenden Ballons zu vermeiden und ein geeignetes Ballspiel zu realisieren, selbst wenn der Ballon dem Roboter R zu nahe ist.
(Zielbereichsunterscheidungsverfahren)
Es wird das Verfahren beschrieben, den Bereich zu unterscheiden, in dem der Zielballon festgelegt ist.

Die Bildelemente, die den als einen Ballon extrahierten Bereich zusammensetzen, werden für jeden Bereich gezählt. Es sei angenommen, die Zahlen seien;

1) Der äußerste Randbereich AN;	2 Bildelemente
2) Der linke und rechte Seitenbereich A_H;	10 Bildelemente
3) Der obere und untere Seitenbereich A_V;	20 Bildelemente
4) Der zentrale Bereich A_C;	100 Bildelemente

Dann sei vorübergehend angenommen, der Bereich, der die maximale Anzahl von 1) bis 3) aufweist, sei die möglichste Position, an der sich der Ballon befindet. Für diese Ausführungsform ist der obere und untere Bereich A_V der vorübergehend existierende Bereich des Ballons BL.
Der Wert, das heißt, die Menge der Bildelemente des vorübergehend angenommenen Bereichs dividiert durch die Gesamtbildelemente, die dem Ballon entsprechen, wird berechnet. In diesem Fall wird 20/(2 + 10 + 20 + 100) = 0,15erhalten.
Wenn ferner dieser Wert kleiner ist als ein vorgegebener Wert, wird der zentrale Bereich A_C als der Ballon existierende Bereich definiert. Wenn der Wert größer als der vorgegebene Wert ist, wird der vorübergehende existierende Bereich des Ballons als der wahre existierende Bereich des Ballons definiert. Für die Beispiele der vorgegebenen Werte können 0,1 für den Fall 1), 0,2 für den Fall 2) und 0,4 für den Fall 3), die Grenzwerte zur Bestimmung des wahren existierenden Bereichs des Ballons sind, verwendet werden. In der vorliegenden Ausführungsform ist das berechnete Ergebnis 0,15 für den Fall 3). Da 0,15 < 0,4 (= Grenzwert für 3)) erhalten wird, kann festgelegt werden, dass sich der Ballon BL in dem zentralen Bereich A_C befindet. Die vorgegebenen Werte werden für die geforderte Genauigkeit der detektierten Position und die geforderte Grenze der detektierten Entfernung modifiziert.
Das den Bereich spezifizierende Signal für die Bereiche, wie es durch das Zielbereichsunterscheidungsmodul 116 (siehe 5) festgelegt ist, wird an die Hauptsteuermaschine 120 gesendet.
Andernfalls kann das obige Zielbereichsunterscheidungsverfahren durch Unterscheiden des Bildschwerpunkts ausgeführt werden.
Die in 5 dargestellte Hauptsteuermaschine 120 weist das Signalauswahlmodul 121 und das Aktionsbestimmungsmodul 122 auf.
Anhand des Bereichsspezifikationssignals A_S, das durch das Zielbereichsunterscheidungsmodul 116 erhalten wird, wählt das Signalauswahlmodul 121 das einzige Signal aus, das verwendet wird, um die Position unter der X-Position, V-Position und Z-Position zu spezifizieren, die durch das Distanzberechnungsmodul 113, Horizontalpositionsberechnungsmodul 114 bzw. Vertikalpositionsberechnungsmodul 115 gegeben sind.
Wenn das Bereichsspezifikationssignals A_S den äußersten Randbereich AN anzeigt, wird irgendeine X-Position, V-Position und Z-Position ausgewählt. Wenn das Bereichsspezifikationssignals A_S den linken und rechten Seitenbereich A_H anzeigt, wird die Richtung von der X- und V-Position ausgegeben (das heißt der in 10 dargestellte Winkel α1). Wenn das Bereichsspezifikationssignals A_S den oberen und unteren Seitenbereich A_V anzeigt, werden die X-Position und die V-Position ausgewählt (das heißt, die wenig zuverlässige Positionsinformation wird nicht verwendet). Wenn das Bereichsspezifikationssignals A_S den zentralen Bereich A_C anzeigt, wird jede X-Position, Y-Position und Z-Position ausgewählt.
Das Aktionsbestimmungsmodul 122 bestimmt die nächste Aktion des Roboters R basierend auf dem Bereichsspezifikationssignal A_S und den durch das Signalauswahlmodule 121 gegebenen Positionsdaten und sendet einen Aktionsbefehl an die Trägersteuerung 131, die Aktionssteuerung 132 und die Kopfsteuerung 133. Das Aktionsbestimmungsmodul beinhaltet eine Drehsteuerfunktion.
Um das Ballspielen sicher durch den Roboter R auszuführen, führt das Aktionsbestimmungsmodul 122 die nächsten Schritte 1) bis 3) in der vorliegenden Ausführungsform aus.

1) Der Roboter R schreitet fortwährend. Dies geschieht, um für eine Aktion bereit zu, eine erforderliche Entfernung zu dem Ballon BL herzustellen. Das Aktionsbestimmungsmodul 122 sendet Signale an die Trägersteuerung, um das Schreiten zu steuern.
2) Neben dem Schlagen des Ballons BL hält der Roboter R die Hand 38R(L) des Armteils R3 in einer konstanten Höhe. Dies geschieht für eine Zurücknahmeaktion, um den Ballon BL zu schlagen. Es ist leicht, die Entfernung zwischen der Hand 38R(L) und dem Ballon BL durch Festlegen der Handposition zu erfassen.
3) Die Position des Ballons BL wird nicht nur für den aktuellen Moment erfasst, sondern wird ebenso für den nächsten Moment vorhergesagt. Dies geschieht, um eine schnelle Aktion gegen die Bewegung des Ballons BL durchzuführen, konkreter wird die Position des Ballons BL für den nächsten Moment, der das Zeitintervall der nächsten Verarbeitung ist, berechnet unter der Annahme, dass der Ballon BL mit konstanter Geschwindigkeit fällt. Für die Horizontalbewegung wird die Position des Ballons BL in dem Zeitintervall der nächsten Verarbeitung als Antwort auf die Geschwindigkeit des Ballons BL berechnet, die in dem vorherigen Moment beobachtet wurde, unter der Annahme konstanter Geschwindigkeit und linearer Bewegung.

Der Ballon weist tatsächlich keine konstante Geschwindigkeit und keine lineare Bewegung auf infolge der Auswirkung der Schwerkraft, Wind oder der Abweichung des Schwerpunkts von dem Abmessungsmittelpunkt. Die Annahme der konstanten Geschwindigkeit und linearen Bewegung kann jedoch eine ausreichende Vorhersage für die Position des Ballons BL in dem nächsten Moment bei solchem Ballspiel bereitstellen, da der Verarbeitungszyklus, das heißt die Zeitdauer zwischen den angrenzenden Momenten, kurz ist. Bei dieser Erfindung realisiert die Annahme der konstanten Geschwindigkeit die kontinuierlich genaue automatische Tätigkeit mit der Unterdrückung des Anstiegs der Berechnung, die für die komplizierte Vorhersageberechnung der Ballonposition notwendig ist.
Der Roboter R speichert die Position des Ballons BL in einer Art Zeitreihe in der Vergangenheit und berechnet die vorhergesagte Position des Ballons BL für eine bestimmte Zeit in einem linearen Vorhersagealgorithmus, der Ballonmodell genannt wird. Die Aktionsbestimmung in dem Aktionsbestimmungsmodul 122 wird durch ein solches Ballonmodell durchgeführt.
In Übereinstimmung mit der Position des Ballons BL werden die folgenden Abläufe 1) bis 3) ermittelt.

1) Wenn sich der Ballon BL in dem linken und rechten Bereich A_H oder dem oberen oder unteren Bereich A_V befindet, sendet die Kopfsteuerung 133 einen Befehl, um den Kopf zu drehen und die Betrachtungsrichtung der CCD-Kameras 43 zu ändern, so dass sich der Ballon BL in dem zentralen Bereich A_C befindet. Als Ergebnis kann der Roboter die 3D-Position des Ballons BL im Detail berechnen und einen präzisen Schlag des Ballons BL realisieren.
2) Wenn der Ballon BL nicht in der Sicht der Kameras gefunden wird, zum Beispiel wird die Referenzballonfarbe nicht gefunden oder die Bereiche, die dem Ballon BL entsprechen, fehlen nach der Formbestimmung, dann wird die Betrachtungsrichtung geändert. In diesem Fall können zwei zusammenhängende Bilder den Ballon BL bei 60 fps Bildverarbeitungsgeschwindigkeit nicht finden, die Betrachtungsrichtung wird in die Richtung geändert, in die sich der Ballon BL nach der Vorhersage befindet mit Bezug auf das für die vorherige Routine verwendete Ballonmodell. Wenn der Ballon BL für mehr als drei fortlaufende Bilder nicht gefunden wird, dann sucht der Roboter R nach dem Ballon mit einer zufälligen Änderung der Betrachtungsrichtung.
3) In dem Fall, in dem sich der Ballon BL an der Position befindet, so dass der Roboter R den Ballon BL nicht mit der Hand 38R(L) schlagen kann, weil der Ballon BL zu weit, zu nah oder zu sehr nach links oder rechts abgelenkt ist, sendet die Trägersteuerung einen Bewegungsbefehl, um die Entfernung zu dem Ballon BL derart zu ändern, dass der Roboter R den Ballon BL schlagen kann.
4) Selbst wenn sich der Ballon BL außerhalb der oberen Richtung der Hand 38R(L) befindet, sendet die Aktionssteuerung 132 den Befehl, den Armteil 3 zu bewegen, so dass er sich so weit wie sich der Armteil 3 unter dem Ballon BL befinden kann unter dem Ballon BL befindet. In diesem Fall kann der Oberkörper R2 bewegt werden.
5) Wenn vorhergesagt wird, dass sich der Ballon BL in einem vorgegebenen Abstand zu der Hand 38R(L) befindet, dann wird ein Befehl an die Aktionssteuerung 132 gesendet, um die Hand 38R(L) zu heben.

Da die Position des Ballons BL in dieser Erfindung vorhergesagt wird, ist es möglich, frühzeitig eine Aktion zu jeder obigen Aktion auszuführen. Selbstverständlich ist das Schreiten des Roboters R und das Halten der Hand 38R(L) in einer bestimmten Höhe nicht notwendig.
Die Trägersteuerung 131 steuert die Gelenke in dem Beinteil R1 und der Roboter bleibt am Schreiten und ergreift Bewegungsaktionen in Übereinstimmung mit den Befehlen des Aktionsbestimmungsmoduls 122.
Die Aktionssteuerung 132 steuert die Gelenke in dem Oberkörper R2 und dem Arm R3 und der Roboter bewegt die Hand 38R(L) in die obere Richtung und schlägt den Ballon BL in Übereinstimmung mit den Befehlen des Aktionsbestimmungsmoduls 122.
Die Kopfsteuerung 133 steuert die Gelenke 41 und 42, um den Kopfteil R4 zu bewegen und der Roboter dreht die CCD-Kameras 43.
Der Ablauf in der Bildverarbeitungsmaschine 110 wird tatsächlich durch die in 4 dargestellte Grafik-CPU 101a ausgeführt und die Abläufe der Hauptsteuermaschine 120, der Trägersteuerung 131, der Aktionssteuerung 132b und der Kopfsteuerung 133 werden durch die Steuer-CPU 101b in 4 ausgeführt.
Die Aktion des wie oben beschrieben aufgebauten Roboters R wird mit Bezug auf das in 15 dargestellte Flussdiagramm erläutert.
Zunächst nimmt der Roboter R das Bild des Ballons BL durch die linke und rechte CCD-Kamera 43L und 43R auf und das Bild wird der Grafik-CPU 101a durch den Bildabtaster 105 (die Bildeingabeeinheit 111) mit dem Schritt der Bilderfassung (S201) eingegeben. Bei dem Schritt der Zielbildextraktionseinheit 112 wird die Referenzballonfarbe, die dem bestimmten Bereich in dem Cr-Cb-Raum entspricht, der zuvor abgespeichert wurde, aus jedem linken und rechten Bild extrahiert.
Eine Beurteilung wird durchgeführt, ob die Extraktion abgeschlossen ist oder nicht (S203). Wenn die Extraktion nicht abgeschlossen ist („Nein” in Schritt S203), bedeutet dies, dass sich kein Ballon im Betrachtungsraum befindet und die Betrachtungsrichtung geändert wird, um den Ballon zu suchen (S204). Wenn die Referenzballonfarbe erfolgreich extrahiert ist („Ja” in Schritt S203), wird jeder Bereich mit einem bestimmten Zusammenhang für das linke und rechte Bild, deren Bereiche extrahiert und spezifiziert sind, gekennzeichnet (S205). Der Formbestimmungsvorgang wird durchgeführt und der Bereich, der eine Wahrscheinlichkeit einer Kreisform aufweist, wird ausgewählt (S206). Wenn kein Ballon bei dem Formbestimmungsvorgang gefunden wird („Nein” bei Schritt S207), wird die Betrachtungsrichtung geändert, um den Ballon BL zu suchen (S204).
Wenn auf der anderen Seite ein Ballon BL gefunden wird („Ja” in Schritt S207), werden die zentrale Position des Ballons BL und die Vektoren D1 und D2 durch das Distanzberechnungsmodul 113, das Horizontalpositionsberechnungsmodul 114 und das Vertikalpositionsberechnungsmodul 115 berechnet (S208). Bei diesem Schritt wird die zentrale Position des Ballons BL geschätzt und die Winkelinformation (α1, α2, γ) spezifiziert. Dann wird die Position des Ballons BL spezifiziert, wie zum Beispiel der linke und rechte Bereich A_H, der obere und untere Bereich A_V oder der zentrale Bereich A_C (S209). Nach der Spezifizierung des Bereichs wird die Betrachtungsrichtung derart geändert (S204), dass sich der Ballon BL in dem zentralen Bereich A_C („Nein” in Schritt S210) auf dem erfassten Bild befindet, da die Zuverlässigkeit der Position des Ballons BL gering ist, wenn sich die Position des Ballons BL nicht in dem zentralen Bereich befindet.
Wenn sich der Ballon BL in dem zentralen Bereich A_C („Ja” in Schritt S210) befindet, wird die räumliche Position (X, Y, Z) des Ballons BL durch die Vektoren D1 und D2 berechnet (S211), da die räumliche Position des Ballons BL genau berechnet werden kann. Der Durchmesser des Ballons wird gleichzeitig berechnet.
Das Ballonmodell wird aktualisiert (S212) in Übereinstimmung mit der in dem vorigen Schritt berechneten Position des Ballons BL. Und zwar wird die Position des Ballons BL für eine bestimmte Zeit in der Zukunft durch Verwenden der vergangenen Spur, Geschwindigkeit des Ballons BL und der aktuellen Position vorhergesagt. Wenn die aktuelle Position des Ballons BL nicht zuverlässig ist, wird das Ballonmodell durch Verwenden der vergangenen Verfolgung des Ballons BL aktualisiert. Das Ballonmodell wird in der Speichervorrichtung 102 aufgezeichnet (S213).
Die in der Steuereinheit 100 verwendete Steuer-CPU 101b bestimmt und lenkt die Aktion des Roboters in Bezug auf die Ballonposition (S214), die in dem Ballonmodell festgelegt wurde, das in dem vorigen Schritt aufgezeichnet wurde. Die Steuer-CPU 101b in der Steuereinheit 100 steuert den Roboter R beim Schreiten oder Bewegen des Beinteils R1 nach vorne, so dass der Roboter R den Abstand zu dem Ballon BL hält (S215).
Wenn es nicht Zeit ist, den Ballon BL zu schlagen („Nein” in Schritt S216), werden die obigen Schritte S201 bis S216 wiederholt, bis die Zeit, zu der der Roboter R den Ballon BL schlagen kann, gekommen ist, während die CCD-Kamera 43 stets den Ballon BL überwacht sowie der Abstand zu dem Ballon BL angepasst wird. In dieser Ausführungsform wiederholt die Grafik-CPU 101a die Schritte S201 bis S203 und die CPU 101b wiederholt die Schritte S214 bis S216.
Wenn es Zeit ist, den Ballon BL zu schlagen („Ja” in Schritt 216), leitet das Aktionsbestimmungsmodul 122 den Vorgang an die Aktionssteuerung 132 (S217). Die Hand 38R(L) wird zur günstigsten Zeit gehoben, um den Boden den Ballons BL zu schlagen, da die zentrale Position und der Durchmesser des Ballons BL bekannt sind. In dieser Erfindung werden die Bildverarbeitung und der Steuervorgang gleichzeitig ausgeführt.
Wie oben beschrieben hält der Roboter R gemäß der vorliegenden Erfindung die Verfolgung des Ballon BL, der sich im Raum bewegt, und passt den Abstand zwischen dem Roboter R und dem Ballon BL an. Wenn die Bedingung zum Schlagen des Ballons BL geeignet ist, hebt der Roboter R die Hand, um den Ballon BL zu schlagen. Bei dem experimentellen Test kann der Roboter den Ballon BL 10- bis 15-mal treffen.
16 stellt das vorliegende Ballonspiel dar. Die Szenen von oben links M1 bis unten rechts M10 stellen die Rahmen des beweglichen Bilds dar, die für die Bewegung des Roboters R bei dem Ballspiel aufgenommen wurden. Die Abdeckung des Kopfteils R4 wurde entfernt und die CCD-Kameras 43 sind entblößt zu sehen. Wie in 16 dargestellt, bewegt der Roboter R die Beinteile R1, um den Abstand zu dem Ballon BL (gegenseitiger Abstand) in den Rahmen M1 bis M5 anzupassen. Der Roboter R bewegt die Beinteile R1 und hält die Hand 38L (der Armteil R3 ist in den Rahmen dargestellt) an der Position, zu der der Ballon BL herunterfallen wird. Die CCD-Kameras 43 verfolgen stets den Ballon BL und es kann bemerkt werden, dass der Ballon BL in dem zentralen Bereich A_C in dem erfassten Bild verfolgt wird.
Wie oben beschrieben, kann der Roboter R in der vorliegenden Ausführungsform den Betrachtungsweitwinkel durch Verwenden von Fischaugenlinsen 43a erzielen und es ist möglich, das Vorhandensein eines Ziels ungeachtet der Nähe des Ziels zu unterscheiden. Sobald das Ziel in dem Randbereich des Bilds (die Sicht) erfasst ist, ist es möglich, das Ziel weiter zu erfassen, indem die CCD-Kamera 43 gedreht wird, da die Richtung des Ballons zuverlässig ist. Die Funktion, das Ziel weiter zu erfassen, kann innerhalb der Notwendigkeit der Arbeit ausgeführt werden. Zum Beispiel ist es nicht nötig, die CCD-Kamera 43 in die niedrige Richtung zu lenken, selbst wenn sich der Ballon BL in dem Randbereich des erfassten Bilds befindet, wenn erwartet werden kann, dass die zukünftige Position des Ballons BL mit einer bestimmten Genauigkeit vorhergesagt wird.
Selbst wenn sich der Ballon BL in dem oberen und unteren Bereich A_V in dem erfassten Bild befindet, ist die Entfernung (in der X-Achse) zuverlässig infolge der Verwendung zweier in der Horizontalebene eingerichteter Kameras und es ist möglich, die Genauigkeit des Ballonmodells hoch zu halten. Dies dient der genauen Funktion des Roboter R.
In der vorliegenden Ausführungsform sind die CCD-Kameras 43 horizontal auf der linken und rechten Seite angeordnet, die Kameras können jedoch vertikal angeordnet sein oder mehr als 3 Einheiten können für die Kameras verwendet werden. Das Bild des Ballons BL wird für vier Bereiche verarbeitet, die unterschiedliche Verarbeitungsabläufe aufweisen. Die Einteilung der Bereiche kann jedoch in zwei Gruppen erfolgen, wie zum Beispiel der zentrale Bereich und der Randbereich, und die anderen Einteilungen können übernommen werden. Gemäß der vorliegenden Erfindung ist es möglich, das erfasste Bild mehrerer Ziele zu erhalten und ein automatisches Arbeitsgerät bereitzustellen, das einen automatischen Betrieb ausführt, selbst wenn die Formen und Farben der Ziele unterschiedlich sind.
Die Ausführungsform der vorliegenden Erfindung wurde erläutert. Diese Erfindung ist nicht auf die vorliegende Ausführungsform beschränkt, sondern wird breit auf andere Technologiefelder angewendet.
Zum Beispiel können die menschlichen Roboter, die die Fischaugenlinsen verwenden, die folgenden Operationen ausführen;

1) in dem Fall, wenn erwartet wird, dass Menschen auf der linken und rechten Seite vorhanden sind, wird eine bestimmte Person in der Mitte des betrachteten Bilds durch Drehen der Kamera, um den Betrachtungswinkel zu ändern, spezifiziert und sich der Person durch Detektieren und Messen der Entfernung zu der Person genähert,
2) beim Finden des Ziels, das bei der Annäherung größer wird, wird die Geschwindigkeit, sich dem Ziel zu nähern, berechnet und eine Umgehung des Ziels,
3) durch Verwenden des Bilds der zwei Säulen auf der linken und rechten Seite, korrigiert der Roboter R die Neigung der Haltung.

Die anderen Anwendungen des Roboters, die ein anderes Aussehen haben als ein menschliches Aussehen, sind;

1) Montagearbeit von Komponenten oder Teilen an Fertigungslinien oder auf Paletten an Fließbändern (in der Anwendung kann die Montagearbeit ausgeführt werden, während die Komponenten oder Teile in Bewegung gehandhabt werden oder während die Komponenten oder Teile ohne Positionierung angehalten werden),
2) eine Fahrzeugfahrassistentenvorrichtung, wie zum Beispiel um die Position der entgegenkommenden oder parallel fahrenden Fahrzuge zu unterscheiden und das Lenken, Beschleunigen und Verzögern auszuführen, um den Abstand zu diesen Fahrzeugen zu halten oder die Geschwindigkeit des eigenen Fahrzeugs anzupassen.

Wie oben erläutert, wird die vorliegende Erfindung bevorzugt in dem Fall eingesetzt, wenn die Normalprojektionsfischaugenlinsen verwendet werden, die sich auszeichnen, dass die Winkelauflösung in dem Randbereich gering ist verglichen mit dem zentralen Bereich, der Betrachtungswinkel jedoch groß ist.
Wie oben beschrieben, kann die vorliegende Erfindung die Position des Ziels in dem erfassten Bild des durch die Kameras aufgenommenen Bilds unterscheiden und es ist möglich, dass das Ziel in dem zentralen Betrachtungsbereich betrachtet wird, um die genaue Positionierung und Funktion durch Drehen der Betrachtungskameras zu ermöglichen, um das Bild des Ziels in dem zentralen Bereich aufzunehmen, wenn sich das Ziel in dem Randbereich des erfassten Bilds befindet. Die beiderseitige Entfernung zwischen dem Roboter und dem Ziel wird angepasst, während die Tätigkeit ausgeführt wird und folglich ist es möglich, eine anspruchsvolle und genaue Arbeit auszuführen. Die vorliegende Erfindung ignoriert nicht vollständig alle Positionsinformationen des Ziels, sondern verwendet sie geeignet, wenn eine der Informationen für die Positionsinformation verwendbar ist. Dann ist es möglich, die bestimmten Aufgaben schnell und effektiv zu erzielen. Zum Beispiel ist es durch Entwerfen des bestimmten Aktionsplans abhängig von der Position des Ziels auf dem erfassten Bildrahmen möglich, die Haltung des Roboters zu ändern und sich dem Ballon BL früh zu nähern, bevor die räumliche Position des Ballons BL genau berechnet ist. Daher hat der Roboter genug Zeit, die Position des Ballons BL mit hoher Genauigkeit an der Position zu unterscheiden, an der der Roboter den Ballon BL sicher treffen kann.

Claims

Automatisches Arbeitsgerät, welches die räumliche Position von Zielen anhand von Bildern davon detektiert, die mittels mehrerer Beobachtungskameravorrichtungen (43) aufgenommen wurden, in die Linsen mit nicht zentraler Projektion (43a), wie Fischaugenlinsen, eingesetzt sind, und das vorbestimmte Aufgaben durchführt, umfassend: eine Drehvorrichtung (41, 42) zur Änderung des Betrachtungsrichtung der Beobachtungskameravorrichtungen (43); eine Zielbildextraktionseinheit (112) zur Extraktion eines Zieles in einem Bild, das mittels der mehreren Beobachtungskameravorrichtungen (43) aufgenommen wurde; eine Positionsbestimmungseinheit (117), um eine Richtungsinformation, eine Distanzinformation und eine räumliche Positionsinformation für ein Ziel gemäß einer Position in dem Bild, das durch die Zielbildextraktionseinheit (112) spezifiziert wurde, zu erlangen; und eine Aktionsbestimmungseinheit (122), worin ein Bildrahmen, der durch die Beobachtungskameravorrichtungen (43) aufgenommen wurde, in mehrere Bereiche gemäß den Eigenschaften der Linsen mit nicht zentraler Projektion (43a) unterteilt wird, und worin bei Auswahl einer oder mehrerer Arten von Information aus der Richtungsinformation, der Distanzinformation und der räumlichen Information in Abhängigkeit davon, in welchem Bereich das Ziel in dem Bild erscheint, das durch die Zielbildextraktionseinheit (112) spezifiziert wurde, die Aktionsbestimmungseinheit (122) die Drehvorrichtung (41, 42) gemäß der Information steuert.
Automatisches Arbeitsgerät gemäß Anspruch 1, worin, wenn das Ziel in einem vorgegebenen Randbereich des Bildrahmens erscheint, die Aktionsbestimmungseinheit (122) die Drehvorrichtung (41, 42) so gemäß der Information steuert, dass ein Bild des Ziels in einem zentralen Bereich des Bildrahmens aufgenommen wird.
Automatisches Arbeitsgerät gemäß Anspruch 2, mit einer Transportausrüstung (R1 bis R5) um die relative Distanz zu den Zielen zu ändern, so dass die vorgegebenen Aufgaben durch Anpassen der relativen Position gegenüber dem Ziel anhand von räumlichen Positionen der Ziele, die durch die Positionsbestimmungseinheit (117) bestimmt wurden, durchgeführt werden.
Automatisches Arbeitsgerät gemäß Anspruch 2, worin die Zielbildextraktionseinheit (112) eine Funktion hat, die Ziele aus den Bildern, die mittels der mehreren Beobachtungskameravorrichtungen (43) aufgenommen wurden, durch Spezifizieren von lediglich Bildelementen, die einer Referenzfarbe, welche den Zielen zugewiesen und im voraus zur Identifikation der Ziele abgespeichert wurde, entsprechen, zu extrahieren.
Automatisches Arbeitsgerät gemäß Anspruch 4, worin das durch die Zielbildextraktionseinheit (112) extrahierte Zielbild mit einer einzelnen, gleichen ID auf mehreren Bildelementen bezeichnet wird, welche eine Verknüpfung darüber behalten, so dass mehrere Bildelemente das Ziel spezifizieren.
Automatisches Arbeitsgerät gemäß Anspruch 5, worin die Zielbildextraktionseinheit (112) eine Funktion hat, eine Feststellung der Identität der Ziele, die durch Zusammensetzungen der Bildelemente, die einer Referenzfarbe entsprechen, welche den Zielen zugewiesen wurde, spezifiziert wurden, mit den Zielen anhand eines vorgegebenen Blickwinkels vorzunehmen, nachdem ein Blickwinkelverhältnis der planen Ausdehnung der Bildelemente berechnet wurde.
Automatisches Arbeitsgerät gemäß Anspruch 4, worin die Zielbildextraktionseinheit (112) eine Funktion hat, eine Feststellung der Identität der Ziele, die durch Zusammensetzungen der Bildelemente, die einer Referenzfarbe entsprechen, welche den Zielen zugewiesen wurde, spezifiziert wurden, mit den Zielen anhand einer vorgegebenen Füllrate der Zusammensetzungen der Bildelemente gegenüber einem Rechteck, das durch einen senkrechten Betrachtungswinkel und einen horizontalen Betrachtungswinkel gegeben ist, in einer Betrachtungswinkelabbildung vorzunehmen, die durch die Bilder, die mittels der mehreren Beobachtungskameravorrichtungen (43) aufgenommen wurden, spezifiziert ist.
Automatisches Arbeitsgerät gemäß Anspruch 4, worin die Bilder, die mittels der mehreren Beobachtungskameravorrichtungen (43) aufgenommen wurden, hinsichtlich der Farben abgetastet werden und die Referenzfarbe, die den Zielen zugewiesen ist, durch Eliminieren einer Farbe bestimmt wird, deren Fläche das ursprüngliche Cr-Cb-Raumdiagramm aufweitet, nachdem die abgetastete Farbe im Cr-Cb-Raum aufgezeichnet wurde.
Automatisches Arbeitsgerät gemäß Anspruch 2, mit zwei Beobachtungskameravorrichtungen (43), die auf der rechten Seite und linken Seite davon eingesetzt sind, worin die Positionsbestimmungseinheit (117) ein Distanzberechnungsmodul (113), das die Distanz zum Ziel davon unter Verwendung der Positionsinformation des Zielbilds, das durch die Zielbildextraktionseinheit (112) spezifiziert wurde, bestimmt, ein Horizontalpositionsberechnungsmodul (114), das die Horizontalposition zum Ziel unter Verwendung der Positionsinformation des Zielbilds, das durch die Zielbildextraktionseinheit (112) spezifiziert wurde, berechnet, und ein Vertikaipositionsberechnungsmodul (115), das die Vertikalposition zum Ziel unter Verwendung der Positionsinformation des Zielbilds, das durch die Zielbildextraktionseinheit (112) spezifiziert wurde, berechnet, aufweist, worin drei Kategorien von Flächen als eine linke oder rechte Randfläche (A_H), eine obere oder untere Randfläche (A_V) und eine zentrale Fläche (A_C) für jedes Bild, das durch die Beobachtungskameravorrichtung (43) aufgenommen wird, festgesetzt werden, worin eine Aktionsbestimmungseinheit (122) eine Drehantriebseinheit steuert, um die Beobachtungskameravorrichtungen (43) zu drehen, wenn die Zielbilder in der linken oder rechten Randfläche (A_H) angeordnet sind, worin eine Bildverarbeitung für das Ziel, dessen Bild in einer oberen oder unteren Randfläche (A_V) des Bildes, das durch die Beobachtungskameravorrichtungen (43) aufgenommen wurde, angeordnet ist, derart durchgeführt wird, dass die Horizontalposition in einer Horizontalebene durch Berechnen der Distanz zu dem Ziel mittels des Distanzberechnungsmoduls (113) bestimmt wird sowie eine Horizontalposition des Ziels durch das Horizontalpositionsberechnungsmodul (114) berechnet wird, worin eine Bildverarbeitung für das Ziel, dessen Bild in einer zentralen Fläche (A_C) des Bildes, das durch die Beobachtungskameravorrichtungen (43) aufgenommen wurde, angeordnet ist, derart durchgeführt wird, dass die räumliche Position des Ziels durch Berechnen der Distanz, der Horizontalposition und der Vertikalposition zu dem Ziel mittels des Distanzberechnungsmoduls (113), des Horizontalpositionsberechnungsmoduls (114) und des Vertikalpositionsberechnungsmoduls (115) berechnet wird, und eine Ausführung einer vorgegebenen Arbeit beginnt, nachdem eine Relativposition zwischen dem Ziel und dem automatischen Arbeitsgerät anhand der Horizontalposition in einer Horizontalebene und der räumlichen Position des Ziels angepasst wurde.
Computerprogrammprodukt zur Steuerung eines automatischen Arbeitsgeräts, welches die räumliche Position von Zielen anhand von Bildern detektiert, und das mehrere Beobachtungskameravorrichtungen (43), die Linsen mit nicht zentraler Projektion (43a), wie Fischaugenlinsen aufweisen, und eine Drehvorrichtung (41, 42) zur Änderung des Betrachtungsrichtung der Beobachtungskameravorrichtungen (43) umfasst, wobei das Gerät die Ziele betreffende, vorbestimmte Aufgaben anhand von Information durchführt, die aus den Bildern erhalten wird, die durch die mehreren Beobachtungskameravorrichtungen (43) aufgenommen wurden, wobei das Computerprodukt auf einem Computer ein Verfahren ausführt, umfassend: Extraktion eines Ziels in einem Bild, das mittels der Beobachtungskameravorrichtungen (43) aufgenommen wurde; Erlangen einer Richtungsinformation, Distanzinformation und eine räumlichen Positionsinformation für das Ziel gemäß einer räumlichen Position davon in dem Bild, das durch den Extraktionsvorgang spezifiziert wurde; worin ein Bildrahmen, der durch die Beobachtungskameravorrichtungen (43) aufgenommen wurde, in mehrere Bereiche gemäß den Eigenschaften der Linsen mit nicht zentraler Projektion (43a) unterteilt wird, und worin die Auswahl einer oder mehrerer Arten von Information aus der Richtungsinformation, der Distanzinformation und der räumlichen Information in Abhängigkeit davon, in welchem Bereich das Ziel in dem Bild erscheint, das durch die Zielbildextraktionseinheit (112) spezifiziert wurde, die Drehvorrichtung (41, 42) gemäß der durch den Auswahlvorgang erhaltenen Information steuert.
Computerprogrammprodukt gemäß Anspruch 10, worin der Vorgang der Steuerung der Drehvorrichtung (41, 42) gemäß der Information, die durch den Auswahlvorgang erhalten wurde, ferner dadurch gekennzeichnet ist, dass die Steuerung der Drehvorrichtung (41, 42) so gemäß der durch den Auswahlvorgang erhaltenen Information erfolgt, dass ein Bild des Ziels in einem zentralen Bereich eines Bildrahmens aufgenommen wird, wenn das Ziel in einem vorgegebenen Randbereich des Bildrahmens erscheint.