DE112019005825T5 - Bildinformationen-Verarbeitungseinrichtung, Greifsystem und Bildinformationen-Verarbeitungsverfahren - Google Patents

Bildinformationen-Verarbeitungseinrichtung, Greifsystem und Bildinformationen-Verarbeitungsverfahren Download PDF

Info

Publication number
DE112019005825T5
DE112019005825T5 DE112019005825.8T DE112019005825T DE112019005825T5 DE 112019005825 T5 DE112019005825 T5 DE 112019005825T5 DE 112019005825 T DE112019005825 T DE 112019005825T DE 112019005825 T5 DE112019005825 T5 DE 112019005825T5
Authority
DE
Germany
Prior art keywords
receptacle
extraction frame
hand mechanism
image information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112019005825.8T
Other languages
English (en)
Other versions
DE112019005825B4 (de
Inventor
Toshiya Watanabe
Yoshikazu Matsuo
Shinji KAWABATA
Yoshimasa Endo
Kenji Hidaka
Daisuke KAWABATA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
THK Co Ltd
Original Assignee
THK Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by THK Co Ltd filed Critical THK Co Ltd
Publication of DE112019005825T5 publication Critical patent/DE112019005825T5/de
Application granted granted Critical
Publication of DE112019005825B4 publication Critical patent/DE112019005825B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

Es ist eine Aufgabe der vorliegenden Erfindung, Teile eines Objekts, denen sich Fingerteile eines Handmechanismus nähern können, festzustellen. In einer Bildinformationen-Verarbeitungseinrichtung wird ein Aufnahmebehälter aus einem Bild unter Verwendung eines ersten Extraktionsrahmens extrahiert und wird ein Objekt aus dem Bild unter Verwendung eines zweiten Extraktionsrahmens extrahiert. Eine Vielzahl von Bestimmungspunkten werden zuvor an dem zweiten Extraktionsrahmen gesetzt, und eine vorbestimmte Näherungsrichtung wird an jedem Bestimmungspunkt gesetzt. Dann wird bestimmt, ob eine Näherung der Fingerteile des Handmechanismus an Teile eines Objekts in dem zweiten Extraktionsrahmen, die jeweils den an dem zweiten Extraktionsrahmen gesetzten Bestimmungspunkten entsprechen, aus den in Bezug auf die Bestimmungspunkte gesetzten vorbestimmten Näherungsrichtungen veranlasst werden kann oder nicht.

Description

  • [Technisches Gebiet]
  • Die vorliegende Erfindung betrifft ein Greifsystem zum Greifen eines Objekts unter Verwendung eines Handmechanismus mit einer Vielzahl von Fingerteilen sowie eine Bildinformationen-Verarbeitungseinrichtung und ein Bildinformationen-Verarbeitungsverfahren zum Verarbeiten von das Objekt enthaltenden Bildinformationen in dem Greifsystem.
  • [Stand der Technik]
  • Ein Greifsystem zum Greifen eines Objekts unter Verwendung eines Handmechanismus mit einer Vielzahl von Fingerteilen ist aus dem Stand der Technik bekannt. Es ist auch ein Greifsystem bekannt, das eine Bildaufnahmeeinrichtung zum Aufnehmen eines das Objekt enthaltenden Bilds umfasst. In diesem Typ von Greifsystem mit einer Bildaufnahmeeinrichtung wird das Objekt basierend auf den durch die Bildaufnahmeeinrichtung erhaltenen Bildinformationen erkannt. Weiterhin wird der Handmechanismus basierend auf den Bildinformationen gesteuert, um das erkannte Objekt zu greifen.
  • Zum Beispiel gibt die PTL 1 ein Aufgreifsystem (Greifsystem) mit einer monokularen Kamera an, die ein Gesamtbild durch das Fotografieren einer Vielzahl von kastenförmigen Werkstücken von oben erhält. Zusätzlich zu der monokularen Kamera enthält das in der PTL 1 beschriebene Aufgreifsystem einen Distanzsensor für das Messen der dreidimensionalen Gesamtform der Vielzahl von kastenförmigen Werkstücken. Kantenteile der kastenförmigen Werkstücke werden aus dem durch die monokulare Kamera erhaltenen Gesamtbild erfasst, und eine Punktgruppe von durch den Distanzsensor gemessenen Punkten in Entsprechung zu den erfassten Kantenteilen wird unter Verwendung der Kantenteile als Grenzen extrahiert. Weiterhin werden basierend auf der extrahierten Punktgruppe die Position und die Haltung jedes der kastenförmigen Werkstücke aus der durch den Distanzsensor gemessenen dreidimensionalen Form erkannt. Anschließend werden die Position und die Haltung eines zu greifenden kastenförmigen Werkstücks ausgegeben.
  • [Referenzliste]
  • [Patentliteratur]
  • [PTL 1] Japanisches Patent Nr. 5429614
  • [Zusammenfassung der Erfindung]
  • [Problemstellung]
  • Wenn der Handmechanismus versucht, ein Objekt zu greifen, muss zuerst veranlasst werden, dass sich die Fingerteile des Handmechanismus dem Objekt nähern, und müssen dann die Fingerteile in einen Kontakt mit dem Objekt gebracht werden. In Abhängigkeit von der Platzierung des Objekts kann es jedoch schwierig für die Fingerteile des Handmechanismus sein, sich Teilen des Objekts zu nähern. Insbesondere wenn das Objekt derart platziert ist, dass ein bestimmter Teil des Objekts in Kontakt mit einem anderen Objekt oder einem Aufnahmebehälter für das Objekt ist, ist es schwierig, eine Näherung der Fingerteile des Handmechanismus an diesen kontaktierenden Teil zu veranlassen. Und wenn ein bestimmter Teil des Objekts nicht in Kontakt mit einem anderen Objekt oder dem Aufnahmebehälter ist und die Distanz (der Abstand) zwischen dem Teil und dem anderen Objekt oder dem Aufnahmebehälter zu klein ist, ist es ebenfalls schwierig, eine Näherung der Fingerteile des Handmechanismus an den Teil zu veranlassen. Wenn also versucht wird, ein Objekt unter Verwendung des Handmechanismus zu greifen, müssen die Teile des Objekts, denen sich die Fingerteile des Handmechanismus nähern können, festgestellt werden.
  • Die vorliegende Erfindung nimmt auf das vorstehend geschilderte Problem Bezug, wobei es eine Aufgabe der Erfindung ist, eine Technik vorzusehen, mit der Teile eines durch einen Handmechanismus zu greifenden Objekts, denen sich die Fingerteile des Handmechanismus nähern können, festgestellt werden können.
  • [Problemlösung]
  • Eine Bildinformationen-Verarbeitungseinrichtung gemäß der vorliegenden Erfindung ist eine Einrichtung, die in einem Greifsystem für das Greifen eines in einem Aufnahmebehälter aufgenommenen Objekts unter Verwendung eines Handmechanismus mit einer Vielzahl von Fingerteilen angewendet wird, wobei das Greifsystem eine Bildaufnahmeeinrichtung zum Aufnehmen eines den Aufnahmebehälter und wenigstens ein in dem Aufnahmebehälter aufgenommenes Objekt enthaltenden Bilds ist, und verarbeitet durch die Bildaufnahmeeinrichtung erhaltene Bildinformationen, wobei die Bildinformationen-Verarbeitungseinrichtung eine Extraktionseinheit, die basierend auf Forminformationen zu dem Aufnahmebehälter und Forminformationen zu dem Objekt, wobei die Forminformationen zuvor gespeichert wurden, den Aufnahmebehälter und das Objekt aus dem durch die Bildaufnahmeeinrichtung aufgenommenen Bild extrahiert, wobei der Aufnahmebehälter unter Verwendung eines ersten Extraktionsrahmens, der ein Extraktionsrahmen für das Extrahieren des Aufnahmebehälters ist, extrahiert wird und wobei das Objekt unter Verwendung eines zweiten Extraktionsrahmens, der ein Extraktionsrahmen für das Extrahieren des Objekts ist, extrahiert wird, und eine Erfassungseinheit, die einen Teil eines in dem Aufnahmebehälter aufgenommenen Objekts, dem sich die Fingerteile des Handmechanismus nähern können, basierend auf den Kontaktzuständen des einen Objekts relativ zu anderen Objekten und dem Aufnahmebehälter erfasst, enthält, wobei die Kontaktzustände aus den durch die Extraktionseinheit erhaltenen Extraktionsergebnissen erhalten werden, wobei die Vielzahl von Bestimmungspunkten zuvor an vorbestimmten Positionen an dem zweiten Extraktionsrahmen gesetzt werden und eine vorbestimmte Näherungsrichtung für jeden der Bestimmungspunkte gesetzt wird, und wobei die Erfassungseinheit bestimmt, ob eine Näherung der Fingerteile des Handmechanismus an in dem zweiten Extraktionsrahmen enthaltene Teile des einen Objekts, die jeweils den an dem zweiten Extraktionsrahmen gesetzten Bestimmungspunkten entsprechen, aus den in Bezug auf die Bestimmungspunkte gesetzten vorbestimmten Näherungsrichtungen veranlasst werden kann oder nicht.
  • [Vorteilhafte Effekte der Erfindung]
  • Gemäß der vorliegenden Erfindung können Teile eines durch einen Handmechanismus zu greifende Teile Objekts, denen sich Fingerteile des Handmechanismus nähern können, festgestellt werden.
  • Figurenliste
    • [1] 1 ist eine schematische Ansicht, die eine Konfiguration eines Greifsystems gemäß einer Ausführungsform zeigt.
    • [2] 2 ist eine schematische Ansicht, die eine Konfiguration eines Roboterarms gemäß dieser Ausführungsform zeigt.
    • [3] 3 ist eine perspektivische Ansicht eines Handmechanismus gemäß dieser Ausführungsform.
    • [4] 4 ist eine Draufsicht auf den Handmechanismus gemäß dieser Ausführungsform.
    • [5] 5 ist eine Ansicht, die einen Bewegungsbereich eines zweiten Gelenkteils eines Fingerteils an dem Handmechanismus gemäß dieser Ausführungsform zeigt.
    • [6] 6 ist eine Ansicht, die einen Bewegungsbereich eines ersten Gelenkteils des Fingerteils an dem Handmechanismus gemäß dieser Ausführungsform zeigt.
    • [7] 7 ist ein Blockdiagramm, das Funktionseinheiten jeweils in einer Armsteuereinrichtung, einer Handsteuereinrichtung und einer Bildinformationen-Verarbeitungseinrichtung gemäß dieser Ausführungsform zeigt.
    • [8] 8 ist eine Ansicht, die Zustände des Handmechanismus und eines Objekts, wenn das Objekt durch ein direktes Greifen gegriffen wird, zeigt.
    • [9] 9 ist eine erste Ansicht, die eine Operation zum Kippen des Objekts unter Verwendung eines ersten Fingerteils des Handmechanismus für das Greifen des Objekts durch ein Kippgreifen zeigt.
    • [10] 10 ist eine zweite Ansicht, die die Operation zum Kippen des Objekts unter Verwendung des ersten Fingerteils des Handmechanismus für das Greifen des Objekts durch ein Kippgreifen zeigt.
    • [11] 11 ist eine Ansicht, die einen Zustand zeigt, in dem das Objekt durch einen zweiten Fingerteil, einen dritten Fingerteil und einen vierten Fingerteil des Handmechanismus gegriffen wurde.
    • [12] 12 ist eine erste Ansicht, die eine Operation zum Verschieben der Position des Objekts unter Verwendung des ersten Fingerteils des Handmechanismus, um das Objekt durch ein Verschiebungsgreifen zu greifen, zeigt.
    • [13] 13 ist eine zweite Ansicht, die die Operation zum Verschieben der Position des Objekts unter Verwendung des ersten Fingerteils des Handmechanismus, um das Objekt durch ein Verschiebungsgreifen zu greifen, zeigt.
    • [14] 14 ist eine Ansicht, die ein durch eine Bildaufnahmeeinrichtung aufgenommenes Bild gemäß einem ersten spezifischen Beispiel der Bildinformationsverarbeitung zeigt.
    • [15] 15 ist eine Ansicht, die ein projiziertes Bild, das erhalten wird, wenn eine vordere Fläche eines Aufnahmebehälters als ein Sichtpunkt verwendet wird, gemäß dem ersten spezifischen Beispiel der Bildinformationenverarbeitung zeigt.
    • [16] 16 ist eine Ansicht, die zeigt, wie der Aufnahmebehälter und Objekte aus dem projizierten Bild von 15 extrahiert werden.
    • [17] 17 ist eine Ansicht, die eine Vielzahl von an einem zweiten Extraktionsrahmen gesetzten Bestimmungspunkten und eine in Bezug auf jeden Bestimmungspunkt gesetzte Näherungsrichtung gemäß dem ersten spezifischen Beispiel der Bildinformationenverarbeitung zeigt.
    • [18] 18 ist eine Ansicht, die einige Ergebnisse einer Näherungsbestimmungsverarbeitung gemäß dem ersten spezifischen Beispiel der Bildinformationenverarbeitung zeigt.
    • [19] 19 ist eine Ansicht, die ein durch die Bildaufnahmeeinrichtung aufgenommenes Bild gemäß einem zweiten spezifischen Beispiel der Bildinformationenverarbeitung zeigt.
    • [20] 20 ist eine Ansicht, die ein projiziertes Bild, das erhalten wird, wenn eine obere Fläche des Aufnahmebehälters als ein Sichtpunkt verwendet wird, gemäß dem zweiten spezifischen Beispiel der Bildinformationenverarbeitung zeigt.
    • [21] 21 ist eine Ansicht, die zeigt, wie der Aufnahmebehälter und Objekte aus dem projizierten Bild von 20 extrahiert werden.
    • [22] 22 ist eine Ansicht, die einige Ergebnisse der Näherungsbestimmungsverarbeitung gemäß dem zweiten spezifischen Beispiel der Bildinformationenverarbeitung zeigt.
    • [23] 23 ist eine Ansicht, die ein durch die Bildaufnahmeeinrichtung aufgenommenes Bild gemäß einem dritten spezifischen Beispiel der Bildinformationenverarbeitung zeigt.
    • [24] 24 ist eine Ansicht, die ein projiziertes Bild, das erhalten wird, wenn die obere Fläche des Aufnahmebehälters als ein Sichtpunkt verwendet wird, gemäß dem dritten spezifischen Beispiel der Bildinformationenverarbeitung zeigt.
    • [25] 25 ist eine Ansicht, die zeigt, wie der Aufnahmebehälter und Objekte aus dem projizierten Bild von 24 extrahiert werden.
    • [26] 26 ist eine Ansicht, die eine Vielzahl von an dem zweiten Extraktionsrahmen gesetzten Bestimmungspunkten und die in Bezug auf jeden Bestimmungspunkt gesetzte vorbestimmte Näherungsrichtung gemäß dem dritten spezifischen Beispiel der Bildinformationenverarbeitung zeigt.
    • [27] 27 ist eine Ansicht, die spezifische Beispiele von Bestimmungsdistanzen zeigt.
    • [28] 28 ist eine Ansicht, die einige Ergebnisse der Näherungsbestimmungsverarbeitung gemäß dem dritten spezifischen Beispiel der Bildinformationenverarbeitung zeigt.
    • [29] 29 ist ein Flussdiagramm, das einen Fluss einer durch eine Bildinformationen-Verarbeitungseinrichtung durchgeführten Bildinformationenverarbeitung zeigt.
    • [30] 30 ist ein Flussdiagramm, das einen Fluss einer durch die Handsteuereinrichtung durchgeführten Handsteuerung, wenn ein Objekt unter Verwendung des Handmechanismus gegriffen wird, zeigt.
    • [31] 31 ist eine Ansicht, die einen Aufnahmebehälter 11 und zwei in dem Aufnahmebehälter 11 aufgenommene Objekte gemäß einem modifizierten Beispiel dieser Ausführungsform zeigt.
    • [32] 32 ist eine Ansicht, die eine erste Näherungsform gemäß dem modifizierten Beispiel dieser Ausführungsform zeigt.
    • [33] 33 ist eine Ansicht, die eine zweite Näherungsform gemäß dem modifizierten Beispiel dieser Ausführungsform zeigt.
  • [Ausführungsform der Erfindung]
  • Ein Greifsystem gemäß der vorliegenden Erfindung ist ein System zum Greifen eines in einem Aufnahmebehälter aufgenommenen Objekts unter Verwendung eines Handmechanismus mit einer Vielzahl von Fingerteilen. Das Greifsystem umfasst eine Bildaufnahmeeinrichtung, die ein den Aufnahmebehälter und wenigstens ein in dem Aufnahmebehälter aufgenommenes Objekt enthaltendes Bild aufnimmt. In einer Bildinformationen-Verarbeitungseinrichtung gemäß der vorliegenden Erfindung extrahiert eine Extraktionseinheit den Aufnahmebehälter und das Objekt aus dem durch die Bildaufnahmeeinrichtung aufgenommenen Bild basierend auf Forminformationen zu dem Aufnahmebehälter und Forminformationen zu dem Objekt. Weiterhin erfasst in der Bildinformationen-Verarbeitungseinrichtung eine Erfassungseinheit einen Teil eines in dem Aufnahmebehälter aufgenommenen Objekts, dem sich die Fingerteile des Handmechanismus nähern können, basierend auf Kontaktzuständen des einen Objekts relativ zu anderen Objekten und dem Aufnahmebehälter.
  • Insbesondere werden die Forminformationen des Aufnahmebehälters und die Forminformationen des Objekts zuvor in der Bildinformationen-Verarbeitungseinrichtung gespeichert. Die Forminformationen der entsprechenden Komponenten enthalten nicht nur Informationen zu der Form des Aufnahmebehälters oder des Objekts, sondern auch Informationen zu den Dimensionen. Die Extraktionseinheit extrahiert den Aufnahmebehälter und das Objekt aus dem durch die Bildaufnahmeeinrichtung aufgenommenen Bild basierend auf den Forminformationen derselben. Dabei extrahiert die Extraktionseinheit den Aufnahmebehälter unter Verwendung eines ersten Extraktionsrahmens und extrahiert das Objekt unter Verwendung eines zweiten Extraktionsrahmens. Der erste Extraktionsrahmen ist ein Extraktionsrahmen für das Extrahieren des Aufnahmebehälters, und der zweite Extraktionsrahmen ist ein Extraktionsrahmen für das Extrahieren des Objekts.
  • Insbesondere wenn die Extraktionseinheit das Bild unter Verwendung des ersten Extraktionsrahmens durchsucht und eine Form in Entsprechung zu den Forminformationen des Aufnahmebehälters in dem ersten Extraktionsrahmen erfasst, erkennt die Extraktionseinheit, dass der Aufnahmebehälter in dem ersten Extraktionsrahmen enthalten ist. Der erste Extraktionsrahmen kann ein Extraktionsrahmen für das Extrahieren des Teils des Aufnahmebehälters, in dem die Objekte aufgenommen sind, sein. Und wenn die Extraktionseinheit das Bild unter Verwendung des zweiten Extraktionsrahmens durchsucht und eine Form in Entsprechung zu den Forminformationen des Objekts in dem zweiten Extraktionsrahmen erfasst, erkennt die Extraktionseinheit, dass das Objekt in dem zweiten Extraktionsrahmen enthalten ist.
  • Weiterhin werden eine Vielzahl von Bestimmungspunkten zuvor an vorbestimmten Positionen an dem zweiten Extraktionsrahmen gesetzt. Und außerdem wird eine vorbestimmte Näherungsrichtung für jeden Bestimmungspunkt gesetzt. Dabei gibt jeder Bestimmungspunkt eine Position an dem einen Objekt in dem zweiten Extraktionsrahmen (mit anderen Worten an dem Objekt, dessen Vorhandensein in dem Bild unter Verwendung des zweiten Extraktionsrahmens erkannt wurde) an, in Bezug auf welche bestimmt werden soll, ob sich die Fingerteile des Handmechanismus dieser Position nähern können. Weiterhin geben die vorbestimmten Näherungsrichtungen Näherungsrichtungen an, die verwendet werden, wenn eine Näherung der Fingerteile des Handmechanismus an Teile in Entsprechung zu den entsprechenden Bestimmungspositionen an dem einen Objekt in dem zweiten Extraktionsrahmen veranlasst wird.
  • Die Erfassungseinheit bestimmt dann in Bezug auf das eine Objekt in dem zweiten Extraktionsrahmen, ob eine Näherung der Fingerteile des Handmechanismus an die Teile in Entsprechung zu den an dem zweiten Extraktionsrahmen gesetzten entsprechenden Bestimmungspunkten aus den in Bezug auf die Bestimmungspunkte gesetzten vorbestimmten Näherungsrichtungen veranlasst werden kann oder nicht. Durch das derartige Bestimmen, ob eine Näherung der Fingerteile des Handmechanismus an die Teile in Entsprechung zu den entsprechenden Bestimmungspunkten an dem Objekt in dem zweiten Extraktionsrahmen in Bezug auf jeden aus der Vielzahl von an dem zweiten Extraktionsrahmen gesetzten Bestimmungspunkten veranlasst werden kann, können die Teile des Objekts, denen sich die Fingerteile des Handmechanismus nähern können, erfasst werden.
  • Es können also die Form des Handmechanismus, wenn eine Näherung des Handmechanismus an das eine Objekt veranlasst wird, und der für das Greifen des einen Objekts unter Verwendung des Handmechanismus zu verwendende Greifstil basierend auf Erfassungsergebnissen, die die Teile des einen Objekts, dem sich die Fingerteile des Handmechanismus nähern können, angeben, bestimmt werden. Auf diese Weise können Verbesserungen in der Stabilität und der Taktzeit erzielt werden, wenn das Objekt unter Verwendung des Handmechanismus gegriffen wird.
  • Spezifische Ausführungsformen der vorliegenden Erfindung werden nachfolgend mit Bezug auf die Figuren beschrieben. Soweit nicht anders spezifiziert, ist der technische Umfang der Erfindung nicht auf die für die Ausführungsformen beschriebenen Dimensionen, Materialien, Formen, relativen Anordnungen usw. der Komponenten beschränkt.
  • <Erste Ausführungsform>
  • Im Folgenden wird ein Fall beschrieben, in dem die vorliegende Erfindung auf ein Greifsystem mit einem Roboterarm angewendet wird. 1 ist eine schematische Ansicht, die eine Konfiguration des Greifsystems gemäß dieser Ausführungsform zeigt. Ein Greifsystem 100 umfasst einen Roboterarm 1 und eine Bildaufnahmeeinrichtung 8. Die Bildaufnahmeeinrichtung 8 ist zum Beispiel eine Kamera. Die Bildaufnahmeeinrichtung 8 nimmt ein Bild auf, das einen Aufnahmebehälter 11 und wenigstens ein in dem Aufnahmebehälter 11 aufgenommenes Objekt 10 enthält. Dabei erfasst die Bildaufnahmeeinrichtung 8 das Bild, das den Aufnahmebehälter 11 und das in dem Aufnahmebehälter 11 aufgenommene Objekt 10 enthält, aus einer vorbestimmten Richtung. Es ist zu beachten, dass die Bildaufnahmeeinrichtung 8 nicht notwendigerweise separat zu dem Roboterarm 1 wie in 1 gezeigt vorgesehen sein muss. Die Bildaufnahmeeinrichtung 8 kann auch an dem Roboterarm 1 angebracht sein. Weiterhin umfasst der Roboterarm 1 einen Handmechanismus 2 für das Greifen des Objekts 10, einen Armmechanismus 3 und einen Halteteil 4. Die Konfigurationen des Armmechanismus 3, des Handmechanismus 2 und des Halteteils 4 des Roboterarms 1 werden nachfolgend im Detail beschrieben.
  • (Armmechanismus)
  • 2 ist eine schematische Ansicht, die die Konfiguration des Roboterarms 1 zeigt. Der Handmechanismus 2 ist an einem Ende des Armmechanismus 3 angebracht. Weiterhin ist der Halteteil 4 an dem anderen Ende des Armmechanismus 3 angebracht. Der Armmechanismus 3 umfasst einen ersten Armverbindungsteil 31, einen zweiten Armverbindungsteil 32, einen dritten Armverbindungsteil 33, einen vierten Armverbindungsteil 34, einen fünften Armverbindungsteil 35 und ein Verbindungsglied 36. Ein Basisteil 20 des Handmechanismus 2 ist mit einem ersten Gelenkteil 30a auf einer Endseite des ersten Armverbindungsteils 31 des Armmechanismus 3 ausgebildet. Ein Motor (nicht gezeigt) zum Drehen des Handmechanismus 2 relativ zu dem ersten Armverbindungsteil 31 um den ersten Armverbindungsteil 31 ist in dem ersten Gelenkteil 30a vorgesehen. Die andere Endseite des ersten Armverbindungsteils 31 ist mit einer Endseite des zweiten Armverbindungsteils 32 über einen zweiten Gelenkteil 30b verbunden. Der erste Armverbindungsteil 31 und der zweite Armverbindungsteil 32 sind derart miteinander verbunden, dass ihre entsprechenden Mittenachsen einander senkrecht kreuzen. Ein Motor (nicht gezeigt) zum Drehen des ersten Armverbindungsteils 31 relativ zu dem zweiten Armverbindungsteil 32 axial um die andere Endseite ist in dem zweiten Gelenkteil 30b vorgesehen. Weiterhin ist die andere Endseite des zweiten Armverbindungsteils 32 mit einer Endseite des dritten Armverbindungsteils 33 über einen dritten Gelenkteil 30c verbunden. Ein Motor (nicht gezeigt) zum Drehen des zweiten Armverbindungsteils 32 relativ zu dem dritten Armverbindungsteil 33 ist in dem dritten Gelenkteil 30c vorgesehen.
  • Entsprechend ist die andere Endseite des dritten Armverbindungsteils 33 mit einer Endseite des vierten Armverbindungsteils 34 über einen vierten Gelenkteil 30d verbunden. Weiterhin ist die andere Endseite des vierten Armverbindungsteils 34 mit dem fünften Armverbindungsteil 35 über einen fünften Gelenkteil 30e verbunden. Ein Motor (nicht gezeigt) zum Drehen des dritten Armverbindungsteils 33 relativ zu dem vierten Armverbindungsteil 34 ist in dem vierten Gelenkteil 30d vorgesehen. Weiterhin ist ein Motor (nicht gezeigt) zum Drehen des vierten Armverbindungsteils 34 relativ zu dem fünften Armverbindungsteil 35 in dem fünften Gelenkteil 30e vorgesehen. Weiterhin ist der fünfte Armverbindungsteil 35 über einen sechsten Gelenkteil 30f mit dem Verbindungsglied 36 verbunden, das derart angeordnet ist, dass es sich vertikal von dem Halteteil 4 erstreckt. Der fünfte Armverbindungsteil 35 und das Verbindungsglied 36 sind derart verbunden, dass ihre entsprechenden Mittenachsen koaxial sind. Ein Motor (nicht gezeigt) zum Drehen des fünften Armverbindungsteils 35 um den fünften Armverbindungsteil 35 und das Verbindungsglied 36 ist in dem sechsten Gelenkteil 30f vorgesehen. Mit einer derartigen Konfiguration des Armmechanismus 3 kann der Armmechanismus 3 zum Beispiel als ein Mechanismus mit sechs Freiheitsgraden realisiert werden.
  • (Handmechanismus)
  • Im Folgenden wird die Konfiguration des Handmechanismus 2 mit Bezug auf 3 bis 6 beschrieben. 3 ist eine perspektivische Ansicht des Handmechanismus 2. 4 ist eine Draufsicht auf den Handmechanismus 2. Es ist zu beachten, dass in 4 die Pfeile die Drehbereiche der entsprechenden Fingerteile 21 wiedergeben. Der Handmechanismus 2 umfasst einen Basisteil 20, der mit dem Armmechanismus 3 verbunden ist, und vier Fingerteile 21, die an dem Basisteil 20 vorgesehen sind. Weiterhin sind wie in 3 und 4 gezeigt in dem Handmechanismus 2 die vier Fingerteile 21 an dem Basisteil 20 mit gleichen Winkelintervallen (insbesondere mit Intervallen von 90 Grad) entlang eines um eine Längsrichtungsachse (eine sich in der Richtung senkrecht zu der Zeichnungsebene in 4 erstreckende Achse) des Handmechanismus 2 zentrierten Umfangs angeordnet. Weiterhin weisen die vier Fingerteile 2 alle identische Aufbauten und identische Längen auf. Es ist jedoch zu beachten, dass die Operationen der entsprechenden Fingerteile 21 unabhängig gesteuert werden.
  • Wie in 3 gezeigt, umfasst jeder Fingerteil 21 einen ersten Fingerverbindungsteil 211, einen zweiten Fingerverbindungsteil 212 und einen Basisendteil 213. Der Basisendteil 213 des Fingerteils 21 ist mit dem Basisteil 20 verbunden. Wie durch die Pfeile in 4 angegeben, ist der Basisendteil 213 mit dem Basisteil 20 derart verbunden, dass er sich relativ zu dem Basisteil 20 um eine Längsrichtungsachse (eine sich in der Richtung senkrecht zu der Zeichnungsebene in 4 erstreckende Achse) des Fingerteils 21 drehen kann. Weiterhin ist in dem Fingerteil 21 ein Ende des zweiten Fingerverbindungsteils 212 mit dem Basisendteil 213 verbunden. Ein zweiter Gelenkteil 23 ist in einem Verbindungsteil zwischen dem zweiten Fingerverbindungsteil 212 und dem Basisendteil 213 ausgebildet. Ein Motor für das Antreiben des Basisendteils 213 für eine Drehung und ein Motor für das Antreiben des zweiten Fingerverbindungsteils 212 für eine Drehung relativ zu dem Basisendteil 213 sind im Inneren des Basisteils 20 vorgesehen. Bei dieser Konfiguration wird der Basisendteil 213 für eine Drehung angetrieben und wird in Entsprechung dazu der gesamte Fingerteil 21 für eine Drehung in einem durch den Pfeil in 4 angegebenen Bereich angetrieben. Weiterhin ist wie in 5 gezeigt der zweite Verbindungsteil 23 derart ausgebildet, dass er sich biegen und ausfahren kann.
  • Weiterhin ist wie in 3, 5 und 6 gezeigt in dem Fingerteil 21 ein Ende des ersten Fingerverbindungsteils 211 mit dem anderen Ende des zweiten Fingerverbindungsteils 212 verbunden. Ein erster Gelenkteil 22 ist in einem Verbindungsteil zwischen dem ersten Fingerverbindungsteil 211 und dem zweiten Fingerverbindungsteil 212 ausgebildet. Ein Motor für das Antreiben des ersten Fingerverbindungsteils 211 für eine Drehung relativ zu dem zweiten Fingerverbindungsteil 212 ist im Inneren des zweiten Fingerverbindungsteils 212 vorgesehen. Bei dieser Konfiguration ist wie in 6 gezeigt der erste Verbindungsteil 22 derart ausgebildet, dass er sich biegen und ausfahren kann.
  • Weiterhin ist wie in 3 gezeigt in dieser Ausführungsform ein Drucksensor 70 an der Endseite des ersten Fingerverbindungsteils 211 des Fingerteils 21 vorgesehen. Der Drucksensor 70 ist ein Sensor zum Erfassen einer externen Kraft (eines Drucks), der auf den Endteil des ersten Fingerverbindungsteils 211 wirkt.
  • (Halteteil)
  • Im Folgenden werden Konfigurationen einer Armsteuereinrichtung 42, einer Handsteuereinrichtung 43 und einer Bildinformationenverarbeitungseinrichtung 44, die in den Halteteil 4 eingebaut sind, mit Bezug auf 7 beschrieben. Die Armsteuereinrichtung 42 ist eine Steuereinrichtung zum Steuern des Armmechanismus 3 des Roboterarms 1. Die Handsteuereinrichtung 43 ist eine Steuereinrichtung zum Steuern des Handmechanismus 2 des Roboterarms 1. Die Bildinformationen-Verarbeitungseinrichtung 44 ist eine Verarbeitungseinrichtung zum Verarbeiten von Bildinformationen, die erhalten werden, wenn die Bildaufnahmeeinrichtung 8 ein den Aufnahmebehälter 11 und das Objekt 10 enthaltendes Bild aufnimmt. 7 ist ein Blockdiagramm, das entsprechende Funktionseinheiten zeigt, die in der Armsteuereinrichtung 42, der Handsteuereinrichtung 43 und der Bildinformationen-Verarbeitungseinrichtung 44 enthalten sind.
  • Die Armsteuereinrichtung 42 ist derart konfiguriert, dass sie eine Vielzahl von Treibern enthält, die Treibersignale für das Betreiben der Motoren in den entsprechenden Gelenkteilen des Armmechanismus 3 erzeugen, wobei das Antriebssignal von jedem Treiber zu dem entsprechenden Motor zugeführt wird. Die Armsteuereinrichtung 42 umfasst weiterhin einen Computer, der eine Berechnungsverarbeitungseinrichtung und einen Speicher aufweist. Die Armsteuereinrichtung 42 enthält eine Armsteuereinheit 420 und eine Motorzustandsgrößen-Erhaltungseinheit 421 als Funktionseinheiten. Diese Funktionseinheiten werden durch das Ausführen eines vorbestimmten Steuerprogramms an dem Computer in der Armsteuereinrichtung 42 realisiert.
  • Die Armsteuereinheit 420 steuert die Motoren, die jeweils in den Gelenkteilen 30a, 30b, 30c, 30d, 30e, 30f der Armmechanismen 3 vorgesehen sind, durch das Zuführen der Treibersignale von den entsprechenden Treibern basierend auf Objektinformationen, die durch eine weiter unten beschriebene Objektinformationen-Erhaltungseinheit 430, die als eine Funktionseinheit der Handsteuereinrichtung 43 dient, erhalten werden. Die Armsteuereinheit 420 bewegt den Armmechanismus 3 durch das Steuern der entsprechenden Motoren, wodurch die Position des Handmechanismus 2 zu einer gewünschten Position (zu einer Position, an der das Objekt 10 durch den Handmechanismus 2 gegriffen werden kann) bewegt wird. Weiterhin ist jeder der Motoren an den Gelenkteilen 30a, 30b, 30c, 30d, 30e, 30f des Armmechanismus 3 mit einem Codierer (nicht gezeigt) für das Erfassen von Zustandsgrößen (einer Drehposition und einer Drehgeschwindigkeit einer Drehwelle des Motors usw.) in Bezug auf den Drehzustand des entsprechenden Motors versehen. Die durch die Codierer der entsprechenden Motoren erfassten Zustandsgrößen der Motoren werden in die Motorzustandsgröße-Erhaltungseinheit 421 der Armsteuereinrichtung 42 eingegeben. Dann führt die Armsteuereinheit 420 basierend auf den in die Motorzustandsgrößen-Erhaltungseinheit 421 eingegebenen Zustandsgrößen der entsprechenden Motoren eine Servosteuerung der entsprechenden Motoren durch, sodass sich der Handmechanismus 2 zu der gewünschten Position bewegt.
  • Weiterhin ist die Handsteuereinrichtung 43 derart konfiguriert, dass sie eine Vielzahl von Treibern enthält, die Treibersignale für das Betreiben der Motoren in dem Handmechanismus 2 erzeugen, wobei das Treibersignal von jedem Treiber zu dem entsprechenden Motor zugeführt wird. Die Handsteuereinrichtung 43 umfasst auch einen Computer, der eine Berechnungsverarbeitungseinrichtung und einen Speicher aufweist. Die Handsteuereinrichtung 43 umfasst die Objektinformationen-Erhaltungseinheit 430, eine Handsteuereinheit 431, eine Motorzustandsgrößen-Erhaltungseinheit 432 und eine Sensorinformationen-Erhaltungseinheit 433 als Funktionseinheiten. Diese Funktionseinheiten werden durch das Ausführen eines vorbestimmten Steuerprogramms an dem Computer in der Handsteuereinrichtung 43 realisiert.
  • Die Objektinformationen-Erhaltungseinheit 430 erhält Objektinformationen, die Informationen in Bezug auf das durch den Handmechanismus 2 zu greifende Objekt sind, von der Bildinformationen-Verarbeitungseinrichtung 44. Weiterhin steuert die Handsteuereinheit 431 die Motoren für das Antreiben der entsprechenden Fingerteile 21 des Handmechanismus 2 durch das Zuführen von Treibersignalen von den Treibern zu diesen basierend auf den durch die Objektinformationen-Erhaltungseinheit 430 erhaltenen Objektinformationen. Daraus resultiert, dass das Objekt 10 durch die Vielzahl von Fingerteilen 21 des Handmechanismus 2 gegriffen wird. Weiterhin ist jeder Motor des Handmechanismus 2 mit einem Codierer (nicht gezeigt) für das Erfassen von Zustandsgrößen (der Drehposition und der Drehgeschwindigkeit der Drehwelle des Motors usw.) in Bezug auf den Drehzustand des entsprechenden Motors versehen. Die Zustandsgrößen der durch die Codierer der Motoren erfassten Motoren werden in die Motorzustandsgrößen-Erhaltungseinheit 432 der Handsteuereinrichtung 43 eingegeben. Dann führt die Handsteuereinheit 431 basierend auf den in die Motorzustandsgrößen-Erhaltungseinheit 432 eingegebenen Zustandsgrößen der Motoren eine Servosteuerung der Motoren der entsprechenden Fingerteile 21 durch, sodass die Vielzahl von Fingerteilen 21 das Objekt greifen.
  • Die Handsteuereinrichtung 43 enthält weiterhin eine Sensorinformationen-Erhaltungseinheit (nicht gezeigt). Erfassungswerte von den Drucksensoren 70 in den ersten Fingerverbindungsteilen 211 der entsprechenden Fingerteile 21 des Handmechanismus 2 werden in die Sensorinformationen-Erhaltungseinheit eingegeben. Wenn dann die Drucksensoren 70 einen Kontakt der Fingerteile 21 mit dem Objekt erfassen, kann die Handsteuereinheit 431 die Motoren der entsprechenden Fingerteile 21 basierend auf den Erfassungssignalen von diesen steuern.
  • Die Bildinformationen-Verarbeitungseinrichtung 44 umfasst einen Computer, der eine Berechnungsverarbeitungseinrichtung und einen Speicher aufweist. Weiterhin umfasst die Bildinformationen-Verarbeitungseinrichtung 44 eine Bildinformationen-Erhaltungseinheit 440, eine Extraktionseinheit 441 und eine Erfassungseinheit 442 als Funktionseinheiten. Diese Funktionseinheiten werden durch das Ausführen eines vorbestimmten Steuerprogramms an dem Computer in der Bildinformationen-Verarbeitungseinrichtung 44 realisiert. Die Bildinformationen-Verarbeitungseinrichtung 44 umfasst auch eine Speichereinheit 443. Die Speichereinheit 443 ist eine Einrichtung zum Speichern von Forminformationen zu dem Aufnahmebehälter 11, Forminformationen zu dem Objekt 10 usw. Die Forminformationen des Aufnahmebehälters 11 und die Forminformationen des Objekts 10, die durch die Speichereinheit 443 gespeichert werden, werden zuvor durch einen Benutzer registriert. Es ist zu beachten, dass die Forminformationen der entsprechenden Komponenten nicht nur Informationen zu der Form des Aufnahmebehälters 11 oder des Objekts 10, sondern auch Informationen zu den Dimensionen derselben enthalten. Weiterhin werden durch die Bildinformationen-Verarbeitungseinrichtung 44 erzeugte Bildinformationen-Verarbeitungsergebnisse in die Objektinformationen-Erhaltungseinheit 430 der Handsteuereinheit 431 eingegeben. Die durch die entsprechenden Funktionseinheiten der Bildinformationen-Verarbeitungseinrichtung 44 realisierten Funktionen werden nachfolgend beschrieben.
  • In 7 sind die Armsteuereinrichtung 42 und die Handsteuereinrichtung 43 als separate, in dem Greifsystem enthaltene Steuereinrichtungen gezeigt, wobei alternativ dazu aber auch eine Konfiguration verwendet werden kann, in der die zwei entsprechenden Funktionseinheiten in einer einzelnen Steuereinrichtung integriert sind. Und wenn die Steuereinrichtungen in dem Greifsystem in die Armsteuereinrichtung 42 und die Handsteuereinrichtung 43 geteilt sind, können die in 7 gezeigten Funktionseinheiten im Wesentlichen in einer beliebigen der Steuereinrichtungen realisiert werden, solange dies keine technischen Unstimmigkeiten mit sich bringt, wobei Informationen bei Bedarf zwischen der Armsteuereinrichtung 42 und der Handsteuereinrichtung 43 ausgetauscht werden können. Es kann auch eine Konfiguration, in der einige der Funktionseinheiten der Armsteuereinrichtung 42 oder der Handsteuereinrichtung 43 in einer separat zu der Armsteuereinrichtung 42 und der Handsteuereinrichtung 43 vorgesehenen Steuereinrichtung realisiert werden, verwendet werden.
  • (Greifstile)
  • Im Folgenden werden spezifische Beispiele von Greifstilen, die realisiert werden, wenn das Objekt 10 durch den Handmechanismus 2 des Roboterarms 1 in dem Greifsystem 100 gemäß dieser Ausführungsform gegriffen werden, mit Bezug auf 8 bis 13 beschrieben. 8 ist eine Ansicht, die ein direktes Greifen zeigt, das ein Greifstil ist, in dem das Objekt 10 durch den Handmechanismus 2 in einem platzierten Zustand des Objekts 10 gegriffen wird. Weiterhin sind 9 bis 11 Ansichten, die ein Kippgreifen zeigen, das ein Greifstil ist, in dem das Objekt 10 gekippt wird, bevor es durch den Handmechanismus 2 gegriffen wird. 12 und 13 sind Ansichten, die ein Verschiebungsgreifen zeigen, das ein Greifstil ist, in dem die Position des Objekts 10 verschoben wird, bevor das Objekt 10 durch den Handmechanismus 2 gegriffen wird. Es ist zu beachten, dass die Fingerteile 21 des Handmechanismus 2 jeweils als ein erster Fingerteil 21A, ein zweiter Fingerteil 21B, ein dritter Fingerteil 21C und ein vierter Fingerteil 21 D bezeichnet werden.
  • 8 zeigt die Zustände des Handmechanismus 2 und des Objekts 10, wenn das Objekt 10 durch ein direktes Greifen gegriffen wird. Bei einem direkten Greifen wird wie in 8 gezeigt das platzierte Objekt 10 zwischen den Fingerteilen 21 des Handmechanismus 2 so wie es ist eingeschlossen. Es ist zu beachten, dass das Objekt 10 nicht notwendigerweise zwischen allen vier Fingerteilen 21 des Handmechanismus 2 eingeschlossen werden muss. Solange das Objekt 10 zwischen wenigstens zwei der Fingerteile 21 eingeschlossen werden kann, wird ein direktes Greifen bewerkstelligt. Das Greifen des Objekts 10 durch ein direktes Greifen kann in einer beliebigen Situation implementiert werden, in der die Fingerteile 21 des Handmechanismus 2 in einen Kontakt mit einander gegenüberliegenden Teilen des Objekts 10 gebracht werden können.
  • Weiterhin zeigen 9 und 10 eine Operation zum Kippen des Objekts 10 unter Verwendung des ersten Fingerteils 21A des Handmechanismus 2, um das Objekt 10 durch ein Kippgreifen zu greifen. Weiterhin zeigt 11 einen Zustand, in dem das Objekt 10 durch den zweiten Fingerteil 21B, den dritten Fingerteil 21C und den vierten Fingerteil 21D des Handmechanismus 2 gegriffen wurde.
  • Insbesondere ist in 9 das Objekt 10 neben und in Kontakt zu einem benachbarten Objekt 10' platziert. Auch in diesem Fall können die Fingerteile 21 des Handmechanismus 2 eine obere Fläche S1 des Objekts 10 kontaktieren. Deshalb wird zuerst wie in 9 gezeigt der erste Fingerverbindungsteil 211A des ersten Fingerteils 21A in einen Kontakt mit der oberen Fläche S1 des Objekts 10 gebracht. Es ist zu beachten, dass dabei in einem Zustand, in dem der erste Fingerteil 21A in einem Kontakt mit der oberen Fläche S1 des Objekts 10 ist, die anderen Fingerteile 21B, 21C, 21D des Handmechanismus 2 das Objekt 10 nicht kontaktieren. Dann wird wie in 10 gezeigt das Objekt 10 durch den ersten Fingerteil 21A nach vorne gekippt, während der erste Fingerverbindungsteil 211A die obere Fläche S1 des Objekts 10 kontaktiert. Durch das derartige Modifizieren der Haltung des Objekts 10 unter Verwendung des ersten Fingerteils 21A kann der Abstand zwischen dem Objekt 10 und dem benachbarten Objekt 10' vergrößert werden. Dadurch wird eine Situation geschaffen, in welcher die Fingerteile 21 des Handmechanismus 2 in einen Kontakt mit einer Seitenfläche des Objekts 10 gebracht werden können, die nicht durch die Fingerteile 21 des Handmechanismus 2 kontaktiert werden konnten, während das Objekt 10 in einem Kontakt mit dem benachbarten Objekt 10' platziert war. Nachdem dann wie in 11 gezeigt das Objekt 10 durch den ersten Fingerteil 21A gekippt wurde, wird das Objekt 10 zwischen dem zweiten Fingerteil 21B, dem dritten Fingerteil 21C und dem vierten Fingerteil 21D eingeschlossen und gegriffen. Das Greifen des Objekts 10 durch das Kippgreifen kann in einer beliebigen Situation implementiert werden, in der das Objekt 10 durch den Handmechanismus 2 gekippt werden kann, d.h. auch dann, wenn die Fingerteile 21 des Handmechanismus 2 nicht in einen Kontakt mit einander gegenüberliegenden Teilen des Objekts 10 gebracht werden können.
  • 12 und 13 sind Ansichten, die eine Operation zum Verschieben der Position des Objekts 10 unter Verwendung des ersten Fingerteils 21A des Handmechanismus 2 für ein Greifen des Objekts 10 durch ein Verschiebungsgreifen zeigen.
  • Insbesondere ist in 12 das Objekt 10 neben und in Kontakt mit einem benachbarten Objekt 10 platziert. Auch in diesem Fall können die Fingerteile 21 des Handmechanismus 2 eine Seitenfläche S2 des Objekts 10 kontaktieren, die einer Seitenfläche S3, die in Kontakt mit dem anderen Objekt 10' ist, gegenüberliegt. Dabei wird zuerst wie in 12 gezeigt der erste Fingerverbindungsteil 211A des ersten Fingerteils 21A in einen Kontakt mit der Seitenfläche S2 des Objekts 10 gebracht. Das Objekt 10 wird dann so wie es ist gegen das andere Objekt 10' gedrückt, indem die Seitenfläche S2 des Objekts 10 unter Verwendung des ersten Fingerteils 21A gedrückt wird. Und während das Objekt 10 gedrückt wird, wird die Position des Objekts 10 durch den ersten Fingerteil 21A in einer durch einen schwarz umrandeten Pfeil angegebenen Richtung verschoben.
  • Auf diese Weise wird wie in 13 gezeigt die Position des Objekts 10 nach oben bewegt, sodass das Objekt 10 nach oben über die Höhe der oberen Fläche S1 des anderen Objekts 10' hinaus vorsteht. Mit anderen Worten liegt an dem Objekt 10 der obere Teil der Seitenfläche S3, der das andere Objekt 10' kontaktiert, frei. Deshalb können die Fingerteile 21 (die andere Fingerteile 21 als der erste Fingerteil 21A) des Handmechanismus 2 nicht nur die Seitenfläche S2 des Objekts 10, sondern auch die Seitenfläche S3 gegenüber der Seitenfläche S2 kontaktieren. Die Fingerteile 21 des Handmechanismus 2 werden dann in einen Kontakt mit der Seitenfläche S2 und der Seitenfläche S3 des Objekts 10 in einem in 16 gezeigten Zustand gebracht, sodass das Objekt 10 zwischen den Fingerteilen 21 eingeschlossen und dadurch gegriffen wird. Das Greifen des Objekts durch ein Kippgreifen kann in einer beliebigen Situation implementiert werden, in der die Position des Objekts 10 unter Verwendung des Handmechanismus 2 verschoben werden kann, d.h. auch in einem Zustand, in dem die Fingerteile 21 des Handmechanismus 2 nicht in einen Kontakt mit einander gegenüberliegenden Teilen des Objekts 10 gebracht werden können.
  • In dem Greifsystem 100 gemäß dieser Ausführungsform kann das Objekt 10 unter Verwendung von verschiedenen Greifstilen einschließlich eines direkten Greifens, eines Kippgreifens und eines Verschiebungsgreifens, die durch den Handmechanismus 2 realisiert werden, gegriffen werden. In 8 bis 13 weist das Objekt 10 eine rechteckige Parallelepipedform auf, wobei ein Kippgreifen und ein Verschiebungsgreifen aber auch dann, wenn das Objekt 10 eine andere Form aufweist, zusätzlich zu dem direkten Greifen implementiert werden können.
  • Um das Objekt 10 unter Verwendung der verschiedenen oben beschriebenen Greifstile zu greifen, müssen in jedem Fall die Fingerteile 21 des Handmechanismus 2 in einen Kontakt mit dem Objekt 10 gebracht werden. Zu diesem Zweck muss sichergestellt werden, dass sich die Fingerteile 21 des Handmechanismus 2 den Teilen (nachfolgend auch als „näherbare Teile“ bezeichnet) des in dem Aufnahmebehälter 11 aufgenommenen Objekts 10 nähern können. Deshalb werden in dem Greifsystem 100 gemäß dieser Ausführungsform die näherbaren Teile des in dem Aufnahmebehälter 11 aufgenommenen Objekts 10 erfasst, indem in der Bildinformationen-Verarbeitungseinrichtung 44 die Bildinformationen verarbeitet werden, die erhalten werden, indem die Bildaufnahmeeinrichtung 8 ein den Aufnahmebehälter 11 und das Objekt 10 enthaltendes Bild aufnimmt.
  • (Bildinformationenverarbeitung)
  • Im Folgenden werden spezifische Beispiele der in der Bildinformationenverarbeitungseinrichtung 44 durchgeführten Bildinformationenverarbeitung beschrieben. Zuerst wird ein erstes spezifisches Beispiel mit Bezug auf 14 bis 18 beschrieben. 14 ist eine Ansicht, die ein Bild zeigt, das gemäß dem ersten spezifischen Beispiel erhalten wird, indem die Bildaufnahmeeinrichtung 8 den Aufnahmebehälter 11 und eine Vielzahl von in dem Aufnahmebehälter 11 aufgenommenen Objekten 10 fotografiert. In diesem spezifischen Beispiel weist der Aufnahmebehälter 11 wie in 14 gezeigt die Form eines Kastens mit einem geöffneten vorderen Teil (einer vorderen Seitenfläche) und einem geöffneten oberen Teil (einer oberen Fläche) auf. Weiterhin weisen die Objekte 10 eine rechteckige Parallelepipedform auf. Es sind zwölf Objekte 10 in dem Aufnahmebehälter 11 in Reihen und ohne Zwischenräume aufgenommen. Wie weiter oben genannt, werden die Forminformationen des Gehäusebehälters 11 und die Forminformationen des Objekts 10 zuvor in der Speichereinheit 443 der Bildinformationen-Verarbeitungseinrichtung 44 gespeichert.
  • In dem Greifsystem 100 nimmt die Bildaufnahmeeinrichtung 8 ein Bild, das den Aufnahmebehälter 11 und die Objekte 10 in dem oben beschriebenen Zustand enthält, aus einer Richtung, in welcher die vorderen Flächen sichtbar sind, auf. 15 ist eine Ansicht, die ein Bild zeigt, das durch das Projizieren des durch die Bildaufnahmeeinrichtung 8 aufgenommenen Bilds von einem Sichtpunkt vor dem Aufnahmebehälter 11 erhalten wird (mit anderen Worten ein projiziertes Bild aus der Richtung eines schwarz umrandeten Pfeils in 14). Wie in 15 gezeigt, enthält das projizierte Bild den Aufnahmebehälter 11 und drei Objekte 10a bis 10c, die in dem vordersten Teil des Aufnahmebehälters 11 angeordnet sind.
  • In der Bildinformationen-Verarbeitungseinrichtung 44 wird ein Bild wie etwa das in 14 gezeigte durch die Bildinformationen-Erhaltungseinrichtung 440 als Bildinformationen erhalten. Dann extrahiert in der Bildinformationen-Verarbeitungseinrichtung 44 die Extraktionseinheit 441 den Aufnahmebehälter 11 und die Objekte 10 aus einem projizierten Bild wie etwa dem in 15 gezeigten, das basierend auf dem durch die Abbildungseinrichtung 8 aufgenommenen Bild erhalten wird. 16 ist eine Ansicht, die zeigt, wie der Aufnahmebehälter 11 und die Objekte 10 aus dem in 15 gezeigten projizierten Bild extrahiert werden.
  • In der Bildinformationen-Verarbeitungseinrichtung 44 extrahiert die Extraktionseinheit 441 den Aufnahmebehälter 11 unter Verwendung eines ersten Extraktionsrahmens, der ein Extraktionsrahmen für das Extrahieren des Aufnahmebehälters ist, und extrahiert das Objekt 10 unter Verwendung eines zweiten Extraktionsrahmens, der ein Extraktionsrahmen für das Extrahieren des Objekts ist. In 16 gibt ein durch Punkt-Punkt-Strich-Linien angegebener Rahmen f1 den ersten Extraktionsrahmen wieder und gibt ein durch Punkt-Strich-Linien angegebener Rahmen f2 den zweiten Extraktionsrahmen wieder. Dabei wird der erste Extraktionsrahmen f1 auf der Basis der in der Speichereinheit 443 registrierten Forminformationen des Aufnahmebehälters 11 gesetzt. Wie in 16 gezeigt, wird der erste Extraktionsrahmen f1 als ein Extraktionsrahmen für das Extrahieren des Teils des Aufnahmebehälters 11, in dem die Objekte 10 aufgenommen sind, gesetzt. Weiterhin wird der zweite Extraktionsrahmen f2 basierend auf den in der Speichereinheit 443 registrierten Forminformationen des Objekts 10 gesetzt. Wie in 16 gezeigt, wird der zweite Extraktionsrahmen f2 in Entsprechung zu der Größe des Objekts 10 in dem Bild (insbesondere zu der Größe eines Außenumfangs des Objekts 10, wenn das Objekt 10 von vorn betrachtet wird) gesetzt. Weiterhin sind der erste Extraktionsrahmen f1 und der zweite Extraktionsrahmen f2 beide rechteckig. Es ist jedoch zu beachten, dass der erste Extraktionsrahmen f1 und der zweite Extraktionsrahmen f2 nicht notwendigerweise rechteckig sind und auch eine andere polygonale Form aufweisen können.
  • Wenn wie in 16 gezeigt die Extraktionseinheit 441 das Bild unter Verwendung des ersten Extraktionsrahmens f1 durchsucht und in dem ersten Extraktionsrahmen f1 eine Form in Entsprechung zu den Forminformationen in Bezug auf den Teil des Aufnahmebehälters 11, in dem die Objekte 10 aufgenommen sind, erfasst, erkennt die Extraktionseinheit 441, dass der Teil des Aufnahmebehälters 11, in dem die Objekte 10 vorhanden sind, in dem ersten Extraktionsrahmen f1 enthalten ist. Und wenn die Extraktionseinheit 441 das Bild unter Verwendung des zweiten Extraktionsrahmens f2 durchsucht und eine Form in Entsprechung zu den Forminformationen des Objekts 10 in dem zweiten Extraktionsrahmen f2 erfasst, erkennt die Extraktionseinheit 441, dass das Objekt 10 in dem zweiten Extraktionsrahmen f2 enthalten ist. Indem die Extraktion auf diese Weise durch die Extraktionseinheit 441 durchgeführt wird, wird in der Bildinformationen-Verarbeitungseinrichtung 44 erkannt, dass drei Objekte 10a bis 10c in dem Aufnahmebehälter 11 in einer Reihe und ohne Zwischenräume enthalten sind.
  • Weiterhin werden eine Vielzahl von Bestimmungspunkten zuvor an vorbestimmten Positionen an dem zweiten Extraktionsrahmen f2 gesetzt. Weiterhin wird eine vorbestimmte Näherungsrichtung für jeden Bestimmungspunkt gesetzt. 17 ist eine Ansicht, die die Vielzahl von an dem zweiten Extraktionsrahmen f2 gesetzten Bestimmungspunkten und die für jeden Bestimmungspunkt gesetzte vorbestimmte Näherungsrichtung zeigt.
  • Jeder Bestimmungspunkt gibt eine Position an dem einen Objekt 10 in dem zweiten Extraktionsrahmen f2 an, in Bezug auf die bestimmt wird, ob die Fingerteile 21 des Handmechanismus 2 sich dieser Position nähern können. In 17 geben schwarze Kreise an dem zweiten Extraktionsrahmen f2 die Bestimmungspunkte an. Wie in 17 gezeigt, werden Bestimmungspunkte an insgesamt zwölf Positionen an dem zweiten Extraktionsrahmen f2 gesetzt, nämlich jeweils einer an jedem Scheitel und an zwei Positionen auf jeder Seite. Weiterhin geben die vorbestimmten Näherungsrichtungen Näherungsrichtungen an, die verwendet werden, wenn eine Näherung der Fingerteile 21 des Handmechanismus 2 an Teile in Entsprechung zu den entsprechenden Bestimmungspunkten an dem einen Objekt 10 in dem zweiten Extraktionsrahmen f2 veranlasst wird. In 17 geben jeweils in Bezug auf die schwarzen Kreise gesetzte Pfeile die vorbestimmten Näherungsrichtungen an. Wie in 17 gezeigt, werden Richtungen orthogonal zu den entsprechenden Seiten des zweiten Extraktionsrahmens f2 als die vorbestimmten Näherungsrichtungen in Bezug auf die auf den entsprechenden Seiten gesetzten Bestimmungspunkte gesetzt. Weiterhin werden zwei Richtungen, die jeweils orthogonal zu den zwei Seiten jedes der Scheitel des zweiten Extraktionsrahmens f2 sind, als die vorbestimmten Näherungsrichtungen in Bezug auf die an den entsprechenden Scheiteln gesetzten Bestimmungspunkte gesetzt.
  • In der Bildinformationen-Verarbeitungseinrichtung 44 erfasst die Bestimmungseinheit 442 dann die näherbaren Teile jedes der Objekte 10, deren Vorhandensein in dem Bild wie in 16 gezeigt als Ergebnis der durch die Extraktionseinheit 441 durchgeführten Extraktion erkannt wurde. Dabei erfasst die Erfassungseinheit 442 die näherbaren Teile eines Objekts 10 basierend auf Kontaktzuständen des einen Objekts 10 relativ zu den anderen Objekten 10 und dem Aufnahmebehälter 11, wobei die Kontaktzustände aus den durch die Extraktionseinheit 441 erhaltenen Extraktionsergebnissen erhalten werden.
  • Insbesondere bestimmt die Erfassungseinheit 442, ob eine Näherung der Fingerteile 21 des Handmechanismus 2 an die Teile des einen Objekts 10 in dem zweiten Extraktionsrahmen f2, die jeweils den an dem zweiten Extraktionsrahmen f2 gesetzten Bestimmungspunkten entsprechen, aus den in Bezug auf die Bestimmungspunkte gesetzten Näherungsrichtungen veranlasst werden kann oder nicht. Nachfolgend kann diese durch die Erfassungseinheit 442 durchgeführte Bestimmungsverarbeitung als „Näherungsbestimmungsverarbeitung“ bezeichnet werden. Um eine Beschreibung der Näherungsbestimmungsverarbeitung zu vereinfachen, kann ein Fall, in dem während der Näherungsbestimmungsverarbeitung bestimmt wird, dass eine Näherung der Fingerteile 21 des Handmechanismus 2 an einen Teil in Entsprechung zu einem Bestimmungspunkt an dem Objekt 10 aus der in Bezug auf den Bestimmungspunkt gesetzten vorbestimmten Näherungsrichtung veranlasst werden kann, bezeichnet werden durch: „es wird ein Näherungsvektor hergestellt“. Und ein Fall, in dem während der Näherungsbestimmungsverarbeitung bestimmt wird, dass eine Änderung der Fingerteile 21 des Handmechanismus 2 an einen Teil in Entsprechung zu einem Bestimmungspunkt an dem Objekt 10 aus der in Bezug auf den Bestimmungspunkt gesetzten vorbestimmten Näherungsrichtung nicht veranlasst werden kann, kann bezeichnet werden durch: „es wird kein Näherungsvektor hergestellt“.
  • 18 ist eine Ansicht, die einige Ergebnisse der durch die Erfassungseinheit 442 durchgeführten Näherungsbestimmungsverarbeitung zeigt. 18 zeigt Ergebnisse der in Bezug auf die Objekte 10b, 10c von 16 durchgeführten Näherungsbestimmungsverarbeitung. In 18 gibt ein Kreis an einem eine vorbestimmte Näherungsrichtung angebenden Pfeil an, dass ein Näherungsvektor hergestellt wird. Weiterhin gibt ein Kreuz an einem eine vorbestimmte Näherungsrichtung angebenden Pfeil an, dass kein Näherungsvektor hergestellt wird. Es ist zu beachten, dass ein durch durchgezogene Linien gezeichnetes Kreuz angibt, dass kein Näherungsvektor hergestellt wird, weil das Objekt 10 in dem Extraktionsrahmen f2 in Kontakt mit dem Aufnahmebehälter 11 ist. Weiterhin gibt ein durch eine Punkt-Strich-Linie gezeichnetes Kreuz an, dass kein Näherungsvektor hergestellt wird, weil das eine Objekt in dem Extraktionsrahmen f2 in Kontakt mit einem anderen Objekt 10 ist. In dieser Ausführungsform extrahiert wie weiter oben beschrieben die Extraktionseinheit 441 den Aufnahmebehälter 11 und die Objekte 10. Die Erfassungseinheit 442 führt dann die Näherungsbestimmungsverarbeitung auf jedem Objekt 10 basierend auf der Basis der durch die Extraktionseinheit 441 erhaltenen Extraktionsergebnisse aus. Auf diese Weise kann bestimmt werden, ob der Kontaktpartner des einen Objekts 10 in dem Extraktionsrahmen f2 der Aufnahmebehälter 11 oder ein anderes Objekt 10 ist.
  • Wie weiter oben beschrieben, sind die drei Objekte 10a bis 10c in dem Aufnahmebehälter 11 in einer Reihe und ohne Zwischenräume angeordnet. Deshalb wird wie in 18 gezeigt an beiden Objekten 10b, 10c kein Näherungsvektor in Bezug auf die an Positionen in Entsprechung zu der unteren Fläche und den Seitenflächen jedes der Objekte 10b, 10c gesetzten Bestimmungspunkte hergestellt. Wenn mit anderen Worten während der Näherungsbestimmungsverarbeitung ein anderes Objekt 10 oder der Aufnahmebehälter 11 in Kontakt mit einem Teil des einen Objekts in dem zweiten Extraktionsrahmen f2, der einem an dem zweiten Extraktionsrahmen f2 gesetzten Bestimmungspunkt entspricht, aus der in Bezug auf den Bestimmungspunkt gesetzten vorbestimmten Näherungsrichtung ist, bestimmt die Erfassungseinheit 442, dass keine Näherung der Fingerteile 21 des Handmechanismus 2 an den Teil des einen Objekts 10, der dem Bestimmungspunkt entspricht, aus der vorbestimmten Näherungsrichtung veranlasst werden kann.
  • Dagegen wird an beiden Objekten 10b, 10c ein Näherungsvektor grundsätzlich in Bezug auf die vorbestimmten Näherungsrichtungen, die eine Näherung von oben an den an Positionen in Entsprechung zu den entsprechenden oberen Flächen der Objekte 10b, 10c gesetzten Bestimmungspunkten angeben, hergestellt. Mit anderen Worten werden an jedem der Objekte 10b, 10c Näherungsvektoren in Bezug auf die Bestimmungspunkte an den auf der oberen Seite des Extraktionsrahmens f2 gesetzten zwei Positionen hergestellt.
  • Weiterhin werden in dem Objekt 10b Näherungsvektoren in Bezug auf die vorbestimmten Näherungsrichtungen hergestellt, die eine Näherung von oben an den Bestimmungspunkten angeben, die an den zwei Scheiteln der zwei Enden der oberen Seite des Extraktionsrahmens f2 gesetzt sind. Weiterhin wird in dem Objekt 10c ein Näherungsvektor in Bezug auf die vorbestimmte Näherungsrichtung hergestellt, die eine Näherung von oben an dem Bestimmungspunkt angibt, der an dem Scheitel auf der Seite des Objekt 10b (auf der linken Seite in 18) der zwei Scheitel der zwei Enden der oberen Seite des Extraktionsrahmens f2 gesetzt ist. Es ist jedoch zu beachten, dass in dem Objekt 10c kein Näherungsvektor in Bezug auf die vorbestimmte Näherungsrichtung hergestellt wird, die eine Näherung von oben an dem Bestimmungspunkt angibt, der an dem Scheitel auf der Seite der Seitenwand des Aufnahmebehälters 11 (auf der rechten Seite in 18) der zwei Scheitel der zwei Enden der oberen Seite des Extraktionsrahmens f2 gesetzt ist. Der Grund hierfür ist, dass wie in 14 und 15 gezeigt die Höhe der Seitenwand des Aufnahmebehälters 11, der durch das Objekt 10c kontaktiert wird, höher als die Höhe des Objekts 10c ist. Obwohl in diesem Fall auch die obere Seite des Aufnahmebehälters 11 geöffnet ist, versperrt die Seitenwand des Aufnahmebehälters 11 den Endteil der oberen Fläche des Objekts 10c auf der Seite der Seitenwand des Aufnahmebehälters 11, sodass es unmöglich ist, die Fingerteile 21 des Handmechanismus 2 in einen Kontakt damit zu bringen. Deshalb wird wie weiter oben beschrieben in dem Objekt 10c kein Näherungsvektor in Bezug auf die vorbestimmte Näherungsrichtung hergestellt, die eine Näherung von oben an dem Bestimmungspunkt angibt, der an dem Scheitel auf der Seite der Seitenwand des Aufnahmebehälters 11 der zwei Scheitel der zwei Enden der oberen Seite des Extraktionsrahmens f2 gesetzt ist.
  • Mit anderen Worten bestimmt in der Näherungsbestimmungsverarbeitung die Erfassungseinheit 442, dass keine Näherung der Fingerteile 21 des Handmechanismus 2 an einen Scheitel, der durch eine den Aufnahmebehälter 11 am Außenumfang des Bilds des einen Objekts 10 kontaktierenden Seite und eine andere Seite gebildet wird, aus den zwei vorbestimmten Näherungsrichtungen, die in Bezug auf den an dem Scheitel des zweiten Extraktionsrahmens f2 in Entsprechung zu diesem Scheitel gesetzten Bestimmungspunkt gesetzt sind, veranlasst werden kann.
  • Im Folgenden wird ein zweites spezifisches Beispiel mit Bezug auf 19 bis 22 beschrieben. 19 ist eine Ansicht, die ein Bild zeigt, das gemäß dem zweiten spezifischen Beispiel erhalten wird, wenn die Bildaufnahmeeinrichtung 8 den Aufnahmebehälter 11 und die Vielzahl von in dem Aufnahmebehälter 11 aufgenommenen Objekte 10 fotografiert. In diesem spezifischen Beispiel weist der Aufnahmebehälter 11 wie in 19 gezeigt die Form eines Kastens auf, bei dem nur der obere Teil (die obere Fläche) geöffnet ist. Weiterhin weisen die Objekte 10 ähnlich wie in dem ersten spezifischen Beispiel eine rechteckige Parallelepipedform auf. Es sind neun Objekte 10 in dem Aufnahmebehälter 11 in Reihen aufgenommen. Dabei sind die neun Objekte 10 derart in dem Aufnahmebehälter 11 aufgenommen, dass sie an die vordere Seite gepackt sind. Deshalb sind in dem Teil des Aufnahmebehälters 11, in dem die neun Objekte 10 aufgenommen sind, keine Zwischenräume zwischen den Objekten 10 und zwischen den Objekten 10 und dem Aufnahmebehälter 11 vorhanden. Jedoch wird ein Raum, in dem keine Objekte 10 platziert sind, in dem hinteren Teil des Aufnahmebehälters 11 gebildet. Wie weiter oben genannt, werden auch in diesem spezifischen Beispiel die Forminformationen des Aufnahmebehälters 11 und die Forminformationen des Objekts 10 zuvor in der Speichereinheit 443 der Bildinformationen-Verarbeitungseinrichtung 44 gespeichert.
  • In dem Greifsystem 100 nimmt die Bildaufnahmeeinrichtung 8 ein Bild, das den Aufnahmebehälter 11 und die Objekte 10 in dem oben beschriebenen Zustand enthält, aus einer Richtung, in welcher die oberen Flächen sichtbar sind, auf. 20 ist eine Ansicht, die ein durch das Projizieren des durch die Bildaufnahmeeinheit 8 aufgenommenen Bilds von einem Sichtpunkt über dem Aufnahmebehälter 11 erhaltenes Bild zeigt (mit anderen Worten ein projiziertes Bild aus der Richtung des schwarz umrandeten Pfeils von 19). Wie in 20 gezeigt, enthält das projizierte Bild den Aufnahmebehälter 11 und neun in dem Aufnahmebehälter 11 aufgenommene Objekte 10a bis 10i.
  • In der Bildinformationen-Verarbeitungseinrichtung 44 wird ein Bild wie das in 19 gezeigte durch die Bildinformationen-Erhaltungseinheit 440 als Bildinformationen erhalten. Dann extrahiert in der Bildinformationen-Verarbeitungseinrichtung 44 die Extraktionseinheit 441 den Aufnahmebehälter 11 und die Objekte 10 aus einem projizierten Bild wie dem in 20 gezeigten, das basierend auf dem durch die Bildaufnahmeeinrichtung 8 aufgenommenen Bild erhalten wird. 21 ist eine Ansicht, die zeigt, wie der Aufnahmebehälter 11 und die Objekte 10 aus dem in 20 projizierten Bild extrahiert werden.
  • Auch in diesem spezifischen Beispiel extrahiert die Extraktionseinheit 441 ähnlich wie in dem ersten spezifischen Beispiel den Aufnahmebehälter 11 unter Verwendung des ersten Extraktionsrahmens f1, der ein Extraktionsrahmen für das Extrahieren des Aufnahmebehälters ist, und extrahiert das Objekt 10 unter Verwendung des zweiten Extraktionsrahmens f2, der ein Extraktionsrahmen für das Extrahieren des Objekts ist. Weiterhin wird wie in 21 gezeigt der erste Extraktionsrahmen f1 als ein Extraktionsrahmen für das Extrahieren des Teils des Aufnahmebehälters 11, in dem die Objekte 10 aufgenommen sind, vorgesehen. Weiterhin wird wie in 21 gezeigt der zweite Extraktionsrahmen f2 in Entsprechung zu der Größe des Objekts 10 in dem Bild (mit anderen Worten zu der Größe des Außenumfangs des Objekts 10, wenn das Objekt 10 von oben betrachtet wird) gesetzt. Aufgrund der durch die Extraktionseinheit 441 durchgeführten Extraktion wird in der Bildinformationen-Verarbeitungseinrichtung 44 erkannt, dass die neun Objekte 10a bis 10i in dem vorderen Teil des Aufnahmebehälters 11 ohne Zwischenräume angeordnet sind.
  • Weiterhin werden in diesem spezifischen Beispiel ähnlich wie in dem ersten spezifischen Beispiel eine Vielzahl von Bestimmungspunkten an dem zweiten Extraktionsrahmen f2 gesetzt und wird ähnlich wie in dem ersten spezifischen Beispiel eine vorbestimmte Näherungsrichtung für jeden Bestimmungspunkt gesetzt. Weiterhin wird in diesem spezifischen Beispiel die Näherungsbestimmungsverarbeitung durch die Erfassungseinheit 442 basierend auf den Kontaktzuständen des einen Objekts 10 relativ zu den anderen Objekten 10 und dem Aufnahmebehälter 11 durchgeführt, wobei die Kontaktzustände aus den durch die Extraktionseinheit 441 erhaltenen Extraktionsergebnissen erhalten werden.
  • 22 ist eine Ansicht, die einige Ergebnisse der durch die Erfassungseinheit 442 durchgeführten Näherungsbestimmungsverarbeitung zeigt. 22 zeigt Ergebnisse der in Bezug auf die Objekte 10b, 10c von 21 durchgeführten Näherungsbestimmungsverarbeitung. Ähnlich wie in 18 geben in 22 schwarze Kreise an dem zweiten Extraktionsrahmen f2 die Bestimmungspunkte an. Weiterhin geben in Bezug auf die schwarzen Kreise gesetzte Pfeile die vorbestimmten Näherungsrichtungen an. Weiterhin gibt in 22 ein schwarzer Kreis an einem eine vorbestimmte Näherungsrichtung angebenden Pfeil an, dass ein Näherungsvektor hergestellt wird. Weiterhin gibt in 22 ein Kreuz an einem eine vorbestimmte Näherungsrichtung angebenden Pfeil an, dass kein Näherungsvektor hergestellt wird. Ein durch solide Linien gezeichnetes Kreuz gibt an, dass kein Näherungsvektor hegestellt wird, weil das eine Objekt 10 in dem Extraktionsrahmen f2 in Kontakt mit dem Aufnahmebehälter 11 ist. Weiterhin gibt ein durch eine Punkt-Strich-Punkt-Linie gezeichneter Pfeil an, dass kein Näherungsvektor hergestellt wird, weil das eine Objekt 10 in dem Extraktionsrahmen f2 in Kontakt mit einem anderen Objekt 10 ist.
  • Die neun Objekte 10a bis 10i sind in dem vorderen Teil des Aufnahmebehälters 11 in Reihen und ohne Zwischenräume angeordnet. Deshalb wird wie in 22 gezeigt an beiden Objekten 10b, 10c kein Näherungsvektor in Bezug auf einen der Bestimmungspunkte hergestellt, die an Positionen in Entsprechung zu den vorderen Seitenflächen, den rechten Seitenflächen und den linken Seitenflächen der Objekte 10b, 10c gesetzt sind.
  • Wie in 21 gezeigt, wird jedoch ein Raum in dem hinteren Teil des Aufnahmebehälters 11 hinter den Objekten 10a bis 10c gebildet. Deshalb wird an beiden Objekten 10b, 10c ein Näherungsvektor grundlegend in Bezug auf die vorbestimmten Näherungsrichtungen hergestellt, die eine Näherung von hinten an den an Positionen in Entsprechung zu den hinteren Seitenflächen der Objekte 10b, 10c gesetzten Bestimmungspunkten angeben. Mit anderen Worten werden an beiden Objekten 10b, 10c Näherungsvektoren für die Bestimmungspunkte an den auf der hinteren Seite des Extraktionsrahmens f2 gesetzten zwei Positionen hergestellt.
  • Weiterhin werden in dem Objekt 10b Näherungsvektoren auch in Bezug auf die vorbestimmten Näherungsrichtungen hergestellt, die eine Näherung von hinten an den Bestimmungspunkten angeben, die an den zwei Scheiteln gesetzt sind, die die zwei Enden der hinteren Seite des Extraktionsrahmens f2 bilden. Weiterhin wird in dem Objekt 10c ein Näherungsvektor in Bezug auf die vorbestimmte Näherungsrichtung hergestellt, die eine Näherung von hinten an dem Bestimmungspunkt angibt, der an dem Scheitel auf der Seite des Objekts 10b (auf der linken Seite in 22) der zwei Scheitel, die die zwei Enden der hinteren Seite des Extraktionsrahmens f2 bilden, gesetzt ist. Dagegen wird in dem Objekt 10c kein Näherungsvektor in Bezug auf die vorbestimmte Näherungsrichtung hergestellt, die eine Näherung von hinten an dem Bestimmungspunkt angibt, der an dem Scheitel auf der Seite der Seitenwand des Aufnahmebehälters 11 (auf der rechten Seite in 22) der zwei Scheitel, die die zwei Enden der hinteren Seite des Extraktionsrahmens f2 bilden, gesetzt ist. Der Grund hierfür ist, dass wie in 21 gezeigt, obwohl ein Raum in dem hinteren Teil des Aufnahmebehälters 11 hinter den Objekten 10a bis 10c gebildet wird, die Seitenwand des Aufnahmebehälters 11 den Endteil der hinteren Seitenfläche des Objekts 10c auf der Seite der Seitenwand des Aufnahmebehälters 11 versperrt, sodass es unmöglich ist, die Fingerteile 21 des Handmechanismus 2 in einen Kontakt damit zu bringen.
  • Wenn in den oben beschriebenen ersten und zweiten spezifischen Beispielen ein anderes Objekt 10 oder der Aufnahmebehälter 11 in Kontakt mit dem einen Objekt 10 in dem zweiten Extraktionsrahmen f2 ist, wird bestimmt, dass kein Näherungsvektor hergestellt wird. Auch wenn das eine Objekt 10 nicht in Kontakt mit einem anderen Objekt 10 oder dem Aufnahmebehälter 11 ist, kann keine Näherung der Fingerteile 21 des Handmechanismus 2 an das eine Objekt 10 in einem Teil, in dem der Zwischenraum zwischen den zwei Komponenten zu klein ist, veranlasst werden. Wenn also in der Näherungsbestimmungsverarbeitung eine Distanz (nachfolgend auch als „Bestimmungsdistanz“ bezeichnet) zwischen einem Teil des einen Objekts 10 in dem zweiten Extraktionsrahmen f2, der einem an dem zweiten Extraktionsrahmen f2 gesetzten Bestimmungspunkt entspricht, und einem anderen Objekt 10 oder dem Aufnahmebehälter 11 in der in Bezug auf den Bestimmungspunkt gesetzten Näherungsrichtung gleich oder kürzer als ein vorbestimmter Schwellwert ist, kann bestimmt werden, dass keine Näherung der Fingerteile 21 des Handmechanismus 2 an den Teil des Objekts 10 in Entsprechung zu dem Bestimmungspunkt aus der vorbestimmten Näherungsrichtung veranlasst werden kann.
  • Im Folgenden wird ein drittes spezifisches Beispiel mit Bezug auf 23 bis 28 beschrieben. 23 ist eine Ansicht, die ein Bild zeigt, das erhalten wird, wenn die Bildaufnahmeeinrichtung 8 den Aufnahmebehälter 11 und die in dem Aufnahmebehälter 11 aufgenommene Vielzahl von Objekten 10 gemäß dem dritten spezifischen Beispiel fotografiert. In diesem spezifischen Beispiel weist der Aufnahmebehälter 11 wie in 23 gezeigt die Form eines Kastens auf, in dem nur der obere Teil (die obere Fläche) geöffnet ist. Weiterhin weisen die Objekte 10 eine Säulenform auf. Neun Objekte 10 sind in dem Aufnahmebehälter 11 in Reihen aufgenommen, sodass benachbarte Objekte 10 einander kontaktieren. Weiterhin kontaktieren in dem Aufnahmebehälter 11 die an Positionen in Nachbarschaft zu den Seitenwänden des Aufnahmebehälters 11 angeordneten Objekte 10 auch den Aufnahmebehälter 11. Wie weiter oben genannt, werden auch in diesem spezifischen Beispiel die Forminformationen des Aufnahmebehälters 11 und die Forminformationen des Objekts 10 zuvor in der Speichereinheit 443 der Bildinformationen-Verarbeitungseinrichtung 44 gespeichert.
  • In dem Greifsystem 100 nimmt die Bildaufnahmeeinrichtung 8 ein Bild, in dem der Aufnahmebehälter 11 und die Objekte 10 in dem oben beschriebenen Zustand enthalten sind, aus einer Richtung, in der die oberen Flächen sichtbar sind, auf. 24 ist eine Ansicht, die ein Bild zeigt, das durch das Projizieren des durch die Bildaufnahmeeinrichtung 8 aufgenommenen Bilds von einem Sichtpunkt über dem Aufnahmebehälter 11 erhalten wird (mit anderen Worten ein projiziertes Bild aus der Richtung des schwarz umrandeten Pfeils in 23). Wie in 24 gezeigt, enthält das projizierte Bild den Aufnahmebehälter 11 und die in dem Aufnahmebehälter 11 aufgenommenen neun Objekte 10a bis 10i.
  • In der Bildinformationen-Verarbeitungseinrichtung 44 wird ein Bild wie das in 23 gezeigte durch die Bildinformationen-Erhaltungseinheit440 als Bildinformationen erhalten. Dann extrahiert in der Bildinformationen-Verarbeitungseinrichtung 44 die Extraktionseinheit 441 den Aufnahmebehälter 11 und die Objekte 10 aus einem projizierten Bild wie dem in 24 gezeigten, das basierend auf dem durch die Bildaufnahmeeinrichtung 8 aufgenommenen Bild erhalten wird. 25 ist eine Ansicht, die zeigt, wie der Aufnahmebehälter 11 und die Objekte 10 aus dem in 24 gezeigten projizierten Bild extrahiert werden.
  • Auch in diesem spezifischen Beispiel extrahiert die Extraktionseinheit 441 ähnlich wie in dem ersten spezifischen Beispiel den Aufnahmebehälter 11 unter Verwendung des ersten Extraktionsrahmens f1, der ein Extraktionsrahmen für das Extrahieren des Aufnahmebehälters ist, und extrahiert das Objekt 10 unter Verwendung des zweiten Extraktionsrahmens f2, der ein Extraktionsrahmen für das Extrahieren des Objekts ist. Weiterhin wird wie in 25 gezeigt der erste Extraktionsrahmen f1 als ein Extraktionsrahmen für das Extrahieren des Teils des Aufnahmebehälters 11, in dem die Objekte 10 aufgenommen sind, gesetzt. Weiterhin wird wie in 25 gezeigt der zweite Extraktionsrahmen f2 in Entsprechung zu der Größe des Objekts 10 in dem Bild (mit anderen Worten zu der Größe des Außenumfangs des Objekts 10, wenn das Objekt 10 von oben betrachtet wird) gesetzt. In diesem spezifischen Beispiel weisen die Objekte 10 eine Säulenform auf, sodass wie in 25 gezeigt die Form des Außenumfangs des Objekts 10, wenn das Objekt von oben betrachtet wird, kreisrund ist. Es ist jedoch zu beachten, dass auch in diesem Fall der zweite Extraktionsrahmen f2 rechteckig ist. Außerdem kann auch in diesem Fall der zweite Extraktionsrahmen f2 eine andere polygonale Form als diejenige eines Rechtecks aufweisen.
  • Aufgrund der durch die Extraktionseinheit 441 durchgeführten Extraktion kann in der Bildinformationen-Verarbeitungseinrichtung 44 erkannt werden, dass die neun Objekte 10a bis 10i in dem Aufnahmebehälter 11 in Reihen aufgenommen sind, sodass benachbarte Objekte 10 einander kontaktieren, wobei die an Positionen in Nachbarschaft zu den Seitenwänden des Aufnahmebehälters 11 angeordneten Objekte 10a bis 10d auch den Aufnahmebehälter 11 kontaktieren können.
  • Weiterhin werden auch in diesem spezifischen Beispiel ähnlich wie in dem ersten spezifischen Beispiel eine Vielzahl von Bestimmungspunkten an dem zweiten Extraktionsrahmen f2 gesetzt. Weiterhin wird eine vorbestimmte Näherungsrichtung für jeden Bestimmungspunkt gesetzt. Weil jedoch in diesem spezifischen Beispiel die Objekte 10 eine Säulenform aufweisen, unterscheidet sich die Methode zum Setzen von vorbestimmten Näherungsrichtungen in Bezug auf die Bestimmungspunkte teilweise von derjenigen des ersten spezifischen Beispiels. Insbesondere unterscheiden sich die vorbestimmten Näherungsrichtungen, die in Bezug auf die an den Scheiteln des zweiten Extraktionsrahmens f2 gesetzten Bestimmungspunkte gesetzt sind, von denjenigen des ersten spezifischen Beispiels.
  • 26 ist eine Ansicht, die die Vielzahl von an dem zweiten Extraktionsrahmen f2 gesetzten Bestimmungspunkten und die in Bezug auf die Bestimmungspunkte gesetzten vorbestimmten Näherungsrichtungen zeigt. Ähnlich wie in 17 geben in 26 schwarze Kreise an dem zweiten Extraktionsrahmen f2 die Bestimmungspunkte an. Weiterhin geben wie in 26 gezeigt in Bezug auf die schwarzen kreise gesetzte Pfeile die vorbestimmten Näherungsrichtungen an. Wie in 26 gezeigt, werden auch in diesem spezifischen Beispiel ähnlich wie in dem ersten spezifischen Beispiel Bestimmungspunkte an insgesamt zwölf Positionen an dem zweiten Extraktionsrahmen f2 gesetzt, nämlich einer an jedem Scheitel und an zwei Positionen auf jeder Seite. Weiterhin werden wie in 26 gezeigt Richtungen orthogonal zu den entsprechenden Seiten des zweiten Extraktionsrahmens f2 als vorbestimmte Näherungsrichtungen in Bezug auf die auf den entsprechenden Seiten gesetzten Bestimmungspunkte gesetzt. In Bezug auf die an den Scheiteln des zweiten Extraktionsrahmens f2 gesetzten Bestimmungspunkte werden jedoch Richtungen von diagonalen Linien, die sich von den entsprechenden Scheiteln erstrecken, als die vorbestimmten Näherungsrichtungen gesetzt.
  • Auch in diesem spezifischen Beispiel wird die Näherungsbestimmungsverarbeitung durch die Erfassungseinheit 442 basierend auf den Kontaktzuständen des einen Objekts 10 relativ zu den anderen Objekten 10 und dem Aufnahmebehälter 11 durchgeführt, wobei die Kontaktzustände aus den durch die Extraktionseinheit 441 erhaltenen Extraktionsergebnissen erhalten werden. Weil jedoch in diesem spezifischen Beispiel die Objekte 10 eine Säulenform aufweisen, kontaktieren die Teile des einen Objekts 10, die den Bestimmungspunkten entsprechen, kein anderes Objekt 10 oder den Aufnahmebehälter 11. Aber wie oben genannt kann auch dann, wenn das eine Objekt 10 kein anderes Objekt 10 oder den Aufnahmebehälter 11 kontaktiert, keine Annäherung der Fingerteile des Handmechanismus 2 an das eine Objekt 10 in Teilen, wo der Abstand zwischen den zwei Komponenten zu klein ist, veranlasst werden. In diesem spezifischen Beispiel wird deshalb die Näherungsbestimmungsverarbeitung basierend auf der Bestimmungsdistanz in Bezug auf jeden Bestimmungspunkt durchgeführt.
  • 27 ist eine Ansicht, die spezifische Beispiele der Bestimmungsdistanzen zeigt. Die Bestimmungsdistanz wird hier anhand des Beispiels des Objekts 10f von 25 beschrieben. 27 ist eine teilweise vergrößerte Ansicht des zweiten Extraktionsrahmens f2, in dem das Objekt 10f enthalten ist. Die Bestimmungspunkte P1, P2, P3 sind in dem vergrößerten Teil enthalten. Wie weiter oben beschrieben ist die Bestimmungsdistanz die Distanz zwischen einem Teil des einen Objekts 10 in dem zweiten Extraktionsrahmen f2, der einem an dem zweiten Extraktionsrahmen f2 gesetzten Bestimmungspunkt entspricht, und einem anderen Objekt 10 oder dem Aufnahmebehälter 11 in der in Bezug auf den Bestimmungspunkt gesetzten vorbestimmten Näherungsrichtung. Die Bestimmungsdistanz d1 für den Bestimmungspunkt P1 von 27 ist die Distanz zwischen dem Objekt 10f und der Seitenwand des Aufnahmebehälters 11 in der vorbestimmten Näherungsrichtung. Weiterhin ist die Bestimmungsdistanz d2 für den Bestimmungspunkt P2 von 27 die Distanz zwischen dem Objekt 10f und der Seitenwand des Aufnahmebehälters 11 in der vorbestimmten Näherungsrichtung. Die Bestimmungsdistanz d3 für den Bestimmungspunkt P3 von 27 ist die Distanz zwischen dem Objekt 10f und dem benachbarten Objekt 10i in der vorbestimmten Näherungsrichtung. Die Bestimmungsdistanz d1 für den Bestimmungspunkt P1, der an einem Scheitel des zweiten Extraktionsrahmens f2 gesetzt ist, ist größer als die Bestimmungsdistanzen d2, d3 für die Bestimmungspunkte P2, P3, die auf entsprechenden Seiten des zweiten Extraktionsrahmens f2 gesetzt sind. Dementsprechend überschreitet die Bestimmungsdistanz d1 einen vorbestimmten Schwellwert. Weiterhin sind die Bestimmungsdistanz d2 und die Bestimmungsdistanz d3 gleich oder kleiner als der vorbestimmte Schwellwert. Deshalb wird in der Näherungsbestimmungsverarbeitung bestimmt, dass ein Näherungsvektor in Bezug auf den Bestimmungspunkt P1 hergestellt wird, während keine Näherungsvektoren in Bezug auf die Bestimmungspunkte P2 und P3 hergestellt werden.
  • 28 ist eine Ansicht, die einige Ergebnisse der durch die Erfassungseinheit 442 durchgeführten Näherungsbestimmungsverarbeitung zeigt. 28 zeigt Ergebnisse der in Bezug auf das Objekt 10f von 25 durchgeführten Näherungsbestimmungsverarbeitung. Ähnlich wie in 18 gibt in 28 ein schwarzer Kreis an einem eine vorbestimmte Näherungsrichtung angebenden Pfeil an, dass ein Näherungsvektor hergestellt wird. Weiterhin gibt in 28 ein Kreuz an einem eine vorbestimmte Näherungsrichtung angebenden Pfeil an, dass kein Näherungsvektor hergestellt wird. Weiterhin gibt ein durch eine durchgezogene Linie gezeichnetes Kreuz an, dass kein Näherungsvektor hergestellt wird, weil die Bestimmungsdistanz zwischen dem Objekt 10f in dem Extraktionsrahmen f2 und dem Aufnahmebehälter 11 gleich oder kleiner als ein vorbestimmter Schwellwert ist. Weiterhin gibt ein durch eine Punkt-Strich- Linie gezeichnetes Kreuz an, dass kein Näherungsvektor hergestellt wird, weil die Bestimmungsdistanz zwischen dem Objekt 10f in dem Extraktionsrahmen f2 und dem anderen Objekt 10 gleich oder kleiner als der vorbestimmte Schwellwert ist.
  • Wie weiter oben beschrieben, sind die neun Objekte 10a bis 10i in dem Aufnahmebehälter 11 in Reihen derart angeordnet, dass benachbarte Objekte 10 einander kontaktieren, wobei die an Positionen in Nachbarschaft zu den Seitenwänden des Aufnahmebehälters 11 angeordneten Objekte 10a bis 10d auch den Aufnahmebehälter 11 kontaktieren. Deshalb sind die einzigen Bestimmungsdistanzen, die den vorbestimmten Schwellwert überschreiten, die Bestimmungsdistanzen in Bezug auf die an den Scheiteln des zweiten Extraktionsrahmens f2 gesetzten Bestimmungspunkte. Deshalb werden an dem Objekt 10f von 28 Näherungsvektoren nur in Bezug auf die an den Scheiteln des zweiten Extraktionsrahmens f2 gesetzten Bestimmungspunkte hergestellt. Dagegen werden keine Näherungsvektoren in Bezug auf die auf den Seiten des zweiten Extraktionsrahmens f2 gesetzten Bestimmungspunkte hergestellt.
  • Indem bestimmt wird, ob eine Näherung der Fingerteile 21 des Handmechanismus 2 an die Teile in Entsprechung zu den entsprechenden Bestimmungspunkten an dem einen Objekt 10 in dem zweiten Extraktionsrahmen f2 in Bezug auf jeden aus der Vielzahl von an dem zweiten Extraktionsrahmen f2 gesetzten Bestimmungspunkte veranlasst werden kann oder nicht, können wie in den oben beschriebenen ersten bis dritten spezifischen Beispielen die Teile des einen Objekts 10, denen sich die Fingerteile 21 des Handmechanismus 2 nähern können, erfasst werden.
  • (Fluss der Bildinformationenverarbeitung)
  • Im Folgenden wird ein Fluss der in der Bildinformationen-Verarbeitungseinrichtung 44 durchgeführten Bildinformationenverarbeitung mit Bezug auf das Flussdiagramm von 29 beschrieben. Der Fluss der Bildinformationenverarbeitung wird realisiert, indem ein vorbestimmtes Verarbeitungsprogramm in der Bildinformationen-Verarbeitungseinrichtung 44 ausgeführt wird. In diesem Fluss werden zuerst in S101 Bildinformationen durch die Bildinformationen-Erhaltungseinheit 440 von der Bildaufnahmeeinrichtung 8 erhalten.
  • Dann extrahiert in S102 die Extraktionseinheit 441 den Aufnahmebehälter 11 und das Objekt 10 aus den durch die Bildaufnahmeeinrichtung 8 aufgenommenen Bild. Dabei werden wie weiter oben beschrieben der Aufnahmebehälter 11 und das Objekt 10 basierend auf den Forminformationen des Aufnahmebehälters 11 und den Forminformationen des Objekts 10, die in der Speichereinheit 443 gespeichert sind, extrahiert. Und wenn das durch die Bildaufnahmeeinrichtung 8 aufgenommene Bild eine Vielzahl von Objekten 10 enthält, erkennt die Extraktionseinheit 441 die Vielzahl von Objekten 10 einzeln.
  • Dann führt in S103 die Erfassungseinheit 442 die oben beschriebene Näherungsbestimmungsverarbeitung auf jedem der durch die Extraktionseinheit 441 extrahierten Objekte 10 durch. Dadurch wird ein Näherungsbestimmungsverarbeitungsergebnis für jedes Objekt 10 wie in 18, 22 und 28 gezeigt erhalten. Auf diese Weise können die näherbaren Teile jedes Objekts 10 erfasst werden.
  • (Handsteuerung)
  • Im Folgenden wird ein Fluss der durch die Handsteuereinrichtung 43 durchgeführten Handsteuerung, wenn das Objekt 10 durch den Handmechanismus 2 gegriffen wird, mit Bezug auf das Flussdiagramm von 30 beschrieben. Der Fluss der Handsteuerung wird realisiert, indem ein vorbestimmtes Verarbeitungsprogramm in der Handsteuereinrichtung 43 ausgeführt wird.
  • In diesem Fluss werden zuerst in S201 Objektinformationen, die Informationen in Bezug auf das Objekt 10 sind, von der Bildinformationen-Verarbeitungseinrichtung 44 erhalten. Die zu diesem Zeitpunkt erhaltenen Objektinformationen enthalten nicht nur die Forminformationen des Objekts 10, sondern auch die durch die Erfassungseinheit 442 der Bildinformationen-Verarbeitungseinrichtung 44 erhaltenen Erfassungsergebnisse, die die näherbaren Teile der entsprechenden in dem Aufnahmebehälter 11 aufgenommenen Objekte 10 angeben (mit anderen Worten die für jedes der Objekte 10 in der oben beschriebenen Bildinformationenverarbeitung erhaltenen Ergebnisse der Näherungsbestimmungsverarbeitung).
  • Dann wird in S202 der durch den Handmechanismus 2 zu verwendende Greifstil für das Greifen eines in dem Aufnahmebehälter 11 aufgenommenen Objekts 10 basierend auf den von der Bildinformationen-Verarbeitungseinrichtung 44 erhaltenen Objektinformationen bestimmt. Weiterhin werden in S203 die Teile des einen in dem Aufnahmebehälter 11 aufgenommenen Objekts 10, mit denen die Fingerteile 21 des Handmechanismus 2 in einen Kontakt zu bringen sind, wenn das eine Objekt 10 durch den Handmechanismus 2 gegriffen wird, basierend auf den von der Bildinformationen-Verarbeitungseinrichtung 44 erhaltenen Objektinformationen bestimmt.
  • Wenn zum Beispiel die durch die Erfassungseinheit 442 der Bildinformationen-Verarbeitungseinrichtung 44 erhaltenen Erfassungsergebnisse, die die näherbaren Teile angeben, die in dem oben beschriebenen ersten spezifischen Beispiel der Bildinformationenverarbeitung sind, kann bestimmt werden, dass eine Näherung der Fingerteile 21 des Handmechanismus 2 an die entsprechenden oberen Flächen der Objekte 10b, 10c in dem Bild von 15 veranlasst werden kann. Es kann auch bestimmt werden, dass durch das Kippen des Objekts 10b oder des Objekts 10c nach vorne mit den Fingerteilen 21 des Handmechanismus 2 in Kontakt mit der oberen Fläche des Objekts 10b oder des Objekts 10c ein Kippgreifen an diesen durchgeführt werden kann. Deshalb wird in diesem Fall ein Kippgreifen während der Handsteuerung als der für das Greifen des Objekts 10b oder des Objekts 10c unter Verwendung des Handmechanismus 2 zu verwendende Greifstil bestimmt. Weiterhin wird die obere Fläche des Objekts 10b oder des Objekts 10c als der Teil des Objekts 10b oder des Objekts 10c, der durch die Fingerteile 21 des Handmechanismus 2 zu kontaktieren ist, wenn das Kippgreifen an denselben durchgeführt wird, bestimmt.
  • Und wenn zum Beispiel die durch die Erfassungseinheit 442 der Bildinformationen-Verarbeitungseinrichtung 44 erhaltenen Erfassungsergebnisse, die die näherbaren Teile angeben, die in dem oben beschriebenen zweiten spezifischen Beispiel der Bildinformationenverarbeitung gezeigten Ergebnisse sind, kann bestimmt werden, dass eine Näherung der Fingerteile 21 des Handmechanismus 2 an die entsprechenden hinteren Seitenflächen der Objekte 10b, 10c in dem in 20 gezeigten Bild veranlasst werden kann. Es kann auch bestimmt werden, dass durch das Drücken des Objekts 10b oder des Objekts 10c gegen ein anderes, davor platziertes Objekts 10 (z.B. das Objekt 10e oder das Objekt 10f) mit den Fingerteilen 21 des Handmechanismus 2 in Kontakt mit der hinteren Seitenfläche des Objekts 10b oder des Objekts 10c und durch das Verschieben, während des Drückens des Objekts 10b oder des Objekts 10c, der Position desselben nach oben, ein Verschiebungsgreifen an diesem durchgeführt werden kann. Deshalb wird in diesem Fall ein Verschiebungsgreifen während der Handsteuerung als der für das Greifen des Objekts 10b oder des Objekts 10c unter Verwendung des Handmechanismus 2 zu verwendende Greifstil bestimmt. Weiterhin wird die hintere Seitenfläche des Objekts 10b oder des Objekts 10c als der Teil des Objekts 10b oder des Objekts 10c, der durch die Fingerteile 21 des Handmechanismus 2 zu kontaktieren ist, wenn ein verschiebendes Greifen an diesem durchgeführt wird, bestimmt.
  • Und wenn zum Beispiel die durch die Erfassungseinheit 442 der Bildinformationen-Verarbeitungseinrichtung 44 erhaltenen Erfassungsergebnisse die in dem oben beschriebenen dritten spezifischen Beispiel der Bildinformationenverarbeitung gezeigten Ergebnisse sind, kann bestimmt werden, dass eine Näherung der Fingerteile 21 des Handmechanismus 2 an einander gegenüberliegende Teile der Seitenflächen des Objekts 10f in dem Bild von 24 veranlasst werden kann. Dementsprechend kann bestimmt werden, dass ein direktes Greifen an dem Objekt 10f durchgeführt werden kann. Deshalb wird in diesem Fall ein direktes Greifen während der Handsteuerung als der für das Greifen des Objekts 10f unter Verwendung des Handmechanismus 2 zu verwendende Greifstil bestimmt. Weiterhin werden einander gegenüberliegende Teile an den Seitenflächen des Objekts 10f als die durch die Fingerteile 21 des Handmechanismus 2 zu kontaktierenden Teile des Objekts 10f, wenn ein direktes Greifen an diesen durchgeführt wird, bestimmt.
  • Durch das Erhalten der Erfassungsergebnisse, die die näherbaren Teile angeben, durch die Erfassungseinheit 442 der Bildinformationen-Verarbeitungseinrichtung 44 während der Handsteuerung kann also der Greifstil und der Teil des einen in dem Aufnahmebehälter 11 aufgenommenen Objekts 10, der durch die Fingerteile 21 des Handmechanismus 2 zu kontaktieren ist, wenn das eine Objekt 10 durch den Handmechanismus 2 gegriffen wird, bestimmt werden.
  • <Modifiziertes Beispiel>
  • Im Folgenden wird ein modifiziertes Beispiel der durch die Handsteuereinrichtung durchgeführten Handsteuerung gemäß dieser Ausführungsform mit Bezug auf 31 bis 33 beschrieben. 31 ist eine Ansicht, die den Aufnahmebehälter 11 und die in dem Aufnahmebehälter 11 aufgenommenen zwei Objekte 10a, 10b gemäß diesem modifizierten Beispiel zeigt. In diesem modifizierten Beispiel weist der Aufnahmebehälter 11 die Form eines Kastens auf, in dem nur der obere Teil geöffnet ist. Weiterhin weisen die Objekte 10a, 10b jeweils eine rechteckige Parallelepipedform auf. 31 ist eine Ansicht, in welcher der Aufnahmebehälter 11 und die in dem Aufnahmebehälter 11 aufgenommenen zwei Objekte 10a, 10b von oben gezeigt sind.
  • Weiterhin zeigt 32 die Form des Handmechanismus 2, wenn eine Näherung der Fingerteile 21 des Handmechanismus 2 an das in 31 gezeigte Objekt 10a veranlasst wird, um das Objekt 10a zu greifen. Nachfolgend kann die Form des in 32 gezeigten Handmechanismus 2 als eine „erste Näherungsform“ bezeichnet werden. Weiterhin zeigt 33 die Form des Handmechanismus 2, wenn eine Näherung der Fingerteile 21 des Handmechanismus 2 an das in 31 gezeigte Objekt 10b veranlasst wird, um das Objekt 10b zu greifen. Nachfolgend kann die Form des in 33 gezeigten Handmechanismus 2 als eine „zweite Näherungsform“ bezeichnet werden. In 32 und 33 sind der Einfachheit halber nur der erste Fingerteil 21A und der dritte Fingerteil 21C gezeigt, während der zweite Fingerteil 21B und der vierte Fingerteil 21D nicht gezeigt sind.
  • Weiterhin kann die Distanz zwischen einem Endteil des dritten Fingerteils 31C (dem Endteil des ersten Fingerverbindungsteils 211C) und einem Außenteil des ersten Verbindungsteils 22C desselben, wenn der Handmechanismus 2 in der ersten Näherungsform von 32 oder der zweiten Näherungsform von 33 gesetzt ist, nachfolgend als die „Fingerbreite“ bezeichnet werden. In 32 wird die Fingerbreite in der ersten Näherungsform durch df1 angegeben. Weiterhin wird in 33 die Fingerbreite in der ersten Näherungsform durch df2 angegeben.
  • In diesem modifizierten Beispiel sind wie in 31 gezeigt die zwei Objekte 10a, 10b beide in dem Aufnahmebehälter 11 derart platziert, dass die linken Seitenflächen S2 und die rechten Seitenflächen S3 derselben von den Seitenwänden des Aufnahmebehälters 11 getrennt sind. Deshalb werden in der in der Bildinformationen-Verarbeitungseinrichtung 44 durchgeführten Bildinformationenverarbeitung die linken Seitenflächen S2 und die rechten Seitenflächen S3 der Objekte 10a, 10b als näherbare Teile erfasst. Deshalb wird in der durch die Handsteuereinrichtung 43 durchgeführten Handsteuerung ein direktes Greifen als der durch den Handmechanismus 2 für das Greifen der Objekte 10a, 10b zu verwendende Greifstil bestimmt. Und wenn ein direktes Greifen an den Objekten 10a, 10b durchgeführt wird, werden die linken Seitenflächen S2 und die rechten Seitenflächen S3 derselben als die Teile, die durch die Fingerteile 21 des Handmechanismus 2 zu kontaktieren sind, bestimmt.
  • Dabei wird wie in 31 gezeigt das Objekt 10a in einem im Wesentlichen mittleren Teil des Aufnahmebehälters 11 in einer lateralen Richtung des Aufnahmebehälters 11 platziert. Insbesondere ist die Distanz dL1 von der linken Seitenfläche S2 des Objekts 10a zu der Seitenwand des Aufnahmebehälters 11 im Wesentlichen gleich der Distanz dR1 von der rechten Seitenfläche S3 des Objekts 10a zu der Seitenwand des Aufnahmebehälters 11. Dadurch wird eine ausreichende Distanz von der Seitenwand des Aufnahmebehälters 11 in Bezug auf die linke Seitenfläche S2 und die rechte Seitenfläche S3 des Objekts 10a sichergestellt. Deshalb bestimmt die Handsteuereinrichtung 43 die erste Näherungsform von 32 als die Form, die durch den Handmechanismus 2 zu verwenden ist, wenn eine Näherung der Fingerteile 21 des Handmechanismus 2 an das Objekt 10a veranlasst wird. Wenn das Objekt 10a durch die erste Näherungsform gegriffen wird, werden wie in 32 gezeigt der erste Fingerteil 21A, der in einen Kontakt mit der linken Seitenfläche S2 des Objekts 10a gebracht wird, und der dritte Fingerteil 21C, der in Kontakt mit der rechten Seitenfläche S3 des Objekts 10a gebracht wird, zu einer im Wesentlichen links-rechts-symmetrischen Form geöffnet.
  • Wenn eine Näherung des ersten Fingerteils 21A und des dritten Fingerteils 21C des Handmechanismus 2 an das Objekt 10a (oder das Objekt 10b) veranlasst wird, sodass das Objekt 10a (oder das Objekt 10b) zwischen dem ersten Fingerteil 21A und dem dritten Fingerteil 21C des Handmechanismus 2 eingeschlossen und durch diese gegriffen wird, wird ein Abstand W2 zwischen entsprechenden Endteilen des ersten Fingerteils 21A und des dritten Fingerteils 21C (dem Endteil des ersten Fingerverbindungsteils 211A des ersten Fingerteils 21A und dem Endteil des ersten Fingerverbindungsteils 211C des dritten Fingerteils 21C) viel breiter gesetzt als die Breite W1 zwischen der linken Seitenfläche S2 und der rechten Seitenfläche S3 des Objekts 10a (oder des Objekts 10b).
  • Das Objekt 10b ist wie in 31 gezeigt in dem Aufnahmebehälter 11 an einer Position nahe der rechten Seitenwand des Aufnahmebehälters 11 platziert. Dementsprechend ist eine Distanz dL2 von der linken Seitenfläche S2 des Objekts 10b zu der Seitenwand des Aufnahmebehälters 11 beträchtlich größer als die Distanz dL1 von der linken Seitenfläche S2 des Objekts 10a zu der Seitenwand des Aufnahmebehälters 11. Weiterhin ist die Distanz dR2 von der rechten Seitenfläche S3 des Objekts 10b zu der Seitenwand des Aufnahmebehälters 11 beträchtlich kleiner als die Distanz dR1 von der rechten Seitenfläche S3 des Objekts 10a zu der Seitenwand des Aufnahmebehälters 11.
  • Deshalb ist die Distanz dR2 von der rechten Seitenfläche S3 des Objekts 10b zu der Seitenwand des Aufnahmebehälters 11 kleiner als die Fingerbreite df1 in der ersten Näherungsform von 32. Wenn also die Form des Handmechanismus 2 in der ersten Näherungsform von 32 gesetzt ist, kann keine Näherung der Fingerteile 21 des Handmechanismus 2 an das Objekt 10b veranlasst werden.
  • Dementsprechend bestimmt die Handsteuereinrichtung 43 die zweite Näherungsform von 33 als die Form, die durch den Handmechanismus 2 zu verwenden ist, wenn eine Näherung der Fingerteile 21 des Handmechanismus 2 an das Objekt 10b veranlasst wird. Wenn das Objekt 10b in der zweiten Näherungsform gegriffen wird, werden wie in 33 gezeigt der erste Fingerteil 21A, der in einen Kontakt mit der linken Seitenfläche S2 des Objekts 10b gebracht wird, und der dritte Fingerteil 21C, der in Kontakt mit der rechten Seitenfläche S3 des Objekt 10b gebracht wird, zu einer links-rechts-unsymmetrischen Form gebracht. Weiterhin ist in der zweiten Näherungsform die Fingerbreite df2 kleiner als die Distanz dR2 von der rechten Seitenfläche S3 des Objekts 10b zu der Seitenwand des Aufnahmebehälters 11. Entsprechend wird in der zweiten Näherungsform der Abstand W2 zwischen den entsprechenden Endteilen des ersten Fingerteils 21A und des dritten Fingerteils 21C gleich dem Abstand W2 in der ersten Näherungsform von 32 gehalten. Durch das derartige Setzen der Form des Handmechanismus 2 in der zweiten Näherungsform kann eine Näherung der Fingerteile 21 des Handmechanismus 2 an das Objekt 10b veranlasst werden.
  • In diesem modifizierten Beispiel bestimmt wie oben beschrieben die Handsteuereinrichtung 43 die Form des Handmechanismus 2, die zu verwenden ist, wenn eine Näherung der Fingerteile 21 des Handmechanismus 2 an das Objekt 10 veranlasst wird, basierend auf der Distanz zwischen dem Teil des Greifzielobjekts 10, der durch die Fingerteile 21 des Handmechanismus 2 zu kontaktieren ist, und dem Aufnahmebehälter 11 (oder einem anderen Objekt 10). Daraus resultiert, dass eine Näherung der Fingerteile 21 des Handmechanismus 2 an das Objekt 10 in einer Form in Entsprechung zu der Platzierungsbedingung des Greifzielobjekts 10 in dem Aufnahmebehälter 11 veranlasst werden kann.
  • Die Form des Handmechanismus 2, wenn eine Näherung der Fingerteile 21 des Handmechanismus 2 veranlasst wird, ist nicht auf die in 32 gezeigte erste Näherungsform und die in 33 gezeigte zweite Näherungsform beschränkt und kann eine beliebige Form sein, die durch den Handmechanismus 2 verwendet werden kann.
  • Bezugszeichenliste
    • 1
    Roboterarm
    2
    Handmechanismus
    8
    Bildaufnahmeeinrichtung
    20
    Basisteil
    21
    Fingerteil
    22
    erster Gelenkteil
    23
    zweiter Gelenkteil
    211
    erster Fingerverbindungsteil
    212
    zweiter Fingerverbindungsteil
    213
    Basisendteil
    3
    Armmechanismus
    30a
    erster Gelenkteil
    30b
    zweiter Gelenkteil
    30c
    dritter Gelenkteil
    30d
    vierter Gelenkteil
    30e
    fünfter Gelenkteil
    30f
    sechster Gelenkteil
    31
    erster Armverbindungsteil
    32
    zweiter Armverbindungsteil
    33
    dritter Armverbindungsteil
    34
    vierter Armverbindungsteil
    35
    fünfter Armverbindungsteil
    36
    Verbindungsglied
    4
    Halteteil
    42
    Armsteuereinrichtung
    420
    Armsteuereinheit
    421
    Motorzustandsgrößen-Erhaltungseinheit
    43
    Handsteuereinrichtung
    430
    Objektinformationen-Erhaltungseinheit
    431
    Handsteuereinheit
    432
    Motorzustandsgrößen-Erhaltungseinheit
    44
    Bildinformationen-Verarbeitungseinrichtung
    440
    Bildinformationen-Erhaltungseinheit
    441
    Extraktionseinheit
    442
    Erfassungseinheit
    443
    Speichereinheit
    70
    Drucksensor
    100
    Greifsystem
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 5429614 [0004]

Claims (13)

  1. Bildinformationen-Verarbeitungseinrichtung, die auf ein Greifsystem zum Greifen eines in einem Aufnahmebehälter aufgenommenen Objekts unter Verwendung eines Handmechanismus mit einer Vielzahl von Fingerteilen, wobei das Greifsystem eine Bildaufnahmeeinrichtung zum Aufnehmen eines den Aufnahmebehälter und wenigstens ein in dem Aufnahmebehälter aufgenommenes Objekt enthaltenden Bilds umfasst, angewendet wird und durch die Bildaufnahmeeinrichtung erhaltene Bildinformationen verarbeitet, wobei die Bildinformationen-Verarbeitungseinrichtung umfasst: eine Extraktionseinheit, die basierend auf Forminformationen zu dem Aufnahmebehälter und Forminformationen zu dem Objekt, wobei die Forminformationen zuvor gespeichert werden, den Aufnahmebehälter und das Objekt aus dem durch die Bildaufnahmeeinrichtung aufgenommenen Bild extrahiert, wobei der Aufnahmebehälter unter Verwendung eines ersten Extraktionsrahmens, der ein Extraktionsrahmen für das Extrahieren des Aufnahmebehälters ist, extrahiert wird und das Objekt unter Verwendung eines zweiten Extraktionsrahmens, der ein Extraktionsrahmen für das Extrahieren des Objekts ist, extrahiert wird, und eine Erfassungseinheit, die einen Teil eines in dem Aufnahmebehälter aufgenommenen Objekts, dem sich die Fingerteile des Handmechanismus nähern können, basierend auf Kontaktzuständen des einen Objekts relativ zu anderen Objekten und dem Aufnahmebehälter erfasst, wobei die Kontaktzustände aus durch die Extraktionseinheit erhaltenen Extraktionsergebnissen erhalten werden, wobei eine Vielzahl von Bestimmungspunkten zuvor an vorbestimmten Positionen an dem zweiten Extraktionsrahmen gesetzt werden und eine vorbestimmte Näherungsrichtung für jeden der Bestimmungspunkte gesetzt wird, und wobei die Erfassungseinheit bestimmt, ob eine Näherung der Fingerteile des Handmechanismus an Teile des einen Objekts in dem zweiten Extraktionsrahmen, die jeweils den an dem zweiten Extraktionsrahmen gesetzten Bestimmungspunkten entsprechen, aus den in Bezug auf die Bestimmungspunkte gesetzten vorbestimmten Näherungsrichtungen veranlasst werden kann oder nicht.
  2. Bildinformationen-Verarbeitungseinrichtung nach Anspruch 1, wobei, wenn ein anderes Objekt oder der Aufnahmebehälter in Kontakt mit einem Teil des einen Objekts in dem zweiten Extraktionsrahmen, der einem an dem zweiten Extraktionsrahmen gesetzten Bestimmungspunkt entspricht, aus der in Bezug auf den Bestimmungspunkt gesetzten vorbestimmten Näherungsrichtung ist, die Erfassungseinheit bestimmt, dass keine Näherung der Fingerteile des Handmechanismus an den Teil des einen Objekts in Entsprechung zu dem Bestimmungspunkt aus der vorbestimmten Näherungsrichtung veranlasst werden kann.
  3. Bildinformationen-Verarbeitungseinrichtung nach Anspruch 1, wobei, wenn eine Distanz zwischen einem Teil des einen Objekts in dem zweiten Extraktionsrahmen, der einem an dem zweiten Extraktionsrahmen gesetzten Bestimmungspunkt entspricht, und einem anderen Objekt oder dem Aufnahmebehälter in der in Bezug auf den Bestimmungspunkt gesetzten vorbestimmten Näherungsrichtung gleich oder kürzer als ein vorbestimmter Schwellwert ist, die Erfassungseinheit bestimmt, dass keine Näherung der Fingerteile des Handmechanismus an den Teil des einen Objekts, der dem Bestimmungspunkt entspricht, aus der vorbestimmten Näherungsrichtung veranlasst werden kann.
  4. Bildinformationen-Verarbeitungseinrichtung nach einem der Ansprüche 1 bis 3, wobei: der zweite Extraktionsrahmen ein polygonaler Rahmen ist, der in Entsprechung zu der Größe eines Außenumfangs des Objekts in dem Bild gesetzt wird, und die Bestimmungspunkte auf jeder Seite und an jedem Scheitel des zweiten Extraktionsrahmens gesetzt werden.
  5. Bildinformationen-Verarbeitungseinrichtung nach Anspruch 4, wobei, wenn die Form des Außenumfangs des Objekts an dem Bild rechteckig ist, zwei Richtungen, die jeweils orthogonal zu zwei einen Scheitel des zweiten Extraktionsrahmens bildenden Seiten sind, als die vorbestimmten Näherungsrichtungen in Bezug auf den an jedem Scheitel des zweiten Extraktionsrahmens, die den Scheiteln des Außenumfangs des Objekts entsprechen, gesetzten Bestimmungspunkt gesetzt werden.
  6. Bildinformationen-Verarbeitungseinrichtung nach Anspruch 5, wobei, wenn das eine Objekt in dem zweiten Extraktionsrahmen in Kontakt mit dem Aufnahmebehälter ist, die Erfassungseinheit bestimmt, dass keine Näherung der Fingerteile des Handmechanismus an den Scheitel an dem Außenumfang des einen Objekts in dem Bild, der durch die den Aufnahmebehälter kontaktierende Seite und eine andere Seite gebildet wird, aus einer der zwei vorbestimmten Näherungsrichtungen, die in Bezug auf den an dem Scheitel des zweiten Extraktionsrahmens, der dem relevanten Scheitel entspricht, gesetzten Bestimmungspunkt gesetzt sind, veranlasst werden kann.
  7. Bildinformationen-Verarbeitungseinrichtung nach Anspruch 4, wobei, wenn die Form des Außenumfangs des Objekts in dem Bild kreisförmig ist, Richtungen von diagonalen Linien, die sich von den entsprechenden Scheiteln des zweiten Extraktionsrahmens erstrecken, als die vorbestimmten Näherungsrichtungen in Bezug auf die entsprechenden Scheitel gesetzt werden.
  8. Greifsystem, umfassend: den Handmechanismus, die Bildaufnahmeeinrichtung, und die Bildinformationen-Verarbeitungseinrichtung gemäß einem der Ansprüche 1 bis 7, und weiterhin eine Handsteuereinrichtung, die basierend auf durch die Erfassungseinheit der Bildinformationen-Verarbeitungseinrichtung erhaltenen Erfassungsergebnissen einen durch den Handmechanismus für das Greifen des in dem Aufnahmebehälter aufgenommenen einen Objekts zu verwendenden Greifstil bestimmt.
  9. Greifsystem, umfassend: den Handmechanismus, die Bildaufnahmeeinrichtung, und die Bildinformationen-Verarbeitungseinrichtung gemäß einem der Ansprüche 1 bis 7, und weiterhin eine Handsteuereinrichtung, die basierend auf durch die Erfassungseinheit der Bildinformationen-Verarbeitungseinrichtung erhaltenen Erfassungsergebnissen einen Teil des in dem Aufnahmebehälter aufgenommenen einen Objekts bestimmt, der durch die Fingerteile des Handmechanismus zu kontaktieren ist, wenn das eine Objekt durch den Handmechanismus gegriffen wird.
  10. Greifsystem nach Anspruch 8, wobei die Handsteuereinrichtung eine durch den Handmechanismus anzunehmende Form, wenn eine Näherung der Fingerteile des Handmechanismus an das eine Objekt veranlasst wird, basierend auf der Distanz zwischen dem durch die Fingerteile des Handmechanismus zu kontaktierenden Teil des einen Objekts und einem anderen Objekt oder dem Aufnahmebehälter bestimmt.
  11. Bildinformationen-Verarbeitungsverfahren, das in einem Greifsystem für das Greifen eines in einem Aufnahmebehälter aufgenommenen Objekts unter Verwendung eines Handmechanismus mit einer Vielzahl von Fingerteilen verwendet wird zum Verarbeiten von Bildinformationen, die durch eine Bildaufnahmeeinrichtung erhalten werden, die ein den Aufnahmebehälter und wenigstens ein in dem Aufnahmebehälter aufgenommenes Objekt enthaltendes Bild aufnimmt, wobei das Bildinformationen-Verarbeitungsverfahren umfasst: einen Extraktionsschritt zum Extrahieren, basierend auf Forminformationen zu dem Aufnahmebehälter und Forminformationen zu dem Objekt, wobei die Forminformationen zuvor gespeichert werden, des Aufnahmebehälters und des Objekts aus dem durch die Bildaufnahmeeinrichtung aufgenommenen Bild, wobei der Aufnahmebehälter unter Verwendung eines ersten Extraktionsrahmens, der ein Extraktionsrahmen für das Extrahieren des Aufnahmebehälters ist, extrahiert wird und das Objekt unter Verwendung eines zweiten Extraktionsrahmens, der ein Extraktionsrahmen für das Extrahieren des Objekts ist, extrahiert wird, und einen Erfassungsschritt zum Erfassen eines Teils eines in dem Aufnahmebehälter aufgenommenen Objekts, dem sich die Fingerteile des Handmechanismus nähern können, basierend auf Kontaktzuständen des einen Objekts relativ zu anderen Objekten und dem Aufnahmebehälter, wobei die Kontaktzustände aus durch die Extraktionseinheit erhaltenen Extraktionsergebnissen erhalten werden, wobei eine Vielzahl von Bestimmungspunkten zuvor an vorbestimmten Positionen an dem zweiten Extraktionsrahmen gesetzt werden und eine vorbestimmte Näherungsrichtung für jeden der Bestimmungspunkte gesetzt wird, und wobei in dem Erfassungsschritt bestimmt wird, ob eine Näherung der Fingerteile des Handmechanismus an Teile des einen Objekts in dem zweiten Extraktionsrahmen, die jeweils den an dem zweiten Extraktionsrahmen gesetzten Bestimmungspunkten entsprechen, aus den in Bezug auf die Bestimmungspunkte gesetzten vorbestimmten Näherungsrichtungen veranlasst werden kann oder nicht.
  12. Bildinformationen-Verarbeitungsverfahren nach Anspruch 11, wobei in dem Erfassungsschritt, wenn ein anderes Objekt oder der Aufnahmebehälter in Kontakt mit einem Teil des einen Objekts in dem zweiten Extraktionsrahmen, der einem an dem zweiten Extraktionsrahmen gesetzten Bestimmungspunkt entspricht, aus der in Bezug auf den Bestimmungspunkt gesetzten vorbestimmten Näherungsrichtung ist, bestimmt wird, dass keine Näherung der Fingerteile des Handmechanismus an den Teil des einen Objekts in Entsprechung zu dem Bestimmungspunkt aus der vorbestimmten Näherungsrichtung veranlasst werden kann.
  13. Bildinformationen-Verarbeitungsverfahren nach Anspruch 11, wobei in dem Erfassungsschritt, wenn eine Distanz zwischen einem Teil des einen Objekts in dem zweiten Extraktionsrahmen, der einem an dem zweiten Extraktionsrahmen gesetzten Bestimmungspunkt entspricht, und einem anderen Objekt oder dem Aufnahmebehälter in der in Bezug auf den Bestimmungspunkt gesetzten vorbestimmten Näherungsrichtung gleich oder kürzer als ein vorbestimmter Schwellwert ist, bestimmt wird, dass keine Näherung der Fingerteile des Handmechanismus an den Teil des einen Objekts, der dem Bestimmungspunkt entspricht, aus der vorbestimmten Näherungsrichtung veranlasst werden kann.
DE112019005825.8T 2018-11-21 2019-10-04 Bildinformationen-Verarbeitungseinrichtung, Greifsystem und Bildinformationen-Verarbeitungsverfahren Active DE112019005825B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-218556 2018-11-21
JP2018218556A JP7097799B2 (ja) 2018-11-21 2018-11-21 画像情報処理装置、把持システム、および画像情報処理方法
PCT/JP2019/039298 WO2020105295A1 (ja) 2018-11-21 2019-10-04 画像情報処理装置、把持システム、および画像情報処理方法

Publications (2)

Publication Number Publication Date
DE112019005825T5 true DE112019005825T5 (de) 2021-08-12
DE112019005825B4 DE112019005825B4 (de) 2023-07-27

Family

ID=70774165

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019005825.8T Active DE112019005825B4 (de) 2018-11-21 2019-10-04 Bildinformationen-Verarbeitungseinrichtung, Greifsystem und Bildinformationen-Verarbeitungsverfahren

Country Status (5)

Country Link
US (1) US11607803B2 (de)
JP (1) JP7097799B2 (de)
CN (1) CN113165187B (de)
DE (1) DE112019005825B4 (de)
WO (1) WO2020105295A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7436619B2 (ja) * 2020-02-17 2024-02-21 ファナック株式会社 ハンド装置およびワークハンドリングシステム
JP7313310B2 (ja) * 2020-03-31 2023-07-24 日本碍子株式会社 セラミックス製の柱状ハニカム構造体の検査方法及び検査装置
CN116619386A (zh) * 2021-05-18 2023-08-22 牧今科技 用于物体大小测量的机器人系统
WO2024009408A1 (ja) * 2022-07-05 2024-01-11 川崎重工業株式会社 ロボットシステム、ロボット制御方法及びロボット制御プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5429614B1 (de) 1970-06-15 1979-09-25

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4957320A (en) * 1988-08-31 1990-09-18 Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
JPH11333770A (ja) * 1998-03-20 1999-12-07 Kobe Steel Ltd 積荷位置姿勢認識装置
CN100372660C (zh) * 2002-06-24 2008-03-05 松下电器产业株式会社 多关节驱动机构及其制造方法、使用该机构的把持手和机器人
WO2004028753A2 (en) * 2002-09-26 2004-04-08 Barrett Technology, Inc. Intelligent, self-contained robotic hand
JP3886471B2 (ja) * 2003-05-20 2007-02-28 ファナック株式会社 画像処理装置
JP3973614B2 (ja) * 2003-10-14 2007-09-12 オリンパス株式会社 マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法
JP5105147B2 (ja) * 2006-08-28 2012-12-19 株式会社安川電機 ロボットおよび制御方法
WO2008058061A2 (en) * 2006-11-03 2008-05-15 President And Fellows Of Harvard College Robust compliant adaptive grasper and method of manufacturing same
NL2001479C2 (nl) * 2008-04-14 2009-10-19 Ronald Zeelen Werkwijze en inrichting voor het verwijderen van een blad.
JP5429614B2 (ja) 2009-04-16 2014-02-26 株式会社Ｉｈｉ 箱状ワーク認識装置および方法
US8936289B1 (en) * 2010-03-15 2015-01-20 Telefactor Robotics LLC Robotic finger assemblies
US8489224B2 (en) * 2011-02-28 2013-07-16 Solidcam Ltd. Computerized tool path generation
JP5975685B2 (ja) 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
JP5953842B2 (ja) * 2012-03-14 2016-07-20 オムロン株式会社 画像検査方法および検査領域設定方法
US8936290B1 (en) * 2012-08-29 2015-01-20 Sandia Corporation Robotic hand with modular extensions
JP2014161965A (ja) 2013-02-26 2014-09-08 Toyota Industries Corp 物品取り出し装置
WO2014162562A1 (ja) * 2013-04-04 2014-10-09 Thk株式会社 関節機構、指及びハンド
JP6167760B2 (ja) * 2013-08-26 2017-07-26 株式会社ダイフク 物品位置認識装置
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
CN103778433B (zh) * 2014-01-15 2017-02-22 广东华中科技大学工业技术研究院 基于点到直线距离的广义点集匹配方法
JP2015147256A (ja) 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
JP6338421B2 (ja) 2014-03-31 2018-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム
JP6476798B2 (ja) 2014-12-02 2019-03-06 富士電機機器制御株式会社 物品供給装置、物品取り出しシステム
US9486921B1 (en) * 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
CN104773427B (zh) * 2015-04-10 2017-03-08 无锡职业技术学院 一种工业机器人技术实训系统
US9802317B1 (en) * 2015-04-24 2017-10-31 X Development Llc Methods and systems for remote perception assistance to facilitate robotic object manipulation
JP6632224B2 (ja) 2015-06-02 2020-01-22 キヤノン株式会社 把持制御装置、把持制御方法及びプログラム
JP2018034242A (ja) 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
CN206395485U (zh) * 2016-09-14 2017-08-11 东莞市联匠机械零部件有限公司 物料抓取系统
JP6438512B2 (ja) 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
CN110636924B (zh) * 2017-05-15 2022-11-11 Thk株式会社 把持系统
JP7155479B2 (ja) * 2017-05-15 2022-10-19 Thk株式会社 ハンド機構、把持システム、および把持プログラム
JP2019018280A (ja) * 2017-07-14 2019-02-07 Thk株式会社 把持システム
DE112018004098T5 (de) * 2017-08-10 2020-05-20 Thk Co., Ltd. Handmechanismus und greifsystem
JP7126817B2 (ja) * 2017-11-15 2022-08-29 Thk株式会社 把持システムおよび把持方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5429614B1 (de) 1970-06-15 1979-09-25

Also Published As

Publication number Publication date
DE112019005825B4 (de) 2023-07-27
JP2020082253A (ja) 2020-06-04
WO2020105295A1 (ja) 2020-05-28
US11607803B2 (en) 2023-03-21
US20220009092A1 (en) 2022-01-13
CN113165187A (zh) 2021-07-23
CN113165187B (zh) 2023-07-21
JP7097799B2 (ja) 2022-07-08

Similar Documents

Publication Publication Date Title
DE112019005825B4 (de) Bildinformationen-Verarbeitungseinrichtung, Greifsystem und Bildinformationen-Verarbeitungsverfahren
DE102019212839B4 (de) Objekthandhabungsvorrichtung und Computerprogrammprodukt
DE102015208584B4 (de) Greifvorrichtung und Greifverfahren
DE102015102740B4 (de) Vorrichtung und Verfahren zum Anordnen von Gegenständen mittels Roboter und Gegenstandübertragungssystem
DE102013203381B4 (de) Verfahren und system zum trainieren eines roboters unter verwendung einer von menschen unterstützten aufgabendemonstration
DE102014102943B4 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE112018003778B4 (de) Fingerausgerichtete ausfahrbare greifmechanismen für die manipulation von gegenständen
DE112012002677B4 (de) Zuführvorrichtung für Bauelemente
DE112011103794B4 (de) Aufnehmervorrichtung für Werkstücke
DE102017108727B4 (de) Verfahren zur Erstellung einer Datenbank mit Greiferposen, Verfahren zum Steuern eines Roboters, computerlesbares Speichermedium und Handhabungssystem
DE102015001527A1 (de) Robotersystem, das visuelle Rückmeldung verwendet
DE112018002496T5 (de) Greifsystem
DE112019000097B4 (de) Steuervorrichtung, Arbeitsroboter, Programm und Steuerverfahren
DE102018202322B4 (de) Robotersystem, Robotersteuervorrichtung und Robotersteuerverfahren
DE102017202717A1 (de) Roboteranlernung per menschlicher demonstration von aufgaben mit kraft- und positionszielen
DE102016001174A1 (de) Robotersystem zum Entnehmen von Werkstücken mit Umrechenfunktion von Position und Orientierung und Verfahren zum Entnehmen von Werkstücken
DE112007001977T5 (de) Verfahren zur Generierung dreidimensionaler Modelldaten und Vorrichtung zur Generierung dreidimensionaler Modelldaten
DE102015011914A1 (de) Konturlinienmessvorrichtung und Robotersystem
DE102015000587A1 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE102020106249A1 (de) Arbeitswerkzeug zum ergreifen von werkstücken mit einem steckverbinder, und mit einem arbeitswerkzeug versehene robotervorrichtung
DE102019206444A1 (de) Maschinelles Lernen einer Objekterkennung mithilfe einer robotergeführten Kamera
EP3612355A1 (de) Verfahren zur erstellung einer datenbank mit greiferposen, verfahren zum steuern eines roboters, computerlesbares speichermedium und handhabungssystem
DE102013017007A1 (de) Roboter mit einem Endmanipulatorarm mit Endeffektor sowie Verfahren zur Bestimmung eines Kraft- und Drehmomenteintrages auf einen Endeffektor eines Roboters
DE602004007744T2 (de) Bewegung eines virtuellen mit Gelenken ausgestatteten Objektes in einer virtuellen Umgebung mit Selbtkollisionsvermeidung zwischen den Gelenken des Objektes
DE102021103726A1 (de) Messparameter-Optimierungsverfahren und -Vorrichtung sowie Computersteuerprogramm

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final