DE102017122010A1 - Erkennungsverfahren und Erkennungseinrichtung zur Erkennung einer dreidimensionalen Position eines Objekts - Google Patents

Erkennungsverfahren und Erkennungseinrichtung zur Erkennung einer dreidimensionalen Position eines Objekts Download PDF

Info

Publication number
DE102017122010A1
DE102017122010A1 DE102017122010.0A DE102017122010A DE102017122010A1 DE 102017122010 A1 DE102017122010 A1 DE 102017122010A1 DE 102017122010 A DE102017122010 A DE 102017122010A DE 102017122010 A1 DE102017122010 A1 DE 102017122010A1
Authority
DE
Germany
Prior art keywords
image
characteristic point
robot
information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102017122010.0A
Other languages
English (en)
Inventor
Atsushi Watanabe
Yuuki Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102017122010A1 publication Critical patent/DE102017122010A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31304—Identification of workpiece and data for control, inspection, safety, calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49302—Part, workpiece, code, tool identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

Eine Erkennungseinrichtung zur Erkennung einer dreidimensionalen Position eines Objekts umfasst eine Erkennungseinheit für charakteristische Punkte, die, wenn zwei aufeinanderfolgende oder zumindest alternierend aufeinanderfolgende Bilder von mehreren Bildern, die sequentiell abgebildet werden, wenn sich ein Roboter bewegt, ein erstes Bild und ein zweites Bild sind, mehrere charakteristische Punkte in dem zweiten Bild erkennt, einschließlich eines in dem ersten Bild erkannten charakteristischen Punkts; eine Abstandsberechnungseinheit, die einen Abstand zwischen dem einen charakteristischen Punkt des ersten Bildes und den charakteristischen Punkten des zweiten Bildes berechnet, und eine Bestimmungseinheit für charakteristische Punkte, die einen charakteristischen Punkt bestimmt, für welchen der Abstand der kürzeste ist. Wenn zwei nächste aufeinanderfolgenden oder zumindest alternierend aufeinanderfolgende Bilder das erste Bild und das zweite Bild sind, wird die Verarbeitung zur Bestimmung eines charakteristischen Punkts, für welchen der Abstand der kürzeste ist, wiederholt, wodurch die charakteristischen Punkte des Objekts verfolgt werden.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft ein Erkennungsverfahren zur Erkennung einer dreidimensionalen Position eines Objekts in einem System, das einen Roboter und eine benachbart zu einem distalen Ende des Roboters gelagerte Bilderfassungseinheit aufweist, und eine Erkennungseinrichtung zur Ausführung eines solchen Erkennungsverfahrens.
  • 2. Beschreibung der verwandten Technik
  • Um eine Operation wie Fördern oder Bearbeiten eines Werkstücks mithilfe eines Roboters exakt auszuführen, ist es erforderlich, die Position, an der das Werkstück angeordnet ist, exakt zu erkennen. Daher ist es in den letzten Jahren übliche Praxis gewesen, die Position des Werkstücks visuell zu erkennen, insbesondere die dreidimensionale Position des Werkstücks mithilfe einer Kamera oder dergleichen.
  • Im eingetragenen japanischen Patent Nr. 3859371 , in der ungeprüften japanischen Patentveröffentlichung (Kokai) mit der Nummer 2012-192473 und in der ungeprüften japanischen Patentveröffentlichung (Kokai) mit der Nummer 2004-90183 , wird die Bestimmung einer dreidimensionalen Position des Werkstücks oder dergleichen mit Kameras offenbart. Darüber hinaus wird in ungeprüften japanischen Patentveröffentlichungen (Kokai) mit den Nummern 2014-34075 und 2009-241247 die Bestimmung einer dreidimensionalen Position des Werkstücks oder dergleichen mithilfe einer Kamera mit Objektiven offenbart.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Allerdings besteht bei den vorstehend beschriebenen konventionellen Techniken das Problem, dass wegen der Verwendung mehrerer Kameras oder mehrerer Objektive die Struktur kompliziert wird und die Kosten entsprechend steigen.
  • Ferner sind die Verarbeitungskosten zum Vereinigen eines Paars von Stereobildern einer Stereokamera die höchsten. Wenn die Qualität der Vereinigung des Paars von Stereobildern gering ist, ist auch die Zuverlässigkeit der Stereokamera herabgesetzt.
  • Die vorliegende Erfindung wurde im Hinblick auf die vorstehenden Umstände gemacht, und es ist ein Zweck der vorliegenden Erfindung, ein Erkennungsverfahren zur Erkennung einer dreidimensionalen Position eines Objekts, bei dem die Zuverlässigkeit verbessert wird, während die Kosten reduziert werden, ohne mehrere Kameras oder mehrere Objektive zu verwenden, und eine Erkennungseinrichtung zur Durchführung eines solchen Verfahrens bereitzustellen.
  • Um den vorstehenden Zweck zu erreichen, wird gemäß eines ersten Aspekts der vorliegenden Erfindung ein Erkennungsverfahren zur Erkennung einer dreidimensionalen Position eines Objekts bereitgestellt, einschließlich eines oder mehrerer charakteristischer Punkte in einem einen Roboter aufweisenden System, und eine Bilderfassungseinheit, welche angrenzend an ein distales Ende des Roboters gelagert ist, wobei das Erkennungsverfahren folgende Schritte einschließt: sequentielle Bildverarbeitung von Bildern des Objekts durch die Bilderfassungseinheit, wenn sich der Roboter bewegt; wobei zwei Bilder von den mehreren Bildern aufeinanderfolgend oder zumindest alternierend aufeinanderfolgend als ein erstes Bild und ein zweites Bild festgelegt werden, wobei charakteristische Punkte in dem zweiten Bild erkannt werden, einschließlich eines in dem ersten Bild erkannten charakteristischen Punkts; wobei jeder Abstand zwischen dem einen charakteristischen Punkt in dem ersten Bild und den charakteristischen Punkten in dem zweiten Bild berechnet wird; wobei ein charakteristischer Punkt bestimmt wird, für welchen der Abstand der kürzeste ist, und wobei die Verarbeitung zur Bestimmung des charakteristischen Punkts, für welchen der Abstand der kürzeste ist, wobei die nächsten zwei Bilder der mehreren Bilder aufeinanderfolgend oder zumindest alternierend aufeinanderfolgend als das erste Bild und das zweite Bild festgelegt werden, wodurch der eine charakteristische Punkt des Objekts verfolgt wird.
  • Diese Objekte, Merkmale und Vorteile sowie andere Objekte, Merkmale und Vorteile der vorliegenden Erfindung werden deutlicher aus einer ausführlichen Beschreibung von in den begleitenden Zeichnungen veranschaulichten Ausführungsformen der vorliegenden Erfindung.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist eine schematische Ansicht eines eine Erkennungseinrichtung aufweisenden Systems auf der Grundlage der vorliegenden Erfindung.
  • 2 ist ein Flussdiagramm, in dem die Operation der in 1 dargestellten Erkennungseinrichtung veranschaulicht wird.
  • 3 ist ein weiteres Flussdiagramm, in dem die Operation der in 1 dargestellten Erkennungseinrichtung veranschaulicht wird.
  • 4 ist eine Ansicht, auf der ein Roboter und Bilder dargestellt werden.
  • 5 ist eine Ansicht, auf der ein erstes Bild und ein zweites Bild dargestellt werden.
  • 6A ist eine weitere Ansicht, auf der ein Roboter und Bilder dargestellt werden.
  • 6B ist noch eine weitere Ansicht, auf der ein Roboter und Bilder dargestellt werden.
  • DETAILLIERTE BESCHREIBUNG
  • Ausführungsformen der vorliegenden Erfindung werden unter Bezugnahme auf die begleitenden Zeichnungen beschrieben. Auf sämtlichen Zeichnungen werden gleiche Bezugszahlen gleichen Elementen zugeordnet. Der Maßstab der Zeichnungen wird auf geeignete Weise geändert, um das Verständnis zu erleichtern.
  • 1 ist eine schematische Ansicht eines eine Erkennungseinrichtung aufweisenden Systems auf der Grundlage der vorliegenden Erfindung. Wie in 1 dargestellt, umfasst das System 1 einen Roboter 10 und eine Steuervorrichtung 20, die den Roboter 10 steuert. Die Steuervorrichtung 20 dient ebenfalls als Erkennungseinrichtung, die eine dreidimensionale Position eines Objekts erkennt. Wenngleich der in 1 dargestellte Roboter 10 ein Vertikal-Knickarmroboter ist, kann alternativ auch jeder andere Robotertyp eingesetzt werden. Darüber hinaus wird eine Kamera 30 an einem distalen Ende des Roboters 10 oder in dessen Nachbarschaft angebracht. Eine Position/Ausrichtung der Kamera 30 wird in Abhängigkeit von dem Roboter 10 bestimmt. Jede andere Art einer Bilderfassungseinheit kann statt der Kamera 30 verwendet werden.
  • Außerdem ist in 1 ein Projektor 35 dargestellt, welcher so konfiguriert ist, dass er ein Spotlight auf ein Objekt W, wie etwa ein Werkstück, projiziert. Die Kamera 30 kann ein Bild mit einem klaren Spotlight-Punkt als charakteristischen Punkt mithilfe des Projektors 35 erfassen. Somit kann eine Bildverarbeitungseinheit 31, die im Folgenden beschrieben wird, Bildverarbeitung eines abgebildeten Bilds auf zufriedenstellende Weise durchführen. Sie kann derart konfiguriert sein, dass die Position/Ausrichtung des Projektors 35 durch die Steuervorrichtung 20 gesteuert wird. Dabei kann der Projektor 35 auf dem Roboter 10 angebracht werden.
  • Die Steuervorrichtung 20, bei der es sich um einen digitalen Computer handeln kann, steuert den Roboter 10 und dient als Erkennungseinrichtung, die eine dreidimensionale Position des Objekts W erkennt. Wie in 1 dargestellt, schließt die Steuervorrichtung 20 eine Bildspeichereinheit 21 ein, die Bilder des Objekts W speichert, welche sequentiell durch die Kamera 30 abgebildet werden, wenn sich der Roboter 10 bewegt.
  • Außerdem umfasst die Steuervorrichtung 20 eine Datenspeichereinheit 22 für Position/Ausrichtung, welche, wenn zwei aufeinanderfolgende Bildern einer früheren Phase unter den Bildern als ein erstes Bild und ein zweites Bild festgelegt werden, erste Positions-/Ausrichtungsinformation des Roboters speichert, wenn das erste Bild abgebildet wird, und welche, wenn zwei Bilder einer späteren Phase unter den Bildern als ein erstes Bild und ein zweites Bild festgelegt werden, zweite Positions-/Ausrichtungsinformation des Roboters speichert, wenn das zweite Bild abgebildet wird. Darüber hinaus schließt die Steuervorrichtung 20 eine Positionsinformation-Speichereinheit 23 ein, welche erste Positionsinformation eines charakteristischen Punkts in einem Koordinatensystem der Bilderfassungseinheit speichert, der in dem ersten Bild der aufeinanderfolgenden zwei Bilder unter den Bildern erkannt wurde, und zweite Positionsinformation des einen charakteristischen Punkts in dem Koordinatensystem der Bilderfassungseinheit speichert, der in dem zweiten Bild der letzten beiden Bilder erkannt wurde. Darüber hinaus enthält die Steuervorrichtung 20 eine Bildverarbeitungseinheit 31, die das erste Bild und das zweite Bild verarbeitet und einen charakteristischen Punkt erkennt.
  • Darüber hinaus enthält die Steuervorrichtung 20 eine Sichtlinieninformation-Berechnungseinheit 24, die eine erste Sichtlinieninformation des einen charakteristischen Punkts in einem Koordinatensystem des Roboters unter Verwendung der ersten Positions-/Ausrichtungsinformation des Roboters und der ersten Positionsinformation des einen charakteristischen Punkts berechnet und zweite Sichtlinieninformation des charakteristischen Punkts in dem Koordinatensystem des Roboters unter Verwendung der zweiten Positions-/Ausrichtungsinformation des Roboters und die zweiten Positionsinformation des einen charakteristischen Punkts eines zweiten Bildes berechnet, und eine Erkennungseinheit für eine dreidimensionale Position 25, die eine dreidimensionale Position des Objekts auf der Grundlage eines Schnittpunkts der ersten Sichtlinieninformation und der zweiten Sichtlinieninformation erkennt.
  • Die Sichtlinieninformation-Berechnungseinheit 24 kann eine erste Sichtlinieninformation und eine zweite Sichtlinieninformation von mindestens drei charakteristischen Punkten berechnen. Darüber hinaus kann die Erkennungseinheit für eine dreidimensionale Position 25 eine dreidimensionale Position jedes der mindestens drei charakteristischen Punkte auf der Grundlage des Schnittpunkts der berechneten ersten Sichtlinieninformation und zweiten Sichtlinieninformation erkennen, wodurch sie eine dreidimensionale Position/Ausrichtung eines Werkstücks erkennt, das die mindestens drei charakteristischen Punkte aufweist.
  • Darüber hinaus enthält die Steuervorrichtung 20 Folgendes: eine Bestimmungseinheit der Bewegungsrichtung 26, welche die Bewegungsrichtung bestimmt, in welche die Kamera 30 durch die Bewegung des Roboters 10 bewegt wird; eine Erkennungseinheit für charakteristische Punkte 27, die, wenn zwei aufeinanderfolgende Bilder untern den Bildern sequentiell durch die Bilderfassungseinheit abgebildet werden, wenn sich der Roboter bewegt, als ein erstes Bild und ein zweites Bild festgelegt werden, einen in dem ersten Bild erkannten charakteristischen Punkt und charakteristische Punkte in dem zweiten Bild erkannt, einschließlich des in dem ersten Bild erkannten einen charakteristischen Punkts; eine Abstandsberechnungseinheit 28, die jeweils den Abstand zwischen dem einen charakteristischen Punkt in dem ersten Bild und den charakteristischen Punkten in dem zweiten Bild berechnet; und eine Bestimmungseinheit für charakteristische Punkte 29, die einen charakteristischen Punkt bestimmt, für welchen der vorstehende Abstand der kürzeste ist.
  • 2 und 3 sind Flussdiagramme, die den Betrieb der in 1 dargestellten Erkennungseinrichtung darstellt, und 4 ist eine einen Roboter und Bilder darstellende Ansicht. Mit Bezug auf 2 bis 4 wird nun eine Beschreibung des Betriebs der Erkennungseinrichtung gemäß der vorliegenden Erfindung vorgenommen. Das in einer vorgegebenen Position platzierte Objekt W weist charakteristische Punkte auf, wie das Zentrum einer Öffnung eines Werkstücks und einen Eckabschnitt des Werkstücks.
  • Bei Schritt S11 beginnt der Roboter 10 sich zu bewegen, wie in 4 dargestellt. Bei Schritt S12 bildet die auf dem Roboter 10 vorgesehene Kamera 30 ein Bild Ga des Objekts W ab. Das Bild Ga wird in der Bildspeichereinheit 21 gespeichert und als ein erstes Bild G1 festgelegt.
  • Wie aus dem Bezug zu 4 ersichtlich ist, ist es derart konfiguriert, dass die auf dem Roboter 10 vorgesehene Kamera 30 sequentiell mehrere Bilder Ga bis Gn (n ist eine natürliche Zahl) des Objekts W abbildet. In 4 werden diese Bilder Ga bis Gn in der Kamera 30 entsprechend einer Bewegungsposition des Roboters angezeigt.
  • Anschließend erkennt die Erkennungseinheit für charakteristische Punkte 27 bei Schritt S13 einen charakteristischen Punkt aus dem ersten Bild G1. Wenn charakteristische Punkte aus dem ersten Bild G1 erkannt werden, kann ein beliebiger charakteristischer Punkt, zum Beispiel ein im Zentrum des Bildes befindlicher charakteristischer Punkt als der eine vorstehend beschriebene charakteristische Punkt festgelegt werden.
  • 5 stellt das erste Bild und das zweite Bild dar. In dem in 5 dargestellten ersten Bild G1 werden die charakteristischen Punkte K1 bis K3 angegeben, die durch ausgefüllte Kreise wiedergegeben werden. In 5 wird der relativ im Zentrum des ersten Bildes G1 befindliche charakteristische Punkt K1 als der eine vorstehend beschriebene charakteristische Punkt festgelegt.
  • Anschließend bildet bei Schritt S14 die auf dem sich weiterhin bewegenden Roboter 10 angebrachte Kamera 30 ein Bild Gb des Objekts W ab. Das Bild Gb wird in der Bildspeichereinheit 21 gespeichert und als das zweite Bild G2 festgelegt. Mit anderen Worten, zwei aufeinanderfolgende Bilder Ga und Gb werden als das erste Bild G1 und das zweite Bild G2 festgelegt.
  • Anschließend erkennt die Erkennungseinheit für charakteristische Punkte 27 bei Schritt 515 charakteristische Punkte aus dem zweiten Bild G2. Es ist erforderlich, dass die charakteristischen Punkte des zweiten Bildes G2, die durch die Erkennungseinheit für charakteristische Punkte 27 detektiert werden, den einen charakteristischen Punkt des vorstehend beschriebenen ersten Bildes G1 enthalten.
  • Das zweite Bild G2 von 5 zeigt die charakteristischen Punkte K1' und K2', die den charakteristischen Punkten K1 und K2 des ersten Bildes G1 entsprechen, und andere charakteristische Punkte K3' und K4', welche nicht in dem ersten Bild G1 enthalten sind. Darüber hinaus ist in dem zweiten Bild G2 der charakteristische Punkt K1 an einer Position angegeben, die dem charakteristischen Punkt K1 des ersten Bildes G1 entspricht.
  • Anschließend berechnet die Abstandsberechnungseinheit 28 bei Schritt S16 einen Abstand zwischen der Position des einen charakteristischen Punkts in dem ersten Bild G1 und der Position jedes der charakteristischen Punkte in dem zweiten Bild G2. Mit anderen Worten, die Abstandsberechnungseinheit 28 berechnet einen Abstand zwischen dem in 5 angegebenen charakteristischen Punkt K1 und jedem der charakteristischen Punkte K1' bis K3'.
  • Anschließend bestimmt die Bestimmungseinheit für charakteristische Punkte 29 bei Schritt S17 einen charakteristischen Punkt, für welchen der Abstand am kleinsten ist. In 5 erkennt man, dass der Abstand zwischen dem charakteristischen Punkt K1 und dem charakteristischen Punkt K1' der kürzeste ist. Folglich bestimmt die Bestimmungseinheit für charakteristische Punkte 29 den charakteristischen Punkt K1' als einen charakteristischen Punkt, für den der Abstand der kürzeste ist. Selbst wenn sich der Roboter 10 mit hoher Geschwindigkeit bewegt, ist es in einem solchen Fall möglich, die dreidimensionale Position des Objekts zu bestimmen, während die Zuordnung der Bilder vereinfacht wird.
  • Danach wird bei Schritt S18 festgelegt, ob die vorstehend beschriebene Verarbeitung in Bezug auf eine gewünschte Zahl von Bildern durchgeführt wurde. Da die vorstehend beschriebene Verarbeitung nicht in Bezug auf das gewünschte Bild durchgeführt wurde, wird in diesem Fall der charakteristische Punkt K1' des zweiten Bildes G2 als der eine charakteristische Punkt K1 des ersten Bildes gespeichert, und die Routine kehrt zu Schritt S14 zurück. Alternativ kann es sein, dass das zweite Bild durch das erste Bild ersetzt wird, der charakteristische Punkt K1' als der charakteristische Punkt K1 gespeichert wird, und die Routine zu Schritt S14 zurückkehrt. Die gewünschte Zahl beträgt vorzugsweise 2 oder mehr. Im Folgenden wird das nächste aufeinanderfolgende Bild Gc der in 4 dargestellten Bilder als das zweite Bild G2 festgelegt, und die vorstehend beschriebene Verarbeitung wird wiederholt.
  • Angenommen, diese Verarbeitung wird wiederholt, bis die Gesamtzahl der gewünschten Bilder verarbeitet wurde, so wird auf diese Weise der charakteristische Punkt K über die Bilder Ga bis Gn verfolgt. Da die Position des charakteristischen Punkts K in dem Objekt W bekannt ist, kann das Objekt W verfolgt werden. In einer nicht in den Zeichnungen dargestellten Ausführungsform kann die vorstehend beschriebene Verarbeitung durchgeführt werden, nachdem eine erwünschte Zahl von Bildern abgebildet ist, wenn sich der Roboter 10 bewegt.
  • In 4 werden die Bilder Ga bis Gn, ausgehend von einem ersten Paar Bilder als das erste Bild G1 und das zweite Bild G2, in eine Reihenfolge gebracht. Das erste Bild G1 und das zweite Bild G2 können jedoch auf andere Weise festgelegt werden, als in 4 dargestellt.
  • 6A ist eine weitere Ansicht, in der ein Roboter und mehrere Bilder dargestellt werden. In 6A werden die Bilder Gc und Gd als das erste Bild G1 und das zweite Bild G2 in der ersten Ausführung der Schritte S12 bis S17 festgelegt. Mit anderen Worten, es ist nicht immer notwendig, die Bilder Ga und Gb zu verwenden. Gleichermaßen ist es nicht immer notwendig, die letzten aufeinanderfolgenden Bilder Gn – 1 und Gn zu verwenden, und zum Beispiel können die Bilder Gn – 3 und Gn – 2 als die letzten aufeinanderfolgenden Bilder verwendet werden.
  • In 6B werden die zwei aufeinanderfolgenden Bilder Ga und Gb als das erste Bild G1 und das zweite Bild G2 in der ersten Verarbeitung festgelegt. Darüber hinaus werden in der zweiten Verarbeitung die beiden Bilder Gb und Gd festgelegt. Das Bild Gc wird nicht verwendet. Auf diese Weise kann, wie ersichtlich, ein Teil der Bilder entfallen, und in einem solchen Fall können zwei alternierend aufeinanderfolgende Bilder verwendet werden, wodurch die Verarbeitungszeit reduziert werden kann.
  • Im Folgenden wird die Beschreibung unter der Annahme fortgesetzt, dass das erste Bild G1 und das zweite Bild G2 mit Bezug auf 4 festgelegt wurden. Unter Bezugnahme auf 3 wird bei Schritt S19 die erste Positions-/Ausrichtungsinformation PR1 des Roboters 10 in der Positions-/Ausrichtungsinformation-Speichereinheit 22 gespeichert, wenn das erste Bild G1 aus den ersten beiden Bildern Ga und Gb unter den Bildern, d. h. das Bild Ga, abgebildet wird.
  • Anschließend wird bei Schritt S20 die zweite Positions-/Ausrichtungsinformation PR2 des Roboters 10 in der Positions-/Ausrichtungsinformation-Speichereinheit 22 gespeichert, wenn das zweite Bild G2 aus den letzten beiden Bildern G(n – 1) und Gn unter den Bildern, d. h. das Bild Gn, abgebildet wird. Da sich der Roboter 10 wie vorstehend beschrieben bewegt, sind die zweite Positions-/Ausrichtungsinformation PR2 und die erste Positions-/Ausrichtungsinformation PR1 voneinander verschieden.
  • Anschließend wird bei Schritt S21 die erste Positionsinformation PW1 des vorstehend beschriebenen einen charakteristischen Punkts K1 in dem ersten Bild G1 der ersten beiden Bilder Ga und Gb unter den Bildern, d. h das Bild Ga, in der Positionsinformation-Speichereinheit 23 gespeichert. Danach wird bei Schritt S22 die zweite Positionsinformation PW2 des charakteristischen Punkts K1', für welchen der vorstehend beschriebene Abstand der kürzeste ist, des zweiten Bildes G2 der letzten beiden Bilder G(n – 1) und Gn unter den Bildern, d. h das Bild Gn, in der Positionsinformation-Speichereinheit 23 gespeichert.
  • Anschließend berechnet bei Schritt S23 die Sichtlinieninformation-Berechnungseinheit 24 erste Sichtlinieninformation L1 auf der Grundlage der ersten Positions-/Ausrichtungsinformation PR1 und der ersten Positionsinformation PW1. Gleichermaßen berechnet die Sichtlinieninformation-Berechnungseinheit 24 zweite Sichtlinieninformation L2 auf der Grundlage der zweiten Positions-/Ausrichtungsinformation PR2 und der zweiten Positionsinformation PW2. Wie aus 4 ersichtlich ist, sind die ersten und zweiten Teile der Sichtlinieninformation L1 und L2 Sichtlinien, die jeweils von der Kamera 30 zu dem Objekt W verlaufen. Die ersten und zweiten Teile der Sichtlinieninformation L1 und L2 werden durch ein Kreuz in dem ersten Bild G1 und dem zweiten Bild G2 in 5 bezeichnet.
  • Anschließend erkennt die Erkennungseinheit für eine dreidimensionale Position 25 bei Schritt S24 eine dreidimensionale Position des Objekts W anhand eines Schnittpunkts oder eines ungefähren Schnittpunkts der ersten und zweiten Teile der Sichtlinieninformation L1 und L2. Wie vorstehend, ist es gemäß der vorliegenden Erfindung möglich, eine dreidimensionale Position des Objekts W zu erkennen, ohne zwei charakteristische Punkte zuzuordnen, die, wie nach dem Stand der Technik, mithilfe mehrerer Kameras oder mehrerer Objektive erkannt werden, da charakteristische Punkte unter Verwendung von mehreren Bilder verfolgt werden, welche aufeinanderfolgend abgebildet werden, während der Roboter 10 bewegt wird,. Daher ist es gemäß der vorliegenden Erfindung möglich, die Kosten zu reduzieren, während die Konfiguration des gesamten Systems 1 vereinfacht wird.
  • Mit anderen Worten können charakteristische Punkte des Objekts in dem ersten Bild G1 und dem zweiten Bild G2 durch Verfolgen eines charakteristischen Punkts positiv als Stereopaar zugeordnet werden, während sich der Roboter 10 bewegt.
  • Da in der vorliegenden Erfindung die Zuordnung auf der Grundlage der Verfolgung charakteristischer Punkte erfolgt, selbst wenn sich der Roboter 10 mit hoher Geschwindigkeit bewegt, wird die Zuordnung der Bilder aufeinanderfolgend und sequentiell durchgeführt, sodass keine Notwendigkeit besteht, jeden charakteristischen Punkt des Objekts in dem ersten Bild G1 und dem zweiten Bild G2 zu erkennen und zuzuordnen, nachdem die Bewegung des Roboters 10 abgeschlossen ist. Da die Zuordnung von Stereopaaren darüber hinaus einfach und zuverlässig ist, kann die Zuverlässigkeit im Vergleich zum Stand der Technik verbessert werden.
  • Unterdessen befindet sich unter den mehrere charakteristische Punkte umfassenden Werkstücken ein Werkstück, dessen dreidimensionale Position/Ausrichtung mithilfe der dreidimensionalen Positionen der mindestens drei charakteristischen Punkte bestimmt wird. Wenn die dreidimensionale Position/Ausrichtung eines solchen Werkstücks bestimmt wird, erkennt die Erkennungseinheit für charakteristische Punkte 27 in dem zweiten Bild G2 zunächst, mindestens drei in dem ersten Bild G1 befindliche charakteristische Punkte. Danach können, wie im Vorstehenden, drei charakteristische Punkte verfolgt werden und in mehreren Bildern erkannt werden, welche nacheinander abgebildet werden.
  • Die Sichtlinien-Datenberechnungseinheit 24 berechnet anschließend die ersten Sichtlinieninformation und die zweiten Sichtlinieninformation der mindestens drei charakteristischen Punkte. Darüber hinaus erkennt die Erkennungseinheit für eine dreidimensionale Position 25 eine dreidimensionale Position jeder von mindestens drei charakteristischen Punkten aus dem jeweiligen Schnittpunkt der berechneten ersten und zweiten Teile der Sichtlinieninformation. Auf diese Weise kann die Erkennungseinheit für eine dreidimensionale Position 25 die dreidimensionale Position/Ausrichtung des Werkstücks erkennen.
  • Aspekte der Offenbarung
  • Um den vorstehenden Zweck zu erreichen, wird gemäß einer ersten Offenbarung ein Erkennungsverfahren zur Erkennung einer dreidimensionalen Position eines Objekts das einen oder mehrere charakteristische Punkte aufweist, in einem System zur Verfügung gestellt, das einen Roboter und eine Bilderfassungseinheit aufweist, welche benachbart zu einem distalen Ende des Roboters gelagert ist, wobei das Erkennungsverfahren folgende Schritte umfasst: sequentielle Abbildung von mehreren Bildern des Objekts durch die Bilderfassungseinheit, wenn sich der Roboter bewegt; wenn aufeinanderfolgende oder zumindest alternierend aufeinanderfolgende Bilder unter den Bildern als ein erstes Bild und ein zweites Bild festgelegt werden, Erkennen mehrerer charakteristischer Punkte in dem zweiten Bild erkannt, umfassend einen in dem ersten Bild erkannten charakteristischen Punkt; Berechnen jedes Abstands zwischen dem einen charakteristischen Punkt in dem ersten Bild und den charakteristischen Punkten in dem zweiten Bild; Bestimmen eines charakteristischen Punkts, für welchen der Abstand der kürzeste ist, und Wiederholen der Verarbeitung zur Bestimmung des charakteristischen Punkts, für welchen der Abstand der kürzeste ist, wobei zwei aufeinanderfolgende oder zumindest alternierend aufeinanderfolgende Bilder unter den Bildern als das erste Bild und das zweite Bild festgelegt werden, wodurch der eine charakteristische Punkt des Objekts verfolgt wird.
  • Gemäß einer zweiten Offenbarung schließt das Erkennungsverfahren gemäß der ersten Offenbarung ferner folgende Schritte ein: Speichern erster Positions-/Ausrichtungsinformation des Roboters, wenn das erste von zwei Bildern aus einer früheren Phase unter den Bildern, in welchen die charakteristischen Punkte erkannt werden, abgebildet wird; Speichern zweiter Positions-/Ausrichtungsinformation des Roboters, wenn das zweite Bild von zwei Bildern aus einer späteren Phase unter den Bildern abgebildet wird; Speichern der ersten Positionsinformation in einem Bilderfassungseinheit-Koordinatensystem des einen charakteristischen Punkts, der in dem ersten Bild erkannt wurde; Speichern der zweiten Positionsinformation in dem Bilderfassungseinheit-Koordinatensystem der in dem zweiten Bild erkannten charakteristischen Punkte; Berechnen einer ersten Sichtlinieninformation des einen charakteristischen Punkts in einem Koordinatensystem des Roboters unter Verwendung der ersten Positions-/Ausrichtungsinformation des Roboters und der ersten Positionsinformation des einen charakteristischen Punkts, Berechnen einer zweiten Sichtlinieninformation der charakteristischen Punkte in dem Koordinatensystem des Roboters unter Verwendung der zweiten Positions-/Ausrichtungsinformation des Roboters und der zweiten Positionsinformation der charakteristischen Punkte und Erkennen einer dreidimensionalen Position des Objekts anhand eines Schnittpunkts der ersten Sichtlinieninformation und der zweiten Sichtlinieninformation.
  • Gemäß einer dritten Offenbarung umfasst das Erkennungsverfahren gemäß der zweiten Offenbarung ferner den Schritt der Projektion eines Spotlights auf das Objekt, wodurch die Erkennung der charakteristischen Punkte erleichtert wird.
  • Gemäß einer vierten Offenbarung umfasst das Erkennungsverfahren gemäß der zweiten Offenbarung, bei dem das Objekt mindestens drei charakteristische Punkte umfasst, ferner: Erkennen mindestens drei in dem ersten Bild befindlicher charakteristischer Punkte in dem zweiten Bild; Berechnen jeweils der ersten Sichtlinieninformation und der zweiten Sichtlinieninformation der mindestens drei charakteristischen Punkte und Erkennen der jeweiligen dreidimensionalen Position der mindestens drei charakteristischen Punkte anhand des jeweiligen Schnittpunkts der berechneten ersten und zweiten Teile der Sichtlinieninformation, wodurch eine dreidimensionale Position/Ausrichtung des Objekts, das die mindestens drei charakteristischen Punkte aufweist, erkannt wird.
  • Gemäß einer fünften Offenbarung wird eine Erkennungseinrichtung zur Erkennung einer dreidimensionalen Position eines Objekts, das einen oder mehrere charakteristische Punkte aufweist, in einem System zur Verfügung gestellt, das einen Roboter und eine Bilderfassungseinheit aufweist, welche benachbart zu einem distalen Ende des Roboters gelagert ist, wobei die Erkennungseinrichtung Folgendes umfasst: eine Erkennungseinheit für charakteristische Punkte, die wenn zwei aufeinanderfolgende oder zumindest alternierend aufeinanderfolgende Bilder unter den Bildern des Objekts, die durch die Bilderfassungseinheit sequentiell abgebildet werden, wenn sich der Roboter bewegt, als ein erstes Bild und ein zweites Bild festgelegt werden, mehrere charakteristische Punkte in dem zweiten Bild erkennt, einschließlich eines in dem ersten Bild erkannten charakteristischen Punkts; eine Abstandsberechnungseinheit, die jeweils den Abstand zwischen dem einen charakteristischen Punkt in dem ersten Bild und den charakteristischen Punkten in dem zweiten Bild berechnet, und eine Bestimmungseinheit für charakteristische Punkte, die einen charakteristischen Punkt bestimmt, für welchen der Abstand der kürzeste ist, wobei, wenn zwei nächste aufeinanderfolgende oder zumindest alternierend aufeinanderfolgende Bilder unter den Bildern als das erste Bild und das zweite Bild festgelegt werden, die Verarbeitung zur Bestimmung des charakteristischen Punkts, für welchen der Abstand der kürzeste ist, wiederholt wird, wodurch der eine charakteristische Punkt des Objekts verfolgt wird.
  • Gemäß einer sechsten Offenbarung umfasst die Erkennungseinrichtung gemäß der fünften Offenbarung ferner Folgendes: eine Bildspeichereinheit, die mehrere Bilder des Objekts speichert, die durch die Bilderfassungseinheit sequentiell abgebildet werden, wenn sich der Roboter bewegt; eine Ausrichtungsinformation-Speichereinheit, die erste Positions-/Ausrichtungsinformation des Roboters speichert, wenn das erste Bild von zwei Bildern aus einer früheren Phase unter den Bildern, in welchen die charakteristischen Punkte erkannt werden, abgebildet wird, und zweite Positions-/Ausrichtungsinformation des Roboters speichert, wenn das zweite Bild von zwei Bildern aus einer späteren Phase unter den Bildern abgebildet wird; eine Positionsinformation-Speichereinheit, die erste Positionsinformation des einen in dem ersten Bild erkannten charakteristischen Punkts in einem Bilderfassungseinheit-Koordinatensystem speichert und die zweite Positionsinformation der in dem zweiten Bild erkannten charakteristischen Punkte in dem Bilderfassungseinheit-Koordinatensystem speichert; eine Sichtlinien-Datenberechnungseinheit, die erste Sichtlinieninformation des einen charakteristischen Punkts in einem Koordinatensystem des Roboters unter Verwendung der ersten Positions-/Ausrichtungsinformation des Roboters und der ersten Positionsinformation des einen charakteristischen Punkts berechnet und die zweite Sichtlinieninformation des einen charakteristischen Punkts in dem Koordinatensystem des Roboters unter Verwendung der zweiten Positions-/Ausrichtungsinformation des Roboters und der zweiten Positionsinformation des einen charakteristischen Punkts berechnet, und eine Erkennungseinheit einer dreidimensionalen Position, die eine dreidimensionale Position des Objekts anhand eines Schnittpunkts der ersten Sichtlinieninformation und der zweiten Sichtlinieninformation erkennt.
  • Gemäß einer siebten Offenbarung umfasst die Erkennungseinrichtung gemäß der sechsten Offenbarung ferner einen Projektor, der ein Spotlight auf das Objekt projiziert.
  • Gemäß einer achten Offenbarung umfasst die Erkennungseinrichtung gemäß der sechsten Offenbarung, bei der das Objekt mindestens drei charakteristische Punkte umfasst, ferner Folgendes: eine Erkennungseinheit für charakteristische Punkte, die in dem zweiten Bild mindestens drei in dem ersten Bild befindliche charakteristische Punkte erkennt; eine Sichtlinien-Datenberechnungseinheit, welche jeweils die ersten Sichtlinieninformation und die zweiten Sichtlinieninformation der mindestens drei charakteristischen Punkte berechnet, und eine Erkennungseinheit einer dreidimensionalen Position, die eine dreidimensionale Position jedes der mindestens drei charakteristischen Punkte anhand des jeweiligen Schnittpunkts der berechneten ersten und zweiten Teile der Sichtlinieninformation erkennt, wodurch sie eine dreidimensionale Position/Ausrichtung des Objekts, das die mindestens drei charakteristischen Punkte aufweist, erkennt.
  • Vorteil der Offenbarung
  • In der ersten und fünften Offenbarung besteht keine Notwendigkeit, mehrere Bilderfassungseinheiten oder mehrere Objektive zu verwenden, da das Objekt mithilfe der beiden Bilder, die während der Bewegung des Roboters abgebildet werden, verfolgt wird. Infolgedessen können die Kosten reduziert werden, während die Konfiguration des gesamten Systems vereinfacht wird.
  • Da der eine als Stereopaar in dem ersten Bild und dem zweiten Bild zuzuordnende charakteristische Punkt derart festgelegt wird, dass der Roboter sich bewegt und Bilder über eine Zeitspanne abbildet, wobei der Abstand zwischen dem einen charakteristischen Punkt des ersten Bildes und den charakteristischen Punkten des zweiten Bildes der kürzeste wird, kann weiterhin der eine charakteristische Punkt durch das Verfahren gemäß der ersten Offenbarung positiv verfolgt werden und es ist somit nicht notwendig, nach der Bewegungsmanipulation durch den Roboter eine Zuordnung durchzuführen. Infolgedessen ist es zum Beispiel möglich, in einem Behälter, in welchem viele Teile mit derselben Form enthalten sind, durch Verfolgen eines charakteristischen Punkts, wie etwa eines Lochs eines bestimmten Teils, eine Zuordnung als Stereopaar in dem ersten Bild in einer früheren Phase der Bewegung und in dem zweiten Bild in einer späteren Phase der Bewegung positiv auszuführen. Da die Zuordnung des Stereopaars auf einfache und positive Weise durchgeführt werden kann, ist es darüber hinaus möglich, die Zuverlässigkeit im Vergleich zum Stand der Technik zu verbessern, die zur Durchführung der Zuordnung des Stereopaars benötigte Zeit stark zu reduzieren, welche zu einer hohen Verarbeitungslast führt, und eine Reduktion der Kosten für die Vorrichtung zu erzielen.
  • Da ein charakteristischer Punkt eingesetzt wird, für welchen der Abstand der kürzeste ist, ist es in der zweiten und sechsten Offenbarung möglich, eine dreidimensionale Position des Objekts zu bestimmen, während die Zuordnung von Bildern leicht durchgeführt wird, selbst wenn sich der Roboter mit hoher Geschwindigkeit bewegt.
  • Da ein Bild, in welchem ein deutliches Spotlight ein charakteristischer Punkt ist, erfasst werden kann, ist es möglich, in der dritten und siebten Offenbarung Bildverarbeitung auf zufriedenstellende Weise durchzuführen.
  • In der vierten und achten Offenbarung ist es möglich, eine dreidimensionale Position/Ausrichtung des Objekts über dreidimensionale Positionen von drei charakteristischen Punkten zu erkennen, die das Objekt aufweist.
  • Wenngleich die vorliegende Offenbarung unter Verwendung von exemplarischen Ausführungsformen beschrieben wurde, werden Fachleute in der Lage sein zu verstehen, dass die vorstehend beschriebenen Änderungen und verschiedenen anderen Modifikationen, Auslassungen und Zusätze vorgenommen werden können, ohne vom Umfang der vorliegenden Erfindung abzuweichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 3859371 [0003]
    • JP 2012-192473 [0003]
    • JP 2004-90183 [0003]
    • JP 2014-34075 [0003]
    • JP 2009-241247 [0003]

Claims (8)

  1. Erkennungsverfahren zum Erkennen einer dreidimensionalen Position eines Objekts, das einen oder mehrere charakteristische Punkte aufweist, in einem System (1), das einen Roboter (10) und eine benachbart zu einem distalen Ende des Roboters gelagerte Bilderfassungseinheit (30) aufweist, wobei das Erkennungsverfahren folgende Schritte umfasst: sequentielles Abbilden von Bildern des Objekts durch die Bilderfassungseinheit, wenn sich der Roboter bewegt; wenn zwei aufeinanderfolgende oder zumindest alternierend aufeinanderfolgende Bilder unter den Bildern als erstes Bild und als zweites Bild festgelegt sind, Erkennen von charakteristischen Punkten in dem zweiten Bild, die einen in dem ersten Bild detektierten charakteristischen Punkt enthalten, Berechnen des jeweiligen Abstands zwischen dem einen charakteristischen Punkt in dem ersten Bild und den charakteristischen Punkten in dem zweiten Bild; Bestimmen eines charakteristischen Punkts, für welchen der Abstand der kürzeste ist, und wenn zwei nächste aufeinanderfolgende oder zumindest alternierend aufeinanderfolgende Bilder unter den Bildern als das erste Bild und das zweite Bild festgelegt sind, Wiederholen der Verarbeitung zur Bestimmung des charakteristischen Punkts, für welchen der Abstand der kürzeste ist, wodurch der eine charakteristische Punkt des Objekts verfolgt wird.
  2. Erkennungsverfahren nach Anspruch 1, ferner umfassend die folgenden Schritte: Speichern von erster Positions-/Ausrichtungsinformation des Roboters, wenn unter den Bildern das erste Bild von zwei Bildern aus einer früheren Phase, in welcher die charakteristischen Punkte erkannt werden, abgebildet wird; Speichern von zweiter Positions-/Ausrichtungsinformation des Roboters, wenn unter den Bildern das zweite Bild von zwei Bildern aus einer späteren Phase, in welcher die charakteristischen Punkte erkannt werden, abgebildet wird; Speichern von erster Positionsinformation des einen in dem ersten Bild erkannten charakteristischen Punkts in einem Bilderfassungseinheit-Koordinatensystem; Speichern von zweiter Positionsinformation des einen in dem zweiten Bild erkannten charakteristischen Punkts in dem Bilderfassungseinheit-Koordinatensystem; Berechnen von erster Sichtlinieninformation des einen charakteristischen Punkts in einem Koordinatensystem des Roboters unter Verwendung der ersten Positions-/Ausrichtungsinformation des Roboters und der ersten Positionsinformation des einen charakteristischen Punkts und Berechnen von zweiter Sichtlinieninformation des charakteristischen Punkts in dem Koordinatensystem des Roboters unter Verwendung der zweiten Positions-/Ausrichtungsinformation des Roboters und der zweiten Positionsinformation des einen charakteristischen Punkts; und Erkennen einer dreidimensionalen Position des Objekts anhand eines Schnittpunkts der ersten Sichtlinieninformation und der zweiten Sichtlinieninformation.
  3. Erkennungsverfahren nach Anspruch 2, wobei ein auf das Objekt projiziertes Spotlight ein charakteristischer Punkt ist.
  4. Erkennungsverfahren nach Anspruch 2, wobei das Objekt mindestens drei charakteristische Punkte umfasst, wobei das Erkennungsverfahren ferner die folgenden Schritte umfasst: Erkennen von mindestens drei in dem ersten Bild befindlichen charakteristischen Punkten in dem zweiten Bild; Berechnen jeweils der ersten Sichtlinieninformation und der zweiten Sichtlinieninformation der mindestens drei charakteristischen Punkte; und Erkennen der jeweiligen dreidimensionalen Position der mindestens drei charakteristischen Punkte anhand des jeweiligen Schnittpunkts der berechneten ersten und zweiten Teile der Sichtlinieninformation, wodurch die dreidimensionale Position/Ausrichtung des Objekts erkannt wird, das die mindestens drei charakteristischen Punkte aufweist.
  5. Erkennungseinrichtung (20) zur Erkennung einer dreidimensionalen Position eines Objekts, das einen oder mehrere charakteristische Punkte enthält, in einem System (1), das einen Roboter (10) und eine benachbart zu einem distalen Ende des Roboters gelagerte Bilderfassungseinheit (30) aufweist, wobei die Erkennungseinrichtung Folgendes umfasst: eine Erkennungseinheit für charakteristische Punkte (27), die, wenn zwei aufeinanderfolgende oder zumindest alternierend aufeinanderfolgende, Bilder unter den Bildern des Objekts, die sequentiell durch die Bilderfassungseinheit abgebildet werden, wenn sich der Roboter bewegt, als ein erstes Bild und ein zweites Bild festgelegt sind, charakteristische Punkte in dem zweiten Bild erkennt, die einen in dem ersten Bild erkannten charakteristischen Punkt enthalten; eine Abstandsberechnungseinheit (28), die den jeweiligen Abstand zwischen dem einen charakteristischen Punkt in dem ersten Bild und den charakteristischen Punkten in dem zweiten Bild berechnet; und eine Bestimmungseinheit (29) für charakteristische Punkte, die einen charakteristischen Punkt bestimmt, für welchen der Abstand der kürzeste ist, wobei, wenn zwei nächste aufeinanderfolgende oder zumindest alternierend aufeinanderfolgende Bilder unter den Bildern als das erste Bild und das zweite Bild festgelegt sind, die Verarbeitung zur Bestimmung des charakteristischen Punkts, für welchen der Abstand der kürzeste ist, wiederholt wird, wodurch der eine charakteristische Punkt des Objekts verfolgt wird.
  6. Erkennungseinrichtung nach Anspruch 5, ferner umfassend: eine Bildspeichereinheit (21), die Bilder des Objekts, das der Roboter bewegt, speichert, die sequentiell durch die Bilderfassungseinheit abgebildet werden; eine Positions-/Ausrichtungsinformations-Speichereinheit (22), die erste Positions-/Ausrichtungsinformation des Objekts speichert, wenn unter den Bildern ein erstes Bild von zwei Bildern aus einer früheren Phase, in welchen charakteristische Punkte erkannt werden, abgebildet wird, und die zweite Positions-/Ausrichtungsinformation des Roboters speichert, wenn unter den Bildern ein zweites Bild von zwei Bildern aus einer späteren Phase, in welchen charakteristische Punkte erkannt werden, abgebildet wird; eine Positionsinformation-Speichereinheit (23), welche erste Positionsinformation des einen in dem ersten Bild erkannten charakteristischen Punkts in einem Koordinatensystem der Bilderfassungseinheit speichert und zweite Positionsinformation des einen in dem zweiten Bild erkannten charakteristischen Punkts in dem Koordinatensystem der Bilderfassungseinheit speichert; eine Sichtlinieninformation-Berechnungseinheit (24), die erste Sichtlinieninformation des einen charakteristischen Punkts in einem Koordinatensystem des Roboters unter Verwendung der ersten Positions-/Ausrichtungsinformation des Roboters und der ersten Positionsinformation des einen charakteristischen Punkts berechnet und zweite Sichtlinieninformation des einen charakteristischen Punkts in dem Koordinatensystem des Roboters unter Verwendung der zweiten Positions-/Ausrichtungsinformation des Roboters und der zweiten Positionsinformation des einen charakteristischen Punkts berechnet; und eine Erkennungseinheit (25) für eine dreidimensionale Position, die eine dreidimensionale Position des Objekts anhand eines Schnittpunkts der ersten Sichtlinieninformation und der zweiten Sichtlinieninformation erkennt.
  7. Erkennungseinrichtung nach Anspruch 6, ferner umfassend: einen Projektor (35), welcher derart konfiguriert ist, dass ein auf das Objekt projiziertes Spotlight ein charakteristischer Punkt ist.
  8. Erkennungseinrichtung nach Anspruch 6, bei der das Objekt mindestens drei charakteristische Punkte enthält, wobei die Erkennungseinrichtung ferner Folgendes umfasst: eine Erkennungseinheit für charakteristische Punkte (27), die in dem zweiten Bild mindestens drei in dem ersten Bild befindliche charakteristische Punkte erkennt; eine Sichtlinieninformation-Berechnungseinheit (24), die jeweils die erste Sichtlinieninformation und die zweite Sichtlinieninformation der mindestens drei charakteristischen Punkte berechnet, und eine Erkennungseinheit (25) für eine dreidimensionale Position, welche die jeweilige dreidimensionale Position der mindestens drei charakteristischen Punkte anhand des jeweiligen Schnittpunkts der berechneten ersten und zweiten Teile der Sichtlinieninformation erkennt, wodurch eine dreidimensionale Position/Ausrichtung des Objekts, das die mindestens drei charakteristischen Punkte aufweist, erkannt wird.
DE102017122010.0A 2016-09-30 2017-09-22 Erkennungsverfahren und Erkennungseinrichtung zur Erkennung einer dreidimensionalen Position eines Objekts Withdrawn DE102017122010A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-194105 2016-09-30
JP2016194105A JP2018051728A (ja) 2016-09-30 2016-09-30 対象物の三次元位置を検出する検出方法および検出装置

Publications (1)

Publication Number Publication Date
DE102017122010A1 true DE102017122010A1 (de) 2018-04-05

Family

ID=61623725

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017122010.0A Withdrawn DE102017122010A1 (de) 2016-09-30 2017-09-22 Erkennungsverfahren und Erkennungseinrichtung zur Erkennung einer dreidimensionalen Position eines Objekts

Country Status (4)

Country Link
US (1) US20180095549A1 (de)
JP (1) JP2018051728A (de)
CN (1) CN107886494A (de)
DE (1) DE102017122010A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108839018A (zh) * 2018-06-25 2018-11-20 盐城工学院 一种机器人控制操作方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9879976B2 (en) * 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
US10957068B2 (en) 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
CN109986541A (zh) * 2019-05-06 2019-07-09 深圳市恒晟智能技术有限公司 机械手
CN111325712B (zh) * 2020-01-20 2024-01-23 北京百度网讯科技有限公司 用于检测图像有效性的方法及装置
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004090183A (ja) 2002-09-02 2004-03-25 Fanuc Ltd 物品の位置姿勢検出装置及び物品取出し装置
JP3859371B2 (ja) 1998-09-25 2006-12-20 松下電工株式会社 ピッキング装置
JP2009241247A (ja) 2008-03-10 2009-10-22 Kyokko Denki Kk ステレオ画像型検出移動装置
JP2012192473A (ja) 2011-03-15 2012-10-11 Seibu Electric & Mach Co Ltd 立体視ロボットピッキング装置
JP2014034075A (ja) 2012-08-08 2014-02-24 Canon Inc ロボット装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05126521A (ja) * 1991-11-08 1993-05-21 Toshiba Corp 遠隔操作マニピユレータ用位置測定装置
JPH07270137A (ja) * 1994-02-10 1995-10-20 Fanuc Ltd スポット光走査型３次元視覚センサ
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
JP4032603B2 (ja) * 2000-03-31 2008-01-16 コニカミノルタセンシング株式会社 ３次元計測装置
JP4672175B2 (ja) * 2000-05-26 2011-04-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
JP3556589B2 (ja) * 2000-09-20 2004-08-18 ファナック株式会社 位置姿勢認識装置
JP4926826B2 (ja) * 2007-05-25 2012-05-09 キヤノン株式会社 情報処理方法および情報処理装置
JP2010117223A (ja) * 2008-11-12 2010-05-27 Fanuc Ltd ロボットに取付けられたカメラを用いた三次元位置計測装置
KR101033349B1 (ko) * 2009-03-24 2011-05-09 아주대학교산학협력단 안전모 착용 비전 감시 시스템 및 방법
JP5428639B2 (ja) * 2009-08-19 2014-02-26 株式会社デンソーウェーブ ロボットの制御装置及びロボットのティーチング方法
US8897543B1 (en) * 2012-05-18 2014-11-25 Google Inc. Bundle adjustment based on image capture intervals
CN103473757B (zh) * 2012-06-08 2016-05-25 株式会社理光 在视差图中的对象跟踪方法和系统
CN104395692B (zh) * 2012-06-29 2016-08-24 富士胶片株式会社 三维测定方法、装置、系统以及图像处理装置
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
JP6317618B2 (ja) * 2014-05-01 2018-04-25 キヤノン株式会社 情報処理装置およびその方法、計測装置、並びに、作業装置
US9602811B2 (en) * 2014-09-10 2017-03-21 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
JP2016070762A (ja) * 2014-09-29 2016-05-09 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
US10360469B2 (en) * 2015-01-15 2019-07-23 Samsung Electronics Co., Ltd. Registration method and apparatus for 3D image data
JP6635690B2 (ja) * 2015-06-23 2020-01-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3859371B2 (ja) 1998-09-25 2006-12-20 松下電工株式会社 ピッキング装置
JP2004090183A (ja) 2002-09-02 2004-03-25 Fanuc Ltd 物品の位置姿勢検出装置及び物品取出し装置
JP2009241247A (ja) 2008-03-10 2009-10-22 Kyokko Denki Kk ステレオ画像型検出移動装置
JP2012192473A (ja) 2011-03-15 2012-10-11 Seibu Electric & Mach Co Ltd 立体視ロボットピッキング装置
JP2014034075A (ja) 2012-08-08 2014-02-24 Canon Inc ロボット装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108839018A (zh) * 2018-06-25 2018-11-20 盐城工学院 一种机器人控制操作方法及装置

Also Published As

Publication number Publication date
JP2018051728A (ja) 2018-04-05
US20180095549A1 (en) 2018-04-05
CN107886494A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
DE102017122010A1 (de) Erkennungsverfahren und Erkennungseinrichtung zur Erkennung einer dreidimensionalen Position eines Objekts
DE102015011914B4 (de) Konturlinienmessvorrichtung und Robotersystem
DE102015115943A1 (de) Erkennungsverfahren und Erkennungsvorrichtung zum Erkennen der dreidimensionalen Position eines Objekts
EP0163885A1 (de) Anordnung zur Segmentierung von Linien
DE102015102113A1 (de) Verfahren zum warnen eines benutzers über einen abstand zwischen augen des benutzers und einem bildschirm
DE112011103794T5 (de) Aufnehmervorrichtung für Werkstücke
DE102011055665A1 (de) Bildverarbeitungsvorrichtung
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
DE102018121039A1 (de) Informationsverarbeitungsvorrichtung, verfahren zur steuerung von informationsverarbeitungsvorrichtung und speichermedium
DE112013004103T5 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE102019124810A1 (de) Bildverarbeitungsgerät und Bildverarbeitungsverfahren
DE69829091T2 (de) Messungsgerät
EP2381207B1 (de) 3D-Zielvermessung und Zieleinweisung aus IR-Daten
DE102016201741A1 (de) Verfahren zur Höhenerkennung
EP3867796A1 (de) Verfahren und vorrichtung zur bestimmung einer umgebungskarte
DE19953063A1 (de) Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
DE102012211961A1 (de) Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts
DE112021000595T5 (de) Bildverarbeitungssystem
EP3561769A2 (de) Verfahren zur erkennung von diskontinuitäten an der oberfläche eines körpers
DE102017117594A1 (de) Automatisierte Erkennung einer Scheinwerferfehlstellung
DE102007041482A1 (de) Verfahren zur automatischen Erkennung wenigstens der Art und/oder der Lage einer mit einer Gliedmaße gebildeten Geste, insbesondere einer Handgeste
DE102007038785A1 (de) Verfahren und Vorrichtung zum Bestimmen von Geometriedaten eines Messobjekts
EP3582140B1 (de) System zur automatischen erkennung von laborarbeitsgegenständen sowie verfahren zum betrieb eines systems zur automatischen erkennung von laborgegenständen
EP3174010A2 (de) Verfahren zur erstellung einer 3d-repräsentation und korrespondierende bildaufnahmevorrichtung
DE102004007049A1 (de) Verfahren zur Klassifizierung eines Objekts mit einer Stereokamera

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee