DE102018109309B4 - Objekterkennungsvorrichtung - Google Patents

Objekterkennungsvorrichtung Download PDF

Info

Publication number
DE102018109309B4
DE102018109309B4 DE102018109309.8A DE102018109309A DE102018109309B4 DE 102018109309 B4 DE102018109309 B4 DE 102018109309B4 DE 102018109309 A DE102018109309 A DE 102018109309A DE 102018109309 B4 DE102018109309 B4 DE 102018109309B4
Authority
DE
Germany
Prior art keywords
dimensional
dimensional information
sensor
information
cycle time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018109309.8A
Other languages
English (en)
Other versions
DE102018109309A1 (de
Inventor
Shouta TAKIZAWA
Junichirou Yoshida
Fumikazu Warashina
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE102018109309A1 publication Critical patent/DE102018109309A1/de
Application granted granted Critical
Publication of DE102018109309B4 publication Critical patent/DE102018109309B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Manipulator (AREA)

Abstract

Objekterkennungsvorrichtung (1), umfassend:
einen zweidimensionalen Sensor (2) zum Erfassen zweidimensionaler Informationen eines Objekts (X) bei einer ersten Taktzeit;
einen dreidimensionalen Sensor (2) zum Erfassen dreidimensionaler Informationen des Objekts (X) bei einer zweiten Taktzeit;
eine Speichereinheit (3), die eine erste Position des zweidimensionalen Sensors (2) bei der ersten Taktzeit und die zweidimensionalen Informationen zuweist und speichert und die eine zweite Position des dreidimensionalen Sensors (2) bei der zweiten Taktzeit und die dreidimensionalen Informationen zuweist und speichert; und
eine arithmetische Betriebseinheit (4), die einen Änderungsbetrag in der Ausrichtung zwischen einer Ausrichtung des zweidimensionalen Sensors (2) an der ersten Position und einer Ausrichtung des dreidimensionalen Sensors (2) an der zweiten Position basierend auf der ersten Position und der zweiten Position, die in der Speichereinheit (3) gespeichert sind, berechnet, die die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in dreidimensionale Informationen, die an der ersten Position erfasst werden, basierend auf dem berechneten Änderungsbetrag in der Ausrichtung umwandelt, und die einen Zustand des Objekts (X) basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen berechnet.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung.
  • STAND DER TECHNIK
  • Bekannt ist eine Technologie, in der dreidimensionale Informationen eines Objekts erfasst werden, indem ein Muster auf das Objekt projiziert wird und ein Bild erfasst wird, zweidimensionale Informationen des Objekts erfasst werden, indem ein Bild erfasst wird ohne ein Muster zu projizieren, und die Position und Ausrichtung des Objekts erhalten werden, indem die erfassten zweidimensionalen Informationen und dreidimensionalen Informationen kombiniert werden (siehe beispielsweise JP 2013-101045 A ).
  • Aus US 2014/0176677 A1 , EP 2 543 483 A1 und US 2011/0218675 A1 ist jeweils der Einsatz von 2D- und/oder 3D-Sensoren zur Erfassung von Objekten im Zusammenhang mit einer gegebenenfalls auf Roboter gestützten Handhabung von Objekten bekannt. In diesen Druckschriften wird außerdem auf die technische Fragestellung eingegangen, die sich daraus ergibt, dass eine Information über eine Ausrichtung der 2D-/ 3D-Sensoren oder der zu erfassenden Objekte nicht exakt für die Zeitpunkte vorliegt, zu denen die Sensoren das Objekt erfassen.
  • KURZDARSTELLUNG DER ERFINDUNG
  • TECHNISCHE AUFGABE
  • Zweidimensionale Informationen und dreidimensionale Informationen können bedauerlicherweise jedoch nicht gleichzeitig mit der aus JP 2013-101045 A bekannten Technologie erfasst werden, und somit werden, wenn sich der zweidimensionale Sensor und der dreidimensionale Sensor relativ zu dem Objekt bewegen oder sich das Objekt relativ zu dem zweidimensionalen Sensor und dem dreidimensionalen Sensor bewegt, die zweidimensionalen Informationen und dreidimensionalen Informationen an unterschiedlichen Positionen erfasst, was es unmöglich macht, die Position und Ausrichtung des Objekts mit hoher Genauigkeit zu erfassen.
  • Es ist Aufgabe der Erfindung, eine Objekterkennungsvorrichtung anzugeben, die in der Lage ist, die Position und Ausrichtung eines Objekts mit hoher Genauigkeit zu berechnen, sogar, wenn sich das Objekt relativ zu dem Sensor bewegt oder sich der Sensor relativ zu dem Objekt bewegt.
  • LÖSUNG DER AUFGABE
  • Die Aufgabe wird gelöst durch eine Objekterkennungsvorrichtung, umfassend: einen zweidimensionalen Sensor zum Erfassen zweidimensionaler Informationen eines Objekts bei einer ersten Taktzeit; einen dreidimensionalen Sensor zum Erfassen dreidimensionaler Informationen des Objekts bei einer zweiten Taktzeit; eine Speichereinheit, die eine erste Position des zweidimensionalen Sensors bei der ersten Taktzeit und die zweidimensionalen Informationen zuweist und speichert und die eine zweite Position des dreidimensionalen Sensors bei der zweiten Taktzeit und die dreidimensionalen Informationen zuweist und speichert; und eine arithmetische Betriebseinheit, die einen Änderungsbetrag in der Ausrichtung zwischen einer Ausrichtung des zweidimensionalen Sensors an der ersten Position und einer Ausrichtung des dreidimensionalen Sensors an der zweiten Position basierend auf der ersten Position und der zweiten Position, die in der Speichereinheit gespeichert sind, berechnet, die die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, basierend auf dem berechneten Änderungsbetrag in der Ausrichtung umwandelt, und die einen Zustand des Objekts basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen berechnet.
  • Gemäß diesem Aspekt werden die zweidimensionalen Informationen des Objekts, die von dem zweidimensionalen Sensor bei der ersten Taktzeit erfasst werden, in der Speichereinheit gespeichert, so dass sie der ersten Position des zweidimensionalen Sensors bei der ersten Taktzeit zugewiesen werden, und die dreidimensionalen Informationen des Objekts, die von dem dreidimensionalen Sensor bei der zweiten Taktzeit erfasst werden, werden in der Speichereinheit gespeichert, so dass sie der zweiten Position des dreidimensionalen Sensors bei der zweiten Taktzeit zugewiesen werden.
  • Die arithmetische Betriebseinheit berechnet den Änderungsbetrag in der Ausrichtung zwischen der Ausrichtung des zweidimensionalen Sensors an der ersten Position und der Ausrichtung des dreidimensionalen Sensors an der zweiten Position, wandelt die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in die dreidimensionalen Informationen um, die an der ersten Position basierend auf dem berechneten Änderungsbetrag in der Ausrichtung erfasst werden, und berechnet den Zustand des Objekts basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen.
  • In einem Fall, in dem zweidimensionale Informationen und dreidimensionale Informationen nacheinander bei unterschiedlichen Taktzeiten erfasst werden, während entweder das Objekts oder der zweidimensionale Sensor und der dreidimensionale Sensor relativ zueinander bewegt werden, werden die zweidimensionalen Informationen und dreidimensionalen Informationen in unterschiedlichen Richtungen des Objekts erfasst. Gemäß diesem Aspekt können, weil die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in dreidimensionale Informationen umgewandelt werden, die an der ersten Position erfasst werden, indem der Änderungsbetrag in der Ausrichtung zwischen dem zweidimensionalen Sensor und dem dreidimensionalen Sensor berechnet werden, die zweidimensionalen Informationen und die dreidimensionalen Informationen im Wesentlichen gleich zu den Informationen gemacht werden, die erfasst würden, wenn das Objekt in der gleichen Richtung betrachtet würde, was es somit auf dieser Basis ermöglichen würde, mindestens einen Zustand der Form, der Position und der Ausrichtung des Objekts mit hoher Genauigkeit zu berechnen.
  • Gemäß einer Ausführungsform ist die Objekterkennungsvorrichtung dadurch fortgebildet, dass eine Vorrichtung zur Fixierung des Objekts umfasst ist, der zweidimensionale Sensor und der dreidimensionale Sensor an einem Roboter befestigt sind und die arithmetische Betriebseinheit dazu eingerichtet ist, die erste Position und die zweite Position basierend auf den Positionsinformationen des Roboters bei der ersten Taktzeit und der zweiten Taktzeit zu berechnen.
  • Dadurch bewegen sich der zweidimensionale Sensor und der dreidimensionale Sensor als Folge davon, dass der Roboter betrieben wird, und somit können, wenn die Positionsinformationen des Roboters bei der ersten Taktzeit und der zweiten Taktzeit erfasst werden können, die erste Position und die zweite Position mit hoher Genauigkeit berechnet werden, wodurch es möglich wird, den Zustand des Objekts mit hoher Genauigkeit zu berechnen.
  • Gemäß einer weiteren Ausführungsform ist die Objekterkennungsvorrichtung dadurch fortgebildet, dass der zweidimensionale Sensor und der dreidimensionale Sensor fixiert sind, ein Transportmechanismus umfasst ist, der dazu eingerichtet ist, das Objekt zu befördern und die arithmetische Betriebseinheit dazu eingerichtet ist, die erste Position und die zweite Position basierend auf Informationen über die Verlagerung des Transportmechanismus zwischen der ersten Taktzeit und der zweiten Taktzeit zu berechnen.
  • Obgleich sich die erste Position und die zweite Position als Ergebnis davon ändern, dass das Objekt von dem Transportmechanismus relativ zu dem fixierten zweidimensionalen Sensor und dreidimensionalen Sensor befördert wird, können dadurch die erste Position und die zweite Position mit hoher Genauigkeit berechnet werden, und somit kann der Zustand des Objekts mit hoher Genauigkeit berechnet werden, wenn Informationen über das Verlagern des Transportmechanismus erfasst werden können.
  • Die Objekterkennungsvorrichtung ist ferner gemäß einer weiteren Ausführungsform dadurch fortgebildet, dass der zweidimensionale und der dreidimensionale Sensor dazu eingerichtet sind, die Erfassung der zweidimensionalen Informationen von dem zweidimensionalen Sensor und die Erfassung von dreidimensionalen Informationen von dem dreidimensionalen Sensor abwechselnd auszuführen und die arithmetische Betriebseinheit dazu eingerichtet ist, den Zustand des Objekts, basierend auf den zweidimensionalen Informationen und den dreidimensionalen Informationen, die bei angrenzenden Taktzeiten erfasst werden, zu berechnen.
  • Dadurch können als dreidimensionale Informationen, die den zweidimensionalen Informationen zuzuweisen sind, die bei jeder ersten Position erfasst werden, die dreidimensionalen Informationen verwendet werden, die bei einer näheren zweiten Position erfasst werden. Folglich können die Zeitintervalle, bei denen zweidimensionale Informationen erfasst werden, kurzgehalten werden, so dass der Zustand des Objekts ausführlicher entlang der Route der relativen Bewegung zwischen dem Objekt und dem zweidimensionalen Sensor und zwischen dem Objekt und dem dreidimensionalen Sensor erkannt werden kann.
  • VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
  • Die vorliegende Erfindung bietet dahingehend einen Vorteil, dass die Position und Ausrichtung eines Objekts mit hoher Genauigkeit berechnet werden können, sogar wenn sich ein Sensor relativ zu dem Objekt bewegt, oder sich das Objekt relativ zu dem Sensor bewegt.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das eine Objekterkennungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
    • 2 ist eine perspektivische Ansicht, die einen Fall zeigt, in dem ein Objekt erkannt wird, indem ein Sensor der Objekterkennungsvorrichtung von 1 auf einem Roboter montiert ist.
    • 3 ist eine Abbildung zum Veranschaulichen der Erkennung eines Objekts unter Verwendung der Objekterkennungsvorrichtung von 1.
    • 4 ist eine Abbildung zum Veranschaulichen der Erkennung eines Objekts unter Verwendung einer ersten Abwandlung der Objekterkennungsvorrichtung von 1.
    • 5 ist eine Abbildung, fortgesetzt von 4, zum Veranschaulichen der Erkennung des Objekts.
    • 6 ist eine perspektivische Ansicht, die einen Fall zeigt, in dem Erkennung in einem Zustand ausgeführt wird, in dem der Sensor der Objekterkennungsvorrichtung von 1 fixiert ist und das Objekt an dem Roboter befestigt ist.
  • BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
  • Eine Objekterkennungsvorrichtung 1 gemäß einer Ausführungsform der vorliegenden Erfindung wird nun mit Bezug auf die Zeichnungen beschrieben.
  • Wie in 1 gezeigt, umfasst die Objekterkennungsvorrichtung 1 gemäß dieser Ausführungsform: einen Sensor (zweidimensionaler Sensor und dreidimensionaler Sensor) 2, der an dem Ende des Handgelenks eines Roboters 100 befestigt ist, und der bei unterschiedlichen Taktzeiten zweidimensionale Informationen und dreidimensionale Informationen eines Objekts X erfasst, der außerhalb des Roboters 100 fixiert ist; einen Speicher (Speichereinheit) 3 zum Speichern der zweidimensionalen Informationen und der dreidimensionalen Informationen des Objekts X, die von dem Sensor 2 bei jeweiligen Taktzeiten erfasst werden, sodass sie den Roboterpositionsinformationen (nachfolgend einfach als Positionsinformationen bezeichnet) des Roboters 100 bei den jeweiligen Taktzeiten zugewiesen sind; und einen Prozessor (arithmetische Betriebseinheit) 4 zum Erkennen mindestens einer, der Form, der Position oder der Ausrichtung des Objekts X basierend auf den zweidimensionalen Informationen, den dreidimensionalen Informationen und den Positionsinformationen des Roboters 100, die in dem Speicher 3 gespeichert sind. In der Figur bezeichnet das Bezugszeichen 110 eine Steuereinheit, die den Roboter 100 steuert, und die die Positionsinformationen an den Speicher 3 übermittelt.
  • Der Sensor 2 wendet ein Verfahren an, das in der Lage ist, eines zur Zeit, die zweidimensionalen Informationen oder die dreidimensionalen Informationen, selektiv zu erfassen. Daher können zweidimensionale Informationen und dreidimensionale Informationen des Objekts X nicht in der gleichen Richtung erfasst werden, nämlich werden Informationen nur in unterschiedlichen Richtungen erfasst, in einem Fall, in dem solche Informationen erfasst werden, während der Roboter 100 betrieben und bewegt wird. Der Sensor 2 erfasst ein zweidimensionales Bild als die zweidimensionalen Informationen, und Abstandsinformationen als die dreidimensionalen Informationen.
  • Der Prozessor 4 berechnet die Position des Sensors 2, wenn zweidimensionale Informationen erfasst wurden (erste Position), und die Position des Sensors 2, wenn dreidimensionale Informationen erfasst wurden (zweite Position), basierend auf den Positionsinformationen des Roboters 100, die in dem Speicher 3 gespeichert wurden, als die zweidimensionalen Informationen und die dreidimensionalen Informationen erfasst wurden, und berechnet basierend auf den erhaltenen zwei Positionen den Änderungsbetrag in der Ausrichtung des Sensors 2 zwischen den zwei Positionen. Der Änderungsbetrag in der Ausrichtung wird beispielsweise von dem Betrag der Verschiebung in der Form einer 4 x 4 Matrix berechnet, die die Rotationsbeträge in drei Richtungen enthält.
  • Der Prozessor 4 wandelt die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in dreidimensionale Informationen entsprechend der ersten Position um, indem er den berechneten Änderungsbetrag in der Ausrichtung mit dreidimensionalen Informationen multipliziert, die in dem Speicher 3 gespeichert sind. Dann berechnet der Prozessor 4 den Zustand des Objekts X, der mindestens aus einer, der Form, Position und Ausrichtung des Objekts X basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen zusammengesetzt ist.
  • Gemäß der Objekterkennungsvorrichtung 1 dieser Ausführungsform mit der zuvor beschriebenen Struktur gibt es dahingehend einen Vorteil, dass, während der Sensor 2 mit dem Roboter 100 durch die Steuerung des Roboters 100 unter Verwendung der Steuereinheit 110 bewegt wird, wie in 2 gezeigt, die dreidimensionalen Informationen, die bei einer unterschiedlichen Taktzeit erfasst werden, als der Taktzeit, bei der die zweidimensionalen Informationen erfasst werden, basierend auf dem Änderungsbetrag in der Ausrichtung des Sensors 2 in dreidimensionale Informationen umgewandelt werden, die an der ersten Position erfasst würden, bei der die zweidimensionalen Informationen erfasst werden, und daher kann der Zustand des Objekts X mit hoher Genauigkeit erkannt werden, indem die zweidimensionalen Informationen, die planare Informationen sind, den dreidimensionalen Informationen, die stereoskopische Informationen sind, mit hoher Genauigkeit zugewiesen werden.
  • Wie beispielsweise in 3 gezeigt, verschiebt sich, wenn zweidimensionale Informationen einer Fläche, umfassend das Objekt X, bei einer ersten Taktzeit von schräg über dem Objekt X erfasst werden, und danach dreidimensionale Informationen der Fläche, umfassend das Objekt X, bei einer zweiten Taktzeit von vertikal über dem Objekt X erfasst werden, nachdem sich der Sensor 2 mit dem Roboter 100 bewegt hat, die gerade Linie (Sichtlinie (LOS)), die sich in der Detektionsrichtung des Sensors 2 erstreckt, und rotiert zwischen den zwei Detektionspositionen.
  • In der Figur zeigt die schwarzgefüllte grafische Darstellung dreidimensionale Informationen an, die mit dem Sensor 2 erfasst werden, und die offene grafische Darstellung zeigt einen Fall an, in dem die zweidimensionalen Informationen mit den erfassten dreidimensionalen Informationen überlagert werden, wie sie sind.
  • Gemäß der Objekterkennungsvorrichtung 1 dieser Ausführungsform kann die offene grafische Darstellung in die dreidimensionalen Informationen entsprechend jeder Position in den zweidimensionalen Informationen umgewandelt werden, indem die offene grafische Darstellung auf die Positionen der schwarzgefüllten grafischen Darstellung unter Verwendung des Änderungsbetrags in der Ausrichtung wiederhergestellt wird.
  • Mit anderen Worten gibt es dahingehend einen Vorteil, dass, sogar, wenn zweidimensionale Informationen und dreidimensionale Informationen des Objekts X in unterschiedlichen Richtungen erfasst werden, die Form, Position und Ausrichtung des Objekts X mit hoher Genauigkeit erkannt werden können, was es ermöglicht, den Zustand des Objekts X zu erkennen, während der Roboter 100 bei hoher Geschwindigkeit bewegt wird.
  • In diesem Fall gibt es dahingehend einen Vorteil, dass, weil das Objekt X erkannt wird, indem seine zweidimensionalen Informationen und dreidimensionalen Informationen kombiniert werden, der Betrag der dreidimensionalen Informationen, die zu verwenden sind, um den Zustand des Objekts X zu erkennen, auf das Minimum unterdrückt werden kann, verglichen mit einem Fall, in dem das Objekt X nur von dreidimensionalen Informationen erkannt wird, die aus einem riesigen Informationsbetrag bestehen, wodurch ermöglicht wird, die Speicherkapazität und den Betrag der Verarbeitung, die von dem Prozessor ausgeführt wird, dramatisch zu vermindern, und den Zustand des Objekts X in Echtzeit zu erkennen, sogar während der Roboter 100 bei hoher Geschwindigkeit bewegt wird.
  • Obgleich die zweidimensionalen Informationen bei der ersten Taktzeit erfasst werden, und die dreidimensionalen Informationen bei der späteren zweiten Taktzeit in dieser Ausführungsform erfasst werden, kann die Erfassungsreihenfolge umgekehrt werden.
  • Außerdem kann, obgleich diese Ausführungsform mittels eines Beispiels beschrieben worden ist, in dem zweidimensionale Informationen und dreidimensionale Informationen bei unterschiedlichen einzelnen Punkten erfasst werden, stattdessen die vorliegende Erfindung auf einen Fall angewandt werden, in dem das Objekt X bei einer Vielzahl von Positionen entlang der Bewegungsroute des Sensors 2, die aus dem Betrieb des Roboters 100 resultiert, erkannt wird.
  • In diesem Fall können, wie in 4 und 5 gezeigt, zweidimensionale Informationen und dreidimensionale Informationen abwechselnd in einer Zeitreihe erfasst werden, sodass dreidimensionale Informationen, die unter Verwendung der zweidimensionalen Informationen und dreidimensionalen Informationen, die bei benachbarten Taktzeiten erfasst werden, berechnet wurden, den zweidimensionalen Informationen zugewiesen werden.
  • Wie beispielsweise in 4 gezeigt, werden basierend auf den zweidimensionalen Informationen, die bei der ersten Taktzeit erfasst werden, und den dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, die dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, in dreidimensionale Informationen äquivalent den Informationen umgewandelt, die bei der ersten Taktzeit erfasst würden, und dann werden die umgewandelten dreidimensionalen Informationen den zweidimensionalen Informationen zugewiesen. Als Nächstes werden, wie in 5 gezeigt, basierend auf den dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, und den zweidimensionalen Informationen, die bei einer dritten Taktzeit erfasst werden, die dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, in dreidimensionale Informationen äquivalent den Informationen umgewandelt, die bei der dritten Taktzeit erfasst würden, und dann werden die umgewandelten dreidimensionalen Informationen den zweidimensionalen Informationen zugewiesen. Dadurch kann das Objekt ausführlicher erkannt werden, indem den dreidimensionalen Informationen, die von den dreidimensionalen Informationen umgewandelt wurden, die zwischen den zwei Posten von zweidimensionalen Informationen erfasst werden, den zwei Posten von zweidimensionalen Informationen zugewiesen werden.
  • Außerdem kann, obgleich eine Umwandlung ausgeführt wird, sodass dreidimensionalen Informationen zweidimensionale Informationen in dieser Ausführungsform zugewiesen werden, zusätzlich dazu eine Umwandlung ausgeführt werden, sodass zweidimensionale Informationen dreidimensionalen Informationen zugewiesen werden. Dadurch gibt es dahingehend einen Vorteil, dass zweidimensionale Informationen und dreidimensionale Informationen sowohl an der Erfassungsposition der zweidimensionalen Informationen als auch der Erfassungsposition der dreidimensionalen Informationen zugewiesen werden können, sodass das Objekt X ausführlicher entlang der Bewegungsroute des Sensors 2 erkannt werden kann, die aus dem Betrieb des Roboters 100 resultiert.
  • Außerdem kann, obgleich diese Ausführungsform mittels eines Beispiels beschrieben worden ist, in dem der Sensor 2 relativ zu dem Objekt X bewegt wird, wobei der Sensor 2 an dem Roboter 100 befestigt ist, stattdessen die vorliegende Erfindung auf einen Fall angewandt werden, in dem der Sensor 2 außerhalb des Roboters 100 fixiert ist, das Objekt X auf dem Roboter 100 montiert ist und das Objekt X relativ zu dem Sensor 2 bewegt wird, wie in 6 gezeigt.
  • Außerdem kann, obgleich diese Ausführungsform unter Annahme eines Falls beschrieben worden ist, in dem der Sensor 2 durch den Betrieb des Roboters 100 bewegt wird, stattdessen die vorliegende Erfindung auf einen Fall angewandt werden, in dem das Objekt X unter Verwendung eines Transportmechanismus wie einem Förderband bewegt wird, wobei der Sensor 2 unbewegt ist. In diesem Fall ist es ratsam, dass der Änderungsbetrag in der Ausrichtung basierend auf den Positionsinformationen (Informationen über die Verlagerung) des Objekts X berechnet wird, das von einem Positionssensor detektiert wird, wie ein Codierer, der in dem Transportmechanismus vorgesehen ist.
  • Überdies kann, obgleich diese Ausführungsform mittels eines Beispiels beschrieben worden ist, in dem der Sensor 2 von einem Sensor ausgeführt wird, der in der Lage ist, alternativ zwischen der Erfassung von zweidimensionalen Informationen und der Erfassung von dreidimensionalen Informationen umzuschalten, stattdessen ein zweidimensionaler Sensor zum Detektieren zweidimensionaler Informationen und ein dreidimensionaler Sensor zum Detektieren dreidimensionaler Informationen individuell vorgesehen sein und mit beiden Sensoren verwendet werden, die fixiert sind, sodass sie eine vorbestimmte Positionsbeziehung aufweisen.
  • Bezugszeichenliste
  • 1
    Objekterkennungsvorrichtung
    2
    Sensor (zweidimensionaler Sensor, dreidimensionaler Sensor)
    3
    Speicher (Speichereinheit)
    4
    Prozessor (arithmetische Betriebseinheit)
    100
    Roboter
    X
    Objekt

Claims (4)

  1. Objekterkennungsvorrichtung (1), umfassend: einen zweidimensionalen Sensor (2) zum Erfassen zweidimensionaler Informationen eines Objekts (X) bei einer ersten Taktzeit; einen dreidimensionalen Sensor (2) zum Erfassen dreidimensionaler Informationen des Objekts (X) bei einer zweiten Taktzeit; eine Speichereinheit (3), die eine erste Position des zweidimensionalen Sensors (2) bei der ersten Taktzeit und die zweidimensionalen Informationen zuweist und speichert und die eine zweite Position des dreidimensionalen Sensors (2) bei der zweiten Taktzeit und die dreidimensionalen Informationen zuweist und speichert; und eine arithmetische Betriebseinheit (4), die einen Änderungsbetrag in der Ausrichtung zwischen einer Ausrichtung des zweidimensionalen Sensors (2) an der ersten Position und einer Ausrichtung des dreidimensionalen Sensors (2) an der zweiten Position basierend auf der ersten Position und der zweiten Position, die in der Speichereinheit (3) gespeichert sind, berechnet, die die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in dreidimensionale Informationen, die an der ersten Position erfasst werden, basierend auf dem berechneten Änderungsbetrag in der Ausrichtung umwandelt, und die einen Zustand des Objekts (X) basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen berechnet.
  2. Objekterkennungsvorrichtung (1) nach Anspruch 1, wobei eine Vorrichtung zur Fixierung des Objekts (X) umfasst ist, der zweidimensionale Sensor (2) und der dreidimensionale Sensor (2) an einem Roboter (100) befestigt sind, und die arithmetische Betriebseinheit (4) dazu eingerichtet ist, die erste Position und die zweite Position basierend auf den Positionsinformationen des Roboters (100) bei der ersten Taktzeit und der zweiten Taktzeit zu berechnen.
  3. Objekterkennungsvorrichtung (1) nach Anspruch 1, wobei der zweidimensionale Sensor (2) und der dreidimensionale Sensor (2) fixiert sind, ein Transportmechanismus umfasst ist, der dazu eingerichtet ist, das Objekt (X) zu befördern, und die arithmetische Betriebseinheit (4) dazu eingerichtet ist, die erste Position und die zweite Position basierend auf Informationen über die Verlagerung des Transportmechanismus zwischen der ersten Taktzeit und der zweiten Taktzeit zu berechnen.
  4. Objekterkennungsvorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei der zweidimensionale und der dreidimensionale Sensor (2) dazu eingerichtet sind, die Erfassung der zweidimensionalen Informationen von dem zweidimensionalen Sensor (2) und die Erfassung von dreidimensionalen Informationen von dem dreidimensionalen Sensor (2) abwechselnd auszuführen, und die arithmetische Betriebseinheit (4) dazu eingerichtet ist, den Zustand des Objekts (X) basierend auf den zweidimensionalen Informationen und den dreidimensionalen Informationen, die bei angrenzenden Taktzeiten erfasst werden, zu berechnen.
DE102018109309.8A 2017-04-26 2018-04-19 Objekterkennungsvorrichtung Active DE102018109309B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017086870A JP6420404B1 (ja) 2017-04-26 2017-04-26 物体認識装置
JP2017-086870 2017-04-26

Publications (2)

Publication Number Publication Date
DE102018109309A1 DE102018109309A1 (de) 2018-10-31
DE102018109309B4 true DE102018109309B4 (de) 2020-06-25

Family

ID=63797630

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018109309.8A Active DE102018109309B4 (de) 2017-04-26 2018-04-19 Objekterkennungsvorrichtung

Country Status (4)

Country Link
US (1) US10339668B2 (de)
JP (1) JP6420404B1 (de)
CN (1) CN108805927B (de)
DE (1) DE102018109309B4 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
JPWO2021256437A1 (de) * 2020-06-18 2021-12-23
JPWO2022091290A1 (de) * 2020-10-29 2022-05-05

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110218675A1 (en) 2010-03-05 2011-09-08 Fanuc Corporation Robot system comprising visual sensor
EP2543483A1 (de) 2011-07-08 2013-01-09 Canon Kabushiki Kaisha Informationsverarbeitungsvorrichtung und Informationsverarbeitungsverfahren
JP2013101045A (ja) 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法
US20140176677A1 (en) 2005-09-09 2014-06-26 Industrial Research Limited 3D Scene Scanner and Position and Orientation System

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3859574B2 (ja) 2002-10-23 2006-12-20 ファナック株式会社 3次元視覚センサ
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 3次元計測装置、その計測方法及びプログラム
JP2012047460A (ja) 2010-08-24 2012-03-08 Sony Corp トルク検出装置およびロボット装置
JP5652239B2 (ja) * 2011-02-15 2015-01-14 株式会社豊田中央研究所 運動推定装置及びプログラム
JP6000579B2 (ja) 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
CN102788572B (zh) * 2012-07-10 2015-07-01 中联重科股份有限公司 一种工程机械吊钩姿态的测量方法、装置及系统
CN103175512B (zh) * 2013-03-08 2014-12-31 中国人民解放军国防科学技术大学 一种混凝土泵车臂架末端位置姿态的摄像测量方法
CN104517279A (zh) * 2013-11-14 2015-04-15 广东朗呈医疗器械科技有限公司 一种图像互相关比对方法
US9449397B2 (en) * 2014-10-15 2016-09-20 Caterpillar Inc. Real-time visual odometry system for determining motion of a machine with a range detection unit
US9727775B2 (en) * 2015-12-01 2017-08-08 Intel Corporation Method and system of curved object recognition using image matching for image processing
TWI607412B (zh) * 2016-09-10 2017-12-01 財團法人工業技術研究院 多維度尺寸量測系統及其方法
EP3392834B1 (de) * 2017-04-17 2019-12-25 HTC Corporation 3d-modell-rekonstruktionsverfahren, elektronische vorrichtung und nichttransitorisches computerlesbares speichermedium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140176677A1 (en) 2005-09-09 2014-06-26 Industrial Research Limited 3D Scene Scanner and Position and Orientation System
US20110218675A1 (en) 2010-03-05 2011-09-08 Fanuc Corporation Robot system comprising visual sensor
EP2543483A1 (de) 2011-07-08 2013-01-09 Canon Kabushiki Kaisha Informationsverarbeitungsvorrichtung und Informationsverarbeitungsverfahren
JP2013101045A (ja) 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法

Also Published As

Publication number Publication date
US10339668B2 (en) 2019-07-02
JP2018185219A (ja) 2018-11-22
CN108805927A (zh) 2018-11-13
JP6420404B1 (ja) 2018-11-07
DE102018109309A1 (de) 2018-10-31
US20180315210A1 (en) 2018-11-01
CN108805927B (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
DE102018109309B4 (de) Objekterkennungsvorrichtung
DE102015002760B4 (de) Robotersimulationssystem, das den Prozess des Entnehmens von Werkstücken simuliert
DE102014102943B4 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE69804128T2 (de) Kontaktlose lage- und orientierungsmessung
EP1711777B1 (de) Verfahren zur bestimmung der lage und der relativverschiebung eines objekts im raum
EP2037225B1 (de) Verfahren und Vorrichtung zum Bestimmen der Position eines Fahrzeugs, Computerprogramm und Computerprogrammprodukt
DE102018111370B4 (de) Werkstückaufnahmesystem
DE102019108787A1 (de) Handsteuerungsvorrichtung und Handsteuerungssystem
DE102018101375A1 (de) Artikelbeförderungsvorrichtung, die mindestens einen Sensor nutzt
DE102018121481A1 (de) Entfernungsmesssystem und Entfernungsmessverfahren
DE10026201A1 (de) Vorrichtung für die Bestimmung der Position eines Gegenstandes in einem OXZ-Bezugssystem
DE102015000587A1 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE102019101005B4 (de) Objektfördersystem
DE69829091T2 (de) Messungsgerät
DE68905290T2 (de) Verfahren zur messung der positionsentwicklung eines fahrzeugs im bezug auf eine oberflaeche.
DE102021103726A1 (de) Messparameter-Optimierungsverfahren und -Vorrichtung sowie Computersteuerprogramm
DE102017222706B4 (de) Programmierhandgerät und damit versehenes Robotersystem
DE4040794A1 (de) Verfahren und lagegeber zur lagebestimmung eines positionierkoerpers relativ zu einem bezugskoerper
DE3730396A1 (de) Verfahren und vorrichtung zur beruehrungslosen bestimmung der backenposition am greifer eines handhabungsautomaten
DE102019201696B4 (de) Steuerung einer Bearbeitungsmaschine
DE102018105922B4 (de) Anordnung zur Erfassung der Relativlage eines Messkopfes
DE102007038785A1 (de) Verfahren und Vorrichtung zum Bestimmen von Geometriedaten eines Messobjekts
EP2902963B1 (de) Verfahren zur Herstellung eines Abbilds eines Gegenstands
DE102007007574B3 (de) Verfahren zum Ermitteln von Messstellen
EP2590139A1 (de) Verfahren und Apparat zur flächenhaften optischen dreidimensionalen Messung von Oberflächentopographien

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final