DE102018109309A1 - Objekterkennungsvorrichtung - Google Patents

Objekterkennungsvorrichtung

Info

Publication number
DE102018109309A1
DE102018109309A1 DE102018109309.8A DE102018109309A DE102018109309A1 DE 102018109309 A1 DE102018109309 A1 DE 102018109309A1 DE 102018109309 A DE102018109309 A DE 102018109309A DE 102018109309 A1 DE102018109309 A1 DE 102018109309A1
Authority
DE
Germany
Prior art keywords
dimensional
position
dimensional information
object
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102018109309.8A
Other languages
English (en)
Inventor
Shouta TAKIZAWA
Junichirou Yoshida
Fumikazu Warashina
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017086870A priority Critical patent/JP6420404B1/ja
Priority to JP2017-086870 priority
Application filed by FANUC Corp filed Critical FANUC Corp
Publication of DE102018109309A1 publication Critical patent/DE102018109309A1/de
Granted legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00201Recognising three-dimensional objects, e.g. using range or tactile information
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/19Recognition of objects for industrial automation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

Der Zustand eines Objekts wird mit hoher Genauigkeit berechnet, sogar, wenn sich ein Sensor relativ zu dem Objekt bewegt oder sich das Objekt relativ zu dem Sensor bewegt. Bereitgestellt wird eine Objekterkennungsvorrichtung 1, umfassend: einen zweidimensionalen Sensor 2 zum Erfassen zweidimensionaler Informationen eines Objekts X bei einer ersten Taktzeit; einen dreidimensionalen Sensor 2 zum Erfassen dreidimensionaler Informationen des Objekts X bei einer zweiten Taktzeit; eine Speichereinheit 3, die eine erste Position des zweidimensionalen Sensors 2 bei der ersten Taktzeit und die zweidimensionalen Informationen zuweist und speichert, sowie eine zweite Position des dreidimensionalen Sensors 2 bei einer zweiten Taktzeit und die dreidimensionalen Informationen; eine arithmetische Betriebseinheit 4, die den Änderungsbetrag in der Ausrichtung zwischen der Ausrichtung des zweidimensionalen Sensors 2 an der ersten Position und der Ausrichtung des dreidimensionalen Sensors

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung.
  • STAND DER TECHNIK
  • Bekannt ist eine Technologie, in der dreidimensionale Informationen eines Objekts erfasst werden, indem ein Muster auf das Objekt projiziert wird und ein Bild erfasst wird, zweidimensionale Informationen des Objekts erfasst werden, indem ein Bild erfasst wird ohne ein Muster zu projizieren, und die Position und Ausrichtung des Objekts erhalten werden, indem die erfassten zweidimensionalen Informationen und dreidimensionalen Informationen kombiniert werden (siehe beispielsweise Patentliteratur PTL 1).
  • ENTGEGENHALTUNGSLISTE
  • PATENTLITERATUR
  • PTL 1 Ungeprüfte japanische Patentanmeldung, Veröffentlichung Nr. 2013-101045
  • KURZDARSTELLUNG DER ERFINDUNG
  • TECHNISCHE AUFGABE
  • Zweidimensionale Informationen und dreidimensionale Informationen können bedauerlicherweise jedoch nicht gleichzeitig mit der Technologie von Patentliteratur PTL 1 erfasst werden, und somit werden, wenn sich der zweidimensionale Sensor und der dreidimensionale Sensor relativ zu dem Objekt bewegen oder sich das Objekt relativ zu dem zweidimensionalen Sensor und dem dreidimensionalen Sensor bewegt, die zweidimensionalen Informationen und dreidimensionalen Informationen an unterschiedlichen Positionen erfasst, was es unmöglich macht, die Position und Ausrichtung des Objekts mit hoher Genauigkeit zu erfassen.
  • Die vorliegende Erfindung ist angesichts der zuvor beschriebenen Umstände gemacht worden, und eine ihrer Aufgaben ist es, eine Objekterkennungsvorrichtung vorzusehen, die in der Lage ist, die Position und Ausrichtung eines Objekts mit hoher Genauigkeit zu berechnen, sogar, wenn sich das Objekt relativ zu dem Sensor bewegt oder sich der Sensor relativ zu dem Objekt bewegt.
  • LÖSUNG DER AUFGABE
  • Um die zuvor beschriebene Aufgabe zu erfüllen, stellt die vorliegende Erfindung die folgenden Lösungen bereit.
  • Ein Aspekt der vorliegenden Erfindung ist eine Objekterkennungsvorrichtung, umfassend: einen zweidimensionalen Sensor zum Erfassen zweidimensionaler Informationen eines Objekts bei einer ersten Taktzeit; einen dreidimensionalen Sensor zum Erfassen dreidimensionaler Informationen des Objekts bei einer zweiten Taktzeit; eine Speichereinheit, die eine erste Position des Objekts oder des zweidimensionalen Sensors bei der ersten Taktzeit und die zweidimensionalen Informationen zuweist und speichert und die eine zweite Position des Objekts oder des dreidimensionalen Sensors bei der zweiten Taktzeit und die dreidimensionalen Informationen zuweist und speichert; und eine arithmetische Betriebseinheit, die den Änderungsbetrag in der Ausrichtung zwischen der Ausrichtung des zweidimensionalen Sensors an der ersten Position und der Ausrichtung des dreidimensionalen Sensors an der zweiten Position basierend auf der ersten Position und der zweiten Position berechnet, die in der Speichereinheit gespeichert sind, die die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in dreidimensionale Informationen umwandelt, die an der ersten Position basierend auf dem berechneten Änderungsbetrag in der Ausrichtung erfasst werden, und die einen Zustand des Objekts basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen berechnet.
  • Gemäß diesem Aspekt werden die zweidimensionalen Informationen des Objekts, die von dem zweidimensionalen Sensor bei der ersten Taktzeit erfasst werden, in der Speichereinheit gespeichert, sodass sie der ersten Position des zweidimensionalen Sensors bei der ersten Taktzeit zugewiesen werden, und die dreidimensionalen Informationen des Objekts, die von dem dreidimensionalen Sensor bei der zweiten Taktzeit erfasst werden, werden in der Speichereinheit gespeichert, sodass sie der zweiten Position des dreidimensionalen Sensors bei der zweiten Taktzeit zugewiesen werden.
  • Die arithmetische Betriebseinheit berechnet den Änderungsbetrag in der Ausrichtung zwischen der Ausrichtung des zweidimensionalen Sensors an der ersten Position und der Ausrichtung des dreidimensionalen Sensors an der zweiten Position, wandelt die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in die dreidimensionalen Informationen um, die an der ersten Position basierend auf dem berechneten Änderungsbetrag in der Ausrichtung erfasst werden, und berechnet den Zustand des Objekts basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen.
  • In einem Fall, in dem zweidimensionale Informationen und dreidimensionale Informationen nacheinander bei unterschiedlichen Taktzeiten erfasst werden, während entweder das Objekts oder der zweidimensionale Sensor und der dreidimensionale Sensor relativ zueinander bewegt werden, werden die zweidimensionalen Informationen und dreidimensionalen Informationen in unterschiedlichen Richtungen des Objekts erfasst. Gemäß diesem Aspekt können, weil die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in dreidimensionale Informationen umgewandelt werden, die an der ersten Position erfasst werden, indem der Änderungsbetrag in der Ausrichtung zwischen dem zweidimensionalen Sensor und dem dreidimensionalen Sensor berechnet werden, die zweidimensionalen Informationen und die dreidimensionalen Informationen im Wesentlichen gleich zu den Informationen gemacht werden, die erfasst würden, wenn das Objekt in der gleichen Richtung betrachtet würde, was es somit auf dieser Basis ermöglichen würde, mindestens einen Zustand der Form, der Position und der Ausrichtung des Objekts mit hoher Genauigkeit zu berechnen.
  • Gemäß dem zuvor beschriebenen Aspekt kann das Objekt fixiert sein, der zweidimensionale Sensor und der dreidimensionale Sensor können an einen Roboter befestigt sein, und die erste Position und die zweite Position können basierend auf den Positionsinformationen des Roboters bei der ersten Taktzeit und der zweiten Taktzeit berechnet werden.
  • Dadurch bewegen sich der zweidimensionale Sensor und der dreidimensionale Sensor als Folge davon, dass der Roboter betrieben wird, und somit können, wenn die Positionsinformationen des Roboters bei der ersten Taktzeit und der zweiten Taktzeit erfasst werden können, die erste Position und die zweite Position mit hoher Genauigkeit berechnet werden, wodurch es möglich wird, den Zustand des Objekts mit hoher Genauigkeit zu berechnen.
  • Außerdem können gemäß dem zuvor beschriebenen Aspekt der zweidimensionale Sensor und der dreidimensionale Sensor fixiert sein, das Objekt kann von einem Transportmechanismus befördert werden, und die erste Position und die zweite Position können basierend auf Informationen über die Verlagerung des Transportmechanismus zwischen der ersten Taktzeit und der zweiten Taktzeit berechnet werden.
  • Obgleich sich die erste Position und die zweite Position als Ergebnis davon ändern, dass das Objekt von dem Transportmechanismus relativ zu dem fixierten zweidimensionalen Sensor und dreidimensionalen Sensor befördert wird, können dadurch die erste Position und die zweite Position mit hoher Genauigkeit berechnet werden, und somit kann der Zustand des Objekts mit hoher Genauigkeit berechnet werden, wenn Informationen über das Verlagern des Transportmechanismus erfasst werden können.
  • Zusätzlich können gemäß dem zuvor beschriebenen Aspekt das Erfassen der zweidimensionalen Informationen von dem zweidimensionalen Sensor und das Erfassen von dreidimensionalen Informationen von dem dreidimensionalen Sensor abwechselnd ausgeführt werden, und die arithmetische Betriebseinheit kann den Zustand des Objekts basierend auf den zweidimensionalen Informationen und den dreidimensionalen Informationen berechnen, die bei angrenzenden Taktzeiten erfasst werden.
  • Dadurch können als dreidimensionale Informationen, die den zweidimensionalen Informationen zuzuweisen sind, die bei jeder ersten Position erfasst werden, die dreidimensionalen Informationen verwendet werden, die bei einer näheren zweiten Position erfasst werden. Folglich können die Zeitintervalle, bei denen zweidimensionale Informationen erfasst werden, kurz gehalten werden, sodass der Zustand des Objekts ausführlicher entlang der Route der relativen Bewegung zwischen dem Objekt und dem zweidimensionalen Sensor und zwischen dem Objekt und dem dreidimensionalen Sensor erkannt werden kann.
  • VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
  • Die vorliegende Erfindung bietet dahingehend einen Vorteil, dass die Position und Ausrichtung eines Objekts mit hoher Genauigkeit berechnet werden können, sogar wenn sich ein Sensor relativ zu dem Objekt bewegt, oder sich das Objekt relativ zu dem Sensor bewegt.
  • Figurenliste
    • 1 ist ein Blockdiagramm, das eine Objekterkennungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
    • 2 ist eine perspektivische Ansicht, die einen Fall zeigt, in dem ein Objekt erkannt wird, indem ein Sensor der Objekterkennungsvorrichtung von 1 auf einem Roboter montiert ist.
    • 3 ist eine Abbildung zum Veranschaulichen der Erkennung eines Objekts unter Verwendung der Objekterkennungsvorrichtung von 1.
    • 4 ist eine Abbildung zum Veranschaulichen der Erkennung eines Objekts unter Verwendung einer ersten Abwandlung der Objekterkennungsvorrichtung von 1.
    • 5 ist eine Abbildung, fortgesetzt von 4, zum Veranschaulichen der Erkennung des Objekts.
    • 6 ist eine perspektivische Ansicht, die einen Fall zeigt, in dem Erkennung in einem Zustand ausgeführt wird, in dem der Sensor der Objekterkennungsvorrichtung von 1 fixiert ist und das Objekt an dem Roboter befestigt ist.
  • BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
  • Eine Objekterkennungsvorrichtung 1 gemäß einer Ausführungsform der vorliegenden Erfindung wird nun mit Bezug auf die Zeichnungen beschrieben.
  • Wie in 1 gezeigt, umfasst die Objekterkennungsvorrichtung 1 gemäß dieser Ausführungsform: einen Sensor (zweidimensionaler Sensor und dreidimensionaler Sensor) 2, der an dem Ende des Handgelenks eines Roboters 100 befestigt ist, und der bei unterschiedlichen Taktzeiten zweidimensionale Informationen und dreidimensionale Informationen eines Objekts X erfasst, der außerhalb des Roboters 100 fixiert ist; einen Speicher (Speichereinheit) 3 zum Speichern der zweidimensionalen Informationen und der dreidimensionalen Informationen des Objekts X, die von dem Sensor 2 bei jeweiligen Taktzeiten erfasst werden, sodass sie den Roboterpositionsinformationen (nachfolgend einfach als Positionsinformationen bezeichnet) des Roboters 100 bei den jeweiligen Taktzeiten zugewiesen sind; und einen Prozessor (arithmetische Betriebseinheit) 4 zum Erkennen mindestens einer, der Form, der Position oder der Ausrichtung des Objekts X basierend auf den zweidimensionalen Informationen, den dreidimensionalen Informationen und den Positionsinformationen des Roboters 100, die in dem Speicher 3 gespeichert sind. In der Figur bezeichnet das Bezugszeichen 110 eine Steuereinheit, die den Roboter 100 steuert, und die die Positionsinformationen an den Speicher 3 übermittelt.
  • Der Sensor 2 wendet ein Verfahren an, das in der Lage ist, eines zur Zeit, die zweidimensionalen Informationen oder die dreidimensionalen Informationen, selektiv zu erfassen. Daher können zweidimensionale Informationen und dreidimensionale Informationen des Objekts X nicht in der gleichen Richtung erfasst werden, nämlich werden Informationen nur in unterschiedlichen Richtungen erfasst, in einem Fall, in dem solche Informationen erfasst werden, während der Roboter 100 betrieben und bewegt wird. Der Sensor 2 erfasst ein zweidimensionales Bild als die zweidimensionalen Informationen, und Abstandsinformationen als die dreidimensionalen Informationen.
  • Der Prozessor 4 berechnet die Position des Sensors 2, wenn zweidimensionale Informationen erfasst wurden (erste Position), und die Position des Sensors 2, wenn dreidimensionale Informationen erfasst wurden (zweite Position), basierend auf den Positionsinformationen des Roboters 100, die in dem Speicher 3 gespeichert wurden, als die zweidimensionalen Informationen und die dreidimensionalen Informationen erfasst wurden, und berechnet basierend auf den erhaltenen zwei Positionen den Änderungsbetrag in der Ausrichtung des Sensors 2 zwischen den zwei Positionen. Der Änderungsbetrag in der Ausrichtung wird beispielsweise von dem Betrag der Verschiebung in der Form einer 4 x 4 Matrix berechnet, die die Rotationsbeträge in drei Richtungen enthält.
  • Der Prozessor 4 wandelt die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in dreidimensionale Informationen entsprechend der ersten Position um, indem er den berechneten Änderungsbetrag in der Ausrichtung mit dreidimensionalen Informationen multipliziert, die in dem Speicher 3 gespeichert sind. Dann berechnet der Prozessor 4 den Zustand des Objekts X, der mindestens aus einer, der Form, Position und Ausrichtung des Objekts X basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen zusammengesetzt ist.
  • Gemäß der Objekterkennungsvorrichtung 1 dieser Ausführungsform mit der zuvor beschriebenen Struktur gibt es dahingehend einen Vorteil, dass, während der Sensor 2 mit dem Roboter 100 durch die Steuerung des Roboters 100 unter Verwendung der Steuereinheit 110 bewegt wird, wie in 2 gezeigt, die dreidimensionalen Informationen, die bei einer unterschiedlichen Taktzeit erfasst werden, als der Taktzeit, bei der die zweidimensionalen Informationen erfasst werden, basierend auf dem Änderungsbetrag in der Ausrichtung des Sensors 2 in dreidimensionale Informationen umgewandelt werden, die an der ersten Position erfasst würden, bei der die zweidimensionalen Informationen erfasst werden, und daher kann der Zustand des Objekts X mit hoher Genauigkeit erkannt werden, indem die zweidimensionalen Informationen, die planare Informationen sind, den dreidimensionalen Informationen, die stereoskopische Informationen sind, mit hoher Genauigkeit zugewiesen werden.
  • Wie beispielsweise in 3 gezeigt, verschiebt sich, wenn zweidimensionale Informationen einer Fläche, umfassend das Objekt X, bei einer ersten Taktzeit von schräg über dem Objekt X erfasst werden, und danach dreidimensionale Informationen der Fläche, umfassend das Objekt X, bei einer zweiten Taktzeit von vertikal über dem Objekt X erfasst werden, nachdem sich der Sensor 2 mit dem Roboter 100 bewegt hat, die gerade Linie (Sichtlinie (LOS)), die sich in der Detektionsrichtung des Sensors 2 erstreckt, und rotiert zwischen den zwei Detektionspositionen.
  • In der Figur zeigt die schwarzgefüllte grafische Darstellung dreidimensionale Informationen an, die mit dem Sensor 2 erfasst werden, und die offene grafische Darstellung zeigt einen Fall an, in dem die zweidimensionalen Informationen mit den erfassten dreidimensionalen Informationen überlagert werden, wie sie sind.
  • Gemäß der Objekterkennungsvorrichtung 1 dieser Ausführungsform kann die offene grafische Darstellung in die dreidimensionalen Informationen entsprechend jeder Position in den zweidimensionalen Informationen umgewandelt werden, indem die offene grafische Darstellung auf die Positionen der schwarzgefüllten grafischen Darstellung unter Verwendung des Änderungsbetrags in der Ausrichtung wiederhergestellt wird.
  • Mit anderen Worten gibt es dahingehend einen Vorteil, dass, sogar, wenn zweidimensionale Informationen und dreidimensionale Informationen des Objekts X in unterschiedlichen Richtungen erfasst werden, die Form, Position und Ausrichtung des Objekts X mit hoher Genauigkeit erkannt werden können, was es ermöglicht, den Zustand des Objekts X zu erkennen, während der Roboter 100 bei hoher Geschwindigkeit bewegt wird.
  • In diesem Fall gibt es dahingehend einen Vorteil, dass, weil das Objekt X erkannt wird, indem seine zweidimensionalen Informationen und dreidimensionalen Informationen kombiniert werden, der Betrag der dreidimensionalen Informationen, die zu verwenden sind, um den Zustand des Objekts X zu erkennen, auf das Minimum unterdrückt werden kann, verglichen mit einem Fall, in dem das Objekt X nur von dreidimensionalen Informationen erkannt wird, die aus einem riesigen Informationsbetrag bestehen, wodurch ermöglicht wird, die Speicherkapazität und den Betrag der Verarbeitung, die von dem Prozessor ausgeführt wird, dramatisch zu vermindern, und den Zustand des Objekts X in Echtzeit zu erkennen, sogar während der Roboter 100 bei hoher Geschwindigkeit bewegt wird.
  • Obgleich die zweidimensionalen Informationen bei der ersten Taktzeit erfasst werden, und die dreidimensionalen Informationen bei der späteren zweiten Taktzeit in dieser Ausführungsform erfasst werden, kann die Erfassungsreihenfolge umgekehrt werden.
  • Außerdem kann, obgleich diese Ausführungsform mittels eines Beispiels beschrieben worden ist, in dem zweidimensionale Informationen und dreidimensionale Informationen bei unterschiedlichen einzelnen Punkten erfasst werden, stattdessen die vorliegende Erfindung auf einen Fall angewandt werden, in dem das Objekt X bei einer Vielzahl von Positionen entlang der Bewegungsroute des Sensors 2, die aus dem Betrieb des Roboters 100 resultiert, erkannt wird.
  • In diesem Fall können, wie in 4 und 5 gezeigt, zweidimensionale Informationen und dreidimensionale Informationen abwechselnd in einer Zeitreihe erfasst werden, sodass dreidimensionale Informationen, die unter Verwendung der zweidimensionalen Informationen und dreidimensionalen Informationen, die bei benachbarten Taktzeiten erfasst werden, berechnet wurden, den zweidimensionalen Informationen zugewiesen werden.
  • Wie beispielsweise in 4 gezeigt, werden basierend auf den zweidimensionalen Informationen, die bei der ersten Taktzeit erfasst werden, und den dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, die dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, in dreidimensionale Informationen äquivalent den Informationen umgewandelt, die bei der ersten Taktzeit erfasst würden, und dann werden die umgewandelten dreidimensionalen Informationen den zweidimensionalen Informationen zugewiesen. Als Nächstes werden, wie in 5 gezeigt, basierend auf den dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, und den zweidimensionalen Informationen, die bei einer dritten Taktzeit erfasst werden, die dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, in dreidimensionale Informationen äquivalent den Informationen umgewandelt, die bei der dritten Taktzeit erfasst würden, und dann werden die umgewandelten dreidimensionalen Informationen den zweidimensionalen Informationen zugewiesen. Dadurch kann das Objekt ausführlicher erkannt werden, indem den dreidimensionalen Informationen, die von den dreidimensionalen Informationen umgewandelt wurden, die zwischen den zwei Posten von zweidimensionalen Informationen erfasst werden, den zwei Posten von zweidimensionalen Informationen zugewiesen werden.
  • Außerdem kann, obgleich eine Umwandlung ausgeführt wird, sodass dreidimensionalen Informationen zweidimensionale Informationen in dieser Ausführungsform zugewiesen werden, zusätzlich dazu eine Umwandlung ausgeführt werden, sodass zweidimensionale Informationen dreidimensionalen Informationen zugewiesen werden. Dadurch gibt es dahingehend einen Vorteil, dass zweidimensionale Informationen und dreidimensionale Informationen sowohl an der Erfassungsposition der zweidimensionalen Informationen als auch der Erfassungsposition der dreidimensionalen Informationen zugewiesen werden können, sodass das Objekt X ausführlicher entlang der Bewegungsroute des Sensors 2 erkannt werden kann, die aus dem Betrieb des Roboters 100 resultiert.
  • Außerdem kann, obgleich diese Ausführungsform mittels eines Beispiels beschrieben worden ist, in dem der Sensor 2 relativ zu dem Objekt X bewegt wird, wobei der Sensor 2 an dem Roboter 100 befestigt ist, stattdessen die vorliegende Erfindung auf einen Fall angewandt werden, in dem der Sensor 2 außerhalb des Roboters 100 fixiert ist, das Objekt X auf dem Roboter 100 montiert ist und das Objekt X relativ zu dem Sensor 2 bewegt wird, wie in 6 gezeigt.
  • Außerdem kann, obgleich diese Ausführungsform unter Annahme eines Falls beschrieben worden ist, in dem der Sensor 2 durch den Betrieb des Roboters 100 bewegt wird, stattdessen die vorliegende Erfindung auf einen Fall angewandt werden, in dem das Objekt X unter Verwendung eines Transportmechanismus wie einem Förderband bewegt wird, wobei der Sensor 2 unbewegt ist. In diesem Fall ist es ratsam, dass der Änderungsbetrag in der Ausrichtung basierend auf den Positionsinformationen (Informationen über die Verlagerung) des Objekts X berechnet wird, das von einem Positionssensor detektiert wird, wie ein Codierer, der in dem Transportmechanismus vorgesehen ist.
  • Überdies kann, obgleich diese Ausführungsform mittels eines Beispiels beschrieben worden ist, in dem der Sensor 2 von einem Sensor ausgeführt wird, der in der Lage ist, alternativ zwischen der Erfassung von zweidimensionalen Informationen und der Erfassung von dreidimensionalen Informationen umzuschalten, stattdessen ein zweidimensionaler Sensor zum Detektieren zweidimensionaler Informationen und ein dreidimensionaler Sensor zum Detektieren dreidimensionaler Informationen individuell vorgesehen sein und mit beiden Sensoren verwendet werden, die fixiert sind, sodass sie eine vorbestimmte Positionsbeziehung aufweisen.
  • Bezugszeichenliste
  • 1
    Objekterkennungsvorrichtung
    2
    Sensor (zweidimensionaler Sensor, dreidimensionaler Sensor)
    3
    Speicher (Speichereinheit)
    4
    Prozessor (arithmetische Betriebseinheit)
    100
    Roboter
    X
    Objekt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2013101045 [0003]

Claims (4)

  1. Objekterkennungsvorrichtung, umfassend: einen zweidimensionalen Sensor zum Erfassen zweidimensionaler Informationen eines Objekts bei einer ersten Taktzeit; einen dreidimensionalen Sensor zum Erfassen dreidimensionaler Infrmationen des Objekts bei einer zweiten Taktzeit; eine Speichereinheit, die eine erste Position des zweidimensionalen Sensors bei der ersten Taktzeit und die zweidimensionalen Informationen zuweist und speichert und die eine zweite Position des dreidimensionalen Sensors bei der zweiten Taktzeit und die dreidimensionalen Informationen zuweist und speichert; und eine arithmetische Betriebseinheit, die den Änderungsbetrag in der Ausrichtung zwischen der Ausrichtung des zweidimensionalen Sensors an der ersten Position und der Ausrichtung des dreidimensionalen Sensors an der zweiten Position basierend auf der ersten Position und der zweiten Position, die in der Speichereinheit gespeichert sind, berechnet, die die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in dreidimensionale Informationen, die an der ersten Position erfasst werden, basierend auf dem berechneten Änderungsbetrag in der Ausrichtung umwandelt, und die einen Zustand des Objekts basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen berechnet.
  2. Objekterkennungsvorrichtung nach Anspruch 1, wobei das Objekt fixiert ist, der zweidimensionale Sensor und der dreidimensionale Sensor an einem Roboter befestigt sind, und die erste Position und die zweite Position basierend auf den Positionsinformationen des Roboters bei der ersten Taktzeit und der zweiten Taktzeit berechnet werden.
  3. Objekterkennungsvorrichtung nach Anspruch 1, wobei der zweidimensionale Sensor und der dreidimensionale Sensor fixiert sind, das Objekt von einem Transportmechanismus befördert wird, und die erste Position und die zweite Position basierend auf Informationen über die Verlagerung des Transportmechanismus zwischen der ersten Taktzeit und der zweiten Taktzeit berechnet werden.
  4. Objekterkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Erfassung der zweidimensionalen Informationen von dem zweidimensionalen Sensor und die Erfassung von dreidimensionalen Informationen von dem dreidimensionalen Sensor abwechselnd ausgeführt werden, und die arithmetische Betriebseinheit den Zustand des Objekts basierend auf den zweidimensionalen Informationen und den dreidimensionalen Informationen, die bei angrenzenden Taktzeiten erfasst werden, berechnet.
DE102018109309.8A 2017-04-26 2018-04-19 Objekterkennungsvorrichtung Granted DE102018109309A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017086870A JP6420404B1 (ja) 2017-04-26 2017-04-26 物体認識装置
JP2017-086870 2017-04-26

Publications (1)

Publication Number Publication Date
DE102018109309A1 true DE102018109309A1 (de) 2018-10-31

Family

ID=63797630

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018109309.8A Granted DE102018109309A1 (de) 2017-04-26 2018-04-19 Objekterkennungsvorrichtung

Country Status (4)

Country Link
US (1) US10339668B2 (de)
JP (1) JP6420404B1 (de)
CN (1) CN108805927B (de)
DE (1) DE102018109309A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101045A (ja) 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3859574B2 (ja) 2002-10-23 2006-12-20 ファナック株式会社 3次元視覚センサ
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 3次元計測装置、その計測方法及びプログラム
JP4837116B2 (ja) 2010-03-05 2011-12-14 ファナック株式会社 視覚センサを備えたロボットシステム
JP2012047460A (ja) 2010-08-24 2012-03-08 Sony Corp トルク検出装置およびロボット装置
JP5652239B2 (ja) * 2011-02-15 2015-01-14 株式会社豊田中央研究所 運動推定装置及びプログラム
US9279661B2 (en) 2011-07-08 2016-03-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP6000579B2 (ja) 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
CN102788572B (zh) * 2012-07-10 2015-07-01 中联重科股份有限公司 一种工程机械吊钩姿态的测量方法、装置及系统
CN103175512B (zh) * 2013-03-08 2014-12-31 中国人民解放军国防科学技术大学 一种混凝土泵车臂架末端位置姿态的摄像测量方法
CN104517279A (zh) * 2013-11-14 2015-04-15 广东朗呈医疗器械科技有限公司 一种图像互相关比对方法
US9449397B2 (en) * 2014-10-15 2016-09-20 Caterpillar Inc. Real-time visual odometry system for determining motion of a machine with a range detection unit
US9727775B2 (en) 2015-12-01 2017-08-08 Intel Corporation Method and system of curved object recognition using image matching for image processing
TWI607412B (zh) * 2016-09-10 2017-12-01 財團法人工業技術研究院 多維度尺寸量測系統及其方法
EP3392834B1 (de) * 2017-04-17 2019-12-25 HTC Corporation 3d-modell-rekonstruktionsverfahren, elektronische vorrichtung und nichttransitorisches computerlesbares speichermedium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101045A (ja) 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法

Also Published As

Publication number Publication date
JP6420404B1 (ja) 2018-11-07
US20180315210A1 (en) 2018-11-01
CN108805927A (zh) 2018-11-13
JP2018185219A (ja) 2018-11-22
CN108805927B (zh) 2019-11-19
US10339668B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
JP5642759B2 (ja) 物品取出装置及び物品取出方法
US10562182B2 (en) Robot, robot system, control device, and control method
CN103020952B (zh) 信息处理设备和信息处理方法
CN105858188B (zh) 具备三维传感器的搬运机器人系统
US9604365B2 (en) Device and method of transferring articles by using robot
US9025857B2 (en) Three-dimensional measurement apparatus, measurement method therefor, and computer-readable storage medium
JP2927955B2 (ja) 実時間三次元感知装置
EP2132523B1 (de) Verfahren und einrichtung zur exakten messung von objekten
DE102014005758B4 (de) Robotersystem, aufweisend einen Roboter zur Beförderung eines Werkstücks
DE112013003338B4 (de) Größenmessvorrichtung und Größenmessverfahren
WO2012066769A1 (en) Information processing apparatus and information processing method
CN102785238B (zh) 机器人系统
KR100693262B1 (ko) 화상 처리 장치
JP5754454B2 (ja) ロボットピッキングシステム及び被加工物の製造方法
Calandra et al. The feeling of success: Does touch sensing help predict grasp outcomes?
Hu et al. A sliding-window visual-IMU odometer based on tri-focal tensor geometry
DE102010022357B4 (de) Roboteranordnung zum Aufnehmen von Gegenständen und Ablegen der Gegenstände in Behälter
JP2012141962A (ja) 位置姿勢計測装置及び位置姿勢計測方法
JP5786896B2 (ja) ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
JP6486114B2 (ja) 荷役装置
WO2014166650A1 (de) Lager- und kommissioniersystem zum vollautomatisierten erkennen und kommissionieren von artikeln
KR101553653B1 (ko) 로봇의 슬립 감지 장치 및 방법
JP2009008662A (ja) センサ及びビデオ三角測量を共同使用する物体の検出
US9233469B2 (en) Robotic system with 3D box location functionality
EP2275990A1 (de) 3D-Sensor

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division