-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung.
-
STAND DER TECHNIK
-
Bekannt ist eine Technologie, in der dreidimensionale Informationen eines Objekts erfasst werden, indem ein Muster auf das Objekt projiziert wird und ein Bild erfasst wird, zweidimensionale Informationen des Objekts erfasst werden, indem ein Bild erfasst wird ohne ein Muster zu projizieren, und die Position und Ausrichtung des Objekts erhalten werden, indem die erfassten zweidimensionalen Informationen und dreidimensionalen Informationen kombiniert werden (siehe beispielsweise
JP 2013-101045 A ).
-
Aus
US 2014/0176677 A1 ,
EP 2 543 483 A1 und
US 2011/0218675 A1 ist jeweils der Einsatz von 2D- und/oder 3D-Sensoren zur Erfassung von Objekten im Zusammenhang mit einer gegebenenfalls auf Roboter gestützten Handhabung von Objekten bekannt. In diesen Druckschriften wird außerdem auf die technische Fragestellung eingegangen, die sich daraus ergibt, dass eine Information über eine Ausrichtung der 2D-/ 3D-Sensoren oder der zu erfassenden Objekte nicht exakt für die Zeitpunkte vorliegt, zu denen die Sensoren das Objekt erfassen.
-
KURZDARSTELLUNG DER ERFINDUNG
-
TECHNISCHE AUFGABE
-
Zweidimensionale Informationen und dreidimensionale Informationen können bedauerlicherweise jedoch nicht gleichzeitig mit der aus
JP 2013-101045 A bekannten Technologie erfasst werden, und somit werden, wenn sich der zweidimensionale Sensor und der dreidimensionale Sensor relativ zu dem Objekt bewegen oder sich das Objekt relativ zu dem zweidimensionalen Sensor und dem dreidimensionalen Sensor bewegt, die zweidimensionalen Informationen und dreidimensionalen Informationen an unterschiedlichen Positionen erfasst, was es unmöglich macht, die Position und Ausrichtung des Objekts mit hoher Genauigkeit zu erfassen.
-
Es ist Aufgabe der Erfindung, eine Objekterkennungsvorrichtung anzugeben, die in der Lage ist, die Position und Ausrichtung eines Objekts mit hoher Genauigkeit zu berechnen, sogar, wenn sich das Objekt relativ zu dem Sensor bewegt oder sich der Sensor relativ zu dem Objekt bewegt.
-
LÖSUNG DER AUFGABE
-
Die Aufgabe wird gelöst durch eine Objekterkennungsvorrichtung, umfassend: einen zweidimensionalen Sensor zum Erfassen zweidimensionaler Informationen eines Objekts bei einer ersten Taktzeit; einen dreidimensionalen Sensor zum Erfassen dreidimensionaler Informationen des Objekts bei einer zweiten Taktzeit; eine Speichereinheit, die eine erste Position des zweidimensionalen Sensors bei der ersten Taktzeit und die zweidimensionalen Informationen zuweist und speichert und die eine zweite Position des dreidimensionalen Sensors bei der zweiten Taktzeit und die dreidimensionalen Informationen zuweist und speichert; und eine arithmetische Betriebseinheit, die einen Änderungsbetrag in der Ausrichtung zwischen einer Ausrichtung des zweidimensionalen Sensors an der ersten Position und einer Ausrichtung des dreidimensionalen Sensors an der zweiten Position basierend auf der ersten Position und der zweiten Position, die in der Speichereinheit gespeichert sind, berechnet, die die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, basierend auf dem berechneten Änderungsbetrag in der Ausrichtung umwandelt, und die einen Zustand des Objekts basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen berechnet.
-
Gemäß diesem Aspekt werden die zweidimensionalen Informationen des Objekts, die von dem zweidimensionalen Sensor bei der ersten Taktzeit erfasst werden, in der Speichereinheit gespeichert, so dass sie der ersten Position des zweidimensionalen Sensors bei der ersten Taktzeit zugewiesen werden, und die dreidimensionalen Informationen des Objekts, die von dem dreidimensionalen Sensor bei der zweiten Taktzeit erfasst werden, werden in der Speichereinheit gespeichert, so dass sie der zweiten Position des dreidimensionalen Sensors bei der zweiten Taktzeit zugewiesen werden.
-
Die arithmetische Betriebseinheit berechnet den Änderungsbetrag in der Ausrichtung zwischen der Ausrichtung des zweidimensionalen Sensors an der ersten Position und der Ausrichtung des dreidimensionalen Sensors an der zweiten Position, wandelt die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in die dreidimensionalen Informationen um, die an der ersten Position basierend auf dem berechneten Änderungsbetrag in der Ausrichtung erfasst werden, und berechnet den Zustand des Objekts basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen.
-
In einem Fall, in dem zweidimensionale Informationen und dreidimensionale Informationen nacheinander bei unterschiedlichen Taktzeiten erfasst werden, während entweder das Objekts oder der zweidimensionale Sensor und der dreidimensionale Sensor relativ zueinander bewegt werden, werden die zweidimensionalen Informationen und dreidimensionalen Informationen in unterschiedlichen Richtungen des Objekts erfasst. Gemäß diesem Aspekt können, weil die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in dreidimensionale Informationen umgewandelt werden, die an der ersten Position erfasst werden, indem der Änderungsbetrag in der Ausrichtung zwischen dem zweidimensionalen Sensor und dem dreidimensionalen Sensor berechnet werden, die zweidimensionalen Informationen und die dreidimensionalen Informationen im Wesentlichen gleich zu den Informationen gemacht werden, die erfasst würden, wenn das Objekt in der gleichen Richtung betrachtet würde, was es somit auf dieser Basis ermöglichen würde, mindestens einen Zustand der Form, der Position und der Ausrichtung des Objekts mit hoher Genauigkeit zu berechnen.
-
Gemäß einer Ausführungsform ist die Objekterkennungsvorrichtung dadurch fortgebildet, dass eine Vorrichtung zur Fixierung des Objekts umfasst ist, der zweidimensionale Sensor und der dreidimensionale Sensor an einem Roboter befestigt sind und die arithmetische Betriebseinheit dazu eingerichtet ist, die erste Position und die zweite Position basierend auf den Positionsinformationen des Roboters bei der ersten Taktzeit und der zweiten Taktzeit zu berechnen.
-
Dadurch bewegen sich der zweidimensionale Sensor und der dreidimensionale Sensor als Folge davon, dass der Roboter betrieben wird, und somit können, wenn die Positionsinformationen des Roboters bei der ersten Taktzeit und der zweiten Taktzeit erfasst werden können, die erste Position und die zweite Position mit hoher Genauigkeit berechnet werden, wodurch es möglich wird, den Zustand des Objekts mit hoher Genauigkeit zu berechnen.
-
Gemäß einer weiteren Ausführungsform ist die Objekterkennungsvorrichtung dadurch fortgebildet, dass der zweidimensionale Sensor und der dreidimensionale Sensor fixiert sind, ein Transportmechanismus umfasst ist, der dazu eingerichtet ist, das Objekt zu befördern und die arithmetische Betriebseinheit dazu eingerichtet ist, die erste Position und die zweite Position basierend auf Informationen über die Verlagerung des Transportmechanismus zwischen der ersten Taktzeit und der zweiten Taktzeit zu berechnen.
-
Obgleich sich die erste Position und die zweite Position als Ergebnis davon ändern, dass das Objekt von dem Transportmechanismus relativ zu dem fixierten zweidimensionalen Sensor und dreidimensionalen Sensor befördert wird, können dadurch die erste Position und die zweite Position mit hoher Genauigkeit berechnet werden, und somit kann der Zustand des Objekts mit hoher Genauigkeit berechnet werden, wenn Informationen über das Verlagern des Transportmechanismus erfasst werden können.
-
Die Objekterkennungsvorrichtung ist ferner gemäß einer weiteren Ausführungsform dadurch fortgebildet, dass der zweidimensionale und der dreidimensionale Sensor dazu eingerichtet sind, die Erfassung der zweidimensionalen Informationen von dem zweidimensionalen Sensor und die Erfassung von dreidimensionalen Informationen von dem dreidimensionalen Sensor abwechselnd auszuführen und die arithmetische Betriebseinheit dazu eingerichtet ist, den Zustand des Objekts, basierend auf den zweidimensionalen Informationen und den dreidimensionalen Informationen, die bei angrenzenden Taktzeiten erfasst werden, zu berechnen.
-
Dadurch können als dreidimensionale Informationen, die den zweidimensionalen Informationen zuzuweisen sind, die bei jeder ersten Position erfasst werden, die dreidimensionalen Informationen verwendet werden, die bei einer näheren zweiten Position erfasst werden. Folglich können die Zeitintervalle, bei denen zweidimensionale Informationen erfasst werden, kurzgehalten werden, so dass der Zustand des Objekts ausführlicher entlang der Route der relativen Bewegung zwischen dem Objekt und dem zweidimensionalen Sensor und zwischen dem Objekt und dem dreidimensionalen Sensor erkannt werden kann.
-
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
-
Die vorliegende Erfindung bietet dahingehend einen Vorteil, dass die Position und Ausrichtung eines Objekts mit hoher Genauigkeit berechnet werden können, sogar wenn sich ein Sensor relativ zu dem Objekt bewegt, oder sich das Objekt relativ zu dem Sensor bewegt.
-
Figurenliste
-
- 1 ist ein Blockdiagramm, das eine Objekterkennungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
- 2 ist eine perspektivische Ansicht, die einen Fall zeigt, in dem ein Objekt erkannt wird, indem ein Sensor der Objekterkennungsvorrichtung von 1 auf einem Roboter montiert ist.
- 3 ist eine Abbildung zum Veranschaulichen der Erkennung eines Objekts unter Verwendung der Objekterkennungsvorrichtung von 1.
- 4 ist eine Abbildung zum Veranschaulichen der Erkennung eines Objekts unter Verwendung einer ersten Abwandlung der Objekterkennungsvorrichtung von 1.
- 5 ist eine Abbildung, fortgesetzt von 4, zum Veranschaulichen der Erkennung des Objekts.
- 6 ist eine perspektivische Ansicht, die einen Fall zeigt, in dem Erkennung in einem Zustand ausgeführt wird, in dem der Sensor der Objekterkennungsvorrichtung von 1 fixiert ist und das Objekt an dem Roboter befestigt ist.
-
BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
Eine Objekterkennungsvorrichtung 1 gemäß einer Ausführungsform der vorliegenden Erfindung wird nun mit Bezug auf die Zeichnungen beschrieben.
-
Wie in 1 gezeigt, umfasst die Objekterkennungsvorrichtung 1 gemäß dieser Ausführungsform: einen Sensor (zweidimensionaler Sensor und dreidimensionaler Sensor) 2, der an dem Ende des Handgelenks eines Roboters 100 befestigt ist, und der bei unterschiedlichen Taktzeiten zweidimensionale Informationen und dreidimensionale Informationen eines Objekts X erfasst, der außerhalb des Roboters 100 fixiert ist; einen Speicher (Speichereinheit) 3 zum Speichern der zweidimensionalen Informationen und der dreidimensionalen Informationen des Objekts X, die von dem Sensor 2 bei jeweiligen Taktzeiten erfasst werden, sodass sie den Roboterpositionsinformationen (nachfolgend einfach als Positionsinformationen bezeichnet) des Roboters 100 bei den jeweiligen Taktzeiten zugewiesen sind; und einen Prozessor (arithmetische Betriebseinheit) 4 zum Erkennen mindestens einer, der Form, der Position oder der Ausrichtung des Objekts X basierend auf den zweidimensionalen Informationen, den dreidimensionalen Informationen und den Positionsinformationen des Roboters 100, die in dem Speicher 3 gespeichert sind. In der Figur bezeichnet das Bezugszeichen 110 eine Steuereinheit, die den Roboter 100 steuert, und die die Positionsinformationen an den Speicher 3 übermittelt.
-
Der Sensor 2 wendet ein Verfahren an, das in der Lage ist, eines zur Zeit, die zweidimensionalen Informationen oder die dreidimensionalen Informationen, selektiv zu erfassen. Daher können zweidimensionale Informationen und dreidimensionale Informationen des Objekts X nicht in der gleichen Richtung erfasst werden, nämlich werden Informationen nur in unterschiedlichen Richtungen erfasst, in einem Fall, in dem solche Informationen erfasst werden, während der Roboter 100 betrieben und bewegt wird. Der Sensor 2 erfasst ein zweidimensionales Bild als die zweidimensionalen Informationen, und Abstandsinformationen als die dreidimensionalen Informationen.
-
Der Prozessor 4 berechnet die Position des Sensors 2, wenn zweidimensionale Informationen erfasst wurden (erste Position), und die Position des Sensors 2, wenn dreidimensionale Informationen erfasst wurden (zweite Position), basierend auf den Positionsinformationen des Roboters 100, die in dem Speicher 3 gespeichert wurden, als die zweidimensionalen Informationen und die dreidimensionalen Informationen erfasst wurden, und berechnet basierend auf den erhaltenen zwei Positionen den Änderungsbetrag in der Ausrichtung des Sensors 2 zwischen den zwei Positionen. Der Änderungsbetrag in der Ausrichtung wird beispielsweise von dem Betrag der Verschiebung in der Form einer 4 x 4 Matrix berechnet, die die Rotationsbeträge in drei Richtungen enthält.
-
Der Prozessor 4 wandelt die dreidimensionalen Informationen, die an der zweiten Position erfasst werden, in dreidimensionale Informationen entsprechend der ersten Position um, indem er den berechneten Änderungsbetrag in der Ausrichtung mit dreidimensionalen Informationen multipliziert, die in dem Speicher 3 gespeichert sind. Dann berechnet der Prozessor 4 den Zustand des Objekts X, der mindestens aus einer, der Form, Position und Ausrichtung des Objekts X basierend auf den umgewandelten dreidimensionalen Informationen und den zweidimensionalen Informationen zusammengesetzt ist.
-
Gemäß der Objekterkennungsvorrichtung 1 dieser Ausführungsform mit der zuvor beschriebenen Struktur gibt es dahingehend einen Vorteil, dass, während der Sensor 2 mit dem Roboter 100 durch die Steuerung des Roboters 100 unter Verwendung der Steuereinheit 110 bewegt wird, wie in 2 gezeigt, die dreidimensionalen Informationen, die bei einer unterschiedlichen Taktzeit erfasst werden, als der Taktzeit, bei der die zweidimensionalen Informationen erfasst werden, basierend auf dem Änderungsbetrag in der Ausrichtung des Sensors 2 in dreidimensionale Informationen umgewandelt werden, die an der ersten Position erfasst würden, bei der die zweidimensionalen Informationen erfasst werden, und daher kann der Zustand des Objekts X mit hoher Genauigkeit erkannt werden, indem die zweidimensionalen Informationen, die planare Informationen sind, den dreidimensionalen Informationen, die stereoskopische Informationen sind, mit hoher Genauigkeit zugewiesen werden.
-
Wie beispielsweise in 3 gezeigt, verschiebt sich, wenn zweidimensionale Informationen einer Fläche, umfassend das Objekt X, bei einer ersten Taktzeit von schräg über dem Objekt X erfasst werden, und danach dreidimensionale Informationen der Fläche, umfassend das Objekt X, bei einer zweiten Taktzeit von vertikal über dem Objekt X erfasst werden, nachdem sich der Sensor 2 mit dem Roboter 100 bewegt hat, die gerade Linie (Sichtlinie (LOS)), die sich in der Detektionsrichtung des Sensors 2 erstreckt, und rotiert zwischen den zwei Detektionspositionen.
-
In der Figur zeigt die schwarzgefüllte grafische Darstellung dreidimensionale Informationen an, die mit dem Sensor 2 erfasst werden, und die offene grafische Darstellung zeigt einen Fall an, in dem die zweidimensionalen Informationen mit den erfassten dreidimensionalen Informationen überlagert werden, wie sie sind.
-
Gemäß der Objekterkennungsvorrichtung 1 dieser Ausführungsform kann die offene grafische Darstellung in die dreidimensionalen Informationen entsprechend jeder Position in den zweidimensionalen Informationen umgewandelt werden, indem die offene grafische Darstellung auf die Positionen der schwarzgefüllten grafischen Darstellung unter Verwendung des Änderungsbetrags in der Ausrichtung wiederhergestellt wird.
-
Mit anderen Worten gibt es dahingehend einen Vorteil, dass, sogar, wenn zweidimensionale Informationen und dreidimensionale Informationen des Objekts X in unterschiedlichen Richtungen erfasst werden, die Form, Position und Ausrichtung des Objekts X mit hoher Genauigkeit erkannt werden können, was es ermöglicht, den Zustand des Objekts X zu erkennen, während der Roboter 100 bei hoher Geschwindigkeit bewegt wird.
-
In diesem Fall gibt es dahingehend einen Vorteil, dass, weil das Objekt X erkannt wird, indem seine zweidimensionalen Informationen und dreidimensionalen Informationen kombiniert werden, der Betrag der dreidimensionalen Informationen, die zu verwenden sind, um den Zustand des Objekts X zu erkennen, auf das Minimum unterdrückt werden kann, verglichen mit einem Fall, in dem das Objekt X nur von dreidimensionalen Informationen erkannt wird, die aus einem riesigen Informationsbetrag bestehen, wodurch ermöglicht wird, die Speicherkapazität und den Betrag der Verarbeitung, die von dem Prozessor ausgeführt wird, dramatisch zu vermindern, und den Zustand des Objekts X in Echtzeit zu erkennen, sogar während der Roboter 100 bei hoher Geschwindigkeit bewegt wird.
-
Obgleich die zweidimensionalen Informationen bei der ersten Taktzeit erfasst werden, und die dreidimensionalen Informationen bei der späteren zweiten Taktzeit in dieser Ausführungsform erfasst werden, kann die Erfassungsreihenfolge umgekehrt werden.
-
Außerdem kann, obgleich diese Ausführungsform mittels eines Beispiels beschrieben worden ist, in dem zweidimensionale Informationen und dreidimensionale Informationen bei unterschiedlichen einzelnen Punkten erfasst werden, stattdessen die vorliegende Erfindung auf einen Fall angewandt werden, in dem das Objekt X bei einer Vielzahl von Positionen entlang der Bewegungsroute des Sensors 2, die aus dem Betrieb des Roboters 100 resultiert, erkannt wird.
-
In diesem Fall können, wie in 4 und 5 gezeigt, zweidimensionale Informationen und dreidimensionale Informationen abwechselnd in einer Zeitreihe erfasst werden, sodass dreidimensionale Informationen, die unter Verwendung der zweidimensionalen Informationen und dreidimensionalen Informationen, die bei benachbarten Taktzeiten erfasst werden, berechnet wurden, den zweidimensionalen Informationen zugewiesen werden.
-
Wie beispielsweise in 4 gezeigt, werden basierend auf den zweidimensionalen Informationen, die bei der ersten Taktzeit erfasst werden, und den dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, die dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, in dreidimensionale Informationen äquivalent den Informationen umgewandelt, die bei der ersten Taktzeit erfasst würden, und dann werden die umgewandelten dreidimensionalen Informationen den zweidimensionalen Informationen zugewiesen. Als Nächstes werden, wie in 5 gezeigt, basierend auf den dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, und den zweidimensionalen Informationen, die bei einer dritten Taktzeit erfasst werden, die dreidimensionalen Informationen, die bei der zweiten Taktzeit erfasst werden, in dreidimensionale Informationen äquivalent den Informationen umgewandelt, die bei der dritten Taktzeit erfasst würden, und dann werden die umgewandelten dreidimensionalen Informationen den zweidimensionalen Informationen zugewiesen. Dadurch kann das Objekt ausführlicher erkannt werden, indem den dreidimensionalen Informationen, die von den dreidimensionalen Informationen umgewandelt wurden, die zwischen den zwei Posten von zweidimensionalen Informationen erfasst werden, den zwei Posten von zweidimensionalen Informationen zugewiesen werden.
-
Außerdem kann, obgleich eine Umwandlung ausgeführt wird, sodass dreidimensionalen Informationen zweidimensionale Informationen in dieser Ausführungsform zugewiesen werden, zusätzlich dazu eine Umwandlung ausgeführt werden, sodass zweidimensionale Informationen dreidimensionalen Informationen zugewiesen werden. Dadurch gibt es dahingehend einen Vorteil, dass zweidimensionale Informationen und dreidimensionale Informationen sowohl an der Erfassungsposition der zweidimensionalen Informationen als auch der Erfassungsposition der dreidimensionalen Informationen zugewiesen werden können, sodass das Objekt X ausführlicher entlang der Bewegungsroute des Sensors 2 erkannt werden kann, die aus dem Betrieb des Roboters 100 resultiert.
-
Außerdem kann, obgleich diese Ausführungsform mittels eines Beispiels beschrieben worden ist, in dem der Sensor 2 relativ zu dem Objekt X bewegt wird, wobei der Sensor 2 an dem Roboter 100 befestigt ist, stattdessen die vorliegende Erfindung auf einen Fall angewandt werden, in dem der Sensor 2 außerhalb des Roboters 100 fixiert ist, das Objekt X auf dem Roboter 100 montiert ist und das Objekt X relativ zu dem Sensor 2 bewegt wird, wie in 6 gezeigt.
-
Außerdem kann, obgleich diese Ausführungsform unter Annahme eines Falls beschrieben worden ist, in dem der Sensor 2 durch den Betrieb des Roboters 100 bewegt wird, stattdessen die vorliegende Erfindung auf einen Fall angewandt werden, in dem das Objekt X unter Verwendung eines Transportmechanismus wie einem Förderband bewegt wird, wobei der Sensor 2 unbewegt ist. In diesem Fall ist es ratsam, dass der Änderungsbetrag in der Ausrichtung basierend auf den Positionsinformationen (Informationen über die Verlagerung) des Objekts X berechnet wird, das von einem Positionssensor detektiert wird, wie ein Codierer, der in dem Transportmechanismus vorgesehen ist.
-
Überdies kann, obgleich diese Ausführungsform mittels eines Beispiels beschrieben worden ist, in dem der Sensor 2 von einem Sensor ausgeführt wird, der in der Lage ist, alternativ zwischen der Erfassung von zweidimensionalen Informationen und der Erfassung von dreidimensionalen Informationen umzuschalten, stattdessen ein zweidimensionaler Sensor zum Detektieren zweidimensionaler Informationen und ein dreidimensionaler Sensor zum Detektieren dreidimensionaler Informationen individuell vorgesehen sein und mit beiden Sensoren verwendet werden, die fixiert sind, sodass sie eine vorbestimmte Positionsbeziehung aufweisen.
-
Bezugszeichenliste
-
- 1
- Objekterkennungsvorrichtung
- 2
- Sensor (zweidimensionaler Sensor, dreidimensionaler Sensor)
- 3
- Speicher (Speichereinheit)
- 4
- Prozessor (arithmetische Betriebseinheit)
- 100
- Roboter
- X
- Objekt