DE102018121481A1

DE102018121481A1 - Entfernungsmesssystem und Entfernungsmessverfahren

Info

Publication number: DE102018121481A1
Application number: DE102018121481.2A
Authority: DE
Inventors: Muneyuki TSUDA
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2017-09-11
Filing date: 2018-09-04
Publication date: 2019-03-28
Also published as: CN109489558A; JP2019049467A; US20190080471A1

Abstract

Bereitgestellt wird eine Technik, die die Entfernung von einer Kamera zu einem Objekt, das aufzunehmen ist, messen kann, indem ein einfaches System verwendet wird. Bereitgestellt wird ein Entfernungsmesssystem 1, das Folgendes umfasst: eine Kamera 3, die ein Objekt OB aufnimmt, um ein Bild zu erfassen; einen Roboter 2, der die Kamera 3 oder das Objekt OB bewegt; und eine Steuereinheit 4, die den Roboter 2 steuert. Die Steuereinheit 4 umfasst: eine Betriebssteuereinheit 42, die den Roboter 2 steuert, sodass sich die Kamera 3 oder das Objekt OB in einem geradlinig bewegten Zustand zwischen zwei verschiedenen Bildaufnahmepositionen befindet, an denen sich eine vorgeschriebene Position auf dem Objekt OB in dem Bild, das von der Kamera 3 erfasst wird, in der Mitte des Bildes befindet; eine Größenberechnungseinheit 43, die die Größen des Objekts OB in den Bildern berechnet, die von der Kamera 3 an den beiden Bildaufnahmepositionen erfasst wurden; und eine Entfernungsmesseinheit 44, die eine Entfernung von der Kamera 3 zum Objekt OB auf der Grundlage der Größen des Objekts an den beiden Bildaufnahmepositionen, die von der Größenberechnungseinheit 43 berechnet werden, und der Entfernung zwischen den beiden Bildaufnahmepositionen berechnet.

Description

[Technisches Gebiet]
Die vorliegende Erfindung betrifft ein Entfernungsmesssystem und ein Entfernungsmessverfahren.
(Allgemeiner Stand der Technik)
Bekannte Verfahren für die Messung der Entfernung einer Kamera zu einem Objekt, das mit der Kamera aufgenommen werden soll, umfassen ein Verfahren, bei dem zwei Kameras verwendet werden, und ein Verfahren, bei dem die Größe des Objekts in einem aufgenommenen Bild identifiziert wird (siehe zum Beispiel Patentliteratur 1).
[Entgegenhaltungsliste]
[Patentliteratur]
[Patentliteratur 1]
Japanische nicht geprüfte Patentanmeldung, Veröffentlichungsnummer HEI 9-170920
[Kurzdarstellung der Erfindung]
[Technische Aufgabe]
In dem Fall, in dem zwei Kameras verwendet werden, ist es erforderlich, eine Kalibrierung zwischen den beiden Kameras durchzuführen, wodurch das System für die Messung der Entfernung zum aufzunehmenden Objekt komplizierter wird. Mit der in Patentliteratur 1 beschriebenen Technik ist es, obwohl eine Kalibrierung zwischen den Kameras nicht erforderlich ist, erforderlich, das Objekt manuell auf der optischen Achse der Kamera anzuordnen und eine Vorrichtung, in der die Kamera installiert ist, entlang der Richtung der optischen Achse zu bewegen, was es schwierig macht, die Entfernung zum Objekt genau zu messen.
Die vorliegende Erfindung wurde im Hinblick aufdie oben beschriebenen Umstände gemacht, und es ist eine Aufgabe der Erfindung, eine Technik bereitzustellen, mit der die Entfernung von einer Kamera zu einem aufzunehmenden Objekt mit einem einfachen System gemessen werden kann, das nur eine Kamera verwendet.
[Lösung der Aufgabe]
Um das obige Ziel zu erreichen, stellt die vorliegende Erfindung die folgenden Lösungen bereit.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Entfernungsmesssystem bereitgestellt, das Folgendes umfasst: eine Kamera, die ein Objekt aufnimmt, um ein Bild zu erfassen; einen Roboter, der die Kamera oder das Objekt bewegt; und eine Steuereinheit, die den Roboter steuert. Die Steuereinheit umfasst: eine Betriebssteuereinheit, die den Roboter steuert, sodass sich die Kamera oder das Objekt in einem geradlinig bewegten Zustand zwischen zwei verschiedenen Bildaufnahmepositionen befindet, an denen sich eine vorgeschriebene Position auf dem Objekt in dem Bild, das von der Kamera erfasst wird, in der Mitte des Bildes befindet; eine Größenberechnungseinheit, die die Größe des Objekts in den Bildern berechnet, die von der Kamera an den beiden Bildaufnahmepositionen erfasst werden; und eine Entfernungsberechnungseinheit, die eine Entfernung von der Kamera zum Objekt auf der Grundlage der Größen des Objekts an den beiden Bildaufnahmepositionen, die von der Größenberechnungseinheit berechnet werden, und der Entfernung zwischen den beiden Bildaufnahmepositionen berechnet.
Gemäß diesem Aspekt bewegt der Roboter die Kamera oder das Objekt, wobei das Objekt mit der Kamera an zwei Bildaufnahmepositionen aufgenommen wird, an denen die Entfernungen von der Kamera zum Objekt unterschiedlich sind, wodurch jeweilige Bilder erfasst werden. An jeder Bildaufnahmeposition befindet sich das Objekt auf der optischen Achse der Kamera, da das System so eingestellt ist, dass sich eine vorgeschriebene Position auf dem Objekt im Bild in der Bildmitte befindet. Zusätzlich werden, da sich die Kamera oder das Objekt an jeder der Bildaufnahmeposition in einem geradlinig bewegten Zustand befindet, Bilder in den Zuständen erfasst, bevor und nachdem das Objekt oder die Kamera veranlasst wird, eine geradlinige Bewegung entlang der optischen Achse der Kamera zu erfahren. Daher sind die Größen des Objekts in den Bildern, die an den beiden Bildaufnahmepositionen erfasst wurden, umgekehrt proportional zur Entfernung von der Kamera zum Objekt. Indem diese Beziehung verwendet wird, ist es möglich, mit überlegener Genauigkeit die Entfernung von der Kamera zum Projekt zu berechnen, indem die Größen des Objekts in den Bildern an den beiden Bildaufnahmepositionen und die Entfernung zwischen den beiden Bildaufnahmepositionen verwendet werden.
Mit anderen Worten ist es gemäß diesem Aspekt möglich, bevor oder nachdem die Kamera oder das Objekt entlang der Richtung der optischen Achse bewegt wird, zwei Bilder zu erfassen, während die Ausrichtungen der Kamera und des Objekts beibehalten werden. Folglich ist es möglich, die Entfernung von der Kamera zum Objekt selbst ohne ein kompliziertes System, das Kalibrierung erfordert, zu berechnen. Zusätzlich ist es, da die Entfernung von der Kamera zum Objekt berechnet wird, indem die Größen des Objekts in den Bildern verwendet werden, möglich, die Entfernung ohne jeden Einfluss der tatsächlichen Größe des Objekts zu berechnen.
Gemäß dem oben genannten Aspekt kann die vorgeschriebene Position der Schwerpunkt des Objekts sein.
Dadurch wird die Entfernung von der Kamera zum Objekt im Vergleich zu dem Fall, in dem sich eine andere Position als der Schwerpunkt des aufgenommenen Objekts in der Bildmitte befindet, genauer berechnet.
Gemäß dem oben genannten Aspekt kann die Größe des Objekts im Bild eine maximale Länge sein, die auf einem Umriss des Objekts basiert.
Indem die maximale Länge im Umriss des Objekts zum Bestimmen der Größe des aufgenommenen Objekts verwendet wird, ist der Fehler in der Berechnung der Entfernung von der Kamera zum Objekt klein. Als die maximale Länge kann die Umfangslänge des Umrisses, die maximale Breite oder Ähnliches verwendet werden.
Gemäß dem oben genannten Aspekt kann die Größe des Objekts in dem Bild die Quadratwurzel einer Fläche des Objekts sein.
Indem die Quadratwurzel der Fläche des Objekts zum Bestimmen der Größe des aufgenommenen Objekts verwendet wird, ist der Fehler in der Berechnung der Entfernung von der Kamera zum Objekt klein.
Ein anderer Aspekt der vorliegenden Erfindung ist ein Entfernungsmessverfahren, das Folgendes umfasst: einen ersten Bewegungsschritt des Betreibens eines Roboters, um ein Objekt oder eine Kamera zu bewegen, sodass das Objekt und die Kamera sich an einer ersten Bildaufnahmeposition befinden, an der sich eine vorgeschriebene Position auf dem Objekt in einem Bild, das von der Kamera erfasst wird, in der Mitte des Bildes befindet; einen ersten Bildaufnahmeschritt des Aufnehmens des Objekts mit der Kamera an der ersten Bildaufnahmeposition, um das Bild zu erfassen; einen zweiten Bewegungsschritt des Betreibens des Roboters, um das Objekt oder die Kamera zu bewegen, sodass die Kamera oder das Objekt eine geradlinige Bewegung in Bezug auf die erste Bildaufnahmeposition erfährt, um das Objekt und die Kamera an einer zweiten Bildaufnahmeposition zu positionieren, an der sich die vorgeschriebene Position im Bild, das von der Kamera erfasst wird, in der Mitte des Bildes befindet; einen zweiten Bildaufnahmeschritt des Aufnehmens des Objektes mit der Kamera an der zweiten Bildaufnahmeposition, um das Bild zu erfassen; einen Größenberechnungsschritt des Berechnens der Größen des Objekts in den Bildern, die an der ersten Bildaufnahmeposition und der zweiten Bildaufnahmeposition erfasst werden; und einen Entfernungsberechnungsschritt des Berechnens einer Entfernung von der Kamera zu dem Objekt auf der Grundlage der berechneten Größen des Objekts in den Bildern und der Entfernung zwischen der ersten Bildaufnahmeposition und der zweiten Bildaufnahmeposition.
[Vorteilhafte Wirkungen der Erfindung]
Mit der vorliegenden Erfindung kann eine Kamera einfach an zwei Bildaufnahmepositionen angeordnet werden, an denen die Entfernung von der Kamera zu einem Objekt entlang der Richtung der optischen Achse der Kamera geändert wird, während gleichzeitig die Ausrichtung der Kamera und des Objekts beibehalten wird, und folglich kann die Entfernung von der Kamera zum Objekt gemessen werden, ohne ein kompliziertes System zu verwenden.
Figurenliste

1 ist eine schematische Abbildung, die ein Entfernungsmesssystem gemäß der vorliegenden Ausführungsform zeigt.
2 ist Blockdiagramm des Entfernungsmesssystems gemäß der vorliegenden Ausführungsform.
3 ist ein Konzeptdiagramm, das die Positionsbeziehung eines Objektes in Bildern zeigt, die von einer Kamera aufgenommen wurden.
4 ist eine Abbildung, die ein Verfahren für das Berechnen der Entfernung von der Kamera zum Objekt erläutert.
5 ist ein Flussdiagramm des Entfernungsmessverfahrens für das Berechnen der Entfernung von der Kamera zum Objekt.

[Beschreibung von Ausführungsformen]
Ein Entfernungsmesssystem 1 gemäß einer Ausführungsform der vorliegenden Erfindung wird nachfolgend mit Bezug auf die Zeichnungen beschrieben.
1 ist eine schematische Abbildung, die das Entfernungsmesssystem 1 gemäß der vorliegenden Ausführungsform zeigt. Das Entfernungsmesssystem 1 ist versehen mit: einem Roboter 2, wie beispielsweise ein aufrechter Gelenkroboter mit sechs Achsen J1-J6; einer Kamera 3, die am Distalende des Roboters 2 befestigt ist und die ein Bild eines Objekts OB aufnimmt; und einer Steuereinrichtung (Steuereinheit) 4, die die Steuerung des Roboters 2 und die Bildverarbeitung der Bilder ausführt, die von der Kamera 3 erfasst werden.
Der Roboter 2 umfasst: eine Basis 21, die am Boden fixiert ist; einen Rotationskörper 22, der so angebracht ist, dass er relativ zur Basis 21 um eine vertikale erste Achse J1 drehbar ist; einen ersten Arm 23, der so angebracht ist, dass er relativ zum Rotationskörper 22 um eine horizontale zweite Achse J2 drehbar ist; einen zweiten Arm 24, der so angebracht ist, dass er relativ zum ersten Arm 23 um eine horizontale dritte Achse J3 drehbar ist; ein erstes Gelenkelement 25, das so angebracht ist, dass es relativ zum zweiten Arm 24 um eine vierte Achse J4 drehbar ist, die senkrecht zur dritten Achse J3 ist; ein zweites Gelenkelement 26, das so angebracht ist, dass es relativ zum ersten Gelenkelement 25 um eine fünfte Achse J5 drehbar ist, die senkrecht zur vierten Achse J4 ist; und ein drittes Gelenkelement 27, das so angebracht ist, dass es relativ zum zweiten Gelenkelement 26 um eine sechste Achse J6 drehbar ist, die senkrecht zur fünften Achse J5 ist.
Die sechs Achsen J1-J6 sind jeweils mit einem Motor (nicht dargestellt) für den Rotationsantrieb und einem Codierer (nicht dargestellt) zum Erkennen des Drehwinkels des Motors versehen. Die Kamera 3 ist an einer Distalendfläche des dritten Gelenkelements 27 fixiert, das sich um die sechste Achse J6 dreht. Das Bezugszeichen 28 in der Figur ist ein Werkzeug wie beispielsweise eine Hand oder Ähnliches, das an der Distalendfläche des dritten Gelenkelements 27 fixiert ist.
Die Steuereinrichtung 4 führt die Feedback-Steuerung für den rotierenden Antrieb des Motors aus und verwendet hierfür die Motordrehwinkel die von den Codierern für die Achsen J1-J6 erkannt werden. Die Steuereinrichtung 4 wird aus einer CPU, einem ROM, einem RAM und einem Speicher (nicht dargestellt) gebildet.
Wie in 2 gezeigt, ist die Steuereinrichtung 4 versehen mit: einer Bildverarbeitungseinheit 41, die die Verarbeitung des Bildes ausführt, das von der Kamera 3 erfasst wurde; einer Betriebssteuereinheit 42, die den Roboter antreibt; einer Größenberechnungseinheit 43, die die Größe des Objekts OB in dem Bild berechnet, das von der Kamera 3 erfasst wurde; einer Entfernungsberechnungseinheit 44, die die Entfernung von der Kamera 3 zum Objekt OB berechnet; und einer Speichereinheit 46, die die Ergebnisse der verschiedenen Arten der Verarbeitung speichert. Streng genommen ist die Entfernung von der Kamera 3 zum Objekt OB die Entfernung von der Mitte der Linse der Kamera 3 zum Objekt OB, nachfolgend wird sie jedoch einfach als die Entfernung von der Kamera 3 zum Objekt OB bezeichnet.
Die Bildverarbeitungseinheit 41 extrahiert das Objekt OB aus dem Bild, das von der Kamera 3 erfasst wurde, indem sie Kantenerkennung oder Musterabgleich ausführt, und identifiziert den Schwerpunkt des extrahierten Objekts OB. Die Bildverarbeitungseinheit 41 speichert das erfasste Bild, das Objekt OB in dem Bild und den Schwerpunkt des Objekts OB in der Speichereinheit 46.
Die Betriebssteuereinheit 42 steuert den Roboter 2 durch Antreiben des Motors für die Achsen J1-J6 im Roboter 2 auf der Grundlage verschiedener Steuersignale. Zuerst steuert die Betriebssteuereinheit 42 den Roboter 2, um den Roboter an einer Intialposition einzustellen, an der das Objekt OB im Bildaufnahmebereich der Kamera 3 enthalten ist. Die Betriebssteuereinheit 42 steuert den Roboter 2, die Kamera 3 zu bewegen, sodass sich der Schwerpunkt des Objekts OB in dem Bild, das von der Kamera 3 erfasst wurde, in der Mitte des Bildes befindet. Wenn der Roboter 2 gesteuert wird, sodass die Kamera 3 sich an einer ersten Bildaufnahmeposition befindet, an der sich der Schwerpunkt des Objekts OB im Bild in der Mitte des Bildes befindet, wird die Bildaufnahme von der Kamera 3 ausgeführt, und es wird ein Bild erfasst, das das Objekt OB beinhaltet.
3 ist ein Konzeptbild, das die Positionsbeziehung des Objektes OB innerhalb des Bildes zeigt, das von der Kamera 3 aufgenommen wurde. In einem Bild IM1, das von der Kamera 3 an der Initialposition des Roboters 2 erfasst wurde und das in 3 gezeigt ist, befindet sich der Schwerpunkt G des Objekts OB nicht in der Mitte C des Bildes IM1. In diesem Fall steuert die Betriebssteuereinheit 42 den Roboter 2, sodass er die Position der Kamera 3 von der Initialposition so verändert, dass sich der Schwerpunkt G des Objekts OB in der Mitte C des Bildes IM1 befindet. Folglich befindet sich der Schwerpunkt G des Objekts OB in der Mitte C des Bildes IM2, wie in dem Bild IM2, das in 3 gezeigt ist.
Überdies speichert die Betriebssteuereinheit 42 in der Speichereinheit 46 Winkelinformationen der Achsen J1-J6 des Roboters 2 an der ersten Bildaufnahmeposition, an der das erste Bild erfasst wird. Als nächstes steuert die Betriebssteuereinheit 42 den Roboter 2, um die Kamera 3 zu veranlassen, eine geradlinige Bewegung in einer Richtung zu erfahren, sodass die Kamera 3 sich dem Objekt OB annähert oder sich von ihm fortbewegt.
Nachdem die Betriebssteuereinheit 42 den Roboter 2 gesteuert hat, sodass die Kamera 3 eine geradlinige Bewegung erfährt, wird die Bildaufnahme durch die Kamera 3 ausgeführt, und ein Bild, das das Objekt OB beinhaltet, wird erfasst. Die Betriebssteuereinheit 42 bestimmt, ob sich der Schwerpunkt G des Objekts OB in der Mitte C des erfassten Bildes befindet oder nicht. Wenn die Betriebssteuereinheit 42 bestimmt, dass sich der Schwerpunkt G des Objekts OB in der Mitte C des erfassten Bildes befindet, wird das erfasste Bild als ein zweites Bild erfasst und die Position, an der das zweite Bild erfasst wird, wird in der Speichereinheit 46 als zweite Bildaufnahmeposition gespeichert. Die Betriebssteuereinheit 42 speichert in der Speichereinheit 46 Winkelinformationen der Achsen J1-J6 des Roboters 2 an der zweiten Bildaufnahmeposition.
Wenn die Betriebssteuereinheit 42 bestimmt, dass sich der Schwerpunkt G des Objekts OB nicht in der Mitte C des Bildes befindet, wird eine zusätzliche Verarbeitung ausgeführt, um den Roboter 2 zu betreiben und die Kamera 3 zu veranlassen, eine geradlinige Bewegung zu erfahren, sodass sich der Schwerpunkt G des Objekts OB in dem Bild, das von der Kamera 3 erfasst wurde, in der Mitte C des Bildes befindet, wie in 3 gezeigt. Sobald sich der Schwerpunkt G des Objekts OB in der Mitte C des Bildes befindet, wird die Bildaufnahme von der Kamera 3 ausgeführt, und ein Bild, das das Objekt OB enthält, wird als ein zweites Bild erfasst. Die Betriebssteuereinheit 42 speichert in der Speichereinheit 46 die Winkelinformationen der Achsen J1-J6 des Roboters 2 an der zweiten Bildaufnahmeposition, an der das zweite Bild erfasst wird.
Mit dem Entfernungsmesssystem dieser Ausführungsform ist, da keine Kalibrierung ausgeführt wird, ein Werkzeugkoordinatensystem des Werkzeugs 28, das am Distalende des dritten Gelenkelements 27 im Roboter 2 befestigt ist, nicht im Voraus der optischen Achse der Kamera 3 zugewiesen. Andererseits ist, da sich der Schwerpunkt des Objekts B im ersten Bild in der Bildmitte C befindet, der Schwerpunkt G des Objekts OB auf der optischen Achse der Kamera 3. Nachdem der Roboter 2 gesteuert wurde, sodass die Kamera 3 eine geradlinige Bewegung von dem Zustand erfährt, in dem der Schwerpunkt G des Objekts OB in dem zweiten Bild, das von der Kamera 3 erfasst wird, auf der optischen Achse der Kamera 3 ist, ist der Schwerpunkt G des Objekts OB auf der optischen Achse der Kamera 3.
Mit anderen Worten ist das Objekt OB, das von der Kamera 3 aufgenommen wird, bevor und nachdem der Roboter 2 gesteuert wird, sodass die Kamera 3 eine geradlinige Bewegung von der ersten Bildaufnahmeposition zur zweiten Bildaufnahmeposition erfährt, auf der optischen Achse der Kamera 3. Daher kann die Änderung der Position von der ersten Bildaufnahmeposition zur zweiten Bildaufnahmeposition effektiv als eine Veränderung entlang der optischen Achse der Kamera 3 angesehen werden.
Die Richtung der optischen Achse der Kamera 3 in dieser Ausführungsform ist definiert als die Richtung einer geraden Linie, die die Linsenmitte der Kamera 3 und die Bildmitte miteinander verbindet; in einer anderen Ausführungsform kann jedoch eine Richtung der optischen Achse eingestellt werden, die von der in dieser Ausführungsform abweicht, solange die Entfernung zwischen der Kamera 3 und dem Objekt OB sich entlang der definierten Richtung der optischen Achse effektiv verändern kann.
Die Größenberechnungseinheit 43 berechnet die Größe des Objekts OB im ersten und im zweiten Bild. In dieser Ausführungsform berechnet die Größenberechnungseinheit 43 die Anzahl der Pixel, die das Objekt OB in dem Bild belegt, als die Fläche und behandelt die Quadratwurzel dieser Fläche als die Größe. Die Größenberechnungseinheit 43 speichert in der Speichereinheit 46 die berechneten Größen des Objekts OB im ersten Bild und die Größe des Objekts OB im zweiten Bild.
Die Entfernungsberechnungseinheit 44 verwendet die Winkelinformationen der Achsen J1-J6 des Roboters 2 an der ersten Bildaufnahmeposition und der zweiten Bildaufnahmeposition, wobei diese Winkelinformationen in der Speichereinheit 46 gespeichert sind, um die Bewegungsentfernungen des Roboters 2 entlang der Richtung der optischen Achse der Kamera 3 von der ersten Bildaufnahmeposition zur zweiten Bildaufnahmeposition zu berechnen.
Die Entfernungsberechnungseinheit 44 verwendet die berechnete Bewegungsentfernung sowie die Größe des Objekts OB im ersten Bild und die Größe des Objekts OB im zweiten Bild, um die Entfernung von der Kamera 3 zum Objekt OB zu berechnen.
4 zeigt verschiedene Maßbeziehungen in dem Fall, in dem sich der Roboter 2 dem Objekt OB annähert. Wie in 4 gezeigt, wird für jede Entfernung entlang der optischen Achse LA die Entfernung von der Kamera 3 zum Objekt OB an der ersten Bildaufnahmeposition P1 als die Entfernung vor der Bewegung L1 definiert, die Entfernung von der Kamera 3 zum Objekt OB an der zweiten Bildaufnahmeposition P2 ist als die Entfernung nach der Bewegung L2 definiert, die Entfernung, die sich der Roboter 2 von der ersten Bildaufnahmeposition P1 zur zweiten Bildaufnahmeposition P2 bewegt hat, ist als die Bewegungsentfernung (Entfernung zwischen den beiden Bildaufnahmepositionen) dL definiert, und die Brennweite der Linse in der Kamera 3 ist als die Brennweite f definiert. Zusätzlich sind hinsichtlich der Größen in einer ebenen Richtung, die senkrecht zur Richtung der optischen Achse LA ist, wenn die tatsächliche Größe des Objekts OB als Größe W definiert ist, die Größe des Objekts im ersten Bild als Größe W1 definiert ist und die Größe des Objekts im zweiten Bild als Größe W2 definiert ist, die Beziehungen in den folgenden Gleichungen (1) bis (3) erfüllt.
[MATH 1] $d L = L 1 - L 2$
$W : W 1 = L 1 : f$
$W : W 2 = L 2 : f$
Unter der Verwendung der Gleichungen (1) bis (3) kann, wenn die tatsächliche Größe W des Objekts OB und die Brennweite f eliminiert werden, die Entfernung von der Kamera 3 zum Objekt OB nach der Bewegung L2 an der zweiten Bildaufnahmeposition P2 mit der unten stehenden Gleichung (4) ausgedrückt werden:
[MATH 2] $L 2 = d L \frac{W 1}{W 2 - W 1}$
Als nächstes wird ein Beispiel der tatsächlichen Verarbeitung bis zur Berechnung der Entfernung von der Kamera 3 zum Objekt OB anhand des Flussdiagramms des Entfernungsmessverfahrens, das in 5 gezeigt ist, beschrieben. Bei der Entfernungsmessungsverarbeitung wird zuerst der Roboter 2 mittels der Betriebssteuereinheit 42 zur Initialposition bewegt, sodass das Objekt OB in der von der Kamera 3 aufgenommenen Region enthalten ist (Schritt S101). Nachdem der Roboter 2 bewegt wurde, wird das Objekt OB von der Kamera aufgenommen und ein Bild wird erfasst (Schritt S102).
Der Roboter 2 wird von der Betriebssteuereinheit 42 gesteuert, sodass sich der Schwerpunkt G des Objekts OB in der Mitte des Bildes befindet, das von der Kamera 3 erfasst wird (Schritt S103). Nachdem der Roboter 2 gesteuert wurde, wird von der Kamera ein Bild erfasst, das das Objekt OB umfasst (Schritt S104).
Die Betriebssteuereinheit 42 bestimmt, ob sich der Schwerpunkt G des Objekts OB in dem erfassten Bild in der Bildmitte C befindet oder nicht (Schritt S105). Wenn die Betriebssteuereinheit 42 bestimmt, dass sich der Schwerpunkt G des Objekts OB nicht in der Bildmitte C befindet (Schritt S105: NEIN), wird die Verarbeitung ab Schritt S103 wiederholt, bis sich der Schwerpunkt C des Objekts OB in der Bildmitte C befindet. Hier bedeutet die Tatsache, dass sich der Schwerpunkt G in der Mitte C befindet, nicht nur, dass der Schwerpunkt G und die Mitte C übereinstimmen, sondern auch, dass die Entfernung zwischen den beiden sich einer vorgeschriebenen Entfernung oder weniger annähert.
In der Verarbeitung wird in Schritt S105, wenn die Betriebssteuereinheit 42 bestimmt, dass sich der Schwerpunkt G des Objekts OB in der Bildmitte C befindet (Schritt S105: JA) befindet, ein erstes Bild, das das Objekt OB umfasst, von der Kamera 3 als das Bild an der ersten Bildaufnahmeposition P1 erfasst (Schritt S106).
Als die Information, die die erste Bildaufnahmeposition anzeigt, wird die Winkelinformation der Achsen J1-J6 in der Speichereinheit 46 gespeichert (Schritt S107). Die Größenberechnungseinheit 43 berechnet die Größe W1 des Objekts OB im ersten Bild (Schritt S108).
Der Roboter 2 wird von der Betriebssteuereinheit 42 gesteuert, sodass die Kamera 3 eine geradlinige Bewegung in der ungefähren Richtung der optischen Achse der Kamera 3 erfährt (Schritt S109). Nachdem die Kamera 3 vom Roboter 2 veranlasst wurde, eine geradlinige Bewegung zu erfahren, wird ein Bild von der Kamera 3 erfasst, das das Objekt OB umfasst (Schritt 110). Die Betriebssteuereinheit 42 bestimmt, ob sich der Schwerpunkt G des Objekts OB in dem erfassten Bild in der Bildmitte C befindet (Schritt S111). Wenn die Betriebssteuereinheit 42 bestimmt, dass sich der Schwerpunkt G des Objekts OB nicht in der Bildmitte C befindet (Schritt S111: NEIN), wird die Verarbeitung ab Schritt S109 wiederholt, bis sich der Schwerpunkt G des Objekts OB Bildmitte C befindet.
In der Verarbeitung in Schritt S111 wird, wenn die Betriebssteuereinheit bestimmt, dass sich der Schwerpunkt G des Objekts OB in der Bildmitte C (Schritt S111: JA) befindet, das zweite Bild, das das Objekt OB umfasst, von der Kamera 3 als das Bild an der zweiten Bildaufnahmeposition P2 erfasst (Schritt S112).
Wenn das zweite Bild erfasst wird (Schritt S112), speichert die Betriebssteuereinheit 42 in der Speichereinheit 46 die Winkelinformationen der Achsen J1-J6 des Roboters 2 als die Information, die die zweite Bildaufnahmeposition des Roboters 2 anzeigt, an der das zweite Bild erfasst wird (Schritt S113). Die Größenberechnungseinheit 43 berechnet, ähnlich der Verarbeitung in Schritt S108, die Größe W2 des Objekts im zweiten Bild (Schritt S114).
Für die Bewegungsentfernung dL des Roboters 2, die auf der Grundlage der Informationen, die die erste Bildaufnahmeposition P1 des Roboters 2 anzeigen, und der Informationen, die die zweite Bildaufnahmeposition P2 anzeigen, sowie der Größe W1 des Objekts OB im ersten Bild und der Größe W2 des Objekts OB im zweiten Bild berechnet wird, verwendet die Entfernungsberechnungseinheit 44 die oben stehende Gleichung (4), um die Entfernung nach der Bewegung L2 von der Kamera 3 zum Objekt OB an der zweiten Bildaufnahmeposition P2 zu berechnen (Schritt S115), und beendet so das Entfernungsmessverfahren.
Mit dem so ausgestalteten Entfernungsmessverfahren gemäß der vorliegenden Ausführungsform befindet sich, wenn der Roboter 2 gesteuert wird, sodass die Kamera 3 eine geradlinige Bewegung von der ersten Bildaufnahmeposition zur zweiten Bildaufnahmeposition erfährt, an jeder Bildaufnahmeposition der Schwerpunkt G des Objekts OB im Bild in der Bildmitte C. Daher bewegt sich die Kamera 3 nach der geradlinigen Bewegung der Kamera 3 effektiv entlang der Richtung der optischen Achse und der Schwerpunkt G des Objekts OB befindet sich auf der optischen Achse. Entsprechend ändert sich die Bewegungsentfernung dL von der Kamera 3 zum Objekt OB, wenn sich die Bildaufnahmeposition von der ersten Bildaufnahmeposition P1 zur zweiten Bildaufnahmeposition P2 ändert, entlang der Richtung der optischen Achse LA der Kamera 3. Indem die Größen W1, W2 des Objekts OB in den Bildern, die an der ersten Bildaufnahmeposition P1 und der zweiten Bildaufnahmeposition P2 aufgenommen werden, sowie die Bewegungsentfernung dL, die durch den Roboter 2 bewegt wird, sodass die Kamera 3 eine geradlinige Bewegung erfährt, verwendet werden, wird die Entfernung nach Bewegung L2 von der Kamera 3 zum Objekt OB an der zweiten Bildaufnahmeposition berechnet.
Daher ist es mit diesem Entfernungsmesssystem 1 möglich, obwohl im Voraus keine Kalibrierung ausgeführt wird, die Entfernung von der Kamera 3 zum Objekt OB zu messen. Zusätzlich ist es, da die Entfernung nach Bewegung L2 von der Kamera 3 zum Objekt OB berechnet wird, indem die Größen W1, W2 des Objekts in den Bildern, die aufgenommen werden, verwendet werden, möglich, die Entfernung nach Bewegung L2 ohne jeden Einfluss der tatsächlichen Größe des Objekts W des Objekts OB zu berechnen.
Mit dem Entfernungsmesssystem 1 gemäß der vorliegenden Ausführungsform wird, da sich der Schwerpunkt G des Objekts in der Mitte C des aufgenommenen Bildes befindet, eine genauere Entfernung nach Bewegung L2 von der Kamera 3 zum Objekt OB berechnet.
Mit dem Entfernungsmesssystem 1 gemäß der vorliegenden Ausführungsform ist, da die Quadratwurzel der Flächen als die Größen W1, W2 des Objekts OB in den aufgenommenen Bildern verwendet werden, der Fehler in der Berechnung der Entfernung nach Bewegung L2 von der Kamera 3 zum Objekt OB klein.
Obwohl die oben stehende Ausführungsform im Hinblick auf eine Form des Verfahrens zum Messen der Entfernung von der Kamera 3 zum Objekt OB beschrieben wurde, die vom Entfernungsmesssystem 1 berechnet wird, sind verschiedene Abwandlungen möglich.
So kann beispielsweise ein Objekt OB, das vom Roboter 2 gegriffen wurde, relativ zu einer Kamera 3 bewegt werden, die an einer anderen Position (beispielsweise dem Fußboden) als das Werkzeug 28 des Roboters 2 fixiert ist.
In dieser Ausführungsform wird der Roboter 2 von der Betriebssteuereinheit 42 gesteuert, sodass sich der Schwerpunkt G des Objekts OB in der Bildmitte C befindet; der Schwerpunkt G des Objekts OB muss sich nicht notwendigerweise in der Bildmitte C befinden. So kann beispielsweise, wenn das Objekt OB ein Quader ist, ein Scheitelpunkt, der als Merkmalspunkt des Objekts OB dient, berechnet werden, um als eine vorgeschriebene Position zu dienen, und der Roboter 2 kann von der Betriebssteuereinheit 42 gesteuert werden, sodass sich dieser Scheitelpunkt in der Mitte C des aufgenommenen Bildes befindet.
In der oben genannten Ausführungsform, wird die Quadratwurzel der Flächen in den Bildern als die Größen W1, W2 des Objekts OB verwendet; im Hinblick auf die Indikatoren der Größen W1, W2 des Objekts OB sind jedoch verschiedene Abwandlungen möglich. So können beispielsweise die maximalen Längen der Umrisse des Objekts OB als die Größen W1, W2 des Objekts OB verwendet werden, oder es kann die Länge einer geraden Linie verwendet werden, die zwei Merkmalspunkte miteinander verbindet.
In der vorliegenden Erfindung ist der Betrieb des Roboters 2, sodass die Kamera 3 eine geradlinige Bewegung entlang der optischen Achse LA der Kamera 3 erfährt, nicht notwendigerweise auf nur Bewegung begrenzt, bei der der Bewegungsweg des Roboters 2 nicht von der optischen Achse LA der Kamera 3 abweicht. In der oben genannten Ausführungsform verwendet die Betriebssteuereinheit 42 die erste Bildaufnahmeposition P1 und die zweite Bildaufnahmeposition P2 des Roboters 2 vor und nach der Bewegung, um die Bewegungsentfernung dL entlang der Richtung der optischen Achse LA der Kamera 3 zu berechnen. Daher ist, selbst wenn der Roboter 2 stark von der optischen Achse der Kamera 3 abweicht, während er sich von der ersten Bildaufnahmeposition P1 zur zweiten Bildaufnahmeposition P2 bewegt, indem die zusätzliche Verarbeitung wie die von Schritt S109 bis Schritt S111 in 5 ausgeführt wird, der Betrieb des Roboters 2, wie jener, die Kamera 3 zu veranlassen, eine geradlinige Bewegung von der ersten Bildaufnahmeposition P1 zur zweiten Bildaufnahmeposition P2 zu erfahren, eingestellt, sodass sie effektiv entlang der Richtung der optischen Achse LA der Kamera 3 ist.
Neben dem Fall, in dem der Roboter 2 so gesteuert wird, dass die Kamera 3 eine geradlinige Bewegung von der ersten Bildaufnahmeposition P1 zur zweiten Bildaufnahmeposition P2 erfährt, ist jeder Betrieb der Kamera 2 zwischen zwei Bildaufnahmeposition akzeptabel, solange die Ausrichtung der Kamera 3 an der ersten Bildaufnahmeposition P1 und die Ausrichtung der Kamera 3 an der zweiten Bildaufnahmeposition P2 eine Beziehung haben, die durch geradlinige Bewegung erfasst wurde.
In dem Flussdiagramm, das in 5 gezeigt ist, wird die Größe W1 des Objekts OB im ersten Bild berechnet, nachdem das erste Bild von der Kamera erfasst wurde, und die Größe W2 des Objekts OB im zweiten Bild wird berechnet, nachdem das zweite Bild von der Kamera 3 erfasst wurde; die Schritte für das Berechnen der Größen W1, W2 des Objekts OB sind jedoch nicht auf die Reihenfolge in dem Flussdiagramm in 5 begrenzt. So können beispielsweise die Schritte für das Berechnen der Größe W1 des Objekts OB im ersten Bild und der Größe W2 des Objekts im zweiten Bild in dem direkt vorangehenden Schritt ausgeführt werden, in dem die Entfernung nach Bewegung L2 von der Kamera 3 zum Objekt OB berechnet wird.
Bezugszeichenliste

1: Entfernungsmesssystem
2: Roboter
3: Kamera
4: Steuereinrichtung (Steuereinheit)
42: Betriebssteuereinheit
43: Größenberechnungseinheit
44: Entfernungsberechnungseinheit
IM1, IM2: Bild
C: Bildmitte
G: Schwerpunkt des Objekts
dL: Bewegungsentfernung (Entfernung zwischen zwei Bildaufnahmepositionen)
L1: Entfernung vor der Bewegung
L2: Entfernung nach der Bewegung (Entfernung von Kamera zu Objekt)
OB: Objekt
P1: erste Bildaufnahmeposition
P2: zweite Bildaufnahmeposition
W: tatsächliche Größe des Objekts
W1, W2: Größe des Objekts im Bild
S102: erster Bewegungsschritt
S106: erster Bildaufnahmeschritt
S109: zweiter Bewegungsschritt
S112: zweiter Bildaufnahmeschritt
S108, S114: Größenberechnungsschritt
S115: Entfernungsberechnungsschritt

Claims

Entfernungsmesssystem, umfassend: eine Kamera, die ein Objekt aufnimmt, um ein Bild zu erfassen; einen Roboter, der die Kamera oder das Objekt bewegt; und eine Steuereinheit, die den Roboter steuert; wobei die Steuereinheit umfasst: eine Betriebssteuereinheit, die den Roboter steuert, sodass sich die Kamera oder das Objekt in einem geradlinig bewegten Zustand zwischen zwei verschiedenen Bildaufnahmepositionen befindet, an denen sich eine vorgeschriebene Position auf dem Objekt in dem Bild, das von der Kamera erfasst wurde, in der Mitte des Bildes befindet, eine Größenberechnungseinheit, die die Größe des Objekts in dem Bild, das von der Kamera an den beiden Bildaufnahmepositionen erfasst wurde, berechnet, und eine Entfernungsberechnungseinheit, die eine Entfernung von der Kamera zum Objekt auf der Grundlage der Größen des Objekts an den beiden Bildaufnahmepositionen, die von der Größenberechnungseinheit berechnet werden, und der Entfernung zwischen den beiden Bildaufnahmepositionen berechnet.
Entfernungsmesssystem nach Anspruch 1, wobei die vorgeschriebene Position der Schwerpunkt des Objekts ist.
Entfernungsmesssystem nach Anspruch 1 oder 2, wobei die Größe des Objekts in dem Bild eine maximale Länge ist, die auf einem Umriss des Objekts basiert.
Entfernungsmesssystem nach Anspruch 1 oder Anspruch 2, wobei die Größe des Objekts im Bild die Quadratwurzel einer Fläche des Objekts ist.
Entfernungsmessverfahren, umfassend: einen ersten Bewegungsschritt des Betreibens eines Roboters, um ein Objekt oder eine Kamera zu bewegen, sodass sich das Objekt und die Kamera an einer ersten Bildaufnahmeposition befinden, an der sich eine vorgeschriebene Position auf dem Objekt in einem Bild, das von der Kamera erfasst wird, in der Mitte des Bildes befinden; einen ersten Bildaufnahmeschritt des Aufnehmens des Objekts mit der Kamera an der ersten Bildaufnahmeposition, um das Bild zu erfassen; einen zweiten Bewegungsschritt des Roboters, um das Objekt oder die Kamera zu bewegen, sodass die Kamera oder das Objekt eine geradlinige Bewegung ausgehend von der ersten Bildaufnahmeposition erfährt, um das Objekt und die Kamera an einer zweiten Bildaufnahmeposition zu positionieren, an der sich die vorgeschriebene Position in dem Bild, das von der Kamera erfasst wird, in der Mitte des Bildes befindet; einen zweiten Bildaufnahmeschritt des Aufnehmens des Objekts mit der Kamera an der zweiten Bildaufnahmeposition, um das Bild zu erfassen; einen Größenberechnungsschritt des Berechnens der Größen des Objekts in den Bildern, die an der ersten Bildaufnahmeposition und der zweiten Bildaufnahmeposition erfasst werden; und einen Entfernungsberechnungsschritt des Berechnens einer Entfernung von der Kamera zum Objekt auf der Grundlage der berechneten Größen des Objekts in den Bildern und der Entfernung zwischen der ersten Bildaufnahmeposition und der zweiten Bildaufnahmeposition.