DE112014004190T5

DE112014004190T5 - Positurschätzverfahren und Roboter

Info

Publication number: DE112014004190T5
Application number: DE112014004190.4T
Authority: DE
Inventors: Ayako Amma; Hirohito Hattori; Kunimatsu Hashimoto
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2013-09-12
Filing date: 2014-07-29
Publication date: 2016-05-25
Also published as: WO2015037178A1; KR20160003776A; JP2015056057A; US20160117824A1

Abstract

Ein Bilderkennungsverfahren gemäß einer Ausgestaltung der Erfindung beschafft ein Kamerabild, das durch Aufnehmen eines Subjekts unter Verwendung einer Kamera (10) (eines dreidimensionalen Sensors) erzeugt wird. Eine Vielzahl von Koordinaten wird beschafft, die einer Vielzahl von Bildelementen entsprechen, die in einem vorbestimmten Bereich im Kamerabild enthalten sind. Subjektentfernungsinformationen werden beschafft, die eine Entfernung vom Subjekt zu der Kamera (10) an der Vielzahl der Bildelemente angeben. Dann wird die Positur der im Subjekt im vorbestimmten Bereich enthaltenen Subjektoberfläche beruhend auf der Vielzahl der Koordinaten und der Vielzahl der Subjektentfernungsinformationsteile geschätzt, die beschafft wurden.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf ein Positurschätzverfahren und einen Roboter.
Technischer Hintergrund
Ein Roboter wurde vorgeschlagen, der in Übereinstimmung mit einer räumlichen Umgebung arbeitet. Ein derartiger Roboter erkennt verschiedene Ebenen in einer Umgebung, in der sich der Roboter bewegt und verschiedene Operationen ausführt, wie Gehen, ein Objekt halten und ein Objekt platzieren.
Beispielsweise offenbart das Patentdokument 1 ein Ebenenschätzverfahren unter Verwendung einer Stereokamera. Zuerst wird ein Stereobild aufgenommen, und eine Vielzahl von Merkmalspunkten wird für ein Referenzbild in dem Stereobild extrahiert. Dreidimensionale Koordinaten werden unter Verwendung des Prinzips der Triangulation aus der Parallaxe erhalten, die durch Suchen nach einem Entsprechungspunkt in einem anderen Bild für jeden Merkmalspunkt erhalten wird, der extrahiert wurde. Dann wird ein Bild, das dem Bild an der Position des Merkmalspunkts ähnlich ist, der extrahiert wurde, aus Bildern vor und nach der Bewegung des Objekts erfasst, und eine dreidimensionale Position der Ebene wird aus einem dreidimensionalen Bewegungsvektor jedes Merkmalspunkts berechnet, der extrahiert wurde.
Zitierliste
Patentliteratur

[Patentdokument] Japanische ungeprüfte Patentanmeldungsoffenlegung Nr. 2006-105661

Kurzzusammenfassung der Erfindung
Technisches Problem
Um das im Patentdokument 1 offenbarte Verfahren zu verwenden, muss die Stereokamera verwendet werden, da Informationen über die Parallaxe zweier Bilder erforderlich sind. Die Stereokamera ist aber teurer als eine Monokularkamera. Daher ist es schwierig, die Kosten eines Sensors (einer Kamera) zu verringern. Obwohl ein Positurschätzverfahren unter Verwendung lediglich der Monokularkamera vorgeschlagen wurde, ist die Schätzgenauigkeit des Verfahrens nicht ausreichend hoch.
Die vorliegende Erfindung dient zum Lösen des vorstehenden Problems und zielt auf die Bereitstellung eines Positurschätzverfahrens und eines Roboters ab, die kostengünstig bereitgestellt werden können, und eine hohe Schätzgenauigkeit sicherstellen können.
Lösung des Problems
Ein Positurschätzverfahren gemäß einer Ausgestaltung der Erfindung umfasst: Beschaffen eines aufgenommenen Bildes, das durch Aufnehmen eines Subjekts unter Verwendung einer Bildgebungsvorrichtung erzeugt wird, Beschaffen einer Vielzahl von Koordinaten, die einer Vielzahl von Bildelementen entsprechen, die in einem vorbestimmten Bereich in dem aufgenommenen Bild enthalten sind, Beschaffen von Subjektentfernungsinformationen, die eine Entfernung von dem Subjekt zu der Bildgebungsvorrichtung angeben, in der Vielzahl der Bildelemente und Schätzen einer Positur der Subjektoberfläche, die in dem Subjekt in dem vorstehenden Bereich enthalten ist, beruhend auf der Vielzahl von Subjektentfernungsinformationsteilen und der Vielzahl von Koordinaten, die beschafft wurden. Es ist daher möglich, die Positur der Subjektoberfläche kostengünstig ohne Verwendung der Stereokamera zu schätzen. Da die Positur der Subjektoberfläche unter Verwendung von Informationen der Subjektentfernung zusätzlich zu den Koordinaten der Ebene geschätzt wird, ist es ferner möglich, die hohe Schätzgenauigkeit sicherzustellen.
Das vorstehende Verfahren kann ferner umfassen: Beschaffen eines Entfernungsbildes, in dem jedes Bildelement die Subjektentfernungsinformationen enthält, Assoziieren der Bildelemente in dem aufgenommenen Bild mit den Bildelementen in dem Entfernungsbild und Beschaffen der Subjektentfernungsinformationen aus Bildelementen, die der Vielzahl von Bildelementen in dem vorbestimmten Bereich der Bildelemente in dem Entfernungsbild entsprechen.
Ferner kann das vorstehende Verfahren umfassen: Berechnen dreidimensionaler Koordinaten der Vielzahl der Bildelemente beruhend auf den Subjektentfernungsinformationen und Koordinaten der Vielzahl der Bildelemente und Schätzen der Positur der Subjektoberfläche, die in dem vorbestimmten Bereich enthalten ist, beruhend auf den dreidimensionalen Koordinaten der Vielzahl der Bildelemente.
Das vorstehende Verfahren kann ferner umfassen: Anbringen einer Markierung an der Subjektoberfläche, Erfassen eines Markierungsbereichs, der die Markierung enthält, in dem aufgenommenen Bild als den vorbestimmten Bereich und Schätzen der Positur der Markierung, die in dem Markierungsbereich enthalten ist, der erfasst wurde.
Das vorstehende Verfahren kann ferner umfassen: Berechnen einer Gleichung einer Projektionsebene, die parallel zu der Subjektoberfläche ist, unter Verwendung der Subjektentfernungsinformationen und der Koordinaten der Vielzahl der Bildelemente, Projizieren eines Merkmalspunktes, der die Positur der Markierung in dem aufgenommenen Bild angibt, auf die Projektionsebene, und Schätzen der Positur der Markierung beruhend auf den Koordinaten des auf die Projektionsebene projizierten Merkmalspunktes.
Das vorstehende Verfahren kann ferner umfassen: Bestimmen der Koordinaten des Merkmalspunktes in dem aufgenommenen Bild mit Unterbildelementgenauigkeit zum Projizieren des Merkmalspunktes auf die Projektionsebene unter Verwendung der Koordinaten des Merkmalspunktes, die bestimmt wurden.
Das vorstehende Verfahren kann ferner umfassen: Schätzen der Position der Markierung beruhend auf den Koordinaten des auf die Projektionsebene projizierten Merkmalspunktes, Berechnen der Koordinaten des Merkmalspunktes in der Projektionsebene unter Verwendung von Informationen bezüglich der geschätzten Positur der Markierung, der geschätzten Position der Markierung und der Größe der Markierung, die vorab eingestellt wurde, Projizieren des Merkmalspunktes in der Projektionsebene, der berechnet wurde, auf das aufgenommene Bild, Vergleichen der Koordinaten des Merkmalspunktes in dem aufgenommenen Bild, wenn das Subjekt aufgenommen wird, mit den Koordinaten des Merkmalspunktes, die projiziert wurden, und Bestimmen einer Schätzgenauigkeit beruhend auf dem Vergleichsergebnis.
Das vorstehende Verfahren kann ferner umfassen: Schätzen der Position der Markierung beruhend auf den Koordinaten des auf die Projektionsebene projizierten Merkmalspunktes, Berechnen der Koordinaten des Merkmalspunktes in der Projektionsebene unter Verwendung von Informationen bezüglich der geschätzten Positur der Markierung, der geschätzten Position der Markierung und der Größe der Markierung, die vorab eingestellt wurde, Vergleichen der Koordinaten des von dem aufgenommenen Bild projizierten Merkmalspunktes, wenn die Positur der Markierung geschätzt wird, mit den Koordinaten des Merkmalspunktes in der Projektionsebene, die berechnet wurden, und Bestimmen einer Schätzgenauigkeit beruhend auf dem Vergleichsergebnis.
Bei dem vorstehenden Verfahren kann die Markierung eine im Wesentlichen rechtwinklige Form haben, die Scheitelpunkte der Markierung in dem aufgenommenen Bild können als die Merkmalspunkte erfasst werden, wenn die Anzahl der Merkmalspunkte, die erfasst wurden, zwei oder drei ist, Seiten der Markierung, die sich von den Merkmalspunkten erstrecken, die erfasst wurden, können verlängert werden, und der Schnittpunkt der Seiten, die verlängert wurden, kann als der Merkmalspunkt geschätzt werden.
Bei dem vorstehenden Verfahren kann die Markierung eine im Wesentlichen rechtwinklige Form haben, die Scheitelpunkte der Markierung in dem aufgenommenen Bild können als die Merkmalspunkte erfasst werden, wenn die Anzahl der Merkmalspunkte, die erfasst wurden, kleiner gleich vier ist, Seiten der Markierung, die sich von den Merkmalspunkten erstrecken, die erfasst wurden, können verlängert werden, und ein Punkt, der sich auf den Seiten, die verlängert wurden, befindet, und von den Merkmalspunkten, die erfasst wurden, um eine vorbestimmte Entfernung beabstandet ist, kann als der Merkmalspunkt geschätzt werden.
Ein Roboter gemäß einer Ausgestaltung der Erfindung umfasst die Bildgebungsvorrichtung, einen Entfernungssensor, der die Subjektentfernungsinformationen beschafft, und eine Positurschätzeinrichtung, die das vorstehend beschriebene Positurschätzverfahren ausführt.
Vorteilhafte Wirkungen der Erfindung
Erfindungsgemäß ist es möglich, ein Positurschätzverfahren und einen Roboter bereitzustellen, die kostengünstig gefertigt werden können, und eine hohe Schätzgenauigkeit sicherstellen können.
Kurzbeschreibung der Zeichnungen
1 zeigt ein Blockschaltbild eines Positurschätzsystems gemäß einem ersten Ausführungsbeispiel,
2 zeigt eine Darstellung eines Beispiels eines Kamerabildes,
3 zeigt eine Darstellung eines Beispiels eines Entfernungsbildes,
4 zeigt eine Darstellung zur Beschreibung einer Verknüpfung von Bildelementen des Kamerabildes und des Entfernungsbildes,
5 zeigt eine Darstellung zur Beschreibung einer Verknüpfung von Bildelementen des Kamerabildes und des Entfernungsbildes,
6 zeigt ein Ablaufdiagramm eines Betriebs des Positurschätzsystems gemäß dem ersten Ausführungsbeispiel,
7 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Auslesen einer Markierungs-ID gemäß dem ersten Ausführungsbeispiel,
8 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Ausschneiden eines Markierungsbereichs gemäß dem ersten Ausführungsbeispiel,
9 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen einer Ebene, die eine Markierung enthält, gemäß dem ersten Ausführungsbeispiel,
10 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Position und der Positur der Markierung gemäß dem ersten Ausführungsbeispiel,
11 zeigt ein Blockschaltbild eines Positurschätzverfahrens gemäß einem zweiten Ausführungsbeispiel,
12 zeigt ein Ablaufdiagramm eines Betriebs des Positurschätzsystems gemäß dem zweiten Ausführungsbeispiel,
13 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Position und der Positur einer Markierung gemäß dem zweiten Ausführungsbeispiel,
14 zeigt eine Darstellung zur Beschreibung eines Verfahrens zum Bewerten einer Schätzgenauigkeit gemäß dem zweiten Ausführungsbeispiel,
15 zeigt eine Darstellung zur Beschreibung eines Verfahrens zum Bewerten der Schätzgenauigkeit gemäß dem zweiten Ausführungsbeispiel,
16 zeigt eine Darstellung eines Beispiels eines Kamerabildes gemäß einem modifizierten Beispiel,
17 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Ausschneiden eines Markierungsbereichs gemäß dem modifizierten Beispiel,
18 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen einer eine Markierung enthaltenden Säule gemäß dem modifizierten Beispiel,
19 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Position und der Positur der Markierung gemäß dem modifizierten Beispiel,
20 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Position und der Positur der Markierung gemäß dem modifizierten Beispiel,
21 zeigt eine Darstellung einer Markierung gemäß einem dritten Ausführungsbeispiel, die teilsweise verborgen ist,
22 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen eines Merkmalspunktes gemäß dem dritten Ausführungsbeispiel, der verborgen ist,
23 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Position einer Markierung gemäß dem dritten Ausführungsbeispiel,
24 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Positur der Markierung gemäß dem dritten Ausführungsbeispiel,
25 zeigt eine Darstellung einer Markierung gemäß dem dritten Ausführungsbeispiel, die teilweise verborgen ist,
26 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen von Merkmalspunkten gemäß dem dritten Ausführungsbeispiel, die verborgen sind,
27 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Position der Markierung gemäß dem dritten Ausführungsbeispiel,
28 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Positur der Markierung gemäß dem dritten Ausführungsbeispiel,
29 zeigt eine Darstellung einer Markierung gemäß dem dritten Ausführungsbeispiel, die teilweise verborgen ist,
30 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen von Merkmalspunkten gemäß dem dritten Ausführungsbeispiel, die verborgen sind,
31 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Position der Markierung gemäß dem dritten Ausführungsbeispiel,
32 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Positur der Markierung gemäß dem dritten Ausführungsbeispiel,
33 zeigt eine Darstellung einer Markierung gemäß dem dritten Ausführungsbeispiel, die teilweise verborgen ist,
34 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen von Merkmalspunkten gemäß dem dritten Ausführungsbeispiel, die verborgen sind,
35 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Position der Markierung gemäß dem dritten Ausführungsbeispiel, und
36 zeigt eine Darstellung zur Beschreibung eines Betriebs zum Schätzen der Positur der Markierung gemäß dem dritten Ausführungsbeispiel.
Beschreibung der Ausführungsbeispiele
<Erstes Ausführungsbeispiel>
Nachstehend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. Ein Positurschätzverfahren gemäß diesem Ausführungsbeispiel schätzt die Position und die Positur einer Markierung in einem Kamerabild, das unter Verwendung einer Kamera aufgenommen wird.
<Konfiguration des Positurschätzsystems>
1 zeigt ein Blockschaltbild eines Bildverarbeitungssystems gemäß diesem Ausführungsbeispiel. Das Bildverarbeitungssystem enthält eine Kamera 10, einen dreidimensionalen Sensor 20 und eine Positurschätzeinrichtung 30.
Die Kamera 10 (Bildgebungsvorrichtung) enthält eine Objektivgruppe, einen Bildsensor und dergleichen, die nicht gezeigt sind. Die Kamera 10 führt eine Bildverarbeitung zur Erzeugung eines Kamerabildes (aufgenommenen Bildes) aus. In dem Kamerabild ist die Position jedes Bildelements unter Verwendung zweidimensionaler Koordinaten (x, y) gezeigt. Das Kamerabild ist beispielsweise ferner ein Bild wie in 2 gezeigt, und jedes Bildelement hat einen RGB-Wert (Farbinformationen), einen Luminanzwert und dergleichen. Die Kamera 10 ist eine Monokularkamera.
Der dreidimensionale Sensor 20 führt eine Bildgebungsverarbeitung zur Erzeugung eines Entfernungsbildes aus. Insbesondere beschafft der dreidimensionale Sensor 20 Informationen (Subjektentfernungsinformationen), die die Entfernung von der Kamera 10 (oder dem dreidimensionalen Sensor 20) zu einem Subjekt in einem Bildwinkel angeben, der einem Bildwinkel der Kamera 10 entspricht. Insbesondere ist der dreidimensionale Sensor 20 in der Nähe der Kamera 10 angeordnet und beschafft die Entfernung von dem dreidimensionalen Sensor 20 zu dem Subjekt als die Subjektentfernungsinformationen. Der dreidimensionale Sensor 20 erzeugt dann das Entfernungsbild unter Verwendung der Subjektentfernungsinformationen. In dem Entfernungsbild ist die Position jedes Bildelements unter Verwendung zweidimensionaler Koordinaten gezeigt. In dem Entfernungsbild enthält jedes Bildelement ferner Subjektentfernungsinformationen. Das heißt, das Entfernungsbild ist ein Bild mit Informationen bezüglich der Tiefe des Subjekts. Wie beispielsweise in 3 gezeigt, ist das Entfernungsbild ein Graustufenbild, und eine Farbdichte des Bildelements ändert sich entsprechend den Subjektentfernungsinformationen. Der dreidimensionale Sensor kann beispielsweise eine Laufzeit-(TOF-)Kamera, eine Stereokamera oder dergleichen sein.
Die Positurschätzeinrichtung 30 enthält eine Steuereinrichtung 31, eine Markierungserkennungseinheit 32 und eine Ebenenschätzeinheit 33. Die Steuereinrichtung 31 ist aus einer integrierten Halbleiterschaltung mit einer Zentralverarbeitungseinheit (CPU), einem Nur-Lese-Speicher (ROM), der verschiedene Programme speichert, und einem Speicher mit wahlfreiem Zugriff (RAM) als Arbeitsbereich oder dergleichen gebildet. Die Steuereinrichtung 31 sendet eine Anweisung zu jedem Block der Positurschätzeinrichtung 30 und steuert allgemein die gesamte Verarbeitung der Positurschätzeinrichtung 30.
Die Markierungserkennungseinheit 32 erfasst einen Markierungsbereich (vorbestimmten Bereich) aus dem Kamerabild. Der Markierungsbereich ist ein Teilbereich des Kamerabildes, des Entfernungsbildes und einer Ebene F, die wie nachstehend beschrieben geschätzt wurde, und ist ein Bereich mit einer Markierung. Das heißt, die Position, die Positur und die Positur des Markierungsbereichs entsprechend der Position, der Positur und der Form der Markierung, die das Subjekt ist. Die Markierungserkennungseinheit 32 liest die ID (Identifizierungsinformationen) der Markierung aus, die erfasst wurde. Die ID der Markierung ist an dem Subjekt beispielsweise durch ein Format wie einen Strichcode oder zweidimensionalen Code angebracht. Das heißt, die Markierung ist ein Zeichen zum Identifizieren des Individuellen, des Typs und dergleichen des Subjekts. Ferner beschafft die Markierungserkennungseinheit 32 die Positionsinformationen des Markierungsbereichs in dem Kamerabild. Die Positionsinformationen des Markierungsbereichs sind beispielsweise unter Verwendung von xy-Koordinaten gezeigt. Es wird angemerkt, dass die Markierung bei diesem Ausführungsbeispiel eine im Wesentlichen rechtwinklige Form hat.
Die Ebenenschätzeinheit 33 schätzt die Position und die Positur der an der Subjektoberfläche des Subjekts angebrachten Markierung beruhend auf dem Entfernungsbild. Insbesondere schneidet die Ebenenschätzeinheit 33 den Bereich in dem Entfernungsbild aus dem Entfernungsbild aus, der dem Markierungsbereich in dem Kamerabild entspricht. Die Ebenenschätzeinheit 33 beschafft die Koordinaten (zweidimensionalen Koordinaten) der Vielzahl der in dem Markierungsbereich enthaltenen Bildelemente, die aus dem Entfernungsbild ausgeschnitten ist. Ferner beschafft die Ebenenschätzeinheit 33 die in jedem der Vielzahl der Bildelemente enthaltenen Subjektentfernungsinformationen aus dem Entfernungsbild. Die Ebenenschätzeinheit 33 beschafft dann die dreidimensionalen Koordinaten der Vielzahl der Bildelemente beruhend auf den Subjektentfernungsinformationen und den Koordinaten der Vielzahl der Bildelemente in dem Entfernungsbild zum Schätzen der Position und der Positur der in dem Markierungsbereich enthaltenen Markierung.
Obwohl die Kamera 10 und der dreidimensionale Sensor 20 nahe aneinander angeordnet sind, sind sie nicht an derselben Position angeordnet. Daher gibt es eine geringe Abweichung zwischen dem Bildwinkel des Kamerabildes und dem Bildwinkel des Entfernungsbildes. Das heißt, die Position (Koordinaten) des Bildelements in einem Punkt eines Subjekts in dem Kamerabild unterscheidet sich von der in dem Entfernungsbild. Allerdings kann der Spalt zwischen der Kamera 10 und dem dreidimensionalen Sensor 20 vorab gemessen werden. Daher kann die Steuereinrichtung 31 die Koordinaten des Bildelements in einem Bild um den dem Spalt entsprechend Betrag abweichen lassen, um jedes Bildelement des Kamerabildes und jedes Bildelement des Entfernungsbildes zu verknüpfen. Nach diesem Vorgang ist das Bildelement in einem Punkt eines Subjekts in dem Kamerabild mit dem des Entfernungsbildes assoziiert (Kalibrierung).
Wenn interne Parameter (Brennweite, Ursprungs-(Mitten-)Position des Bildes, Verformungszentrum, Seitenverhältnis und dergleichen) der Kamera 10 dieselben wie die des dreidimensionalen Sensors 20 sind, reicht es auch, dass die Koordinaten der Bildelemente des Kamerabildes zum Abweichen veranlasst werden, um sie mit denen des Entfernungsbildes beruhend auf den Koordinaten der Bildelemente des Entfernungsbildes wie vorstehend angeführt zu assoziieren (vgl. 4). Wenn die internen Parameter der Kamera 10 von den internen Parametern des dreidimensionalen Sensors 20 aber verschieden sind, werden die Koordinaten des Kamerabildes mit den Koordinaten des Entfernungsbildes durch Projizieren jedes Bildelements des Entfernungsbildes auf jedes Bildelement des Kamerabildes beruhend auf den internen Parametern projiziert (vgl. 5). Wie in 5 gezeigt, werden die Koordinaten des Kamerabildes, die den Koordinaten des Sterns in dem Entfernungsbild entsprechen, beruhend auf den internen Parametern der Kamera 10 und des dreidimensionalen Sensors 20 berechnet. Verschiedene Kalibrierungsverfahren wurden vorgeschlagen, wenn die zwei Kameras voneinander verschiedene interne Parameter aufweisen, und ein vorhandenes Verfahren kann angewendet werden. Auf die ausführliche Beschreibung des Kalibrierungsverfahrens wird verzichtet.
<Betrieb des Positurschätzsystems>
Als Nächstes wird unter Bezugnahme auf das in 6 gezeigte Ablaufdiagramm ein Positurschätzverfahren gemäß diesem Ausführungsbeispiel beschrieben.
Zuerst nehmen die Kamera 10 und der dreidimensionale Sensor 20 das Subjekt auf. Die Kamera 10 erzeugt dann das Kamerabild. Ferner erzeugt der dreidimensionale Sensor 20 das Entfernungsbild. Die Positurschätzeinrichtung 30 beschafft das Kamerabild und das Entfernungsbild, die erzeugt wurden (Schritt S101).
Die Markierungserkennungseinheit 32 erfasst den Markierungsbereich aus dem Kamerabild (Schritt S102). Die Markierungserkennungseinheit 32 erfasst den Markierungsbereich beruhend auf der Form der Markierung. Da die Markierungserkennungseinheit 32 Informationen vorab speichert, dass die Markierung eine im Wesentlichen rechtwinklige Form hat, erfasst die Markierungserkennungseinheit 32 den rechtwinkligen Bereich in dem Kamerabild. Wenn eine Markierung vorhanden ist, die in dem rechtwinkligen Bereich ausgewiesen werden kann, erfasst die Markierungserkennungseinheit 32 diesen rechtwinkligen Bereich als den Markierungsbereich.
Dann liest die Markierungserkennungseinheit 32 die ID der Markierung aus, die erfasst wurde (Schritt S103). Bei diesem Ausführungsbeispiel wird angenommen, dass die in 7 gezeigte Markierung M erfasst wurde. Die Markierungserkennungseinheit 32 liest die Markierung M aus, um "13" als die Markierungs-ID zu beschaffen. Auf diese Weise beschafft die Markierungserkennungseinheit 32 die Markierungs-ID und identifiziert das Individuelle des Objekts, an dem die Markierung angebracht ist.
Dann schneidet die Ebenenschätzeinheit 33 den Bereich in dem Entfernungsbild, der dem Markierungsbereich in dem Kamerabild entspricht, aus dem Entfernungsbild aus (Schritt S104). Insbesondere beschafft die Ebenenschätzeinheit 33, wie in 8 gezeigt, die Positionsinformationen eines Markierungsbereichs Mc (schräg schraffierter Bereich) in dem Kamerabild von der Markierungserkennungseinheit 32. Da die Koordinaten jedes Bildelements des Kamerabildes und die Koordinaten jedes Bildelements des Entfernungsbildes miteinander vorab assoziiert sind, schneidet die Ebenenschätzeinheit 33 den Bereich, der der Position des Markierungsbereichs in dem Kamerabild entspricht, als Markierungsbereich Md (schräg schraffierter Bereich) aus dem Entfernungsbild aus.
Die Ebenenschätzeinheit 33 beschafft die Subjektentfernungsinformationen der Vielzahl der in dem Markierungsbereich Md enthaltenen Bildelemente, der aus dem Entfernungsbild ausgeschnitten ist. Ferner beschafft die Ebenenschätzeinheit 33 zweidimensionale Koordinaten (x, y) für die Vielzahl der Bildelemente, deren Subjektentfernungsinformationen beschafft wurden. Die Ebenenschätzeinheit 33 kombiniert diese Informationen zum Beschaffen dreidimensionaler Koordinaten (x, y, z) für jedes Bildelement. Mit diesem Vorgang kann die Position jedes Bildelements in dem Markierungsbereich Md unter Verwendung der dreidimensionalen Koordinaten ausgedrückt werden. Der Markierungsbereich, wo die Koordinaten jedes Punkts unter Verwendung der dreidimensionalen Koordinaten ausgedrückt sind, wird als Markierungsbereich Me bezeichnet.
Die Ebenenschätzeinheit 33 schätzt die optimale Ebene für den Markierungsbereich Me (Schritt S105). Insbesondere schätzt die Ebenenschätzeinheit 33 wie in 9 gezeigt eine Gleichung der optimalen Ebene F unter Verwendung der dreidimensionalen Koordinaten der Vielzahl der in dem Markierungsbereich Me enthaltenen Bildelemente. Die optimale Ebene F für den Markierungsbereich Me ist eine Ebene, die parallel zu dem Markierungsbereich Me ist und den Markierungsbereich Me enthält. Sind zu diesem Zeitpunkt dreidimensionale Koordinaten von drei oder mehr Punkten in einer Ebene bestimmt, ist die Gleichung der Ebene eindeutig bestimmt. Daher schätzt die Ebenenschätzeinheit 33 die Gleichung der Ebene unter Verwendung der dreidimensionalen Koordinaten der Vielzahl der (drei oder mehr) Bildelemente, die in dem Markierungsbereich Me enthalten sind. Daher ist es möglich, die Gleichung der Ebene, die den Markierungsbereich Me enthält, d.h., die Richtung der Ebene zu schätzen. Insgesamt kann die Richtung (Positur) der Markierung geschätzt werden.
Die Gleichung der Ebene ist unter Verwendung des folgenden Ausdrucks (1) gezeigt. Die Symbole A, B, C und D sind konstante Parameter, und x, y und z sind Variablen (dreidimensionale Koordinaten). Ein RANdom SAmple Consensus(RANSAC-)Verfahren kann beispielsweise als das Verfahren zum Berechnen der Gleichung der optimalen Ebene verwendet werden. Das RANSAC-Verfahren ist ein Verfahren zum Schätzen der Parameter (A, B, C und D) im Ausdruck (1) unter Verwendung eines Datensatzes, der zufällig extrahiert wurde (eine Vielzahl dreidimensionaler Koordinaten in dem Markierungsbereich Me), wobei es sich um ein sehr gut bekanntes Verfahren handelt. Daher wird auf eine detaillierte Beschreibung des RANSAC-Verfahrens verzichtet. A + By + Cz + D = 0 (1)
Ferner schätzt die Ebenenschätzeinheit 33 die Position und die Positur der Markierung (Schritt S106). Wie in 10 gezeigt, beschafft die Ebenenschätzeinheit 33 die dreidimensionalen Koordinaten der Bildelemente an vier Ecken (X0, X1, X2, X3) des Markierungsbereichs Me in der geschätzten Ebene F (X0 = (x0, y0, z0). Das Gleiche gilt für X1–X3. In der folgenden Beschreibung werden die Bildelemente an den vier Ecken des Markierungsbereichs (vier Scheitelpunkte der Markierung) als Merkmalspunkte bezeichnet. Die Merkmalspunkte geben die Position und die Positur der Markierung an. Wenn die dreidimensionalen Koordinaten der Bildelemente an den vier Ecken des Markierungsbereichs bestimmt werden können, können die Position und die Positur der Markierung auch bestimmt werden. Daher sind die Punkte an den vier Ecken des Markierungsbereichs die Merkmalspunkte. Natürlich sind die Merkmalspunkte nicht auf die Bildelemente an den vier Ecken des Markierungsbereichs beschränkt.
Alternativ dazu kann der Ausdruck jeder Seite des Markierungsbereichs Me geschätzt werden, und die Schnittpunkte der jeweiligen Seiten können als die Merkmalspunkte des Markierungsbereichs Me geschätzt werden. Beispielsweise kann die Ebenenschätzeinheit 33 die dreidimensionalen Koordinaten einer Vielzahl von Punkten auf einer Seite des Markierungsbereichs Me beschaffen und den Ausdruck einer brauchbaren Geraden als Gerade, die durch die Vielzahl von Punkten läuft, geschätzt werden, wodurch der Ausdruck jeder Seite berechnet wird.
Die Ebenenschätzeinheit 33 beschafft die dreidimensionalen Koordinaten eines Mittelpunkts Xa der vier Merkmalspunkte durch Berechnen des Mittelwerts der dreidimensionalen Koordinaten an den vier Merkmalspunkten. Die Ebenenschätzeinheit 33 schätzt die dreidimensionalen Koordinaten des Mittelpunkts Xa des Markierungsbereichs als die Position der Markierung.
Zuletzt schätzt die Ebenenschätzeinheit 33 das Markierungskoordinatensystem (Positur der Markierung). Wie in 10 gezeigt, berechnet die Ebenenschätzeinheit 33 den Vektor, der zwei angrenzende Punkte der vier Merkmalspunkte in dem Markierungsbereich verbindet. Das heißt, die Ebenenschätzeinheit 33 schätzt den Vektor, der die Merkmalspunkte X0 und X3 verbindet, als den Vektor (x') der Markierung in der x-Achsenrichtung. Ferner schätzt die Ebenenschätzeinheit 33 den Vektor, der die Merkmalspunkte X0 und X1 verbindet, als den Vektor (y') der Markierung in der y-Achsenrichtung. Ferner berechnet die Ebenenschätzeinheit 33 die Normale der geschätzten Ebene F und schätzt den Normalenvektor als den Vektor (z') der Markierung in der z-Achsenrichtung.
Zu diesem Zeitpunkt kann die Ebenenschätzeinheit 33 den Vektor der Markierung in der z-Achsenrichtung durch Berechnung des äußeren Produkts des Vektors in der x-Achsenrichtung und des Vektors in der y-Achsenrichtung schätzen, die bereits geschätzt wurden. In diesem Fall ist es möglich, das Koordinatensystem und die Position der Markierung unter Verwendung der vier Merkmalspunkte des Markierungsbereichs Me ohne Durchführung einer Verarbeitung zum Schätzen der Ebene F zu schätzen (Schritt S105). Das heißt, wenn die Ebenenschätzeinheit 33 die Subjektentfernungsinformationen und die zweidimensionalen Koordinaten der Vielzahl der Bildelemente beschaffen kann, die in dem Markierungsbereich enthalten sind, kann die Ebenenschätzeinheit 33 aus diesen Informationen die dreidimensionalen Koordinaten des Markierungsbereichs berechnen und die Position und die Positur der Markierung schätzen.
Es wird angemerkt, dass der Ursprung des Koordinatensystems beispielsweise der Mittelpunkt Xa des Markierungsbereichs Me ist. Daher schätzt die Ebenenschätzeinheit 33 das Markierungskoordinatensystem, das von dem Kamerakoordinatensystem verschieden ist. Wie vorstehend angeführt, schätzt die Ebenenschätzeinheit 33 die Position und die Positur der an der Subjektoberfläche angebrachten Markierung.
Gemäß der Konfiguration der Positurschätzeinrichtung 30 dieses Ausführungsbeispiels wie vorstehend beschrieben beschafft die Markierungserkennungseinheit 32 das durch die Kamera 10 erzeugte aufgenommene Bild zur Erfassung des Markierungsbereichs. Die Ebenenschätzeinheit 33 beschafft die dreidimensionalen Koordinaten der Vielzahl der Bildelemente, die in dem Markierungsbereich enthalten sind, unter Verwendung der Koordinaten der Vielzahl der Bildelemente in dem Markierungsbereich und der Subjektentfernung der Vielzahl der Bildelemente in dem Markierungsbereich. Dann schätzt die Ebenenschätzeinheit 33 die Gleichung der Ebene parallel zu dem Markierungsbereich unter Verwendung der dreidimensionalen Koordinaten der Vielzahl der in dem Markierungsbereich enthaltenen Bildelemente. Das heißt, die Ebenenschätzeinheit 33 schätzt die Richtung (Positur) der Markierung. Ferner schätzt die Ebenenschätzeinheit 33 die Position und das Koordinatensystem (die Positur) der Markierung unter Verwendung der dreidimensionalen Koordinaten der vier Merkmalspunkte in dem Markierungsbereich. Wie vorstehend angeführt kann die Positurschätzeinrichtung 30 die Position und die Positur der Markierung unter Verwendung des durch die Monokularkamera und den dreidimensionalen Sensor erzeugten Bildes schätzen. Insgesamt kann die Positur der Subjektoberfläche unter Verwendung lediglich einer Kamera und eines dreidimensionalen Sensors geschätzt werden. es ist daher möglich, die Positur der Subjektoberfläche kostengünstig ohne die Verwendung der Stereokamera zu schätzen. Da die Schätzung unter Verwendung der dreidimensionalen Koordinaten der Subjektoberfläche durchgeführt wird, kann ferner auch eine hohe Schätzgenauigkeit sichergestellt werden.
<Zweites Ausführungsbeispiel>
Ein zweites Ausführungsbeispiel der Erfindung wird beschrieben. 11 zeigt ein Blockschaltbild einer Positurschätzeinrichtung 30 gemäß diesem Ausführungsbeispiel. Bei diesem Ausführungsbeispiel unterscheidet sich ein Verfahren zum Schätzen der Merkmalspunkte des Markierungsbereichs durch die Ebenenschätzeinheit 33 von dem des vorstehenden ersten Ausführungsbeispiels. Die Positurschätzeinrichtung 30 enthält ferner eine Genauigkeitsbewertungseinheit 34. Da der weitere Aufbau dem in dem ersten Ausführungsbeispiel ähnlich ist, wird auf seine Beschreibung soweit angemessen verzichtet.
Die Ebenenschätzeinheit 33 schätzt die Position des Markierungsbereichs Me auf der Projektionsebene durch Projizieren der Koordinaten des Markierungsbereichs Mc in dem Kamerabild auf die geschätzte Ebene F (die nachstehend auch als Projektionsebene F bezeichnet wird) anstelle des direkten Schätzens der Position und der Positur der Markierung anhand der Koordinaten des Markierungsbereichs Md, der aus dem Entfernungsbild ausgeschnitten ist.
Die Genauigkeitsbewertungseinheit 34 bewertet, ob die Position und die Positur der Markierung genau geschätzt wurden. Insbesondere vergleicht die Genauigkeitsbewertungseinheit 34 die Position des Markierungsbereichs Me, die geschätzt wurde, mit der Position des Markierungsbereichs Me, der auf die Ebene F durch die Ebenenschätzeinheit 33 projiziert wird, oder der Position des Markierungsbereichs Mc in dem Kamerabild, der durch die Markierungserkennungseinheit 32 erfasst wird. Die Genauigkeitsbewertungseinheit 34 bewertet die Schätzgenauigkeit beruhend auf dem Vergleichsergebnis.
<Betrieb des Positurschätzsystems>
Als Nächstes wird ein Betrieb eines Ebenensystems gemäß diesem Ausführungsbeispiel unter Bezugnahme auf das Ablaufdiagramm in 12 beschrieben. Die Vorgänge in den Schritten S201 bis S205 gleichen jenen in den Schritten S101 bis S105 des in 6 gezeigten Ablaufdiagramms.
Zuerst beschafft die Markierungserkennungseinheit 32 das durch die Kamera 10 erzeugte Kamerabild und das durch den dreidimensionalen Sensor erzeugte Entfernungsbild (Schritt S201). Die Markierungserkennungseinheit 32 erfasst dann den Markierungsbereich Mc in dem Kamerabild (Schritt S202). Die Markierungserkennungseinheit 32 liest die ID der erkannten Markierung aus (Schritt S203). Die Ebenenschätzeinheit 33 schneidet dann den Bereich in dem Entfernungsbild aus, der dem Markierungsbereich Mc in dem Kamerabild entspricht (Schritt S204). Die Ebenenschätzeinheit 33 beschafft die dreidimensionalen Koordinaten unter Verwendung der Subjektentfernungsinformationen und der Koordinaten der Bildelemente in dem Markierungsbereich Md in dem Entfernungsbild. Die Ebenenschätzeinheit 33 schätzt dann die Richtung (Gleichung) der optimalen Ebene, in der der Markierungsbereich Me vorhanden ist, beruhend auf der Vielzahl dreidimensionaler Koordinaten (Schritt S205).
Dann projiziert die Ebenenschätzeinheit 33 den Markierungsbereich Mc in dem Kamerabild auf die geschätzte Ebene F (Schritt S206). Insbesondere beschafft die Ebenenschätzeinheit 33 die Koordinaten der vier Merkmalspunkte des Markierungsbereichs Mc in dem Kamerabild mit Unterbildelementgenauigkeit.
Das heißt, die Werte der x- und y-Koordinaten der Merkmalspunkte enthalten nicht nur einen ganzzahligen Wert, sondern auch eine Dezimalstelle. Die Ebenenschätzeinheit 33 projiziert dann jede Koordinate der beschafften Koordinaten auf die Projektionsebene F zur Berechnung der dreidimensionalen Koordinaten der vier Merkmalspunkte des Markierungsbereichs Me in der Projektionsebene F. Die dreidimensionalen Koordinaten der vier Merkmalspunkte des Markierungsbereichs Me in der Projektionsebene F können durch die Durchführung einer projektiven Transformation (Zentralprojektionstransformation) unter Verwendung der internen Parameter (Brennweite, Bildmittenkoordinaten) der Kamera 10 berechnet werden.
Wie in 13 gezeigt, sind die Koordinaten der vier Merkmalspunkte Ti(T0–T3) des Markierungsbereichs Mc in dem Kamerabild C durch (ui, vi) ausgedrückt, und die dreidimensionalen Koordinaten der vier Merkmalspunkte Xi(X0–X3) des Markierungsbereichs Me in der Projektionsebene sind durch (xi, yi, zi) ausgedrückt. Zu diesem Zeitpunkt sind die folgenden Ausdrücke (2) bis (4) für die entsprechenden Koordinaten in dem Kamerabild und der Projektionsebene erfüllt. Das Symbol fx gibt die Brennweite der Kamera 10 in der x-Richtung an, und fy gibt die Brennweite der Kamera 10 in der y-Richtung an. Ferner geben die Symbole Cx und Cy die zentralen Koordinaten des Kamerabildes an. Ax_i + By_i + Cz_i + D = 0 (2)
Der vorstehende Ausdruck (2) ist ein Ausdruck der Ebene F (Projektionsebene), die den Markierungsbereich Me enthält. Die Ausdrücke (3) und (4) sind Ausdrücke der gestrichelten Linien, die die Merkmalspunkte in dem Kamerabild C und die Merkmalspunkte in der Ebene F in 13 verbinden. Zum Erhalten der dreidimensionalen Koordinaten der Merkmalspunkte (X0–X3) des Markierungsbereichs Me in der Projektionsebene F kann daher das Simultansystem der Ausdrücke (2) bis (4) für jeden Punkt (T0–T3) der Merkmalspunkte des Markierungsbereichs Mc in dem Kamerabild C berechnet werden. Das Symbol i bezeichnet die Nummer der Merkmalspunkte.
Nach dem Berechnen der dreidimensionalen Koordinaten der Merkmalspunkte des Markierungsbereichs Me in der Projektionsebene F schätzt die Ebenenschätzeinheit 33 die Position und die Positur der Markierung (Schritt S207). Insbesondere berechnet die Ebenenschätzeinheit 33 den Mittelwert der vier Merkmalspunkte des Markierungsbereichs Me (Koordinaten des Mittelpunkts Xa des Markierungsbereichs Me) zum Beschaffen der dreidimensionalen Koordinaten, die die Position der Markierung angeben. Ferner schätzt die Ebenenschätzeinheit 33 den Vektor in der x-Achsenrichtung und den Vektor in der y-Achsenrichtung der Markierung unter Verwendung der dreidimensionalen Koordinaten der vier Merkmalspunkte des Markierungsbereichs Me. Ferner schätzt die Ebenenschätzeinheit 33 den Vektor in der z-Achsenrichtung durch Berechnen der Normalen der Projektionsebene F. Die Ebenenschätzeinheit 33 kann den Vektor in der z-Achsenrichtung durch Berechnung des äußeren Produkts des Vektors in der x-Achsenrichtung und des Vektors in der y-Achsenrichtung berechnen. Die Ebenenschätzeinheit 33 schätzt somit das Markierungskoordinatensystem (Positur der Markierung).
Zuletzt bewertet die Genauigkeitsbewertungseinheit 34 die Zuverlässigkeit der Schätzgenauigkeit der Position und der Positur der Markierung, die geschätzt wurden (Schritt S208). Das Bewertungsverfahren kann ein Bewertungsverfahren in einem dreidimensionalen Raum (geschätzte Ebene F) oder ein Bewertungsverfahren in einem zweidimensionalen Raum (Kamerabild) sein.
Zuerst wird das Bewertungsverfahren im dreidimensionalen Raum unter Bezugnahme auf 14 beschrieben. Die Genauigkeitsbewertungseinheit 34 vergleicht die dreidimensionalen Koordinaten des Markierungsbereichs Me, der durch die Ebenenschätzeinheit 33 in die Projektionsebene F projiziert ist, mit den dreidimensionalen Koordinaten des Markierungsbereichs, der unter Verwendung der Position und Positur der Markierung, die geschätzt wurden, und der Größe der Markierung berechnet ist, um einen Fehler δ der dreidimensionalen Koordinaten zu berechnen. Beispielsweise berechnet die Genauigkeitsbewertungseinheit 34 den Fehler δ für die dreidimensionalen Koordinaten der Merkmalspunkte des Markierungsbereichs unter Verwendung des folgenden Ausdrucks (5). Es wird angemerkt, dass X die dreidimensionalen Koordinaten der Merkmalspunkte des von dem Kamerabild auf die Projektionsebene projizierten Markierungsbereichs Me bezeichnet, und X' die dreidimensionalen Koordinaten der Merkmalspunkte des Markierungsbereichs bezeichnet, der geschätzt wurde. Insbesondere ist der Merkmalspunkt X' ein Merkmalspunkt der Markierung, die beruhend auf der geschätzten Position der Markierung (dreidimensionalen Koordinaten des Mittelpunkts der Markierung), des geschätzten Markierungskoordinatensystems und der Form oder Länge jeder Seite der Markierung, die vorab eingestellt ist (durch die Genauigkeitsbewertungseinheit 34 vorab beschafft wird) zu schätzen ist. Das Symbol i bezeichnet die Nummer der Merkmalspunkte.
Die Genauigkeitsbewertungseinheit 34 bestimmt die Zuverlässigkeit der Position und Positur der Markierung, die geschätzt wurde, unter Verwendung des folgenden Ausdrucks (6). Es wird angemerkt, dass α die Zuverlässigkeit und θ einen Schwellenwert des Fehlers bezeichnen, wo die Zuverlässigkeit 0 wird.
Die Genauigkeitsbewertungseinheit 34 bestimmt, ob die Zuverlässigkeit α höher als der Schwellenwert ist (Schritt S209). Wenn die Zuverlässigkeit α höher als der Schwellenwert ist (Schritt S209: Ja), wendet die Genauigkeitsbewertungseinheit 34 das Schätzergebnis an und der Ablauf ist beendet. Wenn die Zuverlässigkeit α andererseits kleiner oder gleich dem Schwellenwert ist (Schritt S209: Nein), verwirft die Genauigkeitsbewertungseinheit 34 das Schätzergebnis. Die Positurschätzeinrichtung 30 führt die vorstehende Verarbeitung ab der Markierungserfassungsverarbeitung (Schritt S202) erneut aus. Beispielsweise wendet die Genauigkeitsbewertungseinheit 34 das Schätzergebnis an, wenn die Zuverlässigkeit α größer oder gleich 0,8 ist, und verwirft das Schätzergebnis, wenn die Zuverlässigkeit kleiner als 0,8 ist.
Als Nächstes wird das Bewertungsverfahren im zweidimensionalen Raum unter Bezugnahme auf 15 beschrieben. Die Genauigkeitsbewertungseinheit 34 projiziert den in der Projektionsebene geschätzten Markierungsbereich wieder auf die Ebene des Kamerabildes unter Berücksichtigung der Position und der Positur der Markierung, die geschätzt wurden, und der Größe der Markierung. Die Genauigkeitsbewertungseinheit 34 vergleicht dann die Position des Markierungsbereichs, der projiziert wurde, mit der Position des Markierungsbereichs Mc im Kamerabild, um den Fehler δ der zweidimensionalen Koordinaten zu berechnen. Beispielsweise berechnet die Genauigkeitsbewertungseinheit 34 den Fehler δ für die zweidimensionalen Koordinaten der Merkmalspunkte des Markierungsbereichs unter Verwendung des folgenden Ausdrucks (7). Es wird angemerkt, dass P die zweidimensionalen Koordinaten der Merkmalspunkte des Markierungsbereichs Mc im Kamerabild (wenn das Subjekt aufgenommen wird) bezeichnet, P' die zweidimensionalen Koordinaten des Merkmalspunkts des Markierungsbereichs bezeichnet, wenn der Merkmalspunkt X' (derselbe wie X' in 14) der Markierung, die geschätzt wurde, auf das Kamerabild projiziert wird, und i die Nummer der Merkmalspunkte bezeichnet.
Die Zuverlässigkeit α kann unter Verwendung eines Ausdrucks berechnet werden, der ähnlich dem vorstehenden Ausdruck (6) ist. Die Genauigkeitsbewertungseinheit 34 kann die Schätzgenauigkeit unter Verwendung eines der vorstehend angeführten Bewertungsverfahren oder unter Verwendung beider der vorstehend beschriebenen Bewertungsverfahren bewerten.
Wie vorstehend beschrieben projiziert die Ebenenschätzeinheit 33 gemäß der Konfiguration der Positurschätzeinrichtung 30 dieses Ausführungsbeispiels den Markierungsbereich Mc im Kamerabild auf die Projektionsebene, die als die Ebene geschätzt wird, die die Markierung enthält. Die Ebenenschätzeinheit 33 schätzt die Position und die Positur der Markierung unter Verwendung der dreidimensionalen Koordinaten der vier Merkmalspunkte des Markierungsbereichs Me, der auf die Projektionsebene F projiziert ist. Wenn die Schätzung dabei lediglich unter Verwendung der Subjektentfernungsinformationen und der Koordinaten des Markierungsbereichs Md ausgeführt wird, der aus dem Entfernungsbild ausgeschnitten ist, wie es im ersten Ausführungsbeispiel beschrieben ist, kann ein Fehler bei der Schätzung der dreidimensionalen Koordinaten der Merkmalspunkte aufgrund eines Einflusses eines Fehlers auftreten, der auftritt, wenn der Markierungsbereich ausgeschnitten wird. Bei diesem Ausführungsbeispiel berechnet die Ebenenschätzeinheit 33 die dreidimensionalen Koordinaten der vier Merkmalspunkte des Markierungsbereichs Me durch Projizieren der Merkmalspunkte im Kamerabild auf die geschätzte Projektionsebene F. Daher ist es möglich, die Position und die Positur des Markierungsbereichs zu schätzen, ohne dass eine Beeinträchtigung durch den Ausschneidefehler auftritt. Als Ergebnis kann die Schätzgenauigkeit verbessert werden.
Ferner bestimmt die Ebenenschätzeinheit 33 die Koordinaten der Merkmalspunkte im Kamerabild mit Unterbildelementpräzision, wenn der Markierungsbereich Mc projiziert wird. Daher ist es möglich, eine Schätzung mit größerer Genauigkeit als in dem Fall auszuführen, in dem die Schätzung für jedes Bildelement ausgeführt wird.
Ferner bewertet die Genauigkeitsbewertungseinheit 34 die Schätzgenauigkeit des Markierungsbereichs, der geschätzt wurde, und wenn die Schätzgenauigkeit kleiner oder gleich dem Schwellenwert ist, verwirft sie das Schätzergebnis. Es ist daher möglich, lediglich ein sehr genaues Schätzergebnis anzuwenden. Wenn die Genauigkeit des Schätzergebnisses niedrig ist, kann beispielsweise ein Prozess derart durchgeführt werden, dass die Schätzung erneut ausgeführt wird. Es ist daher möglich, ein Schätzergebnis mit ausreichend hoher Genauigkeit zu erhalten.
(Modifiziertes Beispiel)
Ein modifiziertes Beispiel gemäß diesem Ausführungsbeispiel wird beschrieben. Bei dem modifizierten Beispiel ist die Subjektoberfläche, an der die Markierung angebracht ist, eine gekrümmte Oberfläche und keine Ebene. Das heißt, die Positurschätzeinrichtung 30 schätzt eine optimale primitive Form für den aus dem Entfernungsbild ausgeschnittenen Markierungsbereich. Da die Konfiguration der Positurschätzeinrichtung 30 der in 11 gezeigten ähnlich ist, wird soweit angemessen auf eine ausführliche Beschreibung verzichtet.
Bei einem Positurschätzverfahren gemäß dem modifizierten Beispiel wird eine ähnliche Verarbeitung wie die im Ablaufdiagramm in 12 gezeigte durchgeführt. Zuerst erfasst die Markierungserkennungseinheit 32 die Markierung aus dem Kamerabild. Wie in 16 gezeigt, wird bei dem modifizierten Beispiel angenommen, dass die Markierung an einer säulenartigen Subjektoberfläche angebracht ist. Das heißt, die Markierung hat eine Form einer gekrümmten Oberfläche.
Die Markierungserkennungseinheit 32 liest die ID der Markierung aus, die erkannt wurde. Wie in 17 gezeigt, schneidet die Ebenenschätzeinheit 33 den Bereich Md im Entfernungsbild aus, der dem Markierungsbereich Mc im Kamerabild entspricht.
Dann beschafft die Ebenenschätzeinheit 33 die dreidimensionalen Koordinaten der Vielzahl der Bildelemente beruhend auf den Subjektentfernungsinformationen und den Koordinaten der Vielzahl der in dem Markierungsbereich Md enthaltenen Bildelemente, der ausgeschnitten wurden. Die Ebenenschätzeinheit 33 schätzt eine Gleichung einer Säule E, an der die Markierung angebracht ist, unter Verwendung der dreidimensionalen Koordinaten, die beschafft wurden, beispielsweise durch das RANSAC-Verfahren (vgl. 18). Dabei ist die Gleichung der Säule durch den folgenden Ausdruck (8) ausgedrückt. Die Symbole a, b und r sind konstante Parameter. Das Symbol r ist ein Radius der Säule. Es wird angenommen, dass die Ebenenschätzeinheit 33 vorab erkennt, dass die Markierung eine gekrümmte Oberfläche aufweist. Beispielsweise kann die Form der Markierung durch einen Benutzer vorab eingegeben werden, oder Informationen über die Form der Markierung können in den Informationen der Markierung enthalten sein, die ausgelesen wurden. (x – a)² + (y – b)² = r² (8)
Nach Schätzen der Gleichung der Säule projiziert die Ebenenschätzeinheit 33 den Markierungsbereich Mc im Kamerabild auf die geschätzte Säule E. Das heißt, die Ebenenschätzeinheit 33 projiziert die Koordinaten der Bildelemente der Merkmalspunkte des Markierungsbereichs Mc im Kamerabild C als die dreidimensionalen Koordinaten der Seitenfläche der geschätzten Säule E unter Verwendung der Ausdrücke (3), (4), (8), wie es in 19 gezeigt ist.
Die Ebenenschätzeinheit 33 schätzt die Position der Markierung unter Verwendung der dreidimensionalen Koordinaten der Merkmalspunkte des Markierungsbereichs Me in der geschätzten Säule. Wie in 20 gezeigt, schätzt die Ebenenschätzeinheit 33 beispielsweise die dreidimensionalen Koordinaten des Mittelpunkts Xa des Markierungsbereichs Me als die Position der Markierung. Die dreidimensionalen Koordinaten des Mittelpunkts Xa des Markierungsbereichs Me können durch Berechnen des folgenden Ausdrucks (9) beispielsweise unter Verwendung der dreidimensionalen Koordinaten der Merkmalspunkte (X0–X3) des Markierungsbereichs Me erhalten werden.
Das heißt, die Position der Markierung wird durch den Mittelwert der dreidimensionalen Koordinaten der vier Merkmalspunkte angegeben. Es wird angemerkt, dass Xi den i-ten Merkmalspunkt des Markierungsbereichs angibt. Xi = (xi, yi, zi) ist erfüllt.
Als Nächstes schätzt die Ebenenschätzeinheit 33 das Markierungskoordinatensystem (Positur der Markierung). Insbesondere berechnet die Ebenenschätzeinheit 33 wie in 20 gezeigt den Mittelwert des Vektors, der die Merkmalspunkte X0 und X3, und des Vektors, der die Merkmalspunkte X1 und X2 des Markierungsbereichs Me in der x-Achsenrichtung verbindet, unter Verwendung der folgenden Ausdrucks (10) zum Schätzen eines Vektors nx in der x-Achsenrichtung. n_x = 1 / 2{(X₃ – X₀) + (X₂ – X₁)} (10)
Auf gleiche Weise berechnet die Ebenenschätzeinheit 33 den Mittelwert des Vektors, der die Koordinaten der Merkmalspunkte X0 und X1, und des Vektors, der die Merkmalspunkte X2 und X3 des Markierungsbereichs Me in der y-Achsenrichtung verbindet, unter Verwendung des folgenden Ausdrucks (11) zum Schätzen eines Vektors ny in der y-Achsenrichtung. n_y = 1 / 2{(X₁ – X₀) + (X₂ – X₃)} (11)
Ferner schätzt die Ebenenschätzeinheit 33 einen Vektor nz in der z-Achsenrichtung des Markierungsbereichs Me unter Verwendung des folgenden Ausdrucks (12). Das heißt, der Vektor nz kann durch das äußere Produkt des Vektors nx und des Vektors ny erhalten werden, die bereits berechnet wurden. n_z = n_x × n_y (12)
Zuletzt wird die Positur der Markierung R unter Verwendung des folgenden Ausdrucks (13) ausgedrückt. Das heißt, die Positur der Markierung R normalisiert die Vektoren in der x-Achsenrichtung, der y-Achsenrichtung und der z-Achsenrichtung, und wird unter Verwendung der Rotationsmatrix ausgedrückt.
Wie im folgenden Ausdruck (14) gezeigt, werden die Position und die Positur der Markierung, die berechnet wurden, unter Verwendung einer Positionspositurmatrix Σ^mrk der Markierung ausgedrückt.
Wie vorstehend angeführt beschafft die Positurschätzeinrichtung 30 gemäß diesem Ausführungsbeispiel die dreidimensionalen Koordinaten des Markierungsbereichs Me, selbst wenn die Markierung an der gekrümmten Oberfläche angebracht ist, um die gekrümmte Oberfläche (Säule) der Markierung zu schätzen. Die Positurschätzeinrichtung 30 projiziert dann die Merkmalspunkte des Markierungsbereichs Mc im Kamerabild auf die geschätzte gekrümmte Oberfläche und berechnet die Merkmalspunkte der Markierung auf der gekrümmten Oberfläche (Säule E). Es ist daher möglich, die Position und die Positur der Markierung zu schätzen.
<Drittes Ausführungsbeispiel>
Ein drittes Ausführungsbeispiel der Erfindung wird beschrieben. Eine Positurschätzeinrichtung 30 gemäß diesem Ausführungsbeispiel schätzt die Position und die Positur der Markierung in einem Zustand, in dem ein Teil der Markierung im Kamerabild verborgen ist. Da das grundlegende Schätzverfahren das gleiche wie in den Ablaufdiagrammen in den 6 und 12 ist, wird soweit angemessen auf seine ausführliche Beschreibung verzichtet.
<Wenn ein Merkmalspunkt der Markierung verborgen ist>
Zuerst wird das Schätzverfahren beschrieben, wenn einer der vier Merkmalspunkte der Markierung verborgen ist, wie es in 21 gezeigt ist. Zuerst erfasst die Markierungserkennungseinheit 32 den Markierungsbereich Mc im Kamerabild.
Da ein Merkmalspunkt der Markierung verborgen ist, ist zu diesem Zeitpunkt die Anzahl an Merkmalspunkten, die durch die Markierungserkennungseinheit 32 erfasst werden kann, drei. Daher kann die Markierungserkennungseinheit 32 den rechtwinkligen Markierungsbereich nicht erkennen. Wie in 22 gezeigt, verlängert die Markierungserkennungseinheit 32 daher zwei Seiten L1 und L2, die sich zu einem Merkmalspunkt T2 erstrecken, der in dem Kamerabild verborgen ist. Wenn die zwei Seiten L1 und L2, die verlängert wurden, einander schneiden, schätzt die Markierungserkennungseinheit 32 den Schnittpunkt als den Merkmalspunkt T2, der verborgen ist. Wenn der durch vier Punkte gebildete Bereich eine im Wesentlichen rechtwinklige Form hat, bestimmt die Markierungserkennungseinheit 32, dass dieser Bereich der Markierungsbereich Mc ist.
Wenn die Farbe der Markierung charakteristisch ist, kann die Markierungserkennungseinheit 32 den Markierungsbereich Mc unter Verwendung von Farbinformationen erfassen, die für die Markierung spezifisch sind. Wenn beispielsweise wie in 21 gezeigt die Markierung eine rechwinklige Form hat, deren Farben lediglich schwarz und weiß enthalten, bestimmt die Markierungserkennungseinheit 32 den Bereich, dessen Farben lediglich schwarz und weiß enthalten, als den Markierungsbereich.
Als Nächstes schätzt die Ebenenschätzeinheit 33 die den Markierungsbereich Me enthaltende Ebene. Das heißt, die Ebenenschätzeinheit 33 schneidet den Bereich aus dem Entfernungsbild aus, der dem Bereich entspricht, der als der Markierungsbereich Mc im Kamerabild bestimmt wurde. Die Ebenenschätzeinheit 33 beschafft die dreidimensionalen Koordinaten, die aus den Subjektentfernungsinformationen und den Koordinaten der Vielzahl der Bildelemente berechnet werden, die in dem Markierungsbereich Md im Entfernungsbild enthalten sind, um die den Markierungsbereich Me enthaltende Ebene (Gleichung der Ebene) zu schätzen.
Die Ebenenschätzeinheit 33 projiziert dann drei Merkmalspunkte T0, T1 und T3 des im Kamerabild erkannten Markierungsbereichs Mc auf die geschätzte Ebene (Projektionsebene) unter Verwendung der vorstehenden Ausdrücke (2)–(4). Die Ebenenschätzeinheit 33 beschafft daher die dreidimensionalen Koordinaten in der Projektionsebene der drei Merkmalspunkte (X0, X1 und X3) des Markierungsbereichs Me.
Unter Verwendung der dreidimensionalen Koordinaten der zwei Merkmalspunkte X1 und X3, die unter den drei Merkmalspunkten X0, X1 und X3, die im Kamerabild erkannt wurden, nicht aneinander angrenzen, berechnet die Ebenenschätzeinheit 33, wie in 23 gezeigt, das Liniensegment (diagonale Linie der Markierung), das diese zwei Punkte verbindet. Die Ebenenschätzeinheit 33 beschafft dann die dreidimensionalen Koordinaten des Mittelpunkts Xa der diagonalen Linien. Die Ebenenschätzeinheit 33 beschafft daher die dreidimensionalen Koordinaten des Mittelpunkts Xa des Markierungsbereichs Me als die die Position der Markierung angebenden Koordinaten.
Ferner schätzt die Ebenenschätzeinheit 33 das Markierungskoordinatensystem. Insbesondere berechnet die Ebenenschätzeinheit 33 die Vektoren der zwei Seiten, die die drei Merkmalspunkte X0, X1 und X3 des Markierungsbereichs Me verbinden, die erkannt wurden. Wie in 24 gezeigt, schätzt die Ebenenschätzeinheit 33 den Vektor von dem Merkmalspunkt X0 zu dem Merkmalspunkt X3 als den Vektor in der x-Achsenrichtung. Ferner schätzt die Ebenenschätzeinheit 33 den Vektor vom Merkmalspunkt X0 zum Merkmalspunkt X1 als den Vektor in der y-Achsenrichtung. Dann berechnet die Ebenenschätzeinheit 33 die Normale der Ebene, die den Markierungsbereich Me enthält, als den Vektor in der z-Achsenrichtung. Mit dieser Verarbeitung schätzt die Ebenenschätzeinheit 33 das Markierungskoordinatensystem (die Positur der Markierung). Der Vektor in der z-Achsenrichtung kann auch durch Berechnen des äußeren Produkts des Vektors in der x-Achsenrichtung und des Vektors in der y-Achsenrichtung berechnet werden, die bereits berechnet wurden.
<Wenn zwei Merkmalspunkte der Markierung verborgen sind>
Als Nächstes wird ein Schätzverfahren in einem Fall beschrieben, in dem zwei der vier Merkmalspunkte der Markierung verborgen sind. Wie in 25 gezeigt, wird angenommen, dass zwei Merkmalspunkte der vier Merkmalspunkte der Markierung verborgen sind, die aneinander angrenzen.
Zuerst bestimmt die Markierungserkennungseinheit 32 den Markierungsbereich Mc im Kamerabild. Wenn zwei Merkmalspunkte der Markierung, die aneinander angrenzen, verborgen sind, ist die Anzahl der Merkmalspunkte, die durch die Markierungserkennungseinheit 32 erfasst werden können, zwei. Da kein Rechteck lediglich durch Verlängern der Seiten der Markierung gebildet werden kann, die erkannt werden konnten, ist es schwierig, den Markierungsbereich Mc beruhend auf der Form zu erfassen. Daher erfasst die Markierungserkennungseinheit 32 den Markierungsbereich Mc beruhend auf den für die Markierung spezifischen Farbinformationen.
Dann schätzt die Ebenenschätzeinheit 33 die den Markierungsbereich Me enthaltende Ebene. Das heißt, die Ebenenschätzeinheit 33 schneidet den Bereich im Entfernungsbild aus dem Entfernungsbild aus, der dem als Markierungsbereich Mc im Kamerabild bestimmten Bereich entspricht. Dann beschafft die Ebenenschätzeinheit 33 die dreidimensionalen Koordinaten, die aus den Subjektentfernungsinformationen und den Koordinaten der Vielzahl der Bildelemente berechnet werden, die im Markierungsbereich Md im Entfernungsbild enthalten sind, um die den Markierungsbereich Me enthaltende Ebene (Gleichung der Ebene) zu schätzen.
Die Ebenenschätzeinheit 33 projiziert dann die zwei Merkmalspunkte im Markierungsbereich Mc, die im Kamerabild erkannt wurden, auf die geschätzte Ebene (Projektionsebene) unter Verwendung der vorstehenden Ausdrücke (2) bis (4). Ferner schätzt die Ebenenschätzeinheit 33 die dreidimensionalen Koordinaten der zwei Merkmalspunkte in der geschätzten Ebene, die verborgen sind. Beispielsweise wird angenommen, dass die Ebenenschätzeinheit 33 die Forminformationen der Markierung vorab beschafft. Die Forminformationen sind Informationen, die angeben, ob die rechwinklige Markierung ein Quadrat ist, das Längenverhältnis jeder Seite angeben, die Länge jeder Seite angeben, und dergleichen. Die Ebenenschätzeinheit 33 schätzt dann die dreidimensionalen Koordinaten der zwei Merkmalspunkte, die verborgen sind, unter Verwendung der Forminterformationen der Markierung.
Wie in 26 gezeigt, wird beispielsweise angenommen, dass die Ebenenschätzeinheit 33 die Forminformationen enthält, die angeben, dass die Markierung ein Quadrat ist. In diesem Fall schätzt die Ebenenschätzeinheit 33 die Punkte als die Merkmalspunkte X2 und X3, die jede der folgenden Bedingungen erfüllen: sie sind in der geschätzten Ebene positioniert, sie befinden sich auf den Geraden, die durch Verlängern der Seiten L1 und L3 erhalten werden, die sich von den verborgenen Merkmalspunkten erstrecken, und die Entfernung dieser Punkte von den Merkmalspunkten X0 und X1, die erkannt wurden, ist dieselbe wie die Entfernung zwischen zwei Punkten (X0, X1), die erkannt wurden. Die Ebenenschätzeinheit 33 beschafft somit die dreidimensionalen Koordinaten aller Merkmalspunkte im Markierungsbereich Me. Dann schätzt die Ebenenschätzeinheit 33 wie in 27 gezeigt den Mittelwert der dreidimensionalen Koordinaten aller Merkmalspunkte im Markierungsbereich Me als die Koordinaten des Mittelpunkts Xa, der die Position der Markierung angibt. Ferner kann die Ebenenschätzeinheit 33 die dreidimensionalen Koordinaten des Schnittspunkts der diagonalen Linien oder des Mittelpunkts der diagonalen Linien als die Koordinaten schätzen, die die Position der Markierung angeben.
Ferner schätzt die Ebenenschätzeinheit 33 das Markierungskoordinatensystem. Insbesondere schätzt die Ebenenschätzeinheit 33, wie in 28 gezeigt, den Vektor, der die Merkmalspunkte X0 und X1 verbindet, die im Kamerabild erkannt werden, als den Vektor in der y-Achsenrichtung. Ferner schätzt die Ebenenschätzeinheit 33 die Normale der geschätzten Ebene als den Vektor in der z-Achsenrichtung. Die Ebenenschätzeinheit 33 berechnet dann das äußere Produkt des Vektors in der y-Achsenrichtung und des Vektors in der z-Achsenrichtung, die bereits berechnet wurden, als den Vektor in der x-Achsenrichtung. Mit dieser Verarbeitung schätzt die Ebenenschätzeinheit 33 das Markierungskoordinatensystem (die Positur der Markierung).
<Wenn zwei Merkmalspunkte der Markierung verborgen sind>
Als Nächstes wird das Schätzverfahren in einem Fall beschrieben, in dem zwei der vier Merkmalspunkte der Markierung verborgen sind. Wie in 29 gezeigt wird angenommen, dass die zwei Merkmalspunkte, die sich auf der Diagonalen befinden, unter den vier Merkmalspunkten der Markierung verborgen sind. Zuerst erfasst die Markierungserkennungseinheit 32 den Markierungsbereich Mc im Kamerabild. Die Anzahl der Merkmalspunkte, die die Markierungserkennungseinheit 32 erkennen kann, ist zwei. Es ist daher schwierig, den Markierungsbereich Mc beruhend auf der Form zu erfassen. Daher erfasst die Markierungserkennungseinheit 32 den Markierungsbereich Mc beruhend auf den für die Markierung spezifischen Farbinformationen, ähnlich wie in dem Fall, in dem zwei Merkmalspunkte verborgen sind, die aneinander angrenzen.
Als Nächstes schätzt die Ebenenschätzeinheit 33 die den Markierungsbereich Me enthaltende Ebene. Das heißt, die Ebenenschätzeinheit 33 schneidet den Bereich im Entfernungsbild aus dem Entfernungsbild aus, der dem als Markierungsbereich Mc im Kamerabild bestimmten Bereich entspricht. Dann beschafft die Ebenenschätzeinheit 33 die dreidimensionalen Koordinaten, die aus den Subjektentfernungsinformationen und den Koordinaten der Vielzahl der Bildelemente berechnet werden, die im Markierungsbereich Md im Entfernungsbild enthalten sind, um die den Markierungsbereich Me enthaltende Ebene (Gleichung der Ebene) zu schätzen.
Die Ebenenschätzeinheit 33 projiziert dann die Koordinaten der zwei Merkmalspunkte im Markierungsbereich Mc, die im Kamerabild erkannt werden, auf die geschätzte Ebene (Projektionsebene) unter Verwendung der Ausdrücke (2) bis (4).
Ferner verlängert die Ebenenschätzeinheit 33 wie in 30 gezeigt jede der zwei Seiten L0 und L3, die sich von dem Merkmalspunkt X0 erstrecken, der im Kamerabild erkannt werden konnte, im auf die Projektionsebene projizierten Markierungsbereich Me. Ferner verlängert die Ebenenschätzeinheit 33 jede der zwei Seiten L1 und L2, die sich von dem im Kamerabild erkannten Merkmalspunkt X2 erstrecken. Die Ebenenschätzeinheit 33 schätzt dann, dass die Schnittpunkte der verlängerten Seiten die Merkmalspunkte X1 und X3 des Markierungsbereichs Me sind. Insbesondere schätzt die Ebenenschätzeinheit 33 die Punkte, die die Bedingungen erfüllen, dass sich die Punkte auf der geschätzten Ebene befinden, und die Punkte sich auf den durch Verlängern der Seiten L1 und L2 erhaltenen Geraden befinden, als die zwei Merkmalspunkte X1 und X3, die verborgen sind. Wie in 31 gezeigt, schätzt die Ebenenschätzeinheit 33 den Mittelwert der dreidimensionalen Koordinaten der vier Merkmalspunkte als die Koordinaten des Mittelpunkts Xa, der die Position der Markierung angibt. Das heißt, die Ebenenschätzeinheit 33 schätzt die Koordinaten des Mittepunkts Xa des Markierungsbereichs Me.
Ferner schätzt die Ebenenschätzeinheit 33 wie in 32 gezeigt die Vektoren, die zwei Merkmalspunkte der vier Merkmalspunkte der Markierung verbinden, die aneinander angrenzen, als den Vektor in der x-Achsenrichtung und den Vektor in der y-Achsenrichtung. Ferner schätzt die Ebenenschätzeinheit 33 den Normalenvektor der Ebene mit dem Markierungsbereich Me als den Vektor in der z-Achsenrichtung. Die Ebenenschätzeinheit 33 schätzt daher das Markierungskoordinatensystem (die Positur der Markierung).
<Wenn drei Merkmalspunkte der Markierung verborgen sind>
Als Nächstes wird das Schätzverfahren wie in 33 gezeigt in einem Fall beschrieben, in dem drei der vier Merkmalspunkte verborgen sind. Die Anzahl der Merkmalspunkte, die durch die Markierungserkennungseinheit 32 erfasst werden können, ist eins. Es ist daher schwierig, den Markierungsbereich Mc beruhend auf der Form zu erfassen. Daher erfasst die Markierungserkennungseinheit 32 zuerst den Markierungsbereich Mc im Kamerabild beruhend auf den für die Markierung spezifischen Farbinformationen.
Dann schätzt die Ebenenschätzeinheit 33 die den Markierungsbereich Me enthaltende Ebene. Das heißt, die Ebenenschätzeinheit 33 schneidet den Bereich im Entfernungsbild aus dem Entfernungsbild aus, der dem als Markierungsbereich Mc im Kamerabild erkannten Bereich entspricht. Dann beschafft die Ebenenschätzeinheit 33 die dreidimensionalen Koordinaten, die aus den Subjektentfernungsinformationen und den Koordinaten der Vielzahl der Bildelemente berechnet werden, die im Markierungsbereich Md im Entfernungsbild enthalten sind, um die den Markierungsbereich Me enthaltende Ebene (Gleichung der Ebene) zu schätzen.
Die Ebenenschätzeinheit 33 projiziert dann die Koordinaten eines Merkmalspunktes des Markierungsbereichs Mc, der im Kamerabild erkannt werden konnte, auf die geschätzte Ebene unter Verwendung der Ausdrücke (2) bis (4).
Ferner schätzt die Ebenenschätzeinheit 33 wie in 34 gezeigt die dreidimensionalen Koordinaten der zwei Merkmalspunkte X1 und X2, die an den Merkmalspunkt X0 angrenzen, der erkannt werden konnte, im auf die Projektionsebene projizierten Markierungsbereich Me. Zu diesem Zeitpunkt schätzt die Ebenenschätzeinheit 33 die dreidimensionalen Koordinaten der zwei Merkmalspunkte X1 und X3, die verborgen sind, unter Verwendung der Forminformationen der Markierung (ob die Markierung ein Quadrat ist, und der Länge jeder Seite). Das heißt, die Ebenenschätzeinheit 33 schätzt die Punkte, die sich auf den Geraden befinden, die durch Verlängern der Seiten L0 und L3 erhalten werden, die sich von dem Merkmalspunkt X0 erstrecken, der erkannt werden konnte, und vom Merkmalspunkt X0, der erkannt werden konnte, um eine Entfernung d beabstandet sind, was eine Länge der Seite darstellt, die vorab beschafft wurde, als die zwei Merkmalspunkte X1 und X3, die verborgen sind.
Die Ebenenschätzeinheit 33 schätzt die dreidimensionalen Koordinaten des Mittelspunkts Xa des Liniensegments (Diagonale der Markierung), das die zwei geschätzten Merkmalspunkte X1 und X3 verbindet, als die Koordinaten, die die Position der Markierung angeben.
Dann schätzt die Ebenenschätzeinheit 33 den Vektor der Seite L3, die sich von dem Merkmalspunkt X0, der erkannt wurde, zu dem geschätzten Merkmalspunkt X3 erstreckt, als den Vektor in der x-Achsenrichtung. Ferner schätzt die Ebenenschätzeinheit 33 den Vektor der Seite L1, die sich vom Merkmalspunkt X0, der erkannt wurde, zu dem geschätzten Merkmalspunkt X1 erstreckt, als den Vektor in der y-Achsenrichtung. Ferner schätzt die Ebenenschätzeinheit 33 den Normalenvektor der geschätzten Ebene als den Vektor in der z-Achsenrichtung. Mit dieser Verarbeitung schätzt die Ebenenschätzeinheit 33 das Markierungskoordinatensystem (die Positur der Markierung).
Selbst wenn der Merkmalspunkt der Markierung im Kamerabild verborgen ist, verlängert die Ebenenschätzeinheit 33 bei der Konfiguration der Positurschätzeinrichtung dieses Ausführungsbeispiels wie vorstehend beschrieben die Seiten der Markierung in Richtung des Merkmalspunkts, der verborgen ist. Die Ebenenschätzeinheit 33 schätzt dann den Schnittpunkt der Seite, die verlängert wurde, und des Liniensegments, das durch Verlängern einer anderen Seite der Markierung erhalten wurde, als den Merkmalspunkt der Markierung. Alternativ dazu schätzt die Ebenenschätzeinheit 33 den Punkt, der sich auf den Seiten befindet, die verlängert wurden, und von dem Merkmalspunkt, der erkannt werden konnte, um die Länge der Seite der Markierung beabstandet ist, die vorab beschafft wurde, als den Merkmalspunkt der Markierung. Selbst wenn die Markierungserkennungseinheit 32 nicht alle vier der Merkmalspunkte der Markierung im Kamerabild erkennen kann, kann die Ebenenschätzeinheit 33 daher die Position und die Positur der Markierung schätzen.
<Weitere Ausführungsbeispiele>
Weitere Ausführungsbeispiele der Erfindung werden beschrieben. In den vorstehenden Ausführungsbeispielen wurde ein Beispiel beschrieben, bei dem das Individuelle durch Erkennen der an der Subjektoberfläche angebrachten Markierung und Auslesen der ID identifiziert wird. Die Erfindung ist aber nicht auf dieses Beispiel beschränkt.
Beispielsweise kann die Positurschätzeinrichtung 30 vorab Vorlagenbilder mit verschiedenen Abbildungen für jedes Individuelle speichern, das zu schätzen ist, um einen Vorlagenübereinstimmungsvergleich auf dem Kamerabild unter Verwendung der Vorlagenbilder durchzuführen. Das Individuelle, das zu schätzen ist, kann auch unter Verwendung dieses Verfahrens erkannt werden.
Ferner werden die Bestimmung und die Auswahl der Subjektoberfläche, die zu schätzen ist (ein vorbestimmter Bereich im Kamerabild), nicht unbedingt automatisch unter Verwendung von Markierungen oder Abbildungen oder dergleichen durchgeführt. Beispielsweise kann die Subjektoberfläche, die zu schätzen ist, aus den Subjekten im Kamerabild durch einen Benutzer unter Verwendung einer Manipulationstaste, eines Bildschirmtastfeldes oder dergleichen ausgewählt werden. Ferner kann die Subjektoberfläche in einem vorbestimmten Bereich im Kamerabild (ein vorab festgelegter Bereich, wie ein zentraler Bereich, ein oberer rechter Bereich, ein unterer linker Bereich des Bildwinkels der Kamera) als zu schätzendes Ziel bestimmt werden.
Während das Bildverarbeitungssystem mit der Positurschätzeinrichtung in den vorstehenden Ausführungsbeispielen beschrieben wurde, kann dieses gesamte System bei einem Roboter angewendet werden.
Beispielsweise kann das vorstehende Bildverarbeitungssystem bei einem Roboter angewendet werden, der ein vorbestimmtes Objekt aus der räumlichen Umgebung erfassen soll. Insbesondere enthält der Roboter eine Kamera, einen dreidimensionalen Sensor und eine Positurschätzeinrichtung. Da der Roboter, der sich in Übereinstimmung mit der räumlichen Umgebung bewegt, typischerweise eine Kamera und einen dreidimensionalen Sensor zum Aufnehmen des Zustands der räumlichen Umgebung enthält, können diese Einrichtungen verwendet werden.
Der Roboter erzeugt ein Kamerabild unter Verwendung der Kamera. Der Roboter erzeugt ferner ein Entfernungsbild unter Verwendung des dreidimensionalen Sensors. Wie vorstehend beschrieben beschafft die Positurschätzeinrichtung die Subjektentfernungsinformationen aus dem Entfernungsbild zum Beschaffen der dreidimensionalen Koordinaten der Vielzahl der Bildelemente im Markierungsbereich.
Dabei muss der Roboter nicht unbedingt das Entfernungsbild erzeugen. Beispielsweise kann der Roboter die Entfernungen der Vielzahl der Bildelemente zu der Vielzahl der Subjekte unter Verwendung eines einfachen Entfernungssensors oder dergleichen separat erfassen. Daher ist es möglich, die Vielzahl der Subjektentfernungen der Vielzahl der Bildelemente ohne die Erzeugung des Entfernungsbildes zu beschaffen.
Es wird angemerkt, dass die vorliegende Erfindung nicht auf die vorstehenden Ausführungsbeispiele beschränkt ist, und nach Bedarf geändert oder kombiniert werden kann, ohne von der Idee der vorliegenden Erfindung abzuweichen.
Die Anmeldung beruht auf und beansprucht die Priorität der japanischen Patentanmeldung Nr. 2013-189660 , eingereicht am 12. September 2013, deren Inhalt hier durch Bezugnahme in Gänze aufgenommen ist.
Gewerbliche Anwendbarkeit
Das erfindungsgemäße Verfahren ist bei einem Positurschätzverfahren, einem Roboter und dergleichen anwendbar.
Bezugszeichenliste

10: KAMERA
20: DREIDIMENSIONALER SENSOR
30: POSITURSCHÄTZEINRICHTUNG
31: STEUEREINRICHTUNG
32: MARKIERUNGSERKENNUNGSEINHEIT
33: EBENENSCHÄTZEINHEIT
34: GENAUIGKEITSBEWERTUNGSEINHEIT

Claims

Positurschätzverfahren mit Beschaffen eines aufgenommenen Bildes, das durch Aufnehmen eines Subjekts unter Verwendung einer Bildgebungsvorrichtung erzeugt wird, Beschaffen einer Vielzahl von Koordinaten, die einer Vielzahl von Bildelementen entsprechen, die in einem vorbestimmten Bereich in dem aufgenommenen Bild enthalten sind, Beschaffen von Subjektentfernungsinformationen, die eine Entfernung von dem Subjekt zu der Bildgebungsvorrichtung angeben, an der Vielzahl der Bildelemente, und Schätzen einer Positur einer Subjektoberfläche, die in dem Subjekt in dem vorbestimmten Bereich enthalten ist, beruhend auf der Vielzahl der Subjektentfernungsinformationsteile und der Vielzahl der Koordinaten, die beschafft wurden.
Positurschätzverfahren nach Anspruch 1, mit Beschaffen eines Entfernungsbildes, in dem jedes Bildelement die Subjektentfernungsinformationen enthält, Assoziieren der Bildelemente in dem aufgenommenen Bild mit den Bildelementen in dem Entfernungsbild und Beschaffen der Subjektentfernungsinformationen aus Bildelementen der Bildelemente in dem Entfernungsbild, die der Vielzahl der Bildelemente in dem vorbestimmten Bereich entsprechen.
Positurschätzverfahren nach Anspruch 1 oder 2, mit Berechnen dreidimensionaler Koordinaten der Vielzahl der Bildelemente beruhend auf den Subjektentfernungsinformationen und den Koordinaten der Vielzahl der Bildelemente und Schätzen der Positur der in dem vorbestimmten Bereich enthaltenen Subjektoberfläche beruhend auf den dreidimensionalen Koordinaten der Vielzahl der Bildelemente.
Positurschätzverfahren nach einem der Ansprüche 1 bis 3, wobei eine Markierung an der Subjektoberfläche angebracht ist, und das Positurschätzverfahren ferner umfasst Erfassen eines Markierungsbereichs, der die Markierung in dem aufgenommenen Bild enthält, als den vorbestimmten Bereich, und Schätzen der Positur der Markierung, die in dem Markierungsbereich enthalten ist, der erfasst wurde.
Positurschätzverfahren nach Anspruch 4, mit Berechnen einer Gleichung einer Projektionsebene, die parallel zu der Subjektoberfläche ist, unter Verwendung der Subjektentfernungsinformationen und der Koordinaten der Vielzahl der Bildelemente, Projizieren eines Merkmalspunktes, der die Positur der Markierung angibt, in dem aufgenommenen Bild auf die Projektionsebene und Schätzen der Positur der Markierung beruhend auf den Koordinaten des auf die Projektionsebene projizierten Merkmalspunktes.
Positurschätzverfahren nach Anspruch 5, mit Bestimmen der Koordinaten des Merkmalspunktes im aufgenommenen Bild mit Unterbildelementpräzision zum Projizieren des Merkmalspunktes auf die Projektionsebene unter Verwendung der Koordinaten des Merkmalspunktes, die bestimmt wurden.
Positurschätzverfahren nach Anspruch 5 oder 6, mit Schätzen der Position der Markierung beruhend auf den Koordinaten des auf die Projektionsebene projizierten Merkmalspunktes, Berechnen der Koordinaten des Merkmalspunktes in der Projektionsebene unter Verwendung von Informationen hinsichtlich der geschätzten Positur der Markierung, der geschätzten Position der Markierung und der Größe der Markierung, die vorab eingestellt wurde, Projizieren des Merkmalspunktes in der Projektionsebene, der berechnet wurde, auf das aufgenommene Bild, Vergleichen der Koordinaten des Merkmalspunktes in dem aufgenommenen Bild, wenn das Subjekt aufgenommen wird, mit den Koordinaten des Merkmalspunktes, der projiziert wurden, und Bestimmen einer Schätzgenauigkeit beruhend auf dem Vergleichsergebnis.
Positurschätzverfahren nach Anspruch 5 oder 6, mit Schätzen der Position der Markierung beruhend auf den Koordinaten des auf die Projektionsebene projizierten Merkmalspunktes, Berechnen der Koordinaten des Merkmalspunktes in der Projektionsebene unter Verwendung von Informationen hinsichtlich der geschätzten Positur der Markierung, der geschätzten Position der Markierung und der Größe der Markierung, die vorab eingestellt wurde, Vergleichen der Koordinaten des aus dem aufgenommenen Bild projizierten Merkmalspunktes, wenn die Positur der Markierung geschätzt wird, mit den Koordinaten des Merkmalspunktes, die in der Projektionsebene berechnet wurden, und Bestimmen einer Schätzgenauigkeit beruhend auf dem Vergleichsergebnis.
Positurschätzverfahren nach einem der Ansprüche 5 bis 8, wobei die Markierung eine im Wesentlichen rechtwinklige Form hat, und das Positurschätzverfahren ferner umfasst Erfassen der Scheitelpunkte der Markierung im aufgenommenen Bild als die Merkmalspunkte, Verlängern von Seiten der Markierung, die sich von den Merkmalspunkten erstrecken, die erfasst wurden, wenn die Anzahl der Merkmalspunkte, die erfasst wurden, zwei oder drei ist, und Schätzen des Schnittspunktes der Seiten, die verlängert wurden, als den Merkmalspunkt.
Positurschätzverfahren nach einem der Ansprüche 5 bis 8, wobei die Markierung eine im Wesentlichen rechtwinklige Form hat, und das Positurschätzverfahren ferner umfasst Erfassen der Scheitelpunkte der Markierung im aufgenommenen Bild als die Merkmalspunkte, Verlängern von Seiten der Markierung, die sich von den Merkmalspunkten erstrecken, die erfasst wurden, wenn die Anzahl der Merkmalspunkte, die erfasst wurden, vier oder geringer ist, und Schätzen eines Punktes, der sich auf den Seiten befindet, die verlängert wurden, und von den Merkmalspunkten, die erfasst wurden, um eine vorbestimmte Entfernung entfernt ist, als den Merkmalspunkt.
Roboter mit der Bildgebungsvorrichtung, einem Entfernungssensor, der die Subjektentfernungsinformationen beschafft, und einer Positurschätzeinrichtung, die das Positurschätzverfahren nach einem der Ansprüche 1 bis 10 ausführt.