DE112015000108T5

DE112015000108T5 - Korrektursystem einer Bildaufnahmevorrichtung, Arbeitsmaschine und Korrekturverfahren einer Bildaufnahmevorrichtung

Info

Publication number: DE112015000108T5
Application number: DE112015000108.5T
Authority: DE
Inventors: Shun Kawamoto; Taiki Sugawara; Hiroyoshi Yamaguchi
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2015-09-30
Filing date: 2015-09-30
Publication date: 2016-06-16
Also published as: WO2016047808A1; KR20170048231A; US20170094154A1; CN105518221A; JPWO2016047808A1

Abstract

Ein Korrektursystem einer Bildaufnahmevorrichtung weist wenigstens zwei Bildaufnahmevorrichtungen und eine Verarbeitungsvorrichtung auf, die einen Parameter, der eine Stellung der zweiten Bildaufnahmevorrichtung definiert, durch Festsetzen einer Distanz zwischen einer ersten Bildaufnahmevorrichtung und einer zweiten Bildaufnahmevorrichtung als Konstanz in den wenigstens zwei Bildaufnahmevorrichtungen ändert, einen entsprechenden Bereich zwischen einem von der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevorrichtung erhaltenen Paar von Bildern sucht und den Parameter basierend auf dem gesuchten Ergebnis erhält.

Description

Gebiet
Die vorliegende Erfindung betrifft ein Korrektursystem einer Bildaufnahmevorrichtung, eine Arbeitsmaschine und ein Korrekturverfahren der Bildaufnahmevorrichtung zum Korrigieren der in der Arbeitsmaschine bereitgestellten Bildaufnahmevorrichtung.
Hintergrund
Es gibt eine Arbeitsmaschine, die eine Bildaufnahmevorrichtung aufweist (zum Beispiel Patentliteratur 1). Solch eine Arbeitsmaschine nimmt durch die Bildaufnahmevorrichtung ein Bild eines Objekts auf, steuert ihren eigenen Bedienung basierend auf dem Ergebnis des Aufnahmebilds und sendet die Information des Aufnahmebilds an eine Verwaltungsvorrichtung.
Zitatliste
Patentliteratur

Patentliteratur 1: offengelegtes japanisches Patent Publikationsnummer 2012-233353

Zusammenfassung
Technisches Problem
Patentliteratur 1 offenbart eine Technologie zum Korrigieren einer Arbeitsmaschine unter Nutzung der Bildaufnahmevorrichtung. Dennoch ist die Korrektur der Bildaufnahmevorrichtung der Arbeitsmaschine weder offenbart noch vorgeschlagen in der Patentliteratur 1.
Eine Aufgabe der Erfindung ist es, eine Bildaufnahmevorrichtung einer Arbeitsmaschine zu korrigieren.
Lösung des Problems
Gemäß der vorliegenden Erfindung umfasst ein Korrektursystem einer Bildaufnahmevorrichtung: wenigstens zwei Bildaufnahmevorrichtungen; und eine Verarbeitungsvorrichtung, die in den wenigstens zwei Bildaufnahmevorrichtungen eine konstante Distanz zwischen einer ersten Bildaufnahmevorrichtung und einer zweiten Bildaufnahmevorrichtung festsetzt, einen Parameter ändert, der eine Stellung der zweiten Bildaufnahmevorrichtung definiert, einen entsprechenden Bereich zwischen einem Paar von Bildern sucht, die von der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevorrichtung erhalten werden, und den Parameter basierend auf dem gesuchten Ergebnis erhält.
Es ist bevorzugt, dass die Verarbeitungsvorrichtung eine Sucheinheit aufweist, welche eine in den wenigstens zwei Bildaufnahmevorrichtungen konstante Distanz zwischen einer ersten Bildaufnahmevorrichtung und einer zweiten Bildaufnahmevorrichtung festsetzt und einen Parameter ändert, der eine Stellung der zweiten Bildaufnahmevorrichtung definiert, sodass sie einen entsprechenden Bereich zwischen einem Paar von Bildern sucht, die von der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevorrichtung erhalten werden, und eine Bestimmungseinheit aufweist, welche basierend auf einem von der Sucheinheit gesuchten Ergebnis einen Stellungsparameter erhält, der eine Stellung der Bildaufnahmevorrichtung definiert.
Es ist bevorzugt, dass der Parameter eine Drehung der zweiten Bildaufnahmevorrichtung definiert.
Es ist bevorzugt, dass der Parameter einen ersten Parameter, der zum Drehen der zweiten Bildaufnahmevorrichtung mit der ersten Bildaufnahmevorrichtung als Zentrum benutzt wird, und einen zweiten Parameter, der zum Drehen der zweiten Bildaufnahmevorrichtung um ein Zentrum der zweiten Bildaufnahmevorrichtung benutzt wird, aufweist.
Es ist bevorzugt, dass die Verarbeitungsvorrichtung die erste Bildaufnahmevorrichtung und die zweite Bildaufnahmevorrichtung, deren Parameter notwendigerweise erhalten wird, basierend auf dem Ergebnis des Suchens des entsprechenden Bereichs zwischen dem Paar von Bildern, das von einem Paar der Bildaufnahmevorrichtungen aus den wenigstens zwei Bildaufnahmevorrichtungen erhalten ist, bestimmt.
Es ist bevorzugt, dass die Verarbeitungsvorrichtung den Parameter bezüglich eines Paars der Bildaufnahmevorrichtungen, von denen eine Erfolgsquote eines Suchens geringer ist als ein Schwellwert in einem Fall, in dem es eine Mehrzahl der Paare von Bildaufnahmevorrichtungen gibt, erhält.
Gemäß der vorliegenden Erfindung umfasst eine Arbeitsmaschine: das Korrektursystem der Bildaufnahmevorrichtung; und eine Mehrzahl von Bildaufnahmevorrichtungen.
Gemäß der vorliegenden Erfindung umfasst ein Korrekturverfahren einer Bildaufnahmevorrichtung: Ermitteln, ob ein Parameter von einem eines Paars von Bildaufnahmevorrichtungen basierend auf einem Ergebnis eines Suchens eines entsprechenden Bereichs zwischen einem Paar von Bildern, das von dem Paar der Bildaufnahmevorrichtungen in einer Mehrzahl von Bildaufnahmevorrichtungen erhalten ist, erhalten werden muss; in einem Fall, in dem der Parameter erhalten ist, konstantes Festsetzen einer Distanz zwischen einer ersten Bildaufnahmevorrichtung und einer zweiten Bildaufnahmevorrichtung des Paars von Bildaufnahmevorrichtungen und Ändern eines Parameters, der eine Stellung der zweiten Bildaufnahmevorrichtung definiert zum Suchen eines entsprechenden Bereichs zwischen einem Paar von Bildern, das von der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevorrichtung erhalten ist; und Erhalten eines Stellungsparameters, der eine Stellung der Bildaufnahmevorrichtung basierend auf einem Suchergebnis definiert.
Gemäß der Erfindung ist es möglich, es zu unterdrücken, dass die Arbeitseffizienz reduziert wird, wenn eine Arbeit unter Nutzung einer Arbeitsmaschine durchgeführt wird, die mit einer mit einem Betriebswerkzeug ausgestatteten Arbeitsmaschine versehen ist.
Kurze Beschreibung der Zeichnungen
1 ist eine perspektivische Ansicht eines Baggers, welcher mit einem Korrektursystem einer Bildaufnahmevorrichtung gemäß einer Ausführungsform versehen ist.
2 ist eine perspektivische Ansicht, die die Umgebung eines Fahrersitzes des Baggers gemäß der Ausführungsform dargestellt.
3 ist eine schematische Darstellung, die Abmessungen und ein Koordinatensystem einer Arbeitsmaschine des Baggers gemäß der Ausführungsform darstellt.
4 ist eine schematische Darstellung, die ein Beispiel eines durch Aufnehmen eines Objekts unter Nutzung einer Mehrzahl von Bildaufnahmevorrichtungen erhaltenen Bilds darstellt.
5 ist eine schematische Darstellung, die ein Beispiel eines von der Mehrzahl von Bildaufnahmevorrichtungen aufgenommenen Objekts darstellt.
6 ist eine schematische Darstellung, die das Korrektursystem der Bildaufnahmevorrichtung gemäß der Ausführungsform darstellt.
7 ist eine schematische Darstellung zum Beschreiben eines Beispiels für das Messen einer Schneidkante einer Schneide eines Löffels in einer dreidimensionalen Weise unter Nutzung eines Paars von Bildaufnahmevorrichtungen.
8 ist eine schematische Darstellung, die ein von einem Paar von Bildaufnahmevorrichtungen erhaltenes Paar von Bildern darstellt.
9 ist eine schematische Darstellung, die ein von dem Paar von Bildaufnahmevorrichtungen erhaltenes Paar von Bildern darstellt.
10 ist eine perspektivische Ansicht, die ein Positionsverhältnis zwischen dem Paar von Bildaufnahmevorrichtungen darstellt.
11 ist eine schematische Darstellung zum Beschreiben einer Abweichung der Bildaufnahmevorrichtung bezüglich der Bildaufnahmevorrichtung.
12 ist eine schematische Darstellung, die ein von dem Paar von Bildaufnahmevorrichtungen erhaltenes Paar von Bildern darstellt.
13 ist eine schematische Darstellung, die ein von dem Paar von Bildaufnahmevorrichtungen erhaltenes Paar von Bildern darstellt.
14 ist ein Flussdiagramm, das einen Prozess darstellt, wenn das Korrektursystem gemäß der Ausführungsform ein Korrekturverfahren gemäß der Ausführungsform durchführt.
15 ist eine schematische Darstellung zum Beschreiben eines Verfahrens zum Bestimmen, dass die Bildaufnahmevorrichtung einen Stellungsparameter erhält.
16 ist eine schematische Darstellung, die ein Beispiel einer Tabelle zum Bestimmen, dass die Bildaufnahmevorrichtung den Stellungsparameter erhält, darstellt.
17 ist eine schematische Darstellung zum Beschreiben des Stellungsparameters.
18 ist eine schematische Darstellung zum Beschreiben des Stellungsparameters.
19 ist eine schematische Darstellung zum Beschreiben des Stellungsparameters.
20 ist eine schematische Darstellung zum Beschreiben des Stellungsparameters.
21 ist eine schematische Darstellung zum Beschreiben des Stellungsparameters.
Beschreibung der Ausführungsformen
Ausführungsformen der Erfindung werden im Detail mit Verweis auf die Zeichnungen beschrieben.
<Gesamtkonfiguration des Baggers>
1 ist eine perspektivische Ansicht eines Baggers 100, welcher mit einem Korrektursystem einer Bildaufnahmevorrichtung gemäß einer Ausführungsform versehen ist. 2 ist eine perspektivische Ansicht, die die Umgebung eines Fahrersitzes des Baggers 100 gemäß der Ausführungsform dargestellt. 3 ist eine schematische Darstellung, die Abmessungen einer Arbeitsmaschine 2 des Baggers gemäß der Ausführungsform und ein Koordinatensystem des Baggers 100 darstellt.
Der Bagger 100 als eine Arbeitsmaschine weist einen Fahrzeugkörper 1 und die Arbeitsmaschine 2 auf. Der Fahrzeugkörper 1 weist einen drehbaren Aufbau 3, eine Kabine 4 und einen Fahrkörper 5 auf. Der drehbare Aufbau 3 ist an dem Fahrkörper 5 befestigt, sodass er frei drehbar ist. Der drehbare Aufbau 3 enthält Vorrichtungen (nicht dargestellt), wie zum Beispiel eine Hydraulikpumpe und einen Motor. Die Kabine 4 ist in dem vorderen Bereich des drehbaren Aufbaus 3 angeordnet. In der Kabine 4 ist eine Bedienvorrichtung 25 angeordnet, die in 2 dargestellt ist. Der Fahrkörper 5 weist Raupenkettenbänder 5a und 5b auf, und der Bagger 100 fährt durch die Drehung der Raupenkettenbänder 5a und 5b.
Die Arbeitsmaschine 2 ist an dem vorderen Bereich des Fahrzeugkörpers 1 befestigt und weist einen Ausleger 6, einen Arm 7, einen Löffel 8 als ein Betriebswerkzeug, einen Auslegerzylinder 10, einen Armzylinder 11 und einen Löffelzylinder 12 auf. Bei der Ausführungsform ist die vorwärtige Seite des Fahrzeugkörpers 1 eine Richtung von einer Rückenlehne 4SS eines in 2 dargestellten Fahrersitzes 4S zu der Bedienvorrichtung 25. Die rückwärtige Seite des Fahrzeugkörpers 1 ist eine Richtung von der Bedienvorrichtung 25 zu der Rückenlehne 4SS des Fahrersitzes 4S. Der vordere Bereich des Fahrzeugkörpers 1 ist ein Bereich auf der vorwärtigen Seite des Fahrzeugkörpers 1 und ein Bereich, der einem Gegengewicht WT des Fahrzeugkörpers 1 gegenüberliegt. Die Bedienvorrichtung 25 ist eine Vorrichtung zum Bedienen der Arbeitsmaschine 2 und des drehbaren Aufbaus 3 und weist einen rechten Hebel 25R und einen linken Hebel 25L auf.
Der Basisendbereich des Auslegers 6 ist durch einen Auslegerbolzen 13 drehbar an dem vorderen Bereich des Fahrzeugkörpers 1 befestigt. Der Auslegerbolzen 13 entspricht dem Drehzentrum des Auslegers 6 bezüglich des drehbaren Aufbaus 3. Der Basisendbereich des Arms 7 ist durch einen Armbolzen 14 drehbar an dem Endbereich des Auslegers 6 befestigt. Der Armbolzen 14 entspricht dem Drehzentrum des Arms 7 bezüglich des Auslegers 6. Der Löffel 8 ist durch einen Löffelbolzen 15 drehbar an dem Endbereich des Arms 7 befestigt. Der Löffelbolzen 15 entspricht dem Drehzentrum des Löffels 8 bezüglich des Arms 7.
Wie in 3 dargestellt, entspricht die Länge des Auslegers 6 L1 (d. h. einer Länge zwischen dem Auslegerbolzen 13 und dem Armbolzen 14). Die Länge des Arms 7 (d. h. eine Länge zwischen dem Armbolzen 14 und dem Löffelbolzen 15) entspricht L2. Die Länge des Löffels 8 (d. h. eine Länge zwischen dem Löffelbolzen 15 und einer Schneidkante P3, welche das Ende einer Schneide 9 des Löffels 8 ist) entspricht L3.
Der Auslegerzylinder 10, der Armzylinder 11 und der Löffelzylinder 12, die in 1 dargestellt sind, sind jeweils durch Öldruck angetriebene Hydraulikzylinder. Der Basisendbereich des Auslegerzylinders 10 ist durch einen Auslegerzylinderfußbolzen 10a drehbar an dem drehbaren Aufbau 3 befestigt. Der Endbereich des Auslegerzylinders 10 ist durch einen Auslegerzylinderkopfbolzen 10b drehbar an dem Ausleger 6 befestigt. Der Auslegerzylinder 10 wird durch den Öldruck ausgefahren oder eingefahren, sodass dieser den Ausleger 6 antreibt.
Der Basisendbereich des Armzylinders 11 ist durch einen Armzylinderfußbolzen 11a drehbar an dem Ausleger 6 befestigt. Der Endbereich des Armzylinders 11 ist durch einen Armzylinderkopfbolzen 11b drehbar an dem Arm 7 befestigt. Der Armzylinder 11 wird durch den Öldruck ausgefahren oder eingefahren, sodass dieser den Arm 7 antreibt.
Der Basisendbereich des Löffelzylinders 12 ist durch einen Löffelzylinderfußbolzen 12a drehbar an dem Arm 7 befestigt. Der Endbereich des Löffelzylinders 12 ist durch einen Löffelzylinderkopfbolzen 12b drehbar an einem Ende eines ersten Verbindungselements 47 und einem Ende eines zweiten Verbindungselements 48 befestigt. Das andere Ende des ersten Verbindungselements 47 ist durch einen ersten Verbindungsbolzen 47a drehbar an dem Endbereich des Arms 7 befestigt. Das andere Ende des zweiten Verbindungselements 48 ist durch einen zweiten Verbindungsbolzen 48a drehbar an dem Löffel 8 befestigt. Der Löffelzylinder 12 wird durch den Öldruck ausgefahren oder eingefahren, sodass dieser den Löffel 8 antreibt.
Wie in 3 dargestellt, ist eine erste Winkelerfassungseinheit 18A, eine zweite Winkelerfassungseinheit 18B und eine dritte Winkelerfassungseinheit 18C jeweils in dem Ausleger 6, in dem Arm 7 und in dem Löffel 8 vorgesehen. Die erste Winkelerfassungseinheit 18A, die zweite Winkelerfassungseinheit 18B und die dritte Winkelerfassungseinheit 18C sind zum Beispiel Hubsensoren. Diese Einheiten erfassen indirekt einen Drehwinkel des Auslegers 6 bezüglich des Fahrzeugkörpers 1, einen Drehwinkel des Arms 7 bezüglich des Auslegers 6 und einen Drehwinkel des Löffels 8 bezüglich des Arms 7 durch Erfassen der Hublänge des Auslegerzylinders 10, des Armzylinders 11 und des Löffelzylinders 12.
Bei der Ausführungsform erfasst die erste Winkelerfassungseinheit 18A die Hublänge des Auslegerzylinders 10. Eine unten beschriebene Verarbeitungsvorrichtung 20 berechnet einen Drehwinkel δ1 des Auslegers 6 bezüglich der Zr-Achse in einem Koordinatensystem (Xm, Ym, Zr) des in 3 dargestellten Baggers 100 basierend auf der von der ersten Winkelerfassungseinheit 18A erfassten Hublänge des Auslegerzylinders 10. In der folgenden Beschreibung wird das Koordinatensystem des Baggers 100 zutreffend als Fahrzeugkörperkoordinatensystem bezeichnet. Wie zum Beispiel in 2 dargestellt, ist der Ursprungspunkt des Fahrzeugkörperkoordinatensystems das Zentrum des Auslegerbolzens 13. Mit dem Zentrum des Auslegerbolzens 13 ist das Zentrum in einer zu einer Erstreckungsrichtung des Auslegerbolzens 13 orthogonal flachen Oberfläche, gesehen im Querschnitt des Auslegerbolzens 13, und das Zentrum in der Erstreckungsrichtung des Auslegerbolzens 13 gemeint. Das Fahrzeugkörperkoordinatensystem ist nicht auf dieses Ausführungsbeispiel beschränkt. Zum Beispiel kann ein Drehzentrum des drehbaren Aufbaus 3 auf die Zm-Achse festgesetzt werden, eine zu der Erstreckungsrichtung des Auslegerbolzens 13 parallele axiale Linie kann auf die Ym-Achse festgesetzt werden, und eine zu der Zr- und Ym-Achse orthogonale axiale Linie kann auf die Xm-Achse festgesetzt werden.
Die zweite Winkelerfassungseinheit 18B erfasst eine Hublänge des Armzylinders 11. Die Verarbeitungsvorrichtung 20 berechnet einen Drehwinkel δ2 des Arms 7 bezüglich des Auslegers 6 basierend auf der von der zweiten Winkelerfassungseinheit 18B erfassten Hublänge des Armzylinders 11. Die dritte Winkelerfassungseinheit 18C erfasst eine Hublänge des Löffelzylinders 12. Die Verarbeitungsvorrichtung 20 berechnet einen Drehwinkel δ3 des Löffels 8 bezüglich des Arms 7 basierend auf der von der dritten Winkelerfassungseinheit 18C erfassten Hublänge des Löffelzylinders 12.
<Bildaufnahmevorrichtung>
Wie in 2 dargestellt, weist der Bagger 100 zum Beispiel eine Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d in der Kabine 4 auf. In der folgenden Beschreibung wird die Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d zutreffend als eine Bildaufnahmevorrichtung 30 bezeichnet, wenn es nicht nötig ist, diese Vorrichtungen zu unterscheiden. Die Bildaufnahmevorrichtung 30a und die Bildaufnahmevorrichtung 30c sind auf einer Seite in der Nähe der Arbeitsmaschine 2 angeordnet. Der Typ der Bildaufnahmevorrichtung 30 ist nicht beschränkt, und in der Ausführungsform wird zum Beispiel eine mit einem CCD-Bildsensor (Coupled Charged Device) oder einem CMOS-Bildsensor (Complementary Metal Oxide Semiconductor) versehene Bildaufnahmevorrichtung genutzt.
Wie in 2 dargestellt, sind die Bildaufnahmevorrichtung 30a und die Bildaufnahmevorrichtung 30b in der Kabine 4 in zueinander gleicher oder unterschiedlicher Richtung mit einer vorbestimmten Lücke dazwischen angeordnet. Die Bildaufnahmevorrichtung 30c und die Bildaufnahmevorrichtung 30d sind zum Beispiel in der Kabine 4 in zueinander gleicher oder unterschiedlicher Richtung mit einer vorbestimmten Lücke dazwischen angeordnet. Die Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d werden zu zweit kombiniert, sodass sie eine Stereokamera bilden. Bei der Ausführungsform ist die Stereokamera durch eine Kombination der Bildaufnahmevorrichtungen 30a und 30b und eine Kombination der Bildaufnahmevorrichtungen 30c und 30d gebildet. Bei der Ausführungsform sind die Bildaufnahmevorrichtung 30a und die Bildaufnahmevorrichtung 30b nach oben angeordnet, und die Bildaufnahmevorrichtung 30c und die Bildaufnahmevorrichtung 30d sind nach unten angeordnet. Wenigstens die Bildaufnahmevorrichtung 30a und die Bildaufnahmevorrichtung 30c sind so angeordnet, dass sie der vorwärtigen Seite des Baggers 100 (dem drehbaren Aufbau 3 bei der Ausführungsform) zugewandt sind. Die Bildaufnahmevorrichtung 30b und die Bildaufnahmevorrichtung 30d können geringfügig zu der Arbeitsmaschine 2 angeordnet sein (d. h. geringfügig zu der Bildaufnahmevorrichtung 30a und der Bildaufnahmevorrichtung 30c).
Bei der Ausführungsform weist der Bagger 100 vier Bildaufnahmevorrichtungen 30 auf, jedoch ist die Anzahl von Bildaufnahmevorrichtungen 30 des Baggers 100 nicht auf vier beschränkt und kann wenigstens zwei betragen. Der Bagger 100, welcher mit vieren ausgebildet ist, nutzt wenigstens ein Paar von Bildaufnahmevorrichtungen 30, um das Stereobild eines Objekts aufzunehmen.
Die Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d sind auf der vorwärtigen Seite und der aufwärtigen Seite der Kabine 4 angeordnet. Die aufwärtige Seite ist eine zu der Bodenfläche der Raupenkettenbänder 5a und 5b des Baggers 100 orthogonale Richtung und von der Bodenfläche getrennt. Die Bodenfläche der Raupenkettenbänder 5a und 5b ist eine flache Fläche, die von wenigstens drei Punkten definiert ist, die nicht auf derselben geraden Linie in einem Bereich, in dem wenigstens eines der Raupenkettenbänder 5a und 5b geerdet ist, liegen. Die Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d nimmt stereoskopisch das Bild des Objekts auf der vorwärtigen Seite des Fahrzeugkörpers 1 des Baggers 100 auf. Das Objekt ist zum Beispiel ein von der Arbeitsmaschine 2 zu gabelndes Objekt. Die in 1 und 2 dargestellte Verarbeitungsvorrichtung 20 misst unter Nutzung eines von wenigstens einem Paar von Bildaufnahmevorrichtungen 30 stereoskopisch aufgenommenen Ergebnisbilds das Objekt in einer dreidimensionalen Weise. In einem Fall, in dem die Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d angeordnet sind, sind die Orte nicht auf die vorwärtige Seite und die aufwärtige Seite in der Kabine 4 beschränkt.
4 ist eine schematische Darstellung, die ein Beispiel eines Bildes darstellt, das durch Aufnehmen eines Objekts unter Nutzung der Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d erhalten wurde. 5 ist eine schematische Darstellung, die ein Beispiel eines von der Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d aufgenommenen Objekts OJ darstellt. Zum Beispiel wurden die in 4 dargestellten Bilder PIa, PIb PIc und PId durch Aufnehmen des Objekts OJ unter Nutzung der in 5 dargestellten Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d erhalten. Bei diesem Beispiel weist das Objekt OJ einen ersten Bereich OJa, einen zweiten Bereich OJb und einen dritten Bereich OJc auf.
Das Bild PIa ist ein von der Bildaufnahmevorrichtung 30a aufgenommenes Bild, das Bild PIb ist ein von der Bildaufnahmevorrichtung 30b aufgenommenes Bild, das Bild PIc ist ein von der Bildaufnahmevorrichtung 30c aufgenommenes Bild, das Bild PId ist ein von der Bildaufnahmevorrichtung 30d aufgenommenes Bild. Da das Paar von Bildaufnahmevorrichtungen 30a und 30b so angeordnet ist, dass es der aufwärtigen Seite des Baggers 100 zugewandt ist, ist der obere Bereich des Objekts OJ in den Bildern PIa und PIb aufgenommen. Da das Paar von Bildaufnahmevorrichtungen 30c und 30d so angeordnet ist, dass es der abwärtigen Seite des Baggers 100 zugewandt ist, ist der untere Bereich des Objekts OJ in den Bildern PIc und PId aufgenommen.
Wie man in 4 sehen kann, ist ein Teil des gesamten Objekts OJ (der zweite Bereich OJb in diesem Beispiel) in den von dem Paar von Bildaufnahmevorrichtungen 30a und 30b aufgenommenen Bildern PIa und PIb und den von dem Paar von Bildaufnahmevorrichtungen 30c und 30d aufgenommenen Bildern PIc und PId überlappt. In anderen Worten gibt es einen überlappten Bereich in der Aufnahmegegend des Paares von Bildaufnahmevorrichtungen 30a und 30b, die der aufwärtigen Seite zugewandt sind, und der Aufnahmeregion des Paares von Bildaufnahmevorrichtungen 30c und 30d, die der abwärtigen Seite zugewandt sind.
Die Verarbeitungsvorrichtung 20 erhält ein erstes Parallaxenbild von den von dem Paar von Bildaufnahmevorrichtungen 30a und 30b aufgenommenen Bildern PIa und PIb in einem Fall, in dem stereoskopische Bildverarbeitung mit den von der Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d aufgenommenen Bildern PIa und PIb, PIc und PId desselben Objekts OJ durchgeführt wird. Zusätzlich erhält die Verarbeitungsvorrichtung 20 ein zweites Parallaxenbild von den von dem Paar von Bildaufnahmevorrichtungen 30c und 30d aufgenommenen Bildern PIc und PId. Danach erhält die Verarbeitungsvorrichtung 20 ein Parallaxenbild durch Kombinieren des ersten Parallaxenbilds und des zweiten Parallaxenbilds. Die Verarbeitungsvorrichtung 20 misst das Objekt in der dreidimensionalen Weise unter Nutzung der erhaltenen Parallaxenbilder. Auf diese Weise messen die Verarbeitungsvorrichtung 20 und die Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d das Gesamte einer vorbestimmten Gegend des Objekts OJ, aufgenommen zur selben Zeit, in der dreidimensionalen Weise.
Bei der Ausführungsform wird zum Beispiel die Bildaufnahmevorrichtung 30c als eine Referenz unter vier Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d genutzt. Vier Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d weisen jeweils das Koordinatensystem auf. Diese Koordinatensysteme werden zutreffend als ein Bildaufnahmevorrichtungskoordinatensystem bezeichnet. In 2 ist nur das Koordinatensystem (Xs, Ys, Zs) der Bildaufnahmevorrichtung 30c, die als Referenz dient, dargestellt. Der Ursprungspunkt des Bildaufnahmevorrichtungskoordinatensystems ist das Zentrum von jeder der Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d.
<Korrektursystem der Bildaufnahmevorrichtung>
6 ist eine schematische Darstellung, die ein Korrektursystem 50 der Bildaufnahmevorrichtung gemäß der Ausführungsform darstellt. Das Korrektursystem 50 der Bildaufnahmevorrichtung (im Folgenden zutreffend als das Korrektursystem 50 bezeichnet) weist die Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d und die Verarbeitungsvorrichtung 20 auf. Wie in 1 und 2 dargestellt, sind diese Vorrichtungen in dem Fahrzeugkörper 1 des Baggers 100 vorgesehen. Die Verarbeitungsvorrichtung 20 weist eine Verarbeitungseinheit 21, eine Speichereinheit 22 und eine Eingangs-/Ausgangseinheit 23 auf. Die Verarbeitungseinheit 21 wird zum Beispiel durch einen Prozessor, wie zum Beispiel eine CPU (Central Processing Unit) und einen Speicher verwirklicht. Die Verarbeitungseinheit 21 weist eine Sucheinheit 21A und eine Bestimmungseinheit 21B auf. Die Verarbeitungsvorrichtung 20 verwirklicht ein Korrekturverfahren der Bildaufnahmevorrichtung gemäß der Ausführungsform (im Folgenden zutreffend als Korrekturverfahren bezeichnet). In diesem Fall liest die Verarbeitungseinheit 21 ein in der Speichereinheit 22 gespeichertes Computerprogramm und führt dieses aus. Das Computerprogramm wird zum Durchführen des Korrekturverfahrens gemäß der Ausführungsform in der Verarbeitungseinheit 21 genutzt.
In einem Fall, in dem die Bildaufnahmevorrichtung 30 aus einigen Gründen bewegt wird, korrigiert das Korrekturverfahren gemäß der Ausführungsform eine Positionsabweichung der Bildaufnahmevorrichtung 30, um die dreidimensionale Messung unter Nutzung des stereoskopisch von wenigstens einem Paar der Bildaufnahmevorrichtungen 30 aufgenommenen Ergebnisbilds zu verwirklichen. Es wird angenommen, dass die Positionsabweichung zwischen der Bildaufnahmevorrichtung 30c und der Bildaufnahmevorrichtung 30d aus vier Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d auftritt. In diesem Fall führt die Verarbeitungseinheit 21 der Verarbeitungsvorrichtung 20 das Korrekturverfahren gemäß der Ausführungsform durch. Die dem Korrekturverfahren gemäß der Ausführungsform unterzogenen Bildaufnahmevorrichtungen 30c und 30d werden entsprechend als eine erste Bildaufnahmevorrichtung 3c und eine zweite Bildaufnahmevorrichtung 30d bezeichnet.
Die Verarbeitungseinheit 21 setzt in der Ausführungsform eine konstante Distanz zwischen der ersten Bildaufnahmevorrichtung 30c und der zweiten Bildaufnahmevorrichtung 30d aus den vier (wenigstens zwei) Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d fest, wenn das Korrekturverfahren gemäß der Ausführungsform durchgeführt wird, und ändert einen Parameter, der die Stellung der zweiten Bildaufnahmevorrichtung 30d definiert. Dann erhält die Verarbeitungseinheit 21 den Parameter basierend auf einem Ergebnis einer Suche der entsprechenden Bereiche zwischen einem Paar von Bildern, die während der Bildverarbeitung (die stereoskopische Bildverarbeitung bei der Ausführungsform) von der ersten Bildaufnahmevorrichtung 30c und der zweiten Bildaufnahmevorrichtung 30d erhalten wurde. Die Sucheinheit 21A der Verarbeitungseinheit 21 ändert und sucht den Parameter. Die Bestimmungseinheit 21A der Verarbeitungseinheit 21 erhält den Parameter basierend auf dem Suchergebnis. Die stereoskopische Bildverarbeitung ist ein Verfahren zum Erhalten einer Distanz zu dem Objekt basierend auf zwei Bildern, die durch Beobachten desselben Objekts aus zwei unterschiedlichen Bildaufnahmevorrichtungen 30 erhalten wurden. Die Distanz zu dem Objekt wird zum Beispiel durch Visualisieren der Distanzinformation zu dem Objekt als ein Distanzbild in Abstufung ausgedrückt.
Wenn das Korrekturverfahren gemäß der Ausführungsform durchgeführt wird, führt die Verarbeitungsvorrichtung 20 die stereoskopische Bildverarbeitung mit dem von dem Paar von Bildaufnahmevorrichtungen 30 aufgenommenen Paar von Bildern durch, um die Position des Objekts zu erhalten (insbesondere die Koordinaten des Objekts in dem dreidimensionalen Koordinatensystem). Auf diese Weise kann die Verarbeitungsvorrichtung 20 das Objekt in der dreidimensionalen Weise unter Nutzung des Paars von Bildern messen, das durch Aufnahme desselben Objekts unter Nutzung wenigstens des Paars von Bildaufnahmevorrichtungen 30 erhalten wurde. In anderen Worten messen wenigstens das Paar von Bildaufnahmevorrichtungen 30 und die Verarbeitungsvorrichtung 20 das Objekt in der dreidimensionalen Weise durch das stereoskopische Verfahren.
Die Speichereinheit 22 ist durch wenigstens einen von einem nichtflüchtigen oder flüchtigen Halbleiterspeicher ausgebildet, wie zum Beispiel einen RAM (Random Access Memory), einen ROM (Random Access Memory), einen Flash-Speicher, einen EPROM (Erasable Programmable Random Access Memory), oder einen EEPROM (Electrically Erasable Programmable Random Access Memory), eine Magnetscheibe, eine flexible Scheibe und eine magnetooptische Scheibe. Die Speichereinheit 22 speichert das Computerprogramm darin zum Durchführen des Korrekturverfahrens gemäß der Ausführungsform in der Verarbeitungseinheit 21. Die Speichereinheit 22 speichert Information darin, damit diese genutzt werden kann, wenn die Verarbeitungseinheit 21 das Korrekturverfahren gemäß der Ausführungsform durchführt. Die Information weist zum Beispiel Information auf, die nötig ist, um die Position eines Teils der Arbeitsmaschine 2 basierend auf internen Korrekturdaten der Bildaufnahmevorrichtung 30, der Stellung von jeder Bildaufnahmevorrichtung 30 und einem Positionsverhältnis zwischen den Bildaufnahmevorrichtungen 30 und die Stellung der Arbeitsmaschine 2 zu erhalten.
Die Eingangs-/Ausgangseinheit 23 ist eine Schnittstellenschaltung für die Verbindung zwischen der Verarbeitungsvorrichtung 20 und Maschinen. Ein Bus 51, die erste Winkelerfassungseinheit 18A, die zweite Winkelerfassungseinheit 18B und die dritte Winkelerfassungseinheit 18C sind mit der Eingangs-/Ausgangseinheit 23 verbunden. Der Bus 51 ist mit der Mehrzahl von Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d verbunden. Die von den Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d aufgenommenen Ergebnisbilder werden der Eingangs-/Ausgangseinheit 23 über den Bus 51 zugeführt. Die Verarbeitungseinheit 21 erlangt die von den Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d aufgenommenen Ergebnisbilder durch den Bus 51 und die Eingangs-/Ausgangseinheit 23. Die Verarbeitungsvorrichtung 20 kann durch ein dediziertes Softwareprodukt verwirklicht werden, oder sie kann durch eine Funktion der Verarbeitungsvorrichtung 20 in Zusammenarbeit mit einer Mehrzahl von Schaltungen verwirklicht werden.
<Dreidimensionale Messung>
7 ist eine schematische Darstellung zum Beschreiben eines Beispiels, in welchem die Schneidkante P3 der Schneide 9 des Löffels 8 in der dreidimensionalen Weise unter Nutzung eines Paars von Bildaufnahmevorrichtungen 30L und 30R gemessen wird. 8 und 9 sind schematische Darstellungen, die ein Paar von Bildern 32L und 32R darstellen, die von dem Paar von Bildaufnahmevorrichtungen 30L und 30R erhalten wurden. Bei der Ausführungsform erhält die in 6 dargestellte Verarbeitungsvorrichtung 20 die Position des Objekts durch Durchführung der stereoskopischen Bildverarbeitung mit dem von dem Paar von Bildaufnahmevorrichtungen 30 aufgenommenen Paar von Bildern. In 7 wird das Paar von Bildaufnahmevorrichtung 30, das die Schneidkante P3 aufnimmt, als die Bildaufnahmevorrichtung 30L und die Bildaufnahmevorrichtung 30R bezeichnet. Das Paar von Bildaufnahmevorrichtungen 30L und 30R sind die Bildaufnahmevorrichtungen 30 des in 2 dargestellten Baggers 100. 7 stellt einen Zustand dar, in dem die Position der Bildaufnahmevorrichtung 30L durch einige externe Faktoren zu einer Bildaufnahmevorrichtung 30L' bewegt wurde, was durch eine zweigepunktete Kettenlinie aufgezeigt wird.
Die Bildaufnahmevorrichtung 30L weist ein Aufnahmeelement 31L auf. Der Ursprungspunkt des Bildaufnahmevorrichtungskoordinatensystems (Xs, Ys, Zs) der Bildaufnahmevorrichtung 30L (d. h. das Zentrum der Bildaufnahmevorrichtung 30L) ist als ein optisches Zentrum OCL festgesetzt. Die Zs-Achse der Bildaufnahmevorrichtung 30L ist eine optische Achse der Bildaufnahmevorrichtung 30L und läuft durch das optische Zentrum OCL. Beim Aufnehmen des Objekts erhält die Bildaufnahmevorrichtung 30L ein Bild 32L, das das Objekt enthält. Die Bildaufnahmevorrichtung 30R weist ein Bildaufnahmeelement 31R auf. Der Ursprungspunkt des Bildaufnahmevorrichtungskoordinatensystems (Xs, Ys, Zs) der Bildaufnahmevorrichtung 30R (d. h. das Zentrum der Bildaufnahmevorrichtung 30R) ist als ein optisches Zentrum OCR festgesetzt. Die Zs-Achse der Bildaufnahmevorrichtung 30R ist eine optische Achse der Bildaufnahmevorrichtung 30R und läuft durch das optische Zentrum OCR. Beim Aufnehmen des Objekts erhält die Bildaufnahmevorrichtung 30R ein Bild 32R, das das Objekt enthält.
Bei der Ausführungsform ist das Objekt, von dem die Position durch das stereoskopische Verfahren erhalten wird, die Schneidkante P3 des Löffels 8 wie in 7 dargestellt. Wenn die Bildaufnahmevorrichtung 30L und die Bildaufnahmevorrichtung 30R das Bild des Löffels 8 aufnimmt, wird das Paar von Bildern 32L und 32R wie in 8 dargestellt erhalten. Die Bildaufnahmevorrichtung 30L ist auf der linken Seite angeordnet, sodass sie dem Löffel 8 zugewandt ist, und die Bildaufnahmevorrichtung 30R ist auf der rechten Seite angeordnet, sodass sie dem Löffel 8 zugewandt ist und sodass sie von der Bildaufnahmevorrichtung 30L durch eine vorbestimmte Distanz B getrennt ist. Wie in 8 dargestellt, sind die Position der Schneidkante P3 des Löffels 8 in dem von der Bildaufnahmevorrichtung 30L aufgenommenen Bild 32L und die Position der Schneidkante P3 des Löffels 8 in dem von der Bildaufnahmevorrichtung 30R aufgenommenen Bild 32R unterschiedlich in der Orientierungsrichtung der Bildaufnahmevorrichtung 30L und der Bildaufnahmevorrichtung 30R. Auf diese Weise ist die Richtung, in der das Objekt betrachtet wird, in Abhängigkeit eines Positionsunterschieds des Beobachtungspunkts des Objekts unterschiedlich, weil die Bildaufnahmevorrichtung 30L und die Bildaufnahmevorrichtung 30R so angeordnet sind, dass sie durch eine vorbestimmte Distanz getrennt sind.
Die Verarbeitungsvorrichtung 20 führt die stereoskopische Bildverarbeitung mit dem von der Bildaufnahmevorrichtung 30L aufgenommenen Bild 32L der Schneidkante P3 des Löffels 8 und dem von der Bildaufnahmevorrichtung 30R aufgenommenen Bild 32R der Schneidkante P3 des Löffels 8 durch. Die Position der Schneidkante P3 des Löffels 8 (dasselbe Objekt) wird durch die stereoskopische Bildverarbeitung in der dreidimensionalen Weise gemessen. Die stereoskopische Bildverarbeitung weist einen Prozess des Erzeugens eines Parallaxenbilds 33 basierend auf dem Paar von Bildern 32L und 32R und einen Prozess des Messens eines Zwischenraums des Aufnahmebereichs der Bildaufnahmevorrichtungen 30L und 30R in der dreidimensionalen Weise basierend auf in dem Parallaxenbild 33 enthaltenen Parallaxeninformationen auf.
In dem Prozess des Erzeugens des Parallaxenbilds 33 sucht die Verarbeitungsvorrichtung 20, wie in 9 dargestellt, die entsprechenden Bereiche zwischen dem Paar Bildern 32L und 32R (Bilder PXl und PXr entsprechend der Schneidkante P3 in der Ausführungsform) und erhält Parallaxen von dem Suchergebnis der entsprechenden Bilder PXl und PXr. Die Parallaxe ist eine Information, die eine physikalische Distanz zwischen den Bildern PXl und PXr entsprechend der Schneidkante P3 anzeigt (zum Beispiel die Anzahl von Pixeln zwischen den Bildern). Das Parallaxenbild 33 ist ein Bild, das durch Ausdrücken der Parallaxe in einer zweidimensionalen Orientierung erhalten wird.
Ferner ist die Parallaxe allgemein durch einen Abweichungsbetrag im Winkel definiert, der zwischen der Sichtlinie des Paares von Bildaufnahmevorrichtungen 30 mit dem Messobjekt als Referenz gebildet wird. In einem Fall, in dem das Paar von Bildaufnahmevorrichtungen 30 parallel orientiert ist, ist die Parallaxe der Pixelbetrag, um den in dem Aufnahmebild abgewichen wird, in welchem der projizierte Punkt desselben Messpunkts in dem Bild der anderen Bildaufnahmevorrichtung 30 von dem projizierten Punkt des Messpunkts in dem Bild der Referenzbildaufnahmevorrichtung abweicht.
Das Parallaxenbild 33 speichert „0” in einem Bild PXs, in dem das Suchen fehlgeschlagen ist, in einem Fall, in dem das Suchen des entsprechenden Bilds fehlschlägt, und speichert einen Wert größer als „0” in einem Bild PXs, in dem das Suchen erfolgreich ist, in einem Fall, in dem das Suchen erfolgreich ist. Bei dem Parallaxenbild 33 wird das mit „0” gespeicherte Bild PXs schwarz, und das mit dem Wert größer als „0” gespeicherte Bild PXs wird eine Graustufe. Daher kann ein Verhältnis in dem Parallaxenbild 33 genutzt werden, das von dem mit einem anderen Wert als „0” gespeicherten Bild PXs belegt ist, um zu bestätigen, ob die stereoskopische Bildverarbeitung erfolgreich ist. Zum Beispiel wird bestimmt, dass die stereoskopische Bildverarbeitung erfolgreich ist, wenn ein in dem Parallaxenbild 33 belegtes Verhältnis des Bilds PXs in der Graustufe (d. h. das Bild PXs, das mit einem anderen Wert als „0” gespeichert ist) gleich oder mehr ist als ein Schwellwert. Der Schwellwert kann zum Beispiel auf 80% bis 90% festgesetzt werden, und die Erfindung ist nicht auf diesen Bereich beschränkt.
Die Verarbeitungsvorrichtung 20 erhält in dem Prozess der dreidimensionalen Messung unter Nutzung von Triangulation eine Distanz zu dem Objekt. Wie in 7 dargestellt, ist ein dreidimensionales Koordinatensystem (X, Y, Z) mit dem optischen Zentrum OCL der Bildaufnahmevorrichtung 30L als Ursprungspunkt vorgesehen. Es wird angenommen, dass die Bildaufnahmevorrichtung 30L und die Bildaufnahmevorrichtung 30R parallel angeordnet sind. In anderen Worten wird angenommen, dass die Bildaufnahmevorrichtung 30L und die Bildaufnahmevorrichtung 30R so angeordnet sind, dass die Abbildungsflächen der Bilder 32L und 32R zueinander bündig und an derselben Position in Richtung der X-Achse werden. Eine Distanz zwischen dem optischen Zentrum OCL der Bildaufnahmevorrichtung 30L und dem optischen Zentrum OCR der Bildaufnahmevorrichtung 30R wird als B festgesetzt, die Y-Achsenkoordinate der Schneidkante P3 (d. h. das Bild PXl) in dem von der Bildaufnahmevorrichtung 30L aufgenommenen Bild 32L wird als YL festgesetzt, die Y-Achsenkoordinate der Schneidkante P3 in dem von der Bildaufnahmevorrichtung 30R aufgenommenen Bild 32R (d. h. das Bild PXr) wird als YR festgesetzt, und die Z-Achsenkoordinate der Schneidkante P3 wird als ZP festgesetzt. YL, YR und ZP sind Koordinaten in dem dreidimensionalen Koordinatensystem (X, Y, Z). Eine Distanz zwischen der Y-Achse und der Abbildungsfläche der Bilder 32L und 32R ist die Brennweite f der Bildaufnahmevorrichtungen 30L und 30R.
In diesem Fall wird die Distanz von den Bildaufnahmevorrichtungen 30L und 30R zu der Schneidkante P3 die Z-Achsenkoordinate ZP der Schneidkante P3 in dem dreidimensionalen Koordinatensystem (X, Y, Z). Wenn die Parallaxe festgesetzt wird zu d = YL – (YR – B), wird die ZP erhalten durch B × f/d.
In jedem Pixel PXs des in 9 dargestellten Parallaxenbilds 33 werden Informationen gespeichert, die den Erfolg/das Fehlschlagen des Suchens und die Parallaxe d in einem Fall anzeigen, in dem das Suchen erfolgreich ist. Die Verarbeitungsvorrichtung 20 kann die Distanz zu dem Objekt basierend auf der Parallaxe d zwischen den entsprechenden Pixeln, bei welchen das Suchen in den Bildern 32L und 32R erfolgreich ist, den Koordinaten der entsprechenden Pixel, bei denen das Suchen in den Bildern 32L und 32R erfolgreich ist, und der Brennweite f der Bildaufnahmevorrichtungen 30L und 30R erhalten.
In dem in 9 dargestellten Beispiel sucht die Verarbeitungsvorrichtung 20 das zwischen dem Paar von Bildern 32L und 32R entsprechende Bild und erzeugt das Parallaxenbild 33. Als nächstes sucht die Verarbeitungsvorrichtung 20 die der Schneidkante P3, welche das Objekt ist, zu der die Distanz erhalten werden soll, entsprechenden Bilder PXl und PXr. Wenn die der Schneidkante P3 entsprechenden Bilder PXl und PXr zwischen dem Paar von Bildern 32L und 32R gesucht werden, erhält die Verarbeitungsvorrichtung 20 die Y-Achsenkoordinaten YL und YR der gesuchten Bilder PXl und PXr. Die Verarbeitungsvorrichtung 20 substituiert die erhaltenen Koordinaten YL und YR und die Distanz B in die Gleichung d = YL – (YR – B) der Parallaxe d, um die Parallaxe d zu erhalten. Die Verarbeitungsvorrichtung 20 erhält die Distanz ZP von den Bildaufnahmevorrichtungen 30L und 30R zu der Schneidkante P3 durch Substituieren der erhaltenen Parallaxe d, der Distanz B und der Brennweite f in die obige Gleichung.
10 ist eine perspektivische Ansicht, die ein Positionsverhältnis des Paars von Bildaufnahmevorrichtungen 30L und 30R darstellt. Das Paar von Bildaufnahmevorrichtungen 30L und 30R wird durch die Stereokameras ausgebildet. Zum Zwecke einer einfachen Beschreibung wird in einem Fall, in dem das Objekt in der dreidimensionalen Weise unter Nutzung des Paares von Bildaufnahmevorrichtungen 30L und 30R gemessen wird, eine Bildaufnahmevorrichtung 30R als primäre Vorrichtung festgesetzt und die andere Bildaufnahmevorrichtung 30L als sekundäre Vorrichtung festgesetzt. Die gerade Linie, die das optische Zentrum OCR der Bildaufnahmevorrichtung 30R und das optische Zentrum OCL der Bildaufnahmevorrichtung 30L verbindet, ist eine Ausgangslinie BL. Die Länge der Ausgangslinie BL ist B.
In einem Fall, in dem die Bildaufnahmevorrichtung 30L nicht parallel zu der Bildaufnahmevorrichtung 30R angeordnet ist, kann das entsprechende Bild zwischen dem Paar von Bildern 32L und 32R nicht gesucht werden. Daher wird im Voraus ein relatives Positionsverhältnis zwischen der Bildaufnahmevorrichtung 30L und der Bildaufnahmevorrichtung 30R erhalten. Dann kann die stereoskopische Bildverarbeitung und die dreidimensionale Messung durch Korrigieren wenigstens eines der Bilder 32L und 32R basierend auf der von dem relativen Positionsverhältnis erhaltenen Abweichung zwischen der Bildaufnahmevorrichtung 30L und der Bildaufnahmevorrichtung 30R durchgeführt werden.
Die Abweichung zwischen der Bildaufnahmevorrichtung 30L und der Bildaufnahmevorrichtung 30R kann durch eine Abweichung der sekundären Vorrichtung bezüglich der primären Vorrichtung (d. h. eine Abweichung der Bildaufnahmevorrichtung 30L bezüglich der Bildaufnahmevorrichtung 30R) ausgedrückt werden. Daher gibt es insgesamt Abweichungen in sechs Richtungen, wie zum Beispiel eine Drehung RTx um die Xs-Achse der Bildaufnahmevorrichtung 30L, eine Drehung RTy um die Ys-Achse der Bildaufnahmevorrichtung 30L, eine Drehung RTz um die Zs-Achse der Bildaufnahmevorrichtung 30L, eine Abweichung in der Xs-Achsenrichtung der Bildaufnahmevorrichtung 30L, eine Abweichung in der Ys-Achsenrichtung der Bildaufnahmevorrichtung 30L und eine Abweichung in der Zs-Achsenrichtung der Bildaufnahmevorrichtung 30L.
11 ist eine schematische Darstellung zum Beschreiben der Abweichung der Bildaufnahmevorrichtung 30R bezüglich der Bildaufnahmevorrichtung 30L. Wie in 11 dargestellt, wird zum Beispiel in einem Fall, in dem die Drehung RTz um die ZS-Achse der Bildaufnahmevorrichtung 30L in der Bildaufnahmevorrichtung 30L auftritt, ein von der Stellung der Bildaufnahmevorrichtung 30L erhaltenes Bild 32Lr im Fall der Abweichung um die Zs-Achse um den durch die Drehung Rty verursachten Abweichungsbetrag gedreht, sodass das Bild 32L der Bildaufnahmevorrichtung 30L im Falle keiner Abweichung korrigiert werden kann.
Die von der Drehung RTz verursachte Abweichung kann durch einen Winkel γ um die Zs-Achse ausgedrückt werden. Dazu wird die Position (xs, ys) des Bilds 32Lr der Bildaufnahmevorrichtung 30L in einer xs-ys-Ebene um die Zs-Achse unter Nutzung von Gleichung (1) gedreht, sodass sie im Fall keiner Abweichung in die Position (Xs, Ys) in einer Xs-Ys-Ebene des Bilds 32L der Bildaufnahmevorrichtung 30L konvertiert wird.
Ähnlich zu der Drehung RTz um die Zs-Achse wird die von der Drehung RTx um die Xs-Achse verursachte Abweichung durch Gleichung (2) korrigiert, und die von der Drehung RTy um die Ys-Achse verursachte Abweichung wird durch Gleichung (3) korrigiert. Ein Winkel α in Gleichung (2) bezeichnet die von der Drehung RTx verursachte Abweichung, und ein Winkel β in Gleichung (3) bezeichnet die von der Drehung RTy verursachte Abweichung. Die Winkel α, β und γ sind Mengen zum Korrigieren der Abweichungen in den Drehrichtungen um die Achsen in dem Bildaufnahmevorrichtungskoordinatensystem der Bildaufnahmevorrichtung 30L. Im Folgenden werden die Winkel α, β und γ zutreffend als Drehrichtungskorrekturmengen α, β und γ oder einfach als die Drehrichtungskorrekturmenge bezeichnet.
Die in der Xs-Achsenrichtung in der Bildaufnahmevorrichtung 30R erzeugte Abweichung der Bildaufnahmevorrichtung 30L wird durch Bewegen der Position des von der Bildaufnahmevorrichtung 30L aufgenommenen Bilds 32Lr um eine Abweichungsaufhebungsmenge ΔX parallel zu der Xs-Achsenrichtung der Bildaufnahmevorrichtung 30R korrigiert. Die in der Ys-Achsenrichtung und der Zs-Achsenrichtung der Bildaufnahmevorrichtung 30R erzeugten Abweichungen der Bildaufnahmevorrichtung 30L werden auch ähnlich zu der in der Xs-Achsenrichtung erzeugten Abweichungsaufhebungsmenge ΔX der Bildaufnahmevorrichtung 30L korrigiert. In anderen Worten wird die Position des von der Bildaufnahmevorrichtung 30L aufgenommenen Bildes 32Lr um die Abweichungsaufhebungsmengen ΔY und ΔZ parallel zu der Ys-Achsenrichtung und der Zs-Achsenrichtung der Bildaufnahmevorrichtung 30R bewegt. Die Abweichungsaufhebungsmengen ΔX, ΔY und ΔZ sind Mengen zum Korrigieren der Abweichungen in einer Translationsrichtung des Paars von Bildaufnahmevorrichtungen 30. Im Folgenden werden die Abweichungsaufhebungsmengen ΔX, ΔY und ΔZ zutreffend als die Translationsrichtungskorrekturmengen ΔX, ΔY und ΔZ oder einfach als die Translationsrichtungskorrekturmenge bezeichnet.
Das Erhalten der Drehrichtungskorrekturmengen α, β und γ und der Translationsrichtungskorrekturmengen ΔX, ΔY und ΔZ zum Korrigieren der Abweichung des Paares von der Bildaufnahmevorrichtung 30R und der Bildaufnahmevorrichtung 30L der Stereokamera wird als eine externe Korrektur bezeichnet. Die externe Korrektur wird zum Beispiel zum Zeitpunkt des Entlastens des Baggers 100 durchgeführt. Die Drehrichtungskorrekturmengen α, β und γ und die Translationsrichtungskorrekturmengen ΔX, ΔY und ΔZ, die in der externen Korrektur erhalten wurden, sind Parameter zum Definieren der Stellung der Bildaufnahmevorrichtung 30. Im Folgenden werden diese Parameter zutreffend als Stellungsparameter bezeichnet. Die Stellungsparameter sind sechsdimensionale Parameter. Die in der externen Korrektur erhaltenen Stellungsparameter werden in der Speichereinheit 22 der in 6 dargestellten Verarbeitungsvorrichtung 20 gespeichert. Die Verarbeitungsvorrichtung 20 führt die stereoskopische Bildverarbeitung mit dem wenigstens von dem Paar von Bildaufnahmevorrichtungen 30 aufgenommenen Bild unter Nutzung der Stellungsparameter, die in der Speichereinheit 22 gespeichert sind, durch und misst das Aufnahmebild in der dreidimensionalen Weise.
Wenigstens das Paar von Bildaufnahmevorrichtungen 30 des in 2 dargestellten Baggers 100 wird in ihrer Abweichung des relativen Positionsverhältnisses durch das oben beschriebene Verfahren korrigiert, nachdem es an dem Bagger 100 befestigt wurde. In einem Fall, in dem die nach dem Befestigen an dem Bagger 100 korrigierte Bildaufnahmevorrichtung 30 durch einige externe Faktoren physikalisch bewegt wurde, entsprechen sich der Stellungsparameter, bevor die Bildaufnahmevorrichtung 30 bewegt wurde, und die eigentliche Stellung der Bildaufnahmevorrichtung 30 nicht.
12 und 13 sind schematische Darstellungen, die das von dem Paar von Bildaufnahmevorrichtungen 30L und 30R erhaltene Paar von Bildern 32L und 32R darstellen. 12 und 13 stellen das Paar von Bildern 32L' und 32R dar, welche von der in 7 dargestellten Bildaufnahmevorrichtung 30R und der um einige externe Faktoren bewegten Bildaufnahmevorrichtung 30L' aufgenommen wurden. Die in 7 dargestellte Bildaufnahmevorrichtung 30L' zeigt, dass die zu der Bildaufnahmevorrichtung 30R parallel angeordnete Bildaufnahmevorrichtung 30L um die Xs-Achse des Bildaufnahmevorrichtungskoordinatensystems gedreht ist, zum Beispiel so, dass sie in eine Richtung gedreht wird, in der die Bildaufnahmefläche eines Bildaufnahmeelements 31L' der Bildaufnahmevorrichtung 30R zugewandt ist.
Wie in 12 und 13 dargestellt, wird das von der Bildaufnahmevorrichtung 30L' aufgenommene Bild 32L' in diesem Zustand mit dem von der Bildaufnahmevorrichtung 30L, welche nicht durch einige externe Faktoren bewegt wurde, aufgenommenen Bild 32L verglichen, die Position der Schneidkante P3 des Löffels 8 wird in eine von einem Pfeil Lt aufgezeigte Richtung bewegt (d. h. die linke Seite des Bilds 32L). In diesem Zustand ist es nicht möglich, die Bilder zu ermitteln, selbst wenn die Verarbeitungsvorrichtung 20 ein Bild PXl' und das der Schneidkante P3 zwischen dem Paar von Bildern 32L' und 32R entsprechende Bild PXr sucht. Daher kann, wie in 13 dargestellt, das durch das Suchen zwischen dem Paar von Bildern 32L' und 32R erhaltene Parallaxenbild 33' das durch „0” belegte Verhältnis enthalten, welches anzeigt, dass das Suchbild des entsprechenden Bilds fehlschlägt. Als ein Ergebnis ist in dem Parallaxenbild 33' das von dem Graustufenbild in dem Gesamtbild belegte Verhältnis gering, und das von dem schwarzen Bild PXs belegte Verhältnis groß. Daher ist die dreidimensionale Messung durch das stereoskopische Verfahren nicht möglich.
In einem Fall, in dem die Bildaufnahmevorrichtung 30 durch einige externe Faktoren bewegt wird, kann der Stellungsparameter erneut durch externe Korrektur erhalten werden, jedoch nimmt es Zeit und Aufwand bei der Installation der Ausstattung für die externe Korrektur und die Arbeit für die externe Korrektur in Anspruch. In einem Fall, in dem die Stellung der Bildaufnahmevorrichtung 30 geändert wird, führt das in 6 dargestellte Korrektursystem 50 das Korrekturverfahren gemäß der Ausführungsform durch, um den Stellungsparameter erneut zu erhalten, korrigiert automatisch die Abweichung zwischen der Mehrzahl von Bildaufnahmevorrichtungen 30 und erlangt die dreidimensionale Messung durch das stereoskopische Verfahren zurück. Im Folgenden wird der Prozess zutreffend als eine automatische Korrektur bezeichnet.
14 ist ein Flussdiagramm, das einen Prozess darstellt, wenn das Korrektursystem 50 gemäß der Ausführungsform das Korrekturverfahren gemäß der Ausführungsform durchführt. 15 ist eine schematische Darstellung zum Beschreiben eines Verfahrens zum Bestimmen, dass die Bildaufnahmevorrichtung den Stellungsparameter erhält. 16 ist ein Diagramm, das eine Beispielstabelle zum Bestimmen, dass die Bildaufnahmevorrichtung den Stellungsparameter erhält, darstellt. In Schritt S101 veranlasst die Verarbeitungsvorrichtung 20, dass alle der in 2 dargestellten Mehrzahl von Bildaufnahmevorrichtungen 30 das Objekt aufnehmen. Das Objekt kann der Löffel 8 sein, jedoch ist die Erfindung nicht darauf beschränkt.
In Schritt S102 führt die Verarbeitungsvorrichtung 20 die stereoskopische Bildverarbeitung mit den in Schritt S101 aufgenommenen Bildern durch. Insbesondere wird die stereoskopische Bildverarbeitung mit den von dem Paar von Bildaufnahmevorrichtungen 30 der Stereokamera aufgenommenen Bildern durchgeführt. Die Bildverarbeitung ist eine Verarbeitung zum Erzeugen eines Parallaxenbilds aus dem Paar von Bildern. In Schritt S102 erzeugt die Verarbeitungsvorrichtung 20 die Parallaxenbilder von all den Paaren von Bildern, die von all den Kombinationen der Stereokamera unter der Mehrzahl von Bildaufnahmevorrichtungen 30 des Baggers 100 erhalten wurden.
Bei der Ausführungsform weist der Bagger 100 vier Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d auf. In dem in 15 dargestellten Beispiel erzeugt die Verarbeitungsvorrichtung 20 die Parallaxenbilder aus sechs von sechs Kombinationen R1, R2, R3, R4, R5 und R6 erhaltenen Paaren von Bildern wie folgt.
R1: die Bildaufnahmevorrichtung 30a und die Bildaufnahmevorrichtung 30b
R2: die Bildaufnahmevorrichtung 30a und die Bildaufnahmevorrichtung 30c
R3: die Bildaufnahmevorrichtung 30a und die Bildaufnahmevorrichtung 30d
R4: die Bildaufnahmevorrichtung 30b und die Bildaufnahmevorrichtung 30c
R5: die Bildaufnahmevorrichtung 30b und die Bildaufnahmevorrichtung 30d
R6: die Bildaufnahmevorrichtung 30c und die Bildaufnahmevorrichtung 30d
Wenn die Parallaxenbilder durch die oben beschriebenen sechs Kombinationen erzeugt werden, werden die Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d jede die Parallaxenbilder drei Mal erzeugen. Bei der Ausführungsform wird in einem Fall, in dem das Verhältnis der Graustufenpixel, die das Parallaxenbild belegen, gleich oder größer als ein Schwellwert ist, bestimmt, dass das Parallaxenbild normal ist. Die Größe des Schwellwerts ist dieselbe wie oben beschrieben.
Bei den sechs Kombinationen R1 bis R6 verursacht das Paar von Bildaufnahmevorrichtungen 30, das durch eine Kombination ausgebildet ist, die auch nur einmal ein normales Parallaxenbild erzeugt, nicht die Abweichung. Da die Bildaufnahmevorrichtung 30 zum Erhalten des Stellungsparameters von den durch die sechs Kombinationen R1 bis R6 erhaltenen sechs Parallaxenbildern bestimmt wird, nutzt die Verarbeitungsvorrichtung 20 zum Beispiel eine in 16 dargestellte Bestimmungstabelle TB. Die Bestimmungstabelle TB speichert darin die Speichereinheit 22 der Verarbeitungsvorrichtung 20.
In der Bestimmungstabelle TB wird für die Bildaufnahmevorrichtung 30, die der Kombination entspricht, die das normale Parallaxenbild erzeugt, eine „1” geschrieben, und für die Bildaufnahmevorrichtung 30, die der Kombination entspricht, die nicht das normale Parallaxenbild erzeugt, wird eine „0” geschrieben. Dann wird in der Bestimmungstabelle TB eine Gesamtsumme geschrieben, wenn jede der Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d „1” schreibt. Auf diese Weise kann die Bestimmungstabelle TB die Anzahl der Häufigkeiten zeigen, wann die normalen Parallaxenbilder durch die Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d erzeugt werden. Die Verarbeitungseinheit 21 schreibt die Werte in die Bestimmungstabelle TB.
In die Bestimmungstabelle TB wird „1” oder „0” gemäß der unten stehenden Regeln geschrieben.

(1) In einem Fall, in dem das von einer Kombination R1 erzeugte Parallaxenbild normal ist, wird „1” für die Bildaufnahmevorrichtungen 30a und 30b geschrieben.
(2) In einem Fall, in dem das von einer Kombination R2 erzeugte Parallaxenbild normal ist, wird „1” für die Bildaufnahmevorrichtungen 30a und 30c geschrieben.
(3) In einem Fall, in dem das von einer Kombination R3 erzeugte Parallaxenbild normal ist, wird „1” für die Bildaufnahmevorrichtungen 30a und 30d geschrieben.
(4) In einem Fall, in dem das von einer Kombination R4 erzeugte Parallaxenbild normal ist, wird „1” für die Bildaufnahmevorrichtungen 30b und 30c geschrieben.
(5) In einem Fall, in dem das von einer Kombination R5 erzeugte Parallaxenbild normal ist, wird „1” für die Bildaufnahmevorrichtungen 30b und 30d geschrieben.
(6) In einem Fall, in dem das von einer Kombination R6 erzeugte Parallaxenbild normal ist, wird „1” für die Bildaufnahmevorrichtungen 30c und 30d geschrieben.

Die in 16 dargestellte Bestimmungstabelle TB zeigt einen Fall, in dem die von den Kombinationen R2, R3 und R6 erzeugten Parallaxenbilder normal und die von den Kombinationen R1, R4 und R5 erzeugten Parallaxenbilder nicht normal sind. In diesem Fall ist die Anzahl der Häufigkeiten, bei denen „1” in die Bildaufnahmevorrichtungen 30a, 30c und 30d geschrieben wird, jeweils Zwei, die in der Gesamtsumme der Bestimmungstabelle TB angegeben ist, und die Anzahl der Häufigkeiten, bei denen „1” in die Bildaufnahmevorrichtung 30b geschrieben ist, ist Null. Da bei den Bildaufnahmevorrichtungen 30a, 30c und 30d eine nicht zulässige Abweichung auftritt, bestimmt die Bildaufnahmevorrichtung 30b, dass es nicht einmal eine normale Kombination gibt. Daher wird die Bildaufnahmevorrichtung 30b das Objekt zum Erhalten des Stellungsparameters. Auf diese Weise bestimmt die Bestimmungstabelle TB die Bildaufnahmevorrichtung 30 zum Erhalten des Stellungsparameters unter Nutzung der Anzahl der Häufigkeiten, bei denen „1” geschrieben wird, (d. h. die Anzahl der Häufigkeiten, bei denen das normale Parallaxenbild aus dem Aufnahmebildergebnis der Bildaufnahmevorrichtung 30 erzeugt wird). In anderen Worten bestimmt die Verarbeitungsvorrichtung 20 das Paar von Bildaufnahmevorrichtungen 30 zum Erhalten des Stellungsparameters basierend auf dem Parallaxenbild als ein Ergebnis des Suchens des entsprechenden Bereichs zwischen dem von dem Paar von Bildaufnahmevorrichtungen 30 in wenigstens zwei Bildaufnahmevorrichtungen 30 erlangten Paar von Bildern. Das Verfahren des Bestimmens des Paares von Bildaufnahmevorrichtungen 30 zum Erhalten des Stellungsparameters, das in der Ausführungsform beschrieben ist, ist ein Beispiel, und die Erfindung ist nicht darauf beschränkt.
In Schritt S103 nutzt die Verarbeitungsvorrichtung 20 die Bestimmungstabelle TB zum Zählen der Anzahl der Häufigkeiten, bei denen das normale Parallaxenbild für jede der Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d erzeugt wird. In Schritt S104 bestimmt die Verarbeitungsvorrichtung 20, dass die Bildaufnahmevorrichtung 30 den Stellungsparameter aufgrund der Abweichung basierend auf der Anzahl der Häufigkeiten, bei denen das normale Parallaxenbild erzeugt wird, erhält. Auf diese Weise erhält die Verarbeitungsvorrichtung 20 in einem Fall, in dem es eine Mehrzahl von Paaren von Bildaufnahmevorrichtungen 30 gibt, den Stellungsparameter wenigstens eines des Paars von Bildaufnahmevorrichtungen 30, welches eine Erfolgsquote des Suchens hat, die geringer ist als ein Schwellwert (d. h. das normale Parallaxenbild).
Wenn die Bildaufnahmevorrichtung 30 zum erneuten Erhalten des Stellungsparameters bestimmt wurde, führt die Verarbeitungsvorrichtung 20 einen Prozess des Erhaltens des Stellungsparameters durch. In Schritt S105 ändert die Verarbeitungsvorrichtung 20 (die Sucheinheit 21A der Verarbeitungseinheit 21 in dieser Ausführungsform) den Stellungsparameter. Dann führt die Sucheinheit 21A der Verarbeitungsvorrichtung 20 in Schritt S106 die stereoskopische Bildverarbeitung mit dem von der Bildaufnahmevorrichtung 30 aufgenommenen Paar von Bildern durch, um den Stellungsparameter erneut zu erhalten und damit die gepaarte Bildaufnahmevorrichtung 30 den geänderten Stellungsparameter nutzt. Das der stereoskopischen Bildverarbeitung unterzogene Paar von Bildern entspricht den in Schritt S101 aufgenommenen Bildern. Insbesondere ist die stereoskopische Bildverarbeitung ein Prozess des Erzeugens des Parallaxenbilds aus dem Paar von Bildern.
Wenn der Prozess des Schritts S106 beendet ist, vergleicht die Verarbeitungsvorrichtung 20 (die Bestimmungseinheit 21B der Verarbeitungseinheit 21 in dieser Ausführungsform) in Schritt S107 ein Graustufenverhältnis SR, welches ein Verhältnis der Graustufenpixel ist, die das in Schritt S106 (d. h. das mit einem anderen Wert als „0” gespeicherte Bild) erzeugte Parallaxenbild belegen, mit einem Schwellwert SRc. Der Prozess aus Schritt S107 ist ein Prozess des Bestimmens der Erfolgsquote der stereoskopischen Bildverarbeitung. Wie oben beschrieben, kann die Höhe des Schwellwerts SRc zum Beispiel zwischen 80% und 90% festgesetzt werden, jedoch ist die Erfindung nicht auf den Wert in dem Bereich beschränkt. In Schritt S107 kehrt die Bestimmungseinheit 21B der Verarbeitungsvorrichtung 20 in einem Fall, in dem das Graustufenverhältnis SR kleiner ist als der Schwellwert SRc (Schritt S107, Nein), die Prozedur zu Schritt S105 zurück und führt erneut die Prozesse von Schritt S105 bis Schritt S107 durch, bis das Graustufenverhältnis SR gleich oder mehr ist als der Schwellwert SRc.
In Schritt S107 bestimmt die Bestimmungseinheit 21B der Verarbeitungsvorrichtung 20 in einem Fall, in dem das Graustufenverhältnis SR des Parallaxenbilds gleich oder mehr ist als der Schwellwert SRc (Schritt S107, Ja), den Stellungsparameter zu diesem Zeitpunkt als einen neuen Stellungsparameter in Schritt S108. Danach wird die stereoskopische Bildverarbeitung unter Nutzung des in Schritt S108 bestimmten Stellungsparameters durchgeführt.
Bei der Ausführungsform ändert die Verarbeitungsvorrichtung 20 den Stellungsparameter eines des Paars von Bildaufnahmevorrichtungen 30 als das Objekt, von dem der Stellungsparameter geändert ist und ändert nicht den Stellungsparameter des anderen. Daher wird die stereoskopische Bildverarbeitung mit dem von diesen Vorrichtungen aufgenommenen Paar von Bildern durchgeführt. Das relative Positionsverhältnis des Paares von Bildaufnahmevorrichtungen 30 kann im Vergleich zu einem Fall, in dem beide Stellungsparameter geändert werden, schnell einen Zustand erreichen, bevor die Abweichung auftritt durch Ändern des Stellungsparameters von einer des Paars von Bildaufnahmevorrichtungen 30. Als ein Ergebnis kann die Verarbeitungsvorrichtung die zum Erhalten eines neuen Stellungsparameters beanspruchte Zeit verkürzen.
Bei dem Paar von Bildaufnahmevorrichtungen 30, von dem der Stellungsparameter geändert wird, wird eine Vorrichtung, von der der Stellungsparameter nicht geändert wird, als die erste Bildaufnahmevorrichtung bezeichnet, und eine Vorrichtung, von der der Stellungsparameter geändert wird, wird als die zweite Bildaufnahmevorrichtung bezeichnet. In diesem Beispiel sind die Objekte, von denen der Stellungsparameter geändert wird, die Bildaufnahmevorrichtung 30c und die Bildaufnahmevorrichtung 30d, die in 2 dargestellt sind, und der Stellungsparameter der Bildaufnahmevorrichtung 30d wird geändert. Daher ist die Bildaufnahmevorrichtung 30c die erste Bildaufnahmevorrichtung, und die Bildaufnahmevorrichtung 30d ist die zweite Bildaufnahmevorrichtung. Im Folgenden wird die Bildaufnahmevorrichtung 30c zutreffend als die erste Bildaufnahmevorrichtung 30c bezeichnet, und die Bildaufnahmevorrichtung 30d wird zutreffend als die zweite Bildaufnahmevorrichtung 30d bezeichnet.
17 bis 21 sind schematische Darstellungen zum Beschreiben des Stellungsparameters. Wie oben beschrieben weist der Stellungsparameter die Drehrichtungskorrekturmengen α, β und γ und die Translationsrichtungskorrekturmengen ΔX, ΔY und ΔZ auf. Wenn ein neuer Stellungsparameter erhalten wird, ändert die Verarbeitungsvorrichtung 20 einen ersten Parameter, welcher das Positionsverhältnis in der Translationsrichtung der ersten Bildaufnahmevorrichtung 30c und der zweiten Bildaufnahmevorrichtung 30d definiert, und einen zweiten Parameter, welcher die Stellung in dem Bildaufnahmevorrichtungskoordinatensystem der zweiten Bildaufnahmevorrichtung 30d definiert. Der erste Parameter und der zweite Parameter (d. h. die Parameter, die die Stellung der zweiten Bildaufnahmevorrichtung 30d definieren) zeigen die Drehung der zweiten Bildaufnahmevorrichtung 30d an. Die Verarbeitungsvorrichtung 20 ändert die Stellungsparameter, wie zum Beispiel die Drehrichtungskorrekturmengen α, β und γ und die Translationsrichtungskorrekturmengen ΔX, ΔY und ΔZ durch Verändern des ersten Parameters und des zweiten Parameters.
Wie im Folgenden beschrieben, weist der zweite Parameter Winkel α', β' und γ', wie in 17 dargestellt, auf. Die Winkel α', β' und γ' sind Drehwinkel der zweiten Bildaufnahmevorrichtung 30d in den entsprechenden Achsen des Bildaufnahmevorrichtungskoordinatensystems (Xs, Ys, Zs) der zweiten Bildaufnahmevorrichtung 30d. Der erste Parameter weist einen in 18 und 19 dargestellten Winkel θ und einen in 20 und 21 dargestellten Winkel φ auf. Der Winkel θ ist ein von der Ausgangslinie BL und der Zs-Achse des Bildaufnahmevorrichtungskoordinatensystems (Xs, Ys, Zs) der zweiten Bildaufnahmevorrichtung 30d gebildeter Winkel. Der Winkel φ ist ein von der Ausgangslinie BL und der Xs-Achse des Bildaufnahmevorrichtungskoordinatensystems (Xs, Ys, Zs) der zweiten Bildaufnahmevorrichtung 30d gebildeter Winkel.
Wenn der Winkel θ und der Winkel φ des ersten Parameters geändert werden, dreht die zweite Bildaufnahmevorrichtung 30d um die erste Bildaufnahmevorrichtung 30c (genauer gesagt, der Ursprungspunkt (mit einem optischen Zentrum OCc in diesem Beispiel zusammenfallend) des Bildaufnahmevorrichtungskoordinatensystems der ersten Bildaufnahmevorrichtung 30c). In anderen Worten veranlasst der erste Parameter, dass die zweite Bildaufnahmevorrichtung 30d um die erste Bildaufnahmevorrichtung 30c dreht.
Wenn die Winkel α', β' und γ' des zweiten Parameters geändert werden, dreht die zweite Bildaufnahmevorrichtung 30d um sich selbst (genauer gesagt, der Ursprungspunkt (mit einem optischen Zentrum OCd in diesem Beispiel zusammenfallend) des Bildaufnahmevorrichtungskoordinatensystems der zweiten Bildaufnahmevorrichtung 30d). In anderen Worten veranlasst der zweite Parameter, dass die zweite Bildaufnahmevorrichtung 30d um die zweite Bildaufnahmevorrichtung 30d dreht.
Auf diese Weise sind sowohl der erste Parameter als auch der zweite Parameter Parameter, die die Stellung der zweiten Bildaufnahmevorrichtung 30d definieren. Das relative Positionsverhältnis zwischen der ersten Bildaufnahmevorrichtung 30c und der zweiten Bildaufnahmevorrichtung 30d ist dadurch definiert, dass die Stellung der zweiten Bildaufnahmevorrichtung 30d definiert wird.
In der Ausführungsform verändert die Verarbeitungsvorrichtung 20 die Parameter zum Definieren der Stellung der zweiten Bildaufnahmevorrichtung 30d, sodass eine Distanz zwischen der ersten Bildaufnahmevorrichtung 30c und der zweiten Bildaufnahmevorrichtung 30d konstant ist (d. h. die Länge B der Ausgangslinie BL zwischen der ersten Bildaufnahmevorrichtung 30c und der zweiten Bildaufnahmevorrichtung 30d ist konstant festgesetzt). Die Ausgangslinie BL zwischen der ersten Bildaufnahmevorrichtung 30c und der zweiten Bildaufnahmevorrichtung 30d ist eine gerade Linie, die das optische Zentrum OCc der ersten Bildaufnahmevorrichtung 30c und das optische Zentrum OCd der zweiten Bildaufnahmevorrichtung 30d verbindet.
Wenn der Winkel θ und der Winkel φ des ersten Parameters geändert werden, während die Länge der Ausgangslinie BL konstant festgesetzt wird, dreht die zweite Bildaufnahmevorrichtung 30d um die erste Bildaufnahmevorrichtung 30c. Als ein Ergebnis wird die Translationskomponente der zweiten Bildaufnahmevorrichtung 30d ebenfalls zusätzlich zu der Rotationskomponente der zweiten Bildaufnahmevorrichtung 30d geändert. Daher werden die Drehrichtungskorrekturmengen α, β und γ und die Translationsrichtungskorrekturmengen ΔX, ΔY und ΔZ des Stellungsparameters durch Ändern des ersten Parameters und des zweiten Parameters geändert. Die Anzahl der zum Erhalten des Stellungsparameters zu ändernden Parameter kann durch Ändern des Winkels θ und des Winkels φ des ersten Parameters reduziert werden, wenn die Länge der Ausgangslinie BL konstant festgesetzt wird. Als ein Ergebnis ist es bevorzugt, dass die Rechenlast der Verarbeitungsvorrichtung 20 reduziert wird.
Wenn die Winkel θ und φ des ersten Parameters und die Winkel α', β' und γ' des zweiten Parameters erhalten werden, wird das relative Positionsverhältnis zwischen der ersten Bildaufnahmevorrichtung 30c und der zweiten Bildaufnahmevorrichtung 30d erhalten. Die Verarbeitungsvorrichtung 20 erzeugt das Parallaxenbild, während sie den ersten Parameter und den zweiten Parameter ändert, bis das Graustufenverhältnis SR und des Parallaxenbilds angestiegen ist, bis es gleich oder mehr ist als der Schwellwert SRc. Wenn der erste Parameter und der zweite Parameter verändert werden, ändert die Verarbeitungsvorrichtung 20 die Winkel θ und φ und die Winkel α', ß' und γ' um einen vorbestimmten Ändeβungsbetrag sowohl in positiver als auch in negativer Richtung, bis die Winkel vorbestimmte Mengen erreichen mit den Werten vor der Änderung als Referenz. 17 bis 21 stellen Beispiele dar, in welchen die Winkel Winkel θ und φ und die Winkel α', β' und γ' in die positive Richtung und die negative Richtung geändert werden.
Die Verarbeitungsvorrichtung 20 erzeugt das Parallaxenbild aus dem von der ersten Bildaufnahmevorrichtung 30c und der zweiten Bildaufnahmevorrichtung 30d aufgenommenen Paar von Bildern unter Nutzung der geänderten Winkel θ und φ und der geänderten Winkel α', β' und γ', sobald die Winkel θ und φ und die Winkel α', β' und γ' geändert werden. Insbesondere erhält die Verarbeitungsvorrichtung 20 die Drehrichtungskorrekturmengen α, β und γ und die Translationsrichtungskorrekturmengen ΔX, ΔY und ΔZ des Stellungsparameters unter Nutzung der geänderten Winkel θ und φ und der geänderten Winkel α', β' und γ' und erzeugt das Parallaxenbild unter Nutzung des erhaltenen Stellungsparameters. Die Verarbeitungsvorrichtung 20 vergleicht das Graustufenverhältnis SR des erzeugten Parallaxenbilds und den Schwellwert SRc.
Die Verarbeitungsvorrichtung 20 erhält die Drehrichtungskorrekturmengen α, β und γ und die Translationsrichtungskorrekturmengen ΔX, ΔY und ΔZ des Stellungsparameters unter Nutzung des ersten Parameters und des zweiten Parameters, wenn das Graustufenverhältnis SR des Parallaxenbilds gleich oder mehr ist als der Schwellwert SRc. Dann wird die stereoskopische Bildverarbeitung mit dem von der Bildaufnahmevorrichtung 30 aufgenommenen Bild unter Nutzung der neu erhaltenen Drehrichtungskorrekturmengen α, β und γ und der neu erhaltenen Translationsrichtungskorrekturmengen ΔX, ΔY und ΔZ durchgeführt, und die dreidimensionale Messung wird durchgeführt.
Die Beschreibung wird anhand eines Falls erstellt, in dem drei Bildaufnahmevorrichtungen 30 der Mehrzahl von Bildaufnahmevorrichtungen 30 die Objekte zum Ändern des Stellungsparameters sind. In einem Fall, in dem drei in 15 dargestellte Bildaufnahmevorrichtungen 30b, 30c und 30d die Objekte zum Ändern des Stellungsparameters sind, gibt es drei Kombinationen (d. h. die Kombination der Bildaufnahmevorrichtung 30c und der Bildaufnahmevorrichtung 30b, die Kombination der Bildaufnahmevorrichtung 30c und der Bildaufnahmevorrichtung 30d und die Kombination der Bildaufnahmevorrichtung 30d und der Bildaufnahmevorrichtung 30b). In diesem Fall wird eine Vorrichtung von drei Bildaufnahmevorrichtungen 30b, 30c und 30d als die erste Bildaufnahmevorrichtung festgesetzt, und die übrigen zwei Vorrichtungen werden als die zweite Bildaufnahmevorrichtung festgesetzt. Dann erhält die Verarbeitungsvorrichtung 20 für jede Kombination einen neuen Stellungsparameter, da zwei Paare von Bildaufnahmevorrichtungen eingeführt sind, wobei die erste Bildaufnahmevorrichtung eine gemeinsame Vorrichtung ist.
Zum Beispiel wird die Bildaufnahmevorrichtung 30c als die erste Bildaufnahmevorrichtung festgesetzt, und die Bildaufnahmevorrichtungen 30b und 30d werden als die zweite Bildaufnahmevorrichtung festgesetzt. Dann werden die Kombination der Bildaufnahmevorrichtung 30c und der Bildaufnahmevorrichtung 30b und die Kombination der Bildaufnahmevorrichtung 3c und der Bildaufnahmevorrichtung 30d eingeführt. Die Verarbeitungsvorrichtung 20 ändert den Stellungsparameter der Bildaufnahmevorrichtung 30b bezüglich der früheren Kombination und ändert den Stellungsparameter der Bildaufnahmevorrichtung 30d bezüglich der späteren Kombination.
Das Verfahren des Erhaltens des Stellungsparameters in einem Fall, in dem drei Bildaufnahmevorrichtungen 30 den Stellungsparameter ändern, ist nicht auf das obige Verfahren beschränkt. Zum Beispiel kann die Verarbeitungsvorrichtung 20 zuerst den Stellungsparameter der Bildaufnahmevorrichtung 30b in der Kombination der Bildaufnahmevorrichtung 30c und der Bildaufnahmevorrichtung 30b bestimmen und dann die Bildaufnahmevorrichtung 30b als die erste Bildaufnahmevorrichtung und die Bildaufnahmevorrichtung 30d als die zweite Bildaufnahmevorrichtung festsetzen, sodass sie den Stellungsparameter der Bildaufnahmevorrichtung 30d bestimmen.
Die Beschreibung wird anhand von einem Fall durchgeführt, in der vier Bildaufnahmevorrichtungen 30 in der Mehrzahl von Bildaufnahmevorrichtungen 30 den Stellungsparameter ändern. In einem Fall, in dem vier Bildaufnahmevorrichtungen 30a, 30b, 30c und 30d, die in 15 dargestellt sind, die Objekte zum Ändern des Stellungsparameters sind, gibt es zwei Kombinationen, wie zum Beispiel die Kombination der Bildaufnahmevorrichtung 30a und der Bildaufnahmevorrichtung 30b und die Kombination der Bildaufnahmevorrichtung 30c und der Bildaufnahmevorrichtung 30d, oder zwei Kombinationen, wie zum Beispiel die Kombination der Bildaufnahmevorrichtung 30a und der Bildaufnahmevorrichtung 30c und die Kombination der Bildaufnahmevorrichtung 30b und der Bildaufnahmevorrichtung 30d.
Hierin wird angenommen, dass eine erste Kombination der Bildaufnahmevorrichtung 30a und der Bildaufnahmevorrichtung 30b und eine zweite Kombination der Bildaufnahmevorrichtung 30c und der Bildaufnahmevorrichtung 30d eingeführt wird. In diesem Fall wird eine in der ersten Kombination als die erste Bildaufnahmevorrichtung festgesetzt, und die andere wird als die zweite Bildaufnahmevorrichtung festgesetzt. Ähnlich wird auch in der zweiten Kombination eine der Kombinationen als die erste Bildaufnahmevorrichtung festgesetzt, und die andere wird als die zweite Bildaufnahmevorrichtung festgesetzt. Die Verarbeitungsvorrichtung 20 erhält einen neuen Stellungsparameter durch Ändern des Stellungsparameters der zweiten Bildaufnahmevorrichtung sowohl in der ersten Kombination als auch in der zweiten Kombination.
Das Korrektursystem 50 und das Korrekturverfahren gemäß der Ausführungsform führen die folgenden Prozesse durch in einem Fall, in dem eine Positionsabweichung von wenigstens einer von wenigstens zwei Bildaufnahmevorrichtungen 30 des Baggers 100, welcher für einige externe Faktoren die Arbeitsmaschine ist, auftritt. In anderen Worten ändern das Korrektursystem 50 und das Korrekturverfahren gemäß der Ausführungsform den Stellungsparameter von wenigstens zwei Bildaufnahmevorrichtungen 30, während sie die Distanz zwischen der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevorrichtung konstant festsetzen, und erhalten einen neuen Stellungsparameter basierend auf dem als ein Ergebnis des Suchens des entsprechenden Bereichs zwischen dem Paar von Bildern, das von der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevorrichtung erhalten ist, erhaltenen Parallaxenbild. Hierin ist wenigstens eine der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevorrichtung die Bildaufnahmevorrichtung, in der für einige externe Faktoren die Positionsabweichung auftritt.
Durch einen solchen Prozess können das Korrektursystem 50 und das Korrekturverfahren gemäß der Ausführungsform die Bildaufnahmevorrichtung 30 korrigieren, welche den Bagger 100 als die Arbeitsmaschine aufweist. Zusätzlich kann die an einem Nutzungsort des Baggers 100 erzeugte Positionsabweichung der Bildaufnahmevorrichtung 30 leicht und einfach korrigiert werden, da es für das Korrektursystem 50 und das Korrekturverfahren gemäß der Ausführungsform nicht nötig ist, Ausstattung für die Korrektur zu installieren. Auf diese Weise können das Korrektursystem 50 und das Korrekturverfahren gemäß der Ausführungsform die Positionsabweichung der Bildaufnahmevorrichtung 30 selbst in einem Fall korrigieren, in dem es keine Ausstattung zum Korrigieren der Bildaufnahmevorrichtung 30 gibt, sodass es einen Vorteil gibt, dass die Arbeit nicht unterbrochen wird. Das Korrektursystem 50 und das Korrekturverfahren gemäß der Ausführungsform haben ferner einen Vorteil, dass die Positionsabweichung der Bildaufnahmevorrichtung leicht und schnell durch einen Softwareprozess ohne Bewegen der Bildaufnahmevorrichtung 30 korrigiert werden kann, wenn die Positionsabweichung auftritt.
Das Korrektursystem 50 und das Korrekturverfahren gemäß der Ausführungsform bestimmen die Bildaufnahmevorrichtung 30, von welcher der Stellungsparameter notwendigerweise erhalten wird, basierend auf einem Ergebnis des durch Suchen des entsprechenden Bereichs zwischen dem Paar von Bildern, das von dem Paar von Bildaufnahmevorrichtungen 30 in wenigstens zwei Bildaufnahmevorrichtungen 30 erhalten ist, erhalten ist (d. h. das Verhältnis des in dem Parallaxenbild belegten Graustufenbilds). Insbesondere wird die Bildaufnahmevorrichtung 30, in welcher das normale Parallaxenbild kein einziges Mal erzeugt wird, als die Bildaufnahmevorrichtung 30 festgesetzt, von welcher der Stellungsparameter notwendigerweise erhalten wird (d. h. die Bildaufnahmevorrichtung 30, in welcher eine unzulässige Positionsabweichung auftritt). Daher können das Korrektursystem 50 und das Korrekturverfahren gemäß der Ausführungsform einfach und zuverlässig die Bildaufnahmevorrichtung 30 bestimmen, von welcher der Stellungsparameter notwendigerweise erhalten wird.
Die Ausführungsformen wurden bisher beschrieben; die Ausführungsformen sind nicht auf den oben beschriebenen Inhalt beschränkt. Zusätzlich weisen die oben beschriebenen Komponenten einen Bereich so genannter Äquivalente auf, wie zum Beispiel Komponenten, welche von einem Fachmann vermutet werden können, und im Wesentlichen dieselben Komponenten wie die vermutbaren Komponenten. Die oben beschriebenen Komponenten können angemessen kombiniert werden. Wenigstens eine von unterschiedlichen Weglassungen, Substitutionen und Veränderungen der Komponenten kann in einem Rahmen durchgeführt werden, der nicht von dem Geist der Ausführungsformen abweicht. Die Arbeitsmaschine ist nicht auf den Bagger 100 beschränkt, solange die Maschine wenigstens mit dem Paar von Bildaufnahmevorrichtungen versehen ist und das Objekt dreidimensional durch das stereoskopische Verfahren unter Nutzung des Paars von Bildaufnahmevorrichtungen misst, und eine Arbeitsmaschine, wie zum Beispiel ein Radlader oder eine Planierraupe, kann angewandt werden. Der Prozess des Erhaltens des Stellungsparameters kann durch eine externe Verarbeitungsvorrichtung des Baggers 100 durchgeführt werden. In diesem Fall wird das von der Bildaufnahmevorrichtung 30 aufgenommene Bild zu der externen Verarbeitungseinheit des Baggers 100 zum Beispiel durch Kommunikation gesendet.
Bezugszeichenliste

1: Fahrzeugkörper
2: Arbeitsmaschine
3: Drehbarer Aufbau
4: Kabine
5: Fahrkörper
5a, 5b: Raupenkettenband
6: Ausleger
7: Arm
8: Löffel
9: Schneide
10: Auslegerzylinder
11: Armzylinder
12: Löffelzylinder
13: Auslegerbolzen
14: Armbolzen
15: Löffelbolzen
20: Verarbeitungsvorrichtung
21: Verarbeitungseinheit
22: Speichereinheit
23: Eingangs-/Ausgangseinheit
30, 30a, 30b, 30c, 30d, 30L, 30R: Bildaufnahmevorrichtung
31L, 31R: Bildaufnahmeelement
32L, 32R, 32Lr: Bild
33, 33': Parallaxenbild
50: Korrektursystem der Bildaufnahmevorrichtung
100: Bagger
BL: Ausgangslinie
d: Parallaxe
f: Brennweite
OCL, OCR, OCc, OCd: optisches Zentrum
P3: Schneidkante
SR: Graustufenverhältnis
SRc: Schwellwert
TB: Bestimmungstabelle
α, β, γ, θ, φ: Winkel

Claims

Korrektursystem einer Bildaufnahmevorrichtung umfassend: wenigstens zwei Bildaufnahmevorrichtungen; und eine Verarbeitungsvorrichtung, die in den wenigstens zwei Bildaufnahmevorrichtungen eine konstante Distanz zwischen einer ersten Bildaufnahmevorrichtung und einer zweiten Bildaufnahmevorrichtung festsetzt, einen Parameter ändert, der eine Stellung der zweiten Bildaufnahmevorrichtung definiert, einen entsprechenden Bereich zwischen einem Paar von Bildern sucht, die von der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevorrichtung erhalten werden, und den Parameter basierend auf dem gesuchten Ergebnis erhält.
Korrektursystem der Bildaufnahmevorrichtung nach Anspruch 1, wobei der Parameter eine Drehung der zweiten Bildaufnahmevorrichtung definiert.
Korrektursystem der Bildaufnahmevorrichtung nach Anspruch 1 oder 2, wobei der Parameter einen ersten Parameter, der zum Drehen der zweiten Bildaufnahmevorrichtung mit der ersten Bildaufnahmevorrichtung als Zentrum genutzt wird, und einen zweiten Parameter, der zum Drehen der zweiten Bildaufnahmevorrichtung um ein Zentrum der zweiten Bildaufnahmevorrichtung genutzt wird, aufweist.
Korrektursystem der Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 3, wobei die Verarbeitungsvorrichtung die erste Bildaufnahmevorrichtung und die zweite Bildaufnahmevorrichtung, deren Parameter notwendigerweise erhalten wird, basierend auf dem Ergebnis des Suchens des entsprechenden Bereichs zwischen dem Paar von Bildern, das von einem Paar der Bildaufnahmevorrichtungen aus den wenigstens zwei Bildaufnahmevorrichtungen erhalten ist, bestimmt.
Korrektursystem der Bildaufnahmevorrichtung nach Anspruch 4, wobei die Verarbeitungsvorrichtung den Parameter bezüglich eines Paars der Bildaufnahmevorrichtungen, von denen eine Erfolgsquote eines Suchens geringer ist als ein Schwellwert in einem Fall, in dem es eine Mehrzahl der Paare von Bildaufnahmevorrichtungen gibt, erhält.
Arbeitsmaschine umfassend: das Korrektursystem der Bildaufnahmevorrichtung nach einem der Ansprüche 1 bis 5; und eine Mehrzahl von Bildaufnahmevorrichtungen.
Korrekturverfahren einer Bildaufnahmevorrichtung umfassend: Ermitteln, ob ein Parameter von einem eines Paars von Bildaufnahmevorrichtungen basierend auf einem Ergebnis eines Suchens eines entsprechenden Bereichs zwischen einem Paar von Bildern, das von dem Paar der Bildaufnahmevorrichtungen in einer Mehrzahl von Bildaufnahmevorrichtungen erhalten ist, erhalten werden muss; in einem Fall, in dem der Parameter erhalten ist, konstantes Festsetzen einer Distanz zwischen einer ersten Bildaufnahmevorrichtung und einer zweiten Bildaufnahmevorrichtung des Paars von Bildaufnahmevorrichtungen und Ändern eines Parameters, der eine Stellung der zweiten Bildaufnahmevorrichtung definiert zum Suchen eines entsprechenden Bereichs zwischen einem Paar von Bildern, das von der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevorrichtung erhalten ist; und Erhalten eines Stellungsparameters, der eine Stellung der Bildaufnahmevorrichtung basierend auf einem Suchergebnis definiert.