DE112017004688T5

DE112017004688T5 - Messsystem, Arbeitsmaschine und Messverfahren

Info

Publication number: DE112017004688T5
Application number: DE112017004688.2T
Authority: DE
Inventors: Shun Kawamoto; Hiroyoshi Yamaguchi; Taiki Sugawara
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2016-10-31
Filing date: 2017-10-30
Publication date: 2019-07-04
Anticipated expiration: 2037-10-31
Also published as: JP6995767B2; JPWO2018079789A1; CN109716058A; CN109716058B; US20190360174A1; KR102089454B1; KR20190034340A; WO2018079789A1; US11441294B2; DE112017004688B4

Abstract

Messsystem umfasst eine Bildgebungseinheit, die an einem Schwenkkörper einer Arbeitsmaschine angebracht ist, um eine Form um die Arbeitsmaschine herum abzubilden, eine Positionserfassungseinheit, die eine Position des Schwenkkörpers bestimmt, und eine Bildgebungseinheitsposition-Berechnungseinheit, die eine Position der Bildgebungseinheit berechnet, wenn die Bildgebungseinheit während des Schwenkvorgangs des Schwenkkörpers eine Bildgebung durchführt, und eine Berechnungseinheit für die dreidimensionale Position, die während der Bildgebung auf der Grundlage einer von der Bildgebungseinheitsposition-Berechnungseinheit berechneten Position der Bildgebungseinheit eine dreidimensionale Position um die Arbeitsmaschine herum bestimmt.

Description

Gebiet
Die vorliegende Erfindung bezieht sich auf ein Messsystem, eine Arbeitsmaschine und ein Messverfahren, das die Umgebung der Arbeitsmaschine misst.
Hintergrund
Arbeitsmaschinen weisen Bildgebungsvorrichtungen auf. Patentliteratur 1 beschreibt eine Technologie zum Erzeugen von Bauplanbilddaten auf der Grundlage von in einer Speichereinheit gespeicherten Bauplandaten und Positionsinformationen einer Stereokamera, wobei den Bauplanbilddaten von der Stereokamera aufgenommene aktuelle Bilddaten überlagert werden, um ein zusammengesetztes Bild zu erhalten, und zum dreidimensionalen Anzeigen des überlagerten zusammengesetzten Bildes auf einer dreidimensionalen Anzeigevorrichtung.
Zitierliste
Patentliteratur
Patentliteratur 1: Japanische
Patentanmeldungsoffenlegung Nr. 2013-036243 A Zusammenfassung
Technisches Problem
Es gibt den Wunsch, die umgebende Form um eine Arbeitsmaschine herum umfassend zu messen. Patentliteratur 1 beschreibt oder schlägt keine Weitbereichsmessung der umgebenden Form um eine Arbeitsmaschine herum vor, und es besteht Raum für Verbesserungen.
Eine Aufgabe der vorliegenden Erfindung ist es, die umgebende Form um eine Arbeitsmaschine herum umfassend zu messen.
Lösung für das Problem
Nach einem ersten Aspekt der vorliegenden Erfindung umfasst ein Messsystem: eine Bildgebungseinheit, die an einem Schwenkkörper einer Arbeitsmaschine montiert ist, um eine Form um die Arbeitsmaschine herum abzubilden; eine Positionserfassungseinheit, die eine Position des Schwenkkörpers bestimmt; eine Bildgebungseinheitsposition-Berechnungseinheit, die eine Position der Bildgebungseinheit berechnet, wenn die Bildgebungseinheit während des Schwenkvorgangs des Schwenkkörpers eine Bildgebung durchführt; und eine Berechnungseinheit für die dreidimensionale Position, die während der Bildgebung auf der Grundlage einer von der Bildgebungseinheitsposition-Berechnungseinheit berechneten Position der Bildgebungseinheit eine dreidimensionale Position um die Arbeitsmaschine herum bestimmt.
Nach einem zweiten Aspekt der vorliegenden Erfindung umfasst das Messsystem nach Aspekt 1 des Weiteren eine Extraktionseinheit für einen gemeinsamen Abschnitt, die einen gemeinsamen Abschnitt zwischen mehreren zweidimensionalen Bildern bestimmt, die von der Bildgebungseinheit während des Schwenkvorgangs der Arbeitsmaschine aufgenommen werden, wobei die Bildgebungseinheitsposition-Berechnungseinheit eine Position der Bildgebungseinheit berechnet, wenn die Bildgebungseinheit eine Bildgebung durchführt.
Nach einem dritten Aspekt der vorliegenden Erfindung berechnet in dem Messsystem nach dem Aspekt 1 oder 2 die Bildgebungseinheitsposition-Berechnungseinheit einen Schwenkwinkel des Schwenkkörpers während der Bildgebung, um eine Position der Bildgebungseinheit während der Bildgebung zu berechnen, und berechnet die Position der Bildgebungseinheit.
Nach einem vierten Aspekt der vorliegenden Erfindung verwendet das Messsystem nach einem der Aspekte 1 bis 3, wobei die Bildgebungseinheitsposition-Berechnungseinheit eine Position des Schwenkkörpers vor dem Schwenkvorgang des Schwenkkörpers oder eine Position des Schwenkkörpers nach dem Schwenkvorgang des Schwenkkörpers verwendet, um eine Position der Bildgebungseinheit zu korrigieren, wenn die Bildgebungseinheit die Bildgebung durchführt.
Nach einem fünften Aspekt der vorliegenden Erfindung verwendet in dem Messsystem nach dem Aspekt 3 oder 4 die Bildgebungseinheitsposition-Berechnungseinheit einen Schwenkwinkel des Schwenkkörpers vor dem Schwenkvorgang des Schwenkkörpers und einen Schwenkwinkel des Schwenkkörpers nach dem Schwenkvorgang des Schwenkkörpers, um einen Schwenkwinkel des Schwenkkörpers während des Schwenkvorgangs zu korrigieren.
Nach einem sechsten Aspekt der vorliegenden Erfindung berechnet in dem Messsystem nach einem der Aspekte 2 bis 5 die Bildgebungseinheitsposition-Berechnungseinheit eine Position der Bildgebungseinheit auf der Grundlage mehrerer gemeinsamer Abschnitte unter Verwendung einer Methode der kleinsten Quadrate.
Nach einem siebten Aspekt der vorliegenden Erfindung kombiniert in dem Messsystem nach einem der Aspekte 1 bis 6, die Berechnungseinheit für die dreidimensionalen Position mehrere dreidimensionale Positionen um die Arbeitsmaschine herum, die während des Schwenkvorgangs des Schwenkkörpers erhalten werden.
Nach einem achten Aspekt der vorliegenden Erfindung umfasst eine Arbeitsmaschine das Messsystem nach einem der Aspekte 1 bis 7.
Nach einem neunten Aspekt der vorliegenden Erfindung umfasst ein Messverfahren: Berechnen einer Position einer Bildgebungseinheit während der Bildgebung durch die Bildgebungseinheit, die an einem an einer Arbeitsmaschine montierten Schwenkkörper angebracht ist, während des Schwenkvorgangs des Schwenkkörpers; und Bestimmen einer dreidimensionalen Position um die Arbeitsmaschine herum während der Bildgebung auf der Grundlage der berechneten Position der Bildgebungseinheit.
Vorteilhafte Wirkungen der Erfindung
Nach einem Aspekt der vorliegenden Erfindung kann die umgebende Form um eine Arbeitsmaschine herum weitgehend gemessen werden.
Figurenliste

1 ist eine perspektivische Ansicht eines Baggers nach einer Ausführungsform.
2 ist eine perspektivische Ansicht eines Abschnitts um einen Fahrersitz eines Baggers nach einer Ausführungsform.
3 ist ein Diagramm, das ein Messsystem nach einer Ausführungsform darstellt.
4 ist eine Draufsicht eines Beispiels einer kontinuierlichen Messung der Umgebung eines Baggers.
5 ist ein Diagramm, das eine dreidimensionale Messung der Umgebung eines Baggers während des Schwenkvorgangs eines Schwenkkörpers durch ein Messsystem nach einer Ausführungsform darstellt.
6 ist ein Diagramm, das eine Bewegung eines Bildgebungsvorrichtung-Koordinatensystems als Ergebnis eines Schwenkvorgangs eines Schwenkkörpers darstellt.
7 ist ein Diagramm, das ein Beispiel von Bildern zeigt, die während des Schwenkvorgangs eines Schwenkkörpers aufgenommen wurden.
8 ist ein Diagramm, das das Kombinieren mehrerer Bilder darstellt, die während eines Schwenkvorgangs eines Schwenkkörpers aufgenommen wurden und deren dreidimensionale Position bestimmt ist.
9 ist ein Graph, der die Korrektur des Schwenkwinkels darstellt.
10 ist ein Flussdiagramm, das ein Beispiel einer Prozedur eines Messverfahrens nach einer Ausführungsform darstellt.
11 ist ein Diagramm, das ein Beispiel für das Kombinieren mehrerer Entfernungsbilder veranschaulicht, die während des Schwenkvorgangs des Schwenkkörpers und vor und nach dem Schwenkvorgang erhalten wurden.
12 ist ein Diagramm, das eine dreidimensionale Messung der Umgebung eines Baggers während der Fahrt des Baggers durch ein Messsystem nach einer Ausführungsform darstellt.

Beschreibung der Ausführungsformen
Modi zum Ausführen der vorliegenden Erfindung (Ausführungsformen) werden nachstehend unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
<Gesamtaufbau des Baggers>
1 ist eine perspektivische Ansicht eines Baggers 1 nach einer Ausführungsform. 2 ist eine perspektivische Ansicht eines Abschnitts um einen Fahrersitz des Baggers 1 herum nach einer Ausführungsform. Der Bagger 1 als ein Beispiel einer Arbeitsmaschine umfasst einen Fahrzeugkörper 1B und ein Arbeitsgerät 2. Der Fahrzeugkörper 1B umfasst einen Schwenkkörper 3, eine Kabine 4 und einen Fahrkörper 5. Der Schwenkkörper 3 ist an dem Fahrkörper 5 um eine Schwenkachse Zr schwenkbar montiert. In dem Schwenkkörper 3 sind Vorrichtungen, wie etwa eine Hydraulikpumpe und ein Motor, untergebracht.
Das Arbeitsgerät 2 ist schwenkbar an dem Schwenkkörper 3 montiert. Handläufe 9 sind oben auf dem Schwenkkörper 3 montiert. Antennen 25F und 25S sind an den jeweiligen Handläufen 9 montiert. Die Antennen 25F und 25S sind Antennen für globale Navigationssatellitensysteme (GNSS). Die Antennen 25F und 25S sind in einer Richtung parallel zu einer Ym-Achse eines Fahrzeugkörper-Koordinatensystems (Xm, Ym, Zm) angeordnet und um einen bestimmten Abstand voneinander beabstandet. Jede der Antennen 25F und 25S empfängt GNSS-Funkwellen und gibt Signale entsprechend den empfangenen GNSS-Funkwellen aus. Die Antennen 25F und 25S können eine Antenne für ein globales Positionierungssystem (GPS) verwenden.
Die Kabine 4 ist an einem vorderen Abschnitt des Schwenkkörpers 3 montiert. Die Kabine 4 weist ein Dach auf, an dem eine Antenne 25A zur Kommunikation montiert ist. Der Fahrkörper 5 umfasst Raupenketten 5a und 5b. Die Raupenketten 5a und 5b werden gedreht, um den Bagger 1 zu bewegen.
Das Arbeitsgerät 2 ist an einem vorderen Abschnitt des Fahrzeugkörpers 1B montiert. Das Arbeitsgerät 2 umfasst einen Ausleger 6, einen Stil 7, einen Löffel 8 als ein Arbeitsgerät, einen Auslegerzylinder 10, einen Stilzylinder 11 und einen Löffelzylinder 12. In der Ausführungsform ist die Vorderseite des Fahrzeugkörpers 1B in einer Richtung von einer Rückenlehne 4SS eines Fahrersitzes 4S bis zu einer Betätigungsvorrichtung 35 positioniert, wie in 2 dargestellt. Die Rückseite des Fahrzeugkörpers 1B ist in einer Richtung von der Betätigungsvorrichtung 35 bis zu der Rückenlehne 4SS des Fahrersitzes 4S positioniert. Der Fahrzeugkörper 1B weist einen vorderen Abschnitt auf, der ein Abschnitt an der Vorderseite des Fahrzeugkörpers 1B ist, und ist auf der gegenüberliegenden Seite zu einem Gegengewicht WT des Fahrzeugkörpers 1B positioniert. Die Betätigungsvorrichtung 35 ist eine Vorrichtung zum Betätigen des Arbeitsgeräts 2 und des Schwenkkörpers 3 und umfasst einen rechten Hebel 35R und einen linken Hebel 35L.
Der Schwenkkörper 3 umfasst eine Positionserfassungsvorrichtung 23 als ein Beispiel einer Positionserfassungseinheit und eine Inertialmesseinheit (IMU) 24 als ein Beispiel einer Stellungserfassungseinheit. Die Positionserfassungsvorrichtung 23 bestimmt eine Position des Baggers 1, d.h. eine Position des Schwenkkörpers 3 in der vorliegenden Ausführungsform. Insbesondere verwendet die Positionserfassungsvorrichtung 23 Signale von den Antennen 25F und 25S, um die aktuellen Positionen der Antennen 25F und 25S und eine Ausrichtung des Schwenkkörpers 3 in einem globalen Koordinatensystem (Xg, Yg, Zg) zu erfassen und auszugeben. Die Ausrichtung des Schwenkkörpers 3 repräsentiert eine Richtung des Schwenkkörpers 3 im globalen Koordinatensystem. Die Richtung des Schwenkkörpers 3 kann beispielsweise durch eine Längsrichtung des Schwenkkörpers 3 um eine Zg-Achse des globalen Koordinatensystems dargestellt werden. Ein Azimutwinkel repräsentiert einen Drehwinkel einer Bezugsachse in einer Längsrichtung des Schwenkkörpers 3 um die Zg-Achse des globalen Koordinatensystems. Der Azimutwinkel stellt die Ausrichtung des Schwenkkörpers 3 dar. Wie vorstehend beschrieben, wird ein Azimutwinkel θd des Baggers 1 durch die Positionserfassungsvorrichtung 23 oder die IMU 24 bestimmt, jedoch kann einer der beiden verwendet werden.
Die IMU 24 bestimmt eine Stellung des Baggers 1, das heißt in der vorliegenden Ausführungsform eine Stellung des Schwenkkörpers 3. Die Stellung des Baggers 1 wird durch einen Rollwinkel θr, einen Nickwinkel θp und einen Azimutwinkel θd dargestellt. Der Rollwinkel θr, der Nickwinkel θp und der Azimutwinkel θd des Baggers 1 werden aus einer Beschleunigung und einer Winkelgeschwindigkeit erhalten, die auf den Bagger 1 einwirken. Die IMU 24 erfasst die Beschleunigung und die auf sich selbst wirkende Winkelgeschwindigkeit, das heißt die Beschleunigung und die auf den Bagger 1 einwirkende Winkelgeschwindigkeit, und bestimmt den Rollwinkel θr, den Nickwinkel θp und den Azimutwinkel θd des Baggers 1 und gibt diese aus. Auf diese Weise bestimmt die IMU 24 die Stellung des Baggers 1. Eine Berechnungsvorrichtung kann den Rollwinkel θr, den Nickwinkel θp und den Azimutwinkel θd des Baggers 1 unter Verwendung der von der IMU 24 erfassten Beschleunigung und der Winkelgeschwindigkeit erhalten. In diesem Aufbau bilden die IMU 24 und die vorstehend beschriebene Berechnungsvorrichtung eine Stellungserfassungsvorrichtung. Der Rollwinkel θr, der Nickwinkel θp und der Azimutwinkel θd des Baggers 1 können durch eine andere Vorrichtung als die IMU 24, beispielsweise ein Gyroskop, erhalten werden.
<Bildgebungseinheit (-vorrichtung)>
Wie in 2 dargestellt, umfasst der Bagger 1 in der Kabine 4 mehrere Bildgebungsvorrichtungen 30a, 30b, 30c und 30d als Bildgebungseinheit. Wenn nachstehend die mehreren Bildgebungsvorrichtungen 30a, 30b, 30c und 30d nicht besonders voneinander unterschieden werden, werden die Bildgebungsvorrichtungen in geeigneter Weise als Bildgebungsvorrichtungen 30 bezeichnet. Die mehreren Bildgebungsvorrichtungen 30 sind an dem Schwenkkörper 3 angebracht, bilden die umgebende Form um den Bagger 1 ab und geben Forminformation aus, die Information über die Form ist.
Die Bildgebungsvorrichtungen 30a und 30c der mehreren Bildgebungsvorrichtungen 30 sind in der Nähe des Arbeitsgeräts 2 angeordnet. Die Art jeder Bildgebungsvorrichtung 30 ist nicht beschränkt, aber in der Ausführungsform wird beispielsweise eine Bildgebungsvorrichtung, die einen CCD-(Couple Charged Device)Bildsensor oder einen CMOS-(Complementary Metal Oxide Semiconductor)Bildsensor aufweist, verwendet.
Wie in 2 dargestellt, sind die Bildgebungsvorrichtung 30a und die Bildgebungsvorrichtung 30b in einem vorbestimmten Abstand in der Kabine 4 angeordnet, um in die gleiche Richtung oder in verschiedene Richtungen gerichtet zu sein. Die Bildgebungsvorrichtung 30c und die Bildgebungsvorrichtung 30d sind in einem vorbestimmten Abstand in der Kabine 4 angeordnet, um in die gleiche Richtung oder in verschiedene Richtungen gerichtet zu sein. Zwei der mehreren Bildgebungsvorrichtungen 30a, 30b, 30c und 30d werden kombiniert, um eine Stereokamera zu bilden. In der Ausführungsform werden die Bildgebungsvorrichtungen 30a und 30b kombiniert, um eine Stereokamera zu bilden, und die Bildgebungsvorrichtungen 30c und 30d werden kombiniert, um eine Stereokamera zu bilden.
In der Ausführungsform sind die Bildgebungsvorrichtung 30a und die Bildgebungsvorrichtung 30b nach oben gerichtet, und die Bildgebungsvorrichtung 30c und die Bildgebungsvorrichtung 30d sind nach unten gerichtet. Zumindest die Bildgebungsvorrichtung 30a und die Bildgebungsvorrichtung 30c sind in der Ausführungsform zur Vorderseite des Baggers 1, insbesondere zur Vorderseite des Schwenkkörpers 3, gerichtet. Die Bildgebungsvorrichtung 30b und die Bildgebungsvorrichtung 30d können so angeordnet sein, dass sie geringfügig in Richtung des Arbeitsgeräts 2 gerichtet sind, das heißt etwas in Richtung der Bildgebungsvorrichtung 30a und der Bildgebungsvorrichtung 30c.
In der Ausführungsform umfasst der Bagger 1 vier Bildgebungsvorrichtungen 30, aber die Anzahl der Bildgebungsvorrichtungen 30 des Baggers 1 beträgt vorzugsweise mindestens zwei, das heißt mindestens ein Paar von Bildgebungsvorrichtungen 30, und ist nicht auf vier beschränkt. Dies liegt daran, dass in dem Bagger 1 mindestens ein Paar der Bildgebungsvorrichtungen 30 eine Stereokamera bildet, um stereoskopische Bilder eines auszuhebenden Objekts aufzunehmen.
Die mehreren Bildgebungsvorrichtungen 30a, 30b, 30c und 30d sind an der vorderen oberen Seite der Kabine 4 angeordnet. Die obere Seite ist an einer Seite in einer Richtung senkrecht zu einer Bodenkontaktfläche der Raupenketten 5a und 5b des Baggers 1 und weg von der Bodenkontaktfläche positioniert. Die Bodenkontaktfläche der Raupenketten 5a und 5b stellt eine flache Oberfläche dar, die durch mindestens drei nicht kollineare Punkte in einem Abschnitt definiert wird, in dem mindestens eine der Raupenketten 5a und 5b den Boden berührt. Die untere Seite befindet sich auf einer Seite gegenüber der oberen Seite, d.h. auf einer Seite in einer Richtung senkrecht zu der Bodenkontaktfläche der Raupenketten 5a und 5b und in Richtung der Bodenkontaktfläche.
Die mehreren Bildgebungsvorrichtungen 30a, 30b, 30c und 30d nehmen stereoskopische Bilder der Umgebung des Baggers 1, insbesondere das auszuhebende Objekt, das vor dem Fahrzeugkörper 1B positioniert ist, auf. Das auszuhebende Objekt umfasst beispielsweise einen auszuhebenden Abschnitt, einen sich gerade im Aushub befindenden Abschnitt und einen vom Bagger 1 ausgehobenen Abschnitt.
Jede der mehreren Bildgebungsvorrichtungen 30a, 30b, 30c und 30d erfasst das auszuhebende Objekt von einer vorbestimmten Position des Baggers 1 aus, d.h. von der vorderen oberen Seite in der Kabine 4 in der Ausführungsform. In der Ausführungsform wird ein Ergebnis, das aus stereoskopischen Bildern erhalten wird, die von mindestens einem Paar Bildgebungsvorrichtungen 30 aufgenommen werden, dazu verwendet, das auszuhebende Objekt dreidimensional zu messen. Orte, an denen die mehreren Bildgebungsvorrichtungen 30a, 30b, 30c und 30d angeordnet sind, sind nicht auf die vordere obere Seite der Kabine 4 beschränkt.
Beispielsweise wird die Bildgebungsvorrichtung 30c aus den mehreren Bildgebungsvorrichtungen 30a, 30b, 30c und 30d als Referenz ausgewählt. Die mehreren vier Bildgebungsvorrichtungen 30a, 30b, 30c und 30d weisen Koordinatensysteme auf. Die Koordinatensysteme werden geeignet als Bildgebungsvorrichtung-Koordinatensysteme bezeichnet. In 2 ist nur ein Bildgebungsvorrichtung-Koordinatensystem (Xs, Ys, Zs) der Bildgebungsvorrichtung 30c als Referenz dargestellt. Der Ursprung jedes Bildgebungsvorrichtung-Koordinatensystems befindet sich in der Mitte jeder der Bildgebungsvorrichtungen 30a, 30b, 30c und 30d.
In der Ausführungsform weisen die Bildgebungsvorrichtungen 30a, 30b, 30c und 30d jeweils einen Bildgebungsbereich auf, der größer als ein Aushubbereich des Arbeitsgeräts 2 des Baggers 1 ist. Ein solcher Aufbau ermöglicht den Bildgebungsvorrichtungen 30a, 30b, 30c und 30d, sicher stereoskopische Bilder des auszuhebenden Objekts innerhalb des Aushubbereichs des Arbeitsgeräts 2 aufzunehmen.
Das Fahrzeugkörper-Koordinatensystem (Xm, Ym, Zm), das vorstehend beschrieben wurde, ist ein Koordinatensystem, das auf dem an dem Fahrzeugkörper 1B fixierten Ursprung basiert, insbesondere in der Ausführungsform dem Schwenkkörper 3. In der Ausführungsform liegt der Ursprung des Fahrzeugkörper-Koordinatensystems (Xm, Ym, Zm) zum Beispiel in der Mitte eines Schwenkkreises des Schwenkkörpers 3. Die Mitte des Schwenkkreises liegt auf der Schwenkachse Zr des Schwenkkörpers 3. Das Fahrzeugkörper-Koordinatensystem (Xm, Ym, Zm) weist eine Zm-Achse, die die Schwenkachse Zr des Schwenkkörpers 3 ist, und eine Xm-Achse, die sich in Längsrichtung des Schwenkkörpers 3 und senkrecht zu der Zm-Achse erstreckt, auf. Die Xm-Achse ist die Bezugsachse in der Längsrichtung des Schwenkkörpers 3. Die Ym-Achse ist eine Achse, die orthogonal zur Zm-Achse und zur Xm-Achse ist und sich in Breitenrichtung des Schwenkkörpers 3 erstreckt. Das Fahrzeugkörper-Koordinatensystem ist nicht auf das Beispiel der Ausführungsform beschränkt. Das vorstehend beschriebene globale Koordinatensystem (Xg, Yg, Zg) ist ein Koordinatensystem, das von dem GNSS gemessen wird und dessen Ursprung auf der Erde fixiert ist.
<Messsystem>
3 ist ein Diagramm, das ein Messsystem 50 nach einer Ausführungsform darstellt. Ein Systemaufbau des Messsystems 50, das in 3 dargestellt ist, ist lediglich ein Beispiel, und das Messsystem 50 ist nicht auf den Systemaufbau der Ausführungsform beschränkt. Das Messsystem 50 ist in dem Fahrzeugkörper 1B des in 1 dargestellten Baggers 1, insbesondere dem Schwenkkörper 3 in der Ausführungsform, enthalten. Das Messsystem 50 umfasst die mehreren Bildgebungsvorrichtungen 30a, 30b, 30c und 30d als Erfassungsvorrichtung und eine Verarbeitungsvorrichtung 40. In der Ausführungsform umfasst das Messsystem 50 ferner die Positionserfassungsvorrichtung 23, die IMU 24 und eine Eingabevorrichtung 32, aber das Messsystem 50 umfasst wünschenswerterweise mindestens die mehreren Bildgebungsvorrichtungen 30a, 30b, 30c und 30d und die Verarbeitungsvorrichtung 40.
Die Verarbeitungsvorrichtung 40 umfasst eine Verarbeitungseinheit 41, eine Speichereinheit 42 und eine Eingabe-/Ausgabeeinheit 43. Beispielsweise wird die Verarbeitungseinheit 41 durch eine Kombination eines Prozessors, beispielsweise einer zentralen Verarbeitungseinheit (CPU) und einen Speicher erreicht. Die Verarbeitungsvorrichtung 40 erzielt ein Messverfahren nach einer Ausführungsform. In diesem Aufbau liest die Verarbeitungseinheit 41 ein Computerprogramm, das in der Speichereinheit 42 gespeichert ist, und führt dieses aus. Dieses Computerprogramm bewirkt, dass die Verarbeitungseinheit 41 das Messverfahren nach einer Ausführungsform durchführt.
Die Verarbeitungseinheit 41 umfasst eine Extraktionseinheit 41A für einen gemeinsamen Abschnitt, eine Bewegungsbetrag-Berechnungseinheit 41B, eine Fahrzeugkörperzustand-Berechnungseinheit 41C und eine Berechnungseinheit 41D der dreidimensionalen Position. Während des Betriebs des Baggers 1, insbesondere während des Schwenkvorgangs des Schwenkkörpers 3 in der vorliegenden Ausführungsform, wenn die Bildgebungsvorrichtungen 30 mehrere Male eine Bildgebung durchführen, bestimmt die Extraktionseinheit 41A für einen gemeinsamen Abschnitt einen gemeinsamen Abschnitt in den mehreren von zweidimensionalen Bildern, die von den Bildgebungsvorrichtungen 30 erhalten werden. Der Betrieb des Baggers 1 umfasst den Schwenkvorgang (Drehen) des Schwenkkörpers 3 des Baggers 1. Während des Schwenkvorgangs des Schwenkkörpers 3 bestimmt die Extraktionseinheit 41A für einen gemeinsamen Abschnitt einen gemeinsamen Abschnitt aus mehreren zweidimensionalen Bildern, die von mindestens einer Bildgebungsvorrichtung 30 an unterschiedlichen Positionen in einer Schwenkrichtung des Schwenkkörpers 3 aufgenommen werden.
Die Bewegungsbetrag-Berechnungseinheit 41B bestimmt einen Schwenkwinkel des Schwenkkörpers 3 auf der Grundlage des erhaltenen gemeinsamen Abschnitts. Die Fahrzeugkörperzustand-Berechnungseinheit 41C bestimmt eine Position und eine Stellung des Baggers 1 während des Schwenkvorgangs des Schwenkkörpers 3 auf der Grundlage eines erhaltenen Schwenkwinkels, einer Position des Baggers 1, die von der Positionserfassungsvorrichtung 23 bestimmt wird, während sich der Schwenkkörper 3 vor dem Schwenken in Ruhe befindet und eine von der IMU 24 bestimmte Stellung des Baggers 1, während sich der Schwenkkörper 3 vor dem Schwenken in Ruhe befindet. Die Berechnungseinheit 41D der dreidimensionalen Position bestimmt eine dreidimensionale Position um den Bagger 1 herum unter Verwendung der erhaltenen Position und der Stellung des Baggers 1 und von Bildern, die von mindestens einem Paar Bildgebungsvorrichtungen 30 an mehreren Positionen in der Schwenkrichtung des Schwenkkörpers 3 aufgenommen werden. Die Bewegungsbetrag-Berechnungseinheit 41B und die Fahrzeugkörperzustand-Berechnungseinheit 41C bilden eine Bildgebungseinheitsposition-Berechnungseinheit 41E. Die Bildgebungseinheitsposition-Berechnungseinheit 41E berechnet die Positionen der Bildgebungsvorrichtungen 30 während der Bildgebung auf der Grundlage des gemeinsamen Abschnitts, der von der Extraktionseinheit 41A für den gemeinsamen Abschnitt bestimmt wird. Während des Schwenkvorgangs des Schwenkkörpers 3 zum Berechnen der Positionen der Bildgebungsvorrichtungen 30 während der Bildgebung berechnet die Bildgebungseinheitsposition-Berechnungseinheit 41E den Schwenkwinkel des Schwenkkörpers 3 während der Bildgebung und berechnet die Position der Bildgebungsvorrichtungen 30.
Die Speichereinheit 42 verwendet mindestens einen nichtflüchtigen oder flüchtigen Halbleiterspeicher, wie einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM), einen Flash-Speicher und einen löschbaren programmierbaren Festwertspeicher (EPROM) und einen elektrisch löschbaren programmierbaren Nur-Lese-Speicher (EEPROM), eine Magnetplatte, eine flexible Platte und eine magnetooptische Platte.
Die Speichereinheit 42 speichert ein Computerprogramm, um die Verarbeitungseinheit 41 zu veranlassen, das Messverfahren nach einer Ausführungsform durchzuführen. Die Speichereinheit 42 speichert Informationen, die bei der Durchführung des Messverfahrens nach einer Ausführungsform von der Verarbeitungseinheit 41 verwendet werden. Diese Informationen umfassen beispielsweise interne Kalibrierungsdaten jeder Bildgebungsvorrichtung 30, eine Stellung jeder Bildgebungsvorrichtung 30, eine Positionsbeziehung zwischen den Bildgebungsvorrichtungen 30, eine bekannte Größe des Arbeitsgeräts 2 oder dergleichen, eine bekannte Größe, die eine Positionsbeziehung zwischen dem Ursprung des Fahrzeugkörper-Koordinatensystems und jeder oder einer der Bildgebungsvorrichtungen 30 und Informationen, die zum Bestimmen einer Teilposition des Arbeitsgeräts 2 auf der Grundlage einer Stellung des Arbeitsgeräts 2 erforderlich sind.
Die Eingabe-/Ausgabeeinheit 43 ist eine Schnittstellenschaltung zum Verbinden der Verarbeitungsvorrichtung 40 und der Vorrichtungen. Mit der Eingabe-/Ausgabeeinheit 43 sind die Positionserfassungsvorrichtung 23, die IMU 24, die Eingabevorrichtung 32 und ein Hub 51 verbunden. Die Positionserfassungsvorrichtung 23 und die IMU 24 können über eine Kommunikationsleitung mit der Eingabe-/Ausgabeeinheit 43 verbunden sein. Wenn die Kommunikationsleitung verwendet wird, umfasst ein Beispiel eines Kommunikationsstandards ein Controller Area Network (CAN), der Kommunikationsstandard ist jedoch nicht darauf beschränkt.
Die mehreren Bildgebungsvorrichtungen 30a, 30b, 30c und 30d, die Eingabevorrichtung 32 und ein Licht 33 sind mit dem Hub 51 verbunden. Die Bildgebungsvorrichtungen 30 und die Verarbeitungsvorrichtung 40 können ohne Verwendung des Hubs 51 miteinander verbunden sein. Die Forminformation SI als Ergebnisse, die von den Bildgebungsvorrichtungen 30a, 30b, 30c und 30d aufgenommen werden, wird über den Hub 51 in die Eingabe-/Ausgabeeinheit 43 eingegeben. Die Verarbeitungseinheit 41 erhält die von den Bildgebungsvorrichtungen 30a, 30b, 30c und 30d aufgenommenen Ergebnisse über den Hub 51 und die Eingabe-/Ausgabeeinheit 43. Die Eingabevorrichtung 32 wird verwendet, um Informationen einzugeben, die zum Durchführen des Messverfahrens nach einer Ausführungsform durch die Verarbeitungseinheit 41 erforderlich sind. Die Leuchte 33 wird eingeschaltet, wenn die Positionserfassungsvorrichtung 23 und die IMU 24 stabil die Position und die Stellung des Baggers 1 erfassen und ausgeben.
Beispiele für die Eingabevorrichtung 32 umfassen einen Schalter und ein Berührungsfeld (Touchpanel), aber die Eingabevorrichtung 32 ist nicht darauf beschränkt. In der Ausführungsform ist die Eingabevorrichtung 32 in der in 2 dargestellten Kabine 4, genauer gesagt, in der Nähe des Fahrersitzes 4S, vorgesehen. Die Eingabevorrichtung 32 kann an mindestens einem von dem rechten Hebel 35R und dem linken Hebel 35L der Betätigungsvorrichtung 35 angebracht sein oder kann in einem Überwachungspanel in der Kabine 4 vorgesehen sein. Ferner kann die Eingabevorrichtung 32 von der Eingabe/Ausgabeeinheit 43 entfernbar sein oder kann Informationen durch drahtlose Kommunikation unter Verwendung von Funkwellen oder Infrarotlicht in die Eingabe/Ausgabeeinheit 43 eingeben. Die Eingabevorrichtung 32 kann an einem mobilen Endgerät vorgesehen sein.
Die Verarbeitungsvorrichtung 40 des Messsystems 50 führt eine stereoskopische Bildverarbeitung an einem Paar von Bildern des auszuhebenden Objekts durch, die von mindestens einem Paar Bildgebungsvorrichtungen 30 aufgenommen wurden, um eine dreidimensionale Position des auszuhebenden Objekts, genauer gesagt die Koordinaten des auszuhebenden Objekts in einem dreidimensionalen Koordinatensystem, zu bestimmen. Wie vorstehend beschrieben, ist die Verarbeitungsvorrichtung 40 eingerichtet, um ein Paar von Bildern zu verwenden, die durch Abbilden desselben auszuhebenden Objekts durch mindestens ein Paar Bildgebungsvorrichtungen 30 erhalten werden, um das auszuhebende Objekt dreidimensional zu messen. Das heißt, mindestens ein Paar Bildgebungsvorrichtungen 30 und die Verarbeitungsvorrichtung 40 führen eine dreidimensionale stereoskopische Messung des auszuhebenden Objekts durch. Die stereoskopische Bildverarbeitung ist eine Prozedur zum Erhalten einer Entfernung zu dem auszuhebenden Objekt auf der Grundlage von zwei Bildern, die durch Beobachten des gleichen auszuhebenden Objekts unter Verwendung zweier unterschiedlicher Bildgebungsvorrichtungen 30 erhalten werden. Die Entfernung zu dem auszuhebenden Objekt wird beispielsweise als ein Entfernungsbild dargestellt, das durch Visualisierung von Entfernungsinformationen zu dem auszuhebenden Objekt durch Schattierung erhalten wird. Das Entfernungsbild sind Informationen, die eine dreidimensionale Form oder eine dreidimensionale Position des auszuhebenden Objekts darstellen. Jedes in dem Entfernungsbild enthaltene Pixel umfasst Informationen über eine dreidimensionale Position des auszuhebenden Objekts.
In der Ausführungsform führt die Berechnungseinheit 41D der dreidimensionalen Position der in der Verarbeitungsvorrichtung 40 enthaltenen Verarbeitungseinheit 41 eine stereoskopische Bildverarbeitung aus. Die Verarbeitungsvorrichtung 40 erhält die Forminformation SI des auszuhebenden Objekts, die erfasst wird, das heißt, durch mindestens ein Paar Bildgebungsvorrichtungen 30 abgebildet wird, und bestimmt auf der Grundlage der erfassten Forminformation SI eine dreidimensionale Position des auszuhebenden Objekts. Die Forminformation SI ist ein Bild des auszuhebenden Objekts, das von dem mindestens einen Paar Bildgebungsvorrichtungen 30 aufgenommen wird. Die Verarbeitungsvorrichtung 40 bestimmt die dreidimensionale Position des auszuhebenden Objekts durch Durchführen der stereoskopischen Bildverarbeitung an dem Bild des auszuführenden Objekts und gibt die dreidimensionale Position aus. Wie vorstehend beschrieben, verwendet die Verarbeitungsvorrichtung 40 ein Paar von Bildern, die durch Abbilden desselben auszuhebenden Objekts durch mindestens ein Paar von Bildgebungsvorrichtungen 30 erhalten wird, um das auszuhebende Objekt dreidimensional zu messen. Wie vorstehend beschrieben, führen mindestens ein Paar Bildgebungsvorrichtungen 30 und die Verarbeitungsvorrichtung 40 eine dreidimensionale stereoskopische Messung des auszuhebenden Objekts, insbesondere in der Ausführungsform der Umgebung des Baggers 1, aus.
Wenn eine stereoskopische Bildverarbeitung durchgeführt wird, wird das Entfernungsbild erhalten. Eine dreidimensionale Position des auszuhebenden Objekts in jedem Pixel des Entfernungsbildes repräsentiert eine dreidimensionale Position im Bildgebungsvorrichtung-Koordinatensystem. Eine durch das Messsystem 50 dreidimensional gemessene Position um den Bagger 1 herum ist eine dreidimensionale Position im globalen Koordinatensystem. Daher wandelt das Messsystem 50, insbesondere die Verarbeitungsvorrichtung 40, eine dreidimensionale Position, die durch Ausführen der stereoskopischen Bildverarbeitung erhalten wird, von der Position im Bildgebungsvorrichtung-Koordinatensystem in eine Position im globalen Koordinatensystem um. Diese Transformation wird von der Berechnungseinheit 41D der dreidimensionalen Position der Verarbeitungseinheit 41 durchgeführt.
Die Berechnungseinheit 41D der dreidimensionalen Position erfasst die Position des Baggers 1 in dem von der Positionserfassungsvorrichtung 23 bestimmten globalen Koordinatensystem und die von der IMU 24 bestimmten Stellung des Baggers 1. Die Position des Baggers 1 ist durch mindestens eine der Positionen der Antennen 25F und 25S dargestellt. Die Stellung des Baggers 1 wird durch den Rollwinkel θr, den Nickwinkel θp und den Azimutwinkel θd dargestellt. Die Berechnungseinheit 41D der dreidimensionalen Position verwendet die Position und die Stellung des Baggers 1 zum Transformieren einer dreidimensionalen Position, die in einem Entfernungsbild enthalten ist, das aus der Forminformation SI erhalten wird, die von mindestens einem Paar Bildgebungsvorrichtungen 30 erfasst werden, von dem Bildgebungsvorrichtung-Koordinatensystem in das globale Koordinatensystem und gibt die dreidimensionale Position aus.
<Kontinuierliche dreidimensionale Messung>
4 ist eine Draufsicht auf ein Beispiel einer kontinuierlichen Messung der Umgebung des Baggers 1. Da die Bildgebungsvorrichtung 30 des Messsystems 50 an dem Schwenkkörper 3 des Baggers 1 angebracht ist, nimmt mindestens ein Paar Bildgebungsvorrichtungen 30 Bilder der Umgebung CR des Baggers 1 während des Schwenkvorgangs des Schwenkkörpers 3 auf, und es ist möglich, die gesamten dreidimensionalen Positionen der Umgebung CR des Baggers 1 zu messen. Die Verarbeitungsvorrichtung 40 des Messsystems 50 transformiert eine dreidimensionale Position in dem Bildgebungsvorrichtung-Koordinatensystem, die durch Ausführen einer stereoskopischen Bildverarbeitung erhalten wird, in eine dreidimensionale Position in dem globalen Koordinatensystem. Bei dieser Koordinatentransformation sind Informationen über die Positionserfassungsvorrichtung 23 und die IMU 24 erforderlich.
Die Positionserfassungsvorrichtung 23 gibt eine Position in vorbestimmten periodischen Intervallen aus. Wenn daher auf der Grundlage von Informationen, die von der Positionserfassungsvorrichtung 23 erhalten werden, die Verarbeitungsvorrichtung 40 eine dreidimensionale Position der Umgebung CR während des Schwenkvorgangs des Schwenkkörpers 3 bestimmt, bewirken eine Differenz zwischen dem Zeitpunkt, zu dem eine Bildgebungsvorrichtung 30 eine Bildgebung durchführt und einem Zeitpunkt, zu dem die Positionserfassungsvorrichtung 23 die Position und die Ausrichtung des Baggers 1 erfasst, eine Verringerung der Genauigkeit der Position und Ausrichtung des Baggers 1. Infolgedessen kann die Genauigkeit der dreidimensionalen Position reduziert sein. Außerdem kann die IMU 24 eine Genauigkeit aufweisen, die in der Stellungs- und Beschleunigungserfassung abnimmt, während sich die IMU 24 bewegt. Wenn auf der Grundlage von Informationen, die von der IMU 24, wie vorstehend beschrieben, erhalten werden, die Verarbeitungsvorrichtung 40 eine dreidimensionale Position der Umgebung CR während des Schwenkvorgangs des Schwenkkörpers 3 bestimmt, nimmt die Genauigkeit der Stellung und Beschleunigung des Baggers 1 ab, die von der IMU 24 erfasst werden, und die Genauigkeit der dreidimensionalen Position kann sich verringern.
Um die Umgebung CR des Baggers 1 zu messen, während der Schwenkkörper 3 geschwenkt wird, kann ein Verfahren in Betracht gezogen werden, bei dem eine Bildgebungsvorrichtung 30 eine Bildgebung durchführt, nachdem die Positionserfassungsvorrichtung 23 und die IMU 24 in einen Zustand gebracht worden sind, in dem sie die Position und Stellung des Baggers 1 stabil erfassen. In diesem Fall schwenkt der Schwenkkörper 3 intermittierend. Darüber hinaus muss die Bildgebungsvorrichtung 30 die Bildgebung aussetzen, bis die Positionserfassungsvorrichtung 23 und die IMU 24 die Position und die Stellung des Baggers 1 stabil erfassen. Daher erfordert das Verfahren, bei dem die Bildgebung ausgesetzt wird, bis die Positionserfassungsvorrichtung 23 und die IMU 24 stabil werden, eine lange Zeit, um die Messung durchzuführen.
In der Ausführungsform erfasst das Messsystem 50 die Forminformation SI über die Umgebung CR des Baggers 1 während des kontinuierlichen Schwenkvorgangs des Schwenkkörpers 3 des Baggers 1 anstelle des intermittierenden Schwenkens und bestimmt eine dreidimensionale Position der Umgebung CR des Baggers 1 auf der Grundlage der erfassten Forminformation SI. Eine solche Verarbeitung ermöglicht es dem Messsystem 50, die Zeit zu verkürzen, die erforderlich ist, um die Forminformation SI über die Umgebung CR des Baggers 1 zu erfassen.
5 ist ein Diagramm, das eine dreidimensionale Messung der Umgebung CR des Baggers 1 während des Schwenkvorgangs des Schwenkkörpers 3 durch das Messsystem 50 nach einer Ausführungsform darstellt. 6 ist ein Diagramm, das eine Bewegung des Bildgebungsvorrichtung-Koordinatensystems (Xs, Ys, Zs) infolge eines Schwenkvorgangs des Schwenkkörpers 3 darstellt. 7 ist ein Diagramm, das ein Beispiel von Bildern PTf und PTs veranschaulicht, die während des Schwenkvorgangs des Schwenkkörpers 3 aufgenommen wurden.
Während in der Ausführungsform die Positionserfassungsvorrichtung 23 und die IMU 24 die Position bzw. Stellung des Baggers 1 stabil erfassen und ausgeben, erhält das Messsystem 50 die Position des Baggers 1 von der Positionserfassungsvorrichtung 23 und die Stellung des Baggers 1 von der IMU 24. Genauer gesagt, während der Schwenkkörper 3 vor dem Schwenken in Ruhe ist, erhält das Messsystem 50 die Position des Baggers 1 von der Positionserfassungsvorrichtung 23 und die Stellung des Baggers 1 von der IMU 24. In diesem Aufbau befindet sich der Schwenkkörper 3 in einem Ruhezustand und auch der Bagger 1 befindet sich nicht in einem Fahrzustand. Dies liegt daran, dass die Positionserfassungsvorrichtung 23 und die IMU 24 die Position bzw. die Stellung des Baggers 1 stabil erfassen und ausgeben. Nachdem beispielsweise eine vorbestimmte Zeit nach dem Anhalten des Schwenkkörpers 3 verstrichen ist, bestimmt die Verarbeitungseinheit 41, dass die Positionserfassungsvorrichtung 23 und die IMU 24 in einem Zustand sind, um eine Position bzw. eine Stellung des Baggers 1 stabil zu erfassen und auszugeben.
Wenn, nachdem der Schwenkkörper 3 in Ruhe ist, während er auf das zu vermessende Ausgrabungsobjekt gerichtet ist, die Verarbeitungsvorrichtung 40 des Messsystems 50, insbesondere die Verarbeitungseinheit 41, bestimmt, dass die Positionserfassungsvorrichtung 23 und die IMU 24 jeweils in einem Zustand sind, um die Position bzw. die Stellung des Baggers 1 stabil zu erfassen und auszugeben, benachrichtigt die Verarbeitungseinheit 41 beispielsweise über diesen Zustand der Positionserfassungsvorrichtung 23 und der IMU 24. In der Ausführungsform schaltet die Verarbeitungseinheit 41 das in 3 dargestellte Licht 33 ein, um die vorstehend beschriebene Benachrichtigung durchzuführen.
Wenn eine Bildgebungsstartanweisung für eine Bildgebungsvorrichtung 30 von der Eingabevorrichtung 32 nach dem Einschalten des Lichts 33 empfangen wird, erhält die Verarbeitungseinheit 41 die Position und die Stellung des Baggers 1 von der Positionserfassungsvorrichtung 23 bzw. der IMU 24. Die Speichereinheit 42 speichert vorübergehend die Position und die Stellung des Baggers 1, die vor dem Schwenkvorgang des Schwenkkörpers 3 erhalten wurden. Wenn die Position und die Stellung des Baggers 1 erhalten werden, beginnt die Verarbeitungseinheit 41 mit der Bildgebung durch die Bildgebungsvorrichtungen 30a, 30b 30c und 30d und schwenkt den Schwenkkörper 3. Der Schwenkkörper 3 kann entsprechend einer Betätigung durch einen Bediener des Baggers 1 geschwenkt werden.
Jede der Bildgebungsvorrichtungen 30a, 30b, 30c und 30d führt während des Schwenkvorgangs des Schwenkkörpers 3 mehrere Male zu vorbestimmten periodischen Intervallen eine Bildgebung durch, und es werden mehrere Bilder der Umgebung CR des Baggers 1 an mehreren Positionen in einer Schwenkrichtung des Schwenkkörpers 3 (beispielsweise in einer durch einen Pfeil R in 5 angezeigten Richtung) erhalten. Die Speichereinheit 42 speichert vorübergehend die erhaltenen Bilder. Wenn der Schwenkkörper 3 um einen vorbestimmten Winkel, beispielsweise um 360 Grad, schwenkt, stoppt die Verarbeitungseinheit 41 den Schwenkkörper 3. Zu diesem Zeitpunkt wird der Bagger 1 angehalten. Wenn die Positionserfassungsvorrichtung 23 und die IMU 24 eine Position und eine Stellung des Baggers 1 stabil erfassen und ausgeben, nachdem der Schwenkkörper 3 angehalten hat, erhält die Verarbeitungseinheit 41 die Position und die Stellung des Baggers 1 von der Positionserfassungsvorrichtung 23 bzw. der IMU 24. Die Speichereinheit 42 speichert vorübergehend die Position und die Stellung des Baggers 1, die erhalten werden, nachdem die Positionserfassungsvorrichtung 23 und die IMU 24 in einen Zustand gebracht worden sind, um die Position und die Stellung des Baggers 1 nach dem Schwenkvorgang des Schwenkkörpers 3 stabil auszugeben. Die Bildgebungsvorrichtungen 30a, 30b, 30c und 30d bilden das auszuhebende Objekt ab, nachdem die Positionserfassungsvorrichtung 23 und die IMU 24 in einen Zustand gebracht worden sind, um die Position und die Stellung des Baggers 1 nach dem Schwenkvorgang des Schaukelkörpers 3, stabil auszugeben.
Wenn der Schwenkkörper 3 entsprechend der Betätigung durch den Bediener des Baggers 1 geschwenkt wird, kann jede der Bildgebungsvorrichtungen 30a, 30b, 30c und 30d nach dem Empfang der Bildgebungsstartanweisung von der Eingabevorrichtung 32 mehrere Male in vorbestimmten periodischen Intervallen eine Bildgebung durchführen. Ferner kann jede der Bildgebungsvorrichtungen 30a, 30b, 30c und 30d eingerichtet sein, um eine Bildgebung mehrere Male in vorbestimmten periodischen Intervallen durchzuführen, wenn die Positionserfassungsvorrichtung 23 oder die IMU 24 erfasst, dass der Schwenkkörper 3 zu schwenken beginnt. Wenn das Schwenken des Schwenkkörpers 3 entsprechend der Betätigung durch den Bediener des Baggers 1 gestoppt wird, nachdem die Positionserfassungsvorrichtung 23 und die IMU 24 die Position bzw. die Stellung des Baggers 1 stabil erfassen und ausgeben, kann jede der Bildgebungsvorrichtungen 30a, 30b, 30c und 30d die Bildgebung stoppen, die in vorbestimmten periodischen Intervallen durchgeführt wird. Wenn die Bildgebungsvorrichtungen 30a, 30b, 30c und 30d eine Bildgebung mehrere Male durchführen, wird mindestens eine von der ersten Bildgebung und der letzten Bildgebung durchgeführt, während der Schwenkkörper 3 in Ruhe ist. Die Bildgebung, die von jeder der Bildgebungsvorrichtungen 30a, 30b, 30c und 30d während des Betriebs des Baggers 1 durchgeführt wird, umfasst mindestens eine Bildgebung, die durchgeführt wird, während der Bagger 1 in Ruhe ist.
Um eine dreidimensionale Position der Umgebung CR des Baggers 1 zu bestimmen, bestimmt die Verarbeitungseinheit 41 eine Position und eine Stellung des Baggers 1 während des Schwenkens des Schwenkkörpers 3 auf der Grundlage der Position und der Stellung des Baggers 1, die erhalten wird, während sich der Schwenkkörper 3 und der Bagger 1 vor dem Schwenken des Schwenkkörpers 3 im Ruhezustand befinden, und einen Schwenkwinkel θ des Schwenkkörpers 3. Die Verarbeitungseinheit 41 bestimmt daher den Schwenkwinkel θ des Schwenkkörpers 3.
Wie in 7 dargestellt, extrahiert die Extraktionseinheit 41A für den gemeinsamen Abschnitt der Verarbeitungseinheit 41 einen gemeinsamen Abschnitt PCM aus dem Bild PTf, das beispielsweise von der Bildgebungsvorrichtung 30c an einer ersten Position während des Schwenkvorgangs des Schwenkkörpers 3 aufgenommen wurde, und aus dem Bild PTs, das von der Bildgebungsvorrichtung 30c in einer zweiten Position während des Schwenkvorgangs des Schwenkkörpers 3 aufgenommen wurde. Von der ersten Position PF bis zur zweiten Position PS drehen sich die Bildgebungsvorrichtungen 30c und 30d um einen Schwenkwinkel Δθ um die Schwenkachse Zr des Schwenkkörpers 3, mit anderen Worten, in der Ausführungsform die Zm-Achse des Fahrzeugkörper-Koordinatensystems.
Der gemeinsame Abschnitt PCM wird aus den mehreren Bildern PTf und PTs bestimmt, die von mindestens einer der mehreren Bildgebungsvorrichtungen 30 an verschiedenen Positionen in der Schwenkrichtung des Schwenkkörpers 3 aufgenommen werden. Das Bild PTf entspricht einem ersten Bereich FMF, der von der Bildgebungsvorrichtung 30c an der in 5 dargestellten ersten Position PF abgebildet wurde. Das Bild PTs entspricht einem zweiten Bereich FMS, der von der Bildgebungsvorrichtung 30c an der in 5 dargestellten zweiten Position PS abgebildet wurde.
Ein Abschnitt, in dem der erste Bereich FMF und der zweite Bereich FMS einander überlappen, weist einen Merkmalsabschnitt FP auf. Der Merkmalsabschnitt FP ist teilweise PCMf in dem Bild-PTf und teilweise PCMs in dem Bild PTs. Die Abschnitte PCMf und PCMs sind die gemeinsamen Abschnitte PCM des Bildes PTf und des Bildes PTs. Zur Extraktion des gemeinsamen Merkmalsabschnitts FP zwischen dem Bild PTf und dem Bild PTs durch die Extraktionseinheit 41A für den gemeinsamen Abschnitt wird beispielhaft ein Verfahren angegeben, bei dem die Extraktionseinheit 41A für den gemeinsamen Abschnitt die Merkmalsabschnitte FP aus dem Bild PTf und dem Bild PTs zuerst extrahiert und einen ähnlichen Merkmalsabschnitt in den Merkmalsabschnitten FP findet. Die Extraktionseinheit 41A für den gemeinsamen Abschnitt erhält das Bild PTf und das Bild PTs von der Speichereinheit 42 und extrahiert den gemeinsamen Abschnitt PCM. Die Extraktionseinheit 41A für den gemeinsamen Abschnitt extrahiert den gemeinsamen Abschnitt PCM aus dem Bild PTf und dem Bild PTs unter Verwendung eines Algorithmus zum Erfassen eines Merkmalspunkts zwischen mehreren Bildern, beispielsweise einem Harris-Operator. Die Extraktionseinheit 41A für den gemeinsamen Abschnitt kann den gemeinsamen Abschnitt PCM aus dem Bild PTf und dem Bild PTs unter Verwendung eines anderen Algorithmus als dem Harris-Operator extrahieren.
Wenn der gemeinsame Abschnitt PCM extrahiert wird, bestimmt die Bewegungsbetrag-Berechnungseinheit 41B der Verarbeitungseinheit 41 den Schwenkwinkel Δθ auf der Grundlage des gemeinsamen Abschnitts PCM. Wenn das Bild PTf und das Bild PTs den gemeinsamen Abschnitt PCM gemeinsam aufweisen, ändert sich die Position des gemeinsamen Abschnitts PCM zwischen dem Bild PTf und dem Bild PTs. Der Betrag d dieser Änderung entspricht dem Schwenkwinkel Δθ.
Wenn der Schwenkkörper 3 um den Schwenkwinkel Δθ um die Schwenkachse Zr herum schwenkt, bewegt sich das Bildgebungsvorrichtung-Koordinatensystem (Xs, Ys, Zs) um die Schwenkachse Zr des Schwenkkörpers 3 von der ersten Position PF zu der zweiten Position PS um den Schwenkwinkel 9, wie in 6 dargestellt. Da der Schwenkkörper 3 um die Schwenkachse Zr, mit anderen Worten in der Ausführungsform die Zr-Achse des Fahrzeugkörper-Koordinatensystems, schwenkt, stellt der Winkel, um den das Bildgebungsvorrichtung-Koordinatensystem (Xs, Ys, Zs) gedreht wird, um die Zs-Achse herum zwischen der ersten Position PF und der zweiten Position PS gedreht wird, den Schwenkwinkel 9 dar. Wie in 6 dargestellt, stimmen eine Einpunkt-Kettenlinie, die sich von der Schwenkachse Zr zu den Bildgebungsvorrichtungen 30c und 30d erstreckt, und eine Xs-Achse des Bildgebungsvorrichtung-Koordinatensystems (Xs, Ys, Zs) nicht notwendigerweise miteinander überein.
In diesem Fall wird der Schwenkwinkel Δθ durch mindestens einen beispielsweise von einem Achtpunkt-Algorithmus, einer Transformation von drei Dimensionen in drei Dimensionen (3D-3D) und einer Bündeleinstellung bestimmt. Der Schwenkwinkel Δθ wird unter der Bedingung bestimmt, dass der Schwenkkörper 3 um den Schwenkwinkel 9, um die Schwenkachse Zr schwenkt, d.h. unter der Bedingung, dass der Schwenkkörper in der Mitte seines Schwenkens eingeschränkt wird. Daher ermöglicht beispielsweise bei Verwendung des Acht-Punkt-Algorithmus ein gemeinsamer Abschnitt PCM zwischen dem Bild PTf und dem Bild PTs die Lösung des Schwenkwinkels Δθ unter Verwendung des Acht-Punkt-Algorithmus-Verfahrens.
Die Bewegungsbetrag-Berechnungseinheit 41B der Verarbeitungseinheit 41 bestimmt den Schwenkwinkel Δθ auf Grundlage des Acht-Punkt-Algorithmus oder dergleichen unter Verwendung des gemeinsamen Abschnitts PCM zwischen dem Bild PTf und dem Bild PTs. Über den gesamten Zeitraum vom Beginn bis zum Ende des Schwenkens des Schwenkkörpers 3 wird für jedes Bildpaar, zwischen dem der gemeinsame Abschnitt PCM erhalten wird, der Schwenkwinkel 9 bestimmt.
Der gemeinsame Abschnitt PCM in einem Bild, das vor dem Schwenkvorgang aufgenommen wurde, bewegt sich auf einem Bild, das nach dem Schwenkvorgang erfasst wurde, entsprechend der Größe des Schwenkwinkels Δθ. Um den Schwenkwinkel Δθ auf der Grundlage des Achtpunkt-Algorithmus zu bestimmen, wird daher die Bewegung des gemeinsamen Abschnitts PCM verwendet. Tatsächlich variiert das Ziel des gemeinsamen Abschnitts PCM auch in Abhängigkeit von einer dreidimensionalen Position des gemeinsamen Abschnitts PCM. Selbst wenn der gemeinsame Abschnitt PCM eine unbekannte dreidimensionale Position aufweist, wenn ein Bild den gemeinsamen Abschnitt PCM mindestens an einem Punkt aufweist, ist eine Variable unabhängig von der dreidimensionalen Position des gemeinsamen Abschnitts PCM nur auf den Schwenkwinkel 9 begrenzt und der Schwenkwinkel Δθ kann bestimmt werden. Auf diese Weise kann der Schwenkwinkel Δθ nur mit einem Punkt bestimmt werden, da jedoch die Möglichkeit besteht, dass der Schwenkwinkel Δθ einen großen Fehler aufweisen kann, wird der Schwenkwinkel θ auf der Grundlage der gemeinsamen Abschnitte PCM an mehreren Punkten durch Verwenden der Methode der kleinsten Quadrate berechnet. Wenn der Schwenkwinkel Δθ auf der Grundlage des Achtpunkt-Algorithmus bestimmt wird, ist es nicht erforderlich, das auszuhebende Objekt durch eine Stereokamera vor und nach dem Schwenken zu messen. Wenn anstatt die Variable nur auf den Schwenkwinkel Δθ zu begrenzen, insgesamt sechs Variablen, insbesondere eine Variable in Xs-Richtung, die Variable in Ys-Richtung und die Variable in Zs-Richtung an der Position einer Bildgebungsvorrichtung 30, und ferner drei Variablen, die eine Stellung der Bildgebungsvorrichtung darstellen, insbesondere Variablen, die die Drehrichtungen um die Xs-Achse, die Ys-Achse und die Zs-Achse repräsentieren, unter Verwendung des Achtpunkt-Algorithmus-Verfahrens bestimmt werden, werden die gemeinsamen Abschnitte PCM mindestens an acht Punkten in Bildern erforderlich, die vor und nach dem Schwenken aufgenommen wurden.
Die dreidimensionale Position (berechnet auf der Grundlage einer Messung einer Stereokamera) des gemeinsamen Abschnitts PCM in einem vor dem Schwenkvorgang aufgenommenen Bild ändert sich nach dem Schwenkvorgang entsprechend der Größe des Schwenkwinkels Δθ bei Betrachtung von einer Bildgebungsvorrichtung 30. Daher wird die Änderung der dreidimensionalen Position des gemeinsamen Abschnitts PCM verwendet, um den Schwenkwinkel Δθ auf der Grundlage der 3D-3D-Transformation zu bestimmen. Wenn beispielsweise der gemeinsame Abschnitt PCM an einer Position (1,0,0) in dem Fahrzeugkörper-Koordinatensystem, die von der Stereokamera vor dem Schwenkvorgang gemessen wird, zu einer Position (0, 1, 0) in dem Fahrzeugkörper-Koordinatensystem geändert wird, die von der Stereokamera nach dem Schwenkvorgang gemessen wird, dann kann man sagen, dass der Schwenkkörper 3 um 90 Grad um die Zm-Achse des Fahrzeugkörper-Koordinatensystems schwenkt. Auf diese Weise kann der Schwenkwinkel Δθ nur mit einem Punkt bestimmt werden, da jedoch die Möglichkeit besteht, dass der Schwenkwinkel Δθ einen großen Fehler aufweisen kann, wird der Schwenkwinkel θ auf der Grundlage der gemeinsamen Abschnitte PCM an mehreren Punkten unter Verwendung der Methode der kleinsten Quadrate genau berechnet. Wenn der Schwenkwinkel Δθ auf der Grundlage der 3D-3D-Transformation bestimmt wird, ist es erforderlich, das auszuhebende Objekt vor und nach dem Schwenken mit einer Stereokamera zu messen. Wenn anstatt die Variable nur auf den Schwenkwinkel Δθ zu begrenzen, insgesamt sechs Variablen, insbesondere eine Variable in Xs-Richtung, die Variable in Ys-Richtung und die Variable in Zs-Richtung an der Position einer Bildgebungsvorrichtung 30, und weitere drei Variablen, die die Stellung der Bildgebungsvorrichtung darstellen, insbesondere Variablen, die die Drehrichtungen um die Xs-Achse, die Ys-Achse und die Zs-Achse repräsentieren, unter Verwendung der 3D-3D-Transformation bestimmt werden, werden die gemeinsamen Abschnitte PCM mindestens an drei Punkten in Bildern erforderlich, die vor und nach dem Schwenken aufgenommen wurden.
Die dreidimensionale Position (berechnet auf der Grundlage einer Messung durch eine Stereokamera) des gemeinsamen Abschnitts PCM in einem vor dem Schwenken aufgenommenen Bild befindet sich an einer Position entsprechend der Größe des Schwenkwinkels θ auf einem nach dem Schwenken aufgenommenen Bild oder die dreidimensionale Position des gemeinsamen Abschnitts PCM in dem vor dem Schwenken erfassten Bild ändert sich nach dem Schwenken bei Betrachtung von einer Bildgebungsvorrichtung 30 entsprechend der Größe des Schwenkwinkels Δθ. Daher wird die dreidimensionale Position des gemeinsamen Abschnitts PCM verwendet, um den Schwenkwinkel θ auf der Grundlage der Bündeleinstellung zu bestimmen. Ferner kann bei der Bündeleinstellung, wenn ein Bild den gemeinsamen Abschnitt PCM zumindest an einem Punkt aufweist, an dem die Variable nur auf den Schwenkwinkel Δθ begrenzt ist, der Schwenkwinkel Δθ bestimmt werden. Auf diese Weise kann der Schwenkwinkel Δθ nur mit einem Punkt bestimmt werden, da jedoch die Möglichkeit besteht, dass der Schwenkwinkel Δθ einen großen Fehler aufweisen kann, wird der Schwenkwinkel θ auf der Grundlage der gemeinsamen Abschnitte PCM an mehreren Punkten unter Verwendung der Methode der kleinsten Quadrate genau berechnet.
Wenn der Schwenkwinkel Δθ auf der Grundlage der Bündeleinstellung bestimmt wird, ist es erforderlich, das auszuhebende Objekt durch eine Stereokamera vor dem Schwenken zu messen, oder das durch die Stereokamera auszuhebende Objekt nach dem Schwenken zu messen. Wenn statt die Variable nur auf den Schwenkwinkel Δθ zu begrenzen, insgesamt sechs Variablen, insbesondere eine Variable in Xs-Richtung, die Variable in Ys-Richtung und die Variable in Zs-Richtung an der Position einer Bildgebungsvorrichtung 30, und ferner drei Variablen, die die Stellung der Bildgebungsvorrichtung darstellen, insbesondere Variablen, die die Drehrichtungen um die Xs-Achse, die Ys-Achse und die Zs-Achse darstellen, unter Verwendung der Bündeleinstellung bestimmt werden, werden die gemeinsamen Abschnitte PCM an mindestens sechs Punkten in Bildern erforderlich, die vor und nach dem Schwenken aufgenommen wurden.
Wenn der Schwenkwinkel Δθ erhalten wird, bestimmt die Fahrzeugkörperzustand-Berechnungseinheit 41C der Verarbeitungseinheit 41 die Position und die Stellung des Baggers 1 während des Schwenkvorgangs auf der Grundlage des erhaltenen Schwenkwinkels Δθ, der Position des Baggers 1, die durch die Positionserfassungsvorrichtung 23 bestimmt wird, während der Schwenkkörper 3 vor dem Schwenken in Ruhe ist, und die Stellung des Baggers 1, die von der IMU 24 bestimmt wird, während der Schwenkkörper 3 vor dem Schwenken in Ruhe ist. Wenn der Schwenkkörper 3 nach dem Ruhezustand um den Schwenkwinkel Δθ schwenkt, berechnet die Fahrzeugkörperzustand-Berechnungseinheit 41C unter der Bedingung, dass das Schwenken um den Schwenkwinkel θ um die Schwenkachse Zr (Zm-Achse in der Ausführungsform) in einer Xm-Ym-Ebene des Fahrzeugkörper-Koordinatensystems (Xm, Ym, Zm) stattfindet, eine Position und eine Stellung des Baggers 1 im Ruhezustand vor dem Schwenkvorgang um den Schwenkwinkel Δθ auf der Grundlage einer Position und einer Stellung des Baggers 1 in einem Ruhezustand vor dem Schwenkvorgang.
In dem in 5 dargestellten Beispiel wird angenommen, dass die Bildgebung durch eine Bildgebungsvorrichtung 30 in der ersten Position PF (in Ruhe vor dem Schwenkvorgang), der zweiten Position PS (während des Schwenkvorgangs) und einer dritten Position PT (während des Schwenkvorgangs) durchgeführt wird. Wenn eine Position und eine Stellung des Baggers 1 an der ersten Position PF (im Ruhezustand) gemessen werden kann und ein Schwenkwinkel Δθ1 von der ersten Position PF zur zweiten Position PS auf der Grundlage eines Merkmalspunkts bestimmt wird, können eine Position und einer Stellung des Baggers 1 an der zweiten Position PS (während des Schwenkvorgangs) gefunden werden. Wenn dann ein Schwenkwinkel Δθ2 von der zweiten Position PS zu der dritten Position PT auf der Grundlage des Merkmalspunkts bestimmt werden kann, können eine Position und eine Stellung des Baggers 1 an der dritten Position PT (während des Schwenkvorgangs) gefunden werden. Auf diese Weise werden die Position und die Stellung des Baggers 1 an einer Position, an der die Bildgebung durch eine Bildgebungsvorrichtung 30 während des Schwenkvorgangs durchgeführt wird, Schritt für Schritt gefunden.
Die Fahrzeugkörperzustand-Berechnungseinheit 41C führt zum Beispiel eine Drehtransformation der Position und der Stellung des Baggers 1 im Ruhezustand vor dem Schwenkvorgang um den Schwenkwinkel Δθ um die Zm-Achse des Fahrzeugkörper-Koordinatensystems (Xm, Ym, Zm) durch und bestimmt eine Position und eine Stellung des Baggers 1 während des Schwenkvorgangs oder nach dem Schwenkvorgang. Die Position und die Stellung des Baggers 1 während des Schwenkvorgangs oder nach dem Schwenkvorgang kann zum Beispiel in die Position und die Stellung des Baggers 1 im Fahrzeugkörper-Koordinatensystem (Xm, Ym, Zm) während des Ruhezustands vor dem Schwenkvorgang geändert werden. In der Ausführungsform sind die Position und die Stellung des Baggers 1 während des Schwenkvorgangs oder nach dem Schwenkvorgang als die Position und die Stellung der Bildgebungsvorrichtung 30 während des Schwenkvorgangs oder nach dem Schwenkvorgang im Fahrzeugkörper-Koordinatensystem (Xm, Ym, Zm) vor dem Schwenkvorgang definiert, sind jedoch nicht darauf beschränkt.
Der vorstehend erwähnte Schwenkwinkel Δθ stellt eine Schwenkwinkeldifferenz zwischen jeder Position und einer unmittelbar vorherigen Position des Schwenkkörpers 3 dar. Im Folgenden wird die Schwenkwinkeldifferenz als Δθ definiert, und ein durch Integrieren von Δθ erhaltener Winkel wird als der Schwenkwinkel 9 definiert. Eine Position und eine Stellung des Baggers 1 während des Schwenkvorgangs, d.h. Positionen und Stellungen des Baggers 1 während eines Zeitraums vom Beginn bis zum Ende des Schwenkens, werden an verschiedenen Positionen in der Schwenkrichtung des Schwenkkörpers 3 auf der Grundlage der Position und der Stellung des Baggers 1 im Ruhezustand vor dem Schwenkvorgang unter Verwendung des Schwenkwinkels θ an jeder Umfangsposition des Schwenkkörpers 3 bestimmt. Eine Position und eine Stellung des Baggers 1 nach dem Schwenkvorgang werden auf der Grundlage der Position und der Stellung des Baggers 1 im Ruhezustand vor dem Schwenkvorgang bestimmt, indem der Schwenkwinkel θ an einer Umfangsposition des Schwenkkörpers 3 nach dem Schwenkvorgang verwendet wird. Der Schwenkwinkel θ an jeder Umfangsposition des Schwenkkörpers 3 basiert auf einem Schwenkwinkel im Ruhezustand vor dem Schwenkvorgang. Der Schwenkwinkel θ an jeder Umfangsposition des Schwenkkörpers 3 basiert auf einem Schwenkwinkel im Ruhezustand vor dem Schwenkvorgang.
Eine Position einer Bildgebungsvorrichtung 30 vor dem Schwenkvorgang ist Ps1 (Xs1, Ys1, Zs1) und eine Position der Bildgebungsvorrichtung 30 während des Schwenkvorgangs oder nach dem Schwenkvorgang ist Ps2 (Xs2, Ys2, Zs2). Sowohl die Position Ps1 als auch die Position Ps2 sind Positionen im Bildgebungsvorrichtung-Koordinatensystem. Die Position Ps1 und die Position Ps2 werden in eine Position Pm1 (Xm1, Ym1, Zm1) bzw. eine Position Pm2 (Xm2, Ym2, Zm2) im Fahrzeugkörper-Koordinatensystem transformiert. Die Position Ps1 wird entsprechend Formel (1) in die Position Pm1 transformiert, und die Position Ps2 wird entsprechend Formel (2) in die Position Pm2 transformiert. Die Berechnungseinheit 41D der dreidimensionalen Position der Verarbeitungseinheit 41 verwendet die Formel (2), um die Position Ps2 der Bildgebungsvorrichtung 30 während des Schwenkvorgangs, die eine Position des Baggers 1 während des Schwenkvorgangs ist, in die Position Pm2 im Fahrzeugkörper-Koordinatensystem (Xm, Ym, Zm) während des Ruhezustands vor dem Schwenkvorgang zu transformieren. Wie bei der Transformation der Position Ps2 der Bildgebungsvorrichtung 30 während des Schwenkvorgangs wird die Stellung der Bildgebungsvorrichtung 30 während des Schwenkvorgangs, die eine Stellung des Baggers 1 während des Schwenkvorgangs ist, in eine Stellung im Fahrzeugkörper-Körperkoordinatensystem (Xm, Ym, Zm) während des Ruhezustands vor dem Schwenkvorgang unter Verwendung der Formel (2) transformiert. $(\begin{matrix} X m 1 \\ Y m 1 \\ Z m 1 \end{matrix}) = (\begin{matrix} cos γ & - sin γ & 0 \\ sin γ & cos γ & 0 \\ 0 & 0 & 1 \end{matrix}) = (\begin{matrix} cos β & 0 & sin β \\ 0 & 1 & 0 \\ - sin β & 0 & cos β \end{matrix}) (\begin{matrix} 1 & 0 & 0 \\ 0 & cos α & - sin α \\ 0 & sin α & cos α \end{matrix}) \times (\begin{matrix} X s 1 \\ Y s 1 \\ Z s 1 \end{matrix}) + (\begin{matrix} X t \\ Y t \\ Z t \end{matrix})$
$(\begin{matrix} X m 2 \\ Y m 2 \\ Z m 2 \end{matrix}) = (\begin{matrix} cos (γ+θ) & - sin (γ+θ) & 0 \\ sin (γ+θ) & cos (γ+θ) & 0 \\ 0 & 0 & 1 \end{matrix}) = (\begin{matrix} cos β & 0 & sin β \\ 0 & 1 & 0 \\ - sin β & 0 & cos β \end{matrix}) (\begin{matrix} 1 & 0 & 0 \\ 0 & cos α & - sin α \\ 0 & sin α & cos α \end{matrix}) \times (\begin{matrix} X s 2 \\ Y s 2 \\ Z s 2 \end{matrix}) + (\begin{matrix} X t + R \times cos θ \\ Y t + R \times sin θ \\ Z t \end{matrix})$
$R = \sqrt{(X t^{2} + Y t^{2})}$
R in Formel (2) wird durch Formel (3) dargestellt. In den Formeln (1) und (2) ist α ein Drehwinkel um die Xs-Achse des Bildgebungsvorrichtung-Koordinatensystems, β ist ein Drehwinkel um die Ys-Achse des Bildgebungsvorrichtung-Koordinatensystems und γ ist eine Drehwinkelverschiebung um die Zs-Achse des Bildgebungsvorrichtung-Koordinatensystems. Xt, Yt und Zt sind Verschiebungen zwischen dem Bildgebungsvorrichtung-Koordinatensystem (Xs, Ys, Zs) und dem Fahrzeugkörper-Koordinatensystem (Xm, Ym, Zm), und die Verschiebungen sind in den Richtungen der Xm-Achse, der Ym-Achse bzw. der Zm-Achse des Fahrzeugkörper-Koordinatensystems (Xm, Ym, Zm) dargestellt.
Wenn die Position und die Stellung des Baggers 1 während des Schwenkvorgangs erhalten werden, bestimmt die Berechnungseinheit 41D der dreidimensionalen Position dreidimensionale Positionen der Umgebung CR des Baggers 1 unter Verwendung der Position und der Position des Baggers 1 während des Schwenkvorgangs und der Ergebnisse, die von mindestens einem Paar Bildgebungsvorrichtungen 30 an mehreren Positionen in der Schwenkrichtung des Schwenkkörpers 3 erfasst werden. Beispielsweise werden die Position und die Stellung des Baggers 1 in dem globalen Koordinatensystem an einer Position erfasst, in der der Schwenkkörper 3 aus dem Ruhezustand um den Schwenkwinkel 9 gedreht wird. Daher kann die Berechnungseinheit 41D der dreidimensionalen Position eine dreidimensionale Position, die in einem Pixel in einem Entfernungsbild enthalten ist, vom Bildgebungsvorrichtung-Koordinatensystem in das globale Koordinatensystem unter Verwendung der erhaltenen Position und Stellung transformieren. Auf diese Weise kann die Berechnungseinheit 41D der dreidimensionalen Position die dreidimensionale Position der Umgebung CR des Baggers 1 im globalen Koordinatensystem bestimmen.
Die Berechnungseinheit 41D der dreidimensionalen Position kann die dreidimensionale Position der Umgebung CR des Baggers 1 bestimmen, ohne die Position und die Stellung des Baggers 1 während des Schwenkvorgangs zu verwenden. In diesem Fall ist in den Formeln (1) und (2) eine Position des auszuhebenden Objekts, das von der Bildgebungsvorrichtung 30 vor dem Schwenkvorgang abgebildet wird, Ps1 (Xs1, Ys1, Zs1) und eine Position des auszuhebenden Objekts, das von der Bildgebungsvorrichtung 30 während oder nach dem Schwenkvorgang abgebildet wird, ist Ps2 (Xs2, Ys2, Zs2). Die Berechnungseinheit 41D der dreidimensionalen Position verwendet die Formel (2), um die Position Ps2 des auszuhebenden Objekts in dem Bildgebungsvorrichtung-Koordinatensystem (Xs, Ys, Zs), das von der Bildgebungsvorrichtung 30 während des Schwenkvorgangs abgebildet wird, in die Position Pm2 im Fahrzeugkörper-Koordinatensystem (Xm, Ym, Zm) während des Ruhezustands vor dem Schwenkvorgang zu transformieren. Auf diese Weise kann die Berechnungseinheit 41D einer dreidimensionalen Position eine dreidimensionale Position bestimmen, die in einem Pixel in dem Entfernungsbild enthalten ist, das während oder nach dem Schwenkvorgang erhalten wurde, indem der Schwenkwinkel 9 verwendet wird. Die Berechnungseinheit 41D der dreidimensionalen Position verwendet die Position und die Stellung des Baggers 1 im Ruhezustand vor dem Schwenkvorgang, um die Position Pm2 im Fahrzeugkörper-Koordinatensystem (Xm, Ym, Zm) während des Ruhezustands vor dem Schwenkvorgang in eine Position im globalen Koordinatensystem zu transformieren.
Auf diese Weise bestimmt die Berechnungseinheit 41D der dreidimensionalen Position eine dreidimensionale Position der Umgebung CR des Baggers 1 unter Verwendung eines Schwenkwinkels 9, einer Position des Baggers 1, die von der Positionserfassungsvorrichtung 23 bestimmt wird, während sich der Schwenkkörper 3 vor dem Schwenken in Ruhe befindet, und eine von der IMU 24 bestimmte Stellung des Baggers 1, während sich der Schwenkkörper 3 vor dem Schwenken in Ruhe befindet, und Ergebnisse, die von mindestens einem Paar Bildgebungsvorrichtungen 30 an mehreren Positionen in einer Schwenkrichtung des Schwenkkörpers 3 erfasst wurden.
8 ist ein Diagramm, das das Kombinieren mehrerer Bilder PT1 bis PTn veranschaulicht, die während des Schwenkvorgangs des Schwenkkörpers aufgenommen wurden und deren dreidimensionale Positionen bestimmt wurden. Die Berechnungseinheit 41D der dreidimensionalen Position kombiniert dreidimensionale Positionen an den jeweiligen Positionen in einer Schwenkrichtung des Schwenkkörpers 3, die von mindestens einem Paar Bildgebungsvorrichtungen 30 aufgenommen und durch die vorstehend beschriebene Verarbeitung bestimmt werden. Die Bilder PT1 bis PTn (n ist eine ganze Zahl gleich oder größer als 3), die in 8 dargestellt werden, sind Entfernungsbilder, die durch Transformieren in dreidimensionale Positionen in dem globalen Koordinatensystem durch die Berechnungseinheit für die dreidimensionale Position 41D erhalten werden. Wenn die Entfernungsbilder PT1 bis PTn nicht besonders voneinander unterschieden werden, werden die Entfernungsbilder PT1 bis PTn als Entfernungsbilder PT bezeichnet. Das Entfernungsbild PT1 wird während des Ruhezustands vor dem Schwenken erhalten, und das Entfernungsbild PTn wird während des Ruhezustands nach dem Schwenken erhalten.
In der Ausführungsform werden mehrere Entfernungsbilder PT1, PT2, PT3, PT4, ... PTn-2, PTn-1 und PTn kombiniert, aber die Entfernungsbilder weisen überlappende Abschnitte OLT dazwischen auf. Dieser Aufbau verhindert das Auslassen einer Messung in der Schwenkrichtung des Schwenkkörpers 3, wenn die Umgebung CR des Baggers 1 gemessen wird.
Die Schwenkwinkel Δθ1, Δθ2, ... und Δθn-1 zwischen benachbarten Entfernungsbildern PT sind so eingestellt, dass sie eine Größe aufweisen, die groß genug ist, um einen überlappenden Abschnitt OLP zwischen benachbarten Entfernungsbildern PT auf der Grundlage eines Bildgebungsbereichs einer Bildgebungsvorrichtung 30 aufzuweisen. Die Schwenkwinkel Δθ1, Δθ2, ... und Δθn-1 können sich abhängig von der Umfangsposition des Schwenkkörpers 3 unterscheiden oder können den gleichen Wert aufweisen. Die Berechnungseinheit 41D einer dreidimensionalen Position erfasst ein Entfernungsbild PTD bei jedem der eingestellten Schwenkwinkel Δθ1, Δθ2, ... und Δθn-1 und kombiniert die Entfernungsbilder PTD, um Informationen zu erzeugen, die eine dreidimensionale Position der Umgebung CR des Baggers 1 darstellen. Beim Kombinieren der mehreren Entfernungsbilder PTD kann die Berechnungseinheit 41D einer dreidimensionalen Position einen überlappenden Abschnitt OLP definieren, um eine dreidimensionale Position von einem der Entfernungsbilder PTD anzuzeigen, oder um einen Durchschnittswert von beiden dreidimensionalen Positionen anzuzeigen.
9 ist ein Graph, der die Korrektur des Schwenkwinkels θ darstellt. Die vertikale Achse in 9 stellt den Schwenkwinkel 9 dar und die horizontale Achse repräsentiert die Zeit t. Hinsichtlich der Zeit beginnt das Schwenken in ts und das Ende des Schwenkens ist te. Ein an dem Schwenkwinkel 9 angebrachtes Bezugszeichen t bedeutet einen Schwenkwinkel, der aus von der Positionserfassungsvorrichtung 23 und der IMU 24 erfassten Erfassungswerten erhalten wird, und ein Bezugszeichen g bedeutet einen Schwenkwinkel, der aus mehreren Bildern erhalten wird, die während des Schwenkvorgangs erfasst werden. Aus mehreren Bildern erhaltene Schwenkwinkel θg weisen eine Abweichung dθ von einem wahren Schwenkwinkel θt auf, beispielsweise aufgrund einer Genauigkeit beim Extrahieren des gemeinsamen Abschnitts PCM zwischen den mehreren Bildern und einem Fehler, der bei der Berechnung des Schwenkwinkels θ erzeugt wird.
Daher verwendet die Bewegungsbetrag-Berechnungseinheit 41B in der Ausführungsform einen Schwenkwinkel θts des Schwenkkörpers 3 in einem Zustand, in dem der Schwenkkörper 3 vor dem Schwenken in Ruhe ist, und einen Schwenkwinkel θte des Schwenkkörpers 3 in einem Zustand, in dem der Schwenkkörper 3 nach dem Schwenken in Ruhe ist, um die Schwenkwinkel θg in einem Zustand zu korrigieren, in dem der Schwenkkörper 3 schwenkt. Auf diese Weise wird einer Verringerung der Genauigkeit der Position und der Stellung des Baggers 1 während des Schwenkens des Schwenkkörpers 3 entgegengewirkt, und es wird einer Verringerung der Genauigkeit einer dreidimensionalen Position der Umgebung CR des Baggers 1 entgegengewirkt, die während des Schwenkens des Schwenkkörpers 3 erhalten wird.
Es wird ein anderes Verfahren zum Korrigieren des Schwenkwinkels θ beschrieben. Wenn sich der von der Bewegungsbetrag-Berechnungseinheit 41B bestimmte Schwenkwinkel 9 von einem Schwenkwinkel θ' unterscheidet, um den der Schwenkkörper 3 tatsächlich schwenkt, ist die Änderungsrate (Neigung) des Fehlers konstant. In einem solchen Fall korrigiert die Bewegungsbetrag-Berechnungseinheit 41B den bestimmten Schwenkwinkel 9 unter Verwendung der Formel (4). Der Schwenkwinkel θ' ist ein Schwenkwinkel θ', um den der Schwenkkörper 3 tatsächlich schwenkt, und ist ein korrigierter Schwenkwinkel. Der Schwenkwinkel θ' wird bestimmt, indem ein Schwenkwinkel θts des Schwenkkörpers 3 in einem Zustand, in dem der Schwenkkörper 3 vor dem Schwenken in Ruhe ist, und ein Schwenkwinkel θte des Schwenkkörpers 3 in einem Zustand, in dem der Schwenkkörper 3 nach dem Schwenken in Ruhe ist, verwendet werden. $θ' = (θ te - θ ts) / (θ ge - θ gs) \times (θ - θ gs) + θ gs$
<Messverfahren nach Ausführungsform>
10 ist ein Flussdiagramm, das ein Beispiel einer Prozedur eines Messverfahrens nach einer Ausführungsform darstellt. Das Messverfahren nach der Ausführungsform wird durch das in 3 dargestellte Messsystem 50 erreicht. Beim dreidimensionalen Messen der Umgebung CR des Baggers 1 dreht der Bediener des Baggers 1 den Schwenkkörper 3 in eine Position, von der aus die Messung beginnt. Wenn eine vorbestimmte Zeit nach dem Stoppen des Schwenkkörpers 3 vergangen ist, benachrichtigt die Verarbeitungseinheit 41 der Verarbeitungsvorrichtung 40, dass eine kontinuierliche Bildgebung durch eine Bildgebungsvorrichtung 30 erlaubt ist, während der Schwenkkörper 3 schwenkt. Als Beispiel schaltet die Verarbeitungseinheit 41 das Licht 33 ein, um zu melden, dass eine kontinuierliche Bildgebung erlaubt ist. Wenn das Licht 33 eingeschaltet ist, betätigt der Bediener die Eingabevorrichtung 32, die in 3 dargestellt ist, um der Verarbeitungsvorrichtung 40 eine Bildgebungsstartanweisung für die Bildgebungsvorrichtung 30 zu geben.
In Schritt S101 erhält die Verarbeitungseinheit 41 der Verarbeitungsvorrichtung 40 nach Empfang der Bildgebungsstartanweisung eine Position des Baggers 1 von der Positionserfassungsvorrichtung 23, während sich der Schwenkkörper 3 im Ruhezustand befindet, und die IMU 24 und die Stellung. In Schritt S102 bewirkt die Verarbeitungseinheit 41, dass der Schwenkkörper 3 mit dem Schwenken beginnt, und bewirkt gleichzeitig, dass mindestens ein Paar Bildgebungsvorrichtungen 30 die Umgebung CR des Baggers 1 abbildet, während der Schwenkkörper 3 schwenkt. In Schritt S102 wird die Forminformation SI über die Umgebung CR des Baggers 1 während des Schwenkvorgangs des Schwenkkörpers 3 erfasst. In Schritt S102 gibt mindestens ein Paar Bildgebungsvorrichtungen 30 die erfassten Bilder als die erfasste Forminformation SI an die Verarbeitungseinheit 41 aus.
Wenn der Schwenkkörper 3 in Schritt S103 um einen vorbestimmten Winkel schwenkt, hält die Verarbeitungseinheit 41 den Schwenkkörper 3 an. In einem Schritt S104 erhält die Verarbeitungseinheit 41 nach Ablauf einer vorbestimmten Zeit die Position des Baggers 1 von der Positionserfassungsvorrichtung 23, während sich der Schwenkkörper 3 in Ruhe befindet, und erhält die IMU 24 und die Stellung.
In Schritt S105 bestimmt die Extraktionseinheit 41A für den gemeinsamen Abschnitt einen gemeinsamen Abschnitt PCM aus mindestens zwei Bildern, die von einer Bildgebungsvorrichtung 30 während des Schwenkvorgangs des Schwenkkörpers 3 aufgenommen werden. Der gemeinsame Abschnitt PCM wird in der Schwenkrichtung des Schwenkkörpers 3 über den gesamten Bereich vom Beginn des Schwenkens des Schwenkkörpers 3 bis zum Ende des Schwenkens bestimmt. Das heißt, wenn ein vor dem Schwenkvorgang erfasstes Ergebnis 1 ist und ein nach dem Schwenkvorgang erfasstes Ergebnis n ist, werden ein gemeinsamer Abschnitt zwischen 1 und 2, ein gemeinsamer Abschnitt zwischen 2 und 3, ... und ein gemeinsamer Abschnitt zwischen n -1 und n extrahiert. In Schritt S106 bestimmt die Bewegungsbetrag-Berechnungseinheit 41B auf der Grundlage des in Schritt S105 bestimmten gemeinsamen Abschnitts PCM den Schwenkwinkel 9 zu einem Zeitpunkt, zu dem mindestens ein Paar von Bildgebungsvorrichtungen 30 eine Bildgebung durchführt. In diesem Fall kann die Bewegungsbetrag-Berechnungseinheit 41B die Schwenkwinkel θts und θte verwenden, die jeweils in einem Zustand erhalten werden, in dem der Schwenkkörper 3 vor oder nach dem Schwenken in Ruhe ist, um den Schwenkwinkel θg zu korrigieren, während der Schwenkkörper 3 schwenkt.
In Schritt S107 bestimmt die Fahrzeugkörperzustand-Berechnungseinheit 41C eine dreidimensionale Position der Umgebung CR des Baggers 1 unter Verwendung des in Schritt S106 erhaltenen Schwenkwinkels 9, der Position des Baggers, die von der Positionserfassungsvorrichtung 23 bestimmt wird, während der Schwenkkörper 3 vor dem Schwenkvorgang in Ruhe ist, der von der IMU 24 erfassten Stellung des Baggers während der Schwenkkörper 3 vor dem Schwenkvorgang in Ruhe ist, und der Bilder, die von dem mindestens einen Paar Bildgebungsvorrichtungen 30 an mehreren verschiedenen Positionen während des Schwenkvorgangs aufgenommen werden. In Schritt S107 wird die dreidimensionale Position der Umgebung CR des Baggers 1 auf der Grundlage der Forminformation SI bestimmt, bei der es sich um Bilder handelt, die von dem mindestens einen Paar Bildgebungsvorrichtungen 30 aufgenommen werden. Danach kombiniert die Berechnungseinheit 41D der dreidimensionalen Position mehrere Entfernungsbilder PTD, die die erhaltenen dreidimensionalen Positionen umfassen, speichert die kombinierten Entfernungsbilder PTD in der Speichereinheit 42 oder gibt die kombinierten Entfernungsbilder PTD an einen externen Server aus.
11 ist ein Diagramm, das ein Beispiel des Kombinierens mehrerer Entfernungsbilder PTDs, PTDm und PTDe darstellt, die während des Schwenkvorgangs des Schwenkkörpers 3 und vor und nach dem Schwenkvorgang erhalten werden. In der Ausführungsform werden die mehreren Entfernungsbilder PTDs, PTDm und PTDe während des Schwenkvorgangs des Schwenkkörpers 3 und vor und nach dem Schwenkvorgang erhalten. Das Entfernungsbild PTDs wird vor dem Schwenken des Schwenkkörpers 3 erhalten, das Entfernungsbild PTDm wird während des Schwenkens des Schwenkkörpers 3 erhalten, und das Entfernungsbild PTDe wird nach dem Schwenken des Schwenkkörpers 3 erhalten. Das Entfernungsbild PTDm kann ein einzelnes Entfernungsbild oder mehrere Entfernungsbilder umfassen.
Das Entfernungsbild PTDs umfasst eine dreidimensionale Position um den Bagger herum, die vor dem Schwenkvorgang des Schwenkkörpers 3 erhalten wird. Das Entfernungsbild PTDm umfasst eine dreidimensionale Position um den Bagger herum, die während des Schwenkvorgangs des Schwenkkörpers 3 erhalten wird. Das Entfernungsbild PTDe umfasst eine dreidimensionale Position um den Bagger, die nach dem Schwenken des Schwenkkörpers 3 erhalten wird.
Die Berechnungseinheit 41D der dreidimensionalen Position, die in 3 dargestellt ist, kombiniert die mehreren Entfernungsbilder PTDs, PTDm und PTDe, die während des Schwenkvorgangs des Schwenkkörpers 3 und vor und nach dem Schwenkvorgang erhalten werden. Insbesondere kombiniert die Berechnungseinheit 41D der dreidimensionalen Position Höhendaten, das heißt Zg-Koordinaten, so dass Xg-Koordinaten und die Yg-Koordinaten des globalen Koordinatensystems (Xg, Yg, Zg) in den jeweiligen dreidimensionalen Positionsdaten liegen. Die Berechnungseinheit 41D der dreidimensionalen Position kombiniert zum Beispiel diese Entfernungsbilder PTDs, PTDm und PTDe an gemeinsamen Positionen zwischen diesen Entfernungsbildern PTDs, PTDm und PTDe. Durch diese Verarbeitung werden die dreidimensionale Position um den Bagger herum, die vor dem Schwenkvorgang des Schwenkkörpers 3 erhalten wird, die dreidimensionale Position um den Bagger herum, die während des Schwenkvorgangs des Schwenkkörpers 3 erhalten wird, und die dreidimensionale Position um den Bagger herum, die nach dem Schwenken des Schwenkkörpers 3 erhalten wird, kombiniert.
Die mehreren Entfernungsbilder PTDs, PTDm, PTDe werden kombiniert, wodurch ein Entfernungsbild PTDa erhalten wird, das eine dreidimensionale Form der Umgebung des Baggers 1 innerhalb eines Bereichs darstellt, über den der Schwenkkörper 3 schwenkt. Das Erhalten des Entfernungsbildes PTDa ermöglicht das Verständnis über einen Bereich, dessen dreidimensionale Position nicht berechnet wird, da die Position einer Bildgebungsvorrichtung 30 in einigen Positionen, die während des Schwenkvorgangs des Schwenkkörpers 3 abgebildet werden, nicht gemessen werden kann. Ferner ermöglicht das Erhalten des kombinierten Entfernungsbildes PTDa das Verständnis über das umgebende Gelände um den Bagger 1 herum. Die Berechnungseinheit 41D der dreidimensionalen Position kann mehrere Entfernungsbilder PTDm kombinieren, die während des Schwenkvorgangs des Schwenkkörpers 3 erhalten werden.
<Kontinuierliche dreidimensionale Messung während des Betriebs des Baggers 1>
12 ist ein Diagramm, das eine dreidimensionale Messung durch das Messsystem nach einer Ausführungsform der Umgebung CR des Baggers 1 während des Fahrvorgangs des Baggers 1 darstellt. In der Ausführungsform wird die Umgebung des Baggers 1 während des Schwenkvorgangs des Schwenkkörpers 3 dreidimensional gemessen. In einer Modifikation wird jedoch die Umgebung des Baggers 1 während des Betriebs des Baggers 1, beispielsweise während des Fahrvorgangs (während des Fahrens) des Fahrkörpers 5 dreidimensional gemessen.
Der Bagger 1 befindet sich vor seinem Fahrvorgang in Ruhe. Zu diesem Zeitpunkt befinden sich auch der Schwenkkörper 3 und der Fahrkörper 5 in Ruhe. Während die Positionserfassungsvorrichtung 23 und die IMU 24 die Position bzw. Stellung des Baggers 1 in diesem Zustand stabil erfassen und ausgeben, erfasst das Messsystem 50 die Position des Baggers 1 von der Positionserfassungsvorrichtung 23 und die Stellung des Baggers 1 von der IMU 24 und gibt diese aus. Dies liegt daran, dass die Positionserfassungsvorrichtung 23 und die IMU 24 die Position bzw. die Stellung des Baggers 1 stabil erfassen und ausgeben.
Insbesondere in einem Zustand, in dem sich der Schwenkkörper 3 und der Fahrkörper 5 vor dem Fahrvorgang des Baggers 1 im Ruhezustand befinden, erhält das in 3 dargestellte Messsystem 50 die Position des Baggers 1 von der Positionserfassungsvorrichtung 23 und die Stellung des Baggers 1 von der IMU 24. Beispielsweise nachdem eine vorbestimmte Zeit nach dem Ruhezustand des Baggers 1 und des Schwenkkörpers 3 vergangen ist, bestimmt die in 3 dargestellte Verarbeitungseinheit 41, dass sich die Positionserfassungsvorrichtung 23 und die IMU 24 in einem Zustand befinden, um eine Position bzw. eine Stellung des Baggers 1 stabil zu erfassen und auszugeben.
Wenn, nachdem der Bagger 1 in Ruhe ist und der Schwenkkörper 3 in Ruhe ist, nachdem er auf das zu vermessende Ausgrabungsobjekt gerichtet wurde, die Verarbeitungsvorrichtung 40 des Messsystems 50, genauer gesagt, die Verarbeitungseinheit 41, bestimmt, dass sich die Positionserfassungsvorrichtung 23 und die IMU 24 jeweils in einem Zustand befinden, um die Position bzw. die Stellung des Baggers 1 stabil zu erfassen und auszugeben, benachrichtigt die Verarbeitungseinheit 41 beispielsweise über diesen Zustand der Positionserfassungsvorrichtung 23 und der IMU 24. Die Benachrichtigung ist wie vorstehend beschrieben.
Wenn beispielsweise die Bildgebungsstartanweisung für eine Bildgebungsvorrichtung 30 von der Eingabevorrichtung 32 nach dem Einschalten des Lichts 33 empfangen wird, erfasst die Verarbeitungseinheit 41 die Position und die Stellung des Baggers 1 von der Positionserfassungsvorrichtung 23 bzw. der IMU 24. Die Speichereinheit 42 speichert vorübergehend die Position und die Stellung des Baggers 1, die vor dem Fahrvorgang des Baggers 1 erfasst werden. Wenn die Position und die Stellung des Baggers 1 erfasst werden, beginnt die Verarbeitungseinheit 41 mit der Bildgebung durch die Bildgebungsvorrichtungen 30a, 30b, 30c und 30d. Wenn ein Fahrhebel, der nicht dargestellt ist, vom Bediener betätigt wird, beginnt der Bagger 1 den Fahrvorgang. Der Bagger 1 kann automatisch den Fahrvorgang starten, wenn die Bildgebungsstartanweisung von der Verarbeitungseinheit 41 an die Bildgebungsvorrichtungen 30a, 30b, 30c und 30d übertragen wird.
Jede der Bildgebungsvorrichtungen 30a, 30b, 30c und 30d, die in 3 dargestellt sind, führen beispielsweise in vorbestimmten periodischen Intervallen mehrere Male während des Fahrvorgangs des Baggers 1 eine Bildgebung durch den in 1 dargestellten Fahrkörper 5 durch und erhalten mehrere Bilder der Umgebung CR des Baggers 1, die an mehreren Positionen in einer Richtung (beispielsweise in einer durch einen Pfeil MD in 12 angezeigten Richtung), in der der Bagger 1 fährt, aufgenommen werden. Die Speichereinheit 42, die in 3 dargestellt ist, speichert vorübergehend die erhaltenen Bilder. Wenn die Betätigung des nicht dargestellten Fahrhebels durch den Bediener beendet ist, stoppt der Fahrvorgang des Baggers 1. Zu diesem Zeitpunkt hält auch der Schwenkkörper 3 an. Die Richtung, in die der Bagger 1 fährt, muss keine lineare Richtung sein.
Nach dem Anhalten des Baggers 1, wenn die Positionserfassungsvorrichtung 23 und die in 3 dargestellte IMU 24 die Position bzw. die Stellung des Baggers 1 stabil erfassen und ausgeben, erhält die Verarbeitungseinheit 41 die Position und die Stellung des Baggers 1 von der Positionserfassungsvorrichtung 23 bzw. der IMU 24. Die Speichereinheit 42 speichert vorübergehend die Position und die Stellung des Baggers 1, die von der Verarbeitungseinheit 41 erhalten wurden. Die Bildgebungsvorrichtungen 30a, 30b, 30c und 30d bilden das auszuhebende Objekt ab, nachdem die Positionserfassungsvorrichtung 23 und die IMU 24 in einen Zustand versetzt werden, um die Position bzw. die Stellung des Baggers 1 nach Beginn der Fahrt des Baggers 1 stabil auszugeben.
Die Extraktionseinheit 41A für einen gemeinsamen Abschnitt der Verarbeitungseinheit 41, die in 3 dargestellt ist, bestimmt einen gemeinsamen Abschnitt aus mehreren Bildern, die während der Fahrt des Baggers 1 und vor und nach der Fahrt erhalten werden. Die Extraktionseinheit 41A für einen gemeinsamen Abschnitt bestimmt einen gemeinsamen Abschnitt, beispielsweise aus einem von der Bildgebungsvorrichtung 30c aufgenommenen Bild an der ersten Position PF und einem von der Bildgebungsvorrichtung 30c aufgenommenen Bild an der zweiten Position PS während der Fahrt des Baggers 1. Ferner bestimmt die Extraktionseinheit 41A für einen gemeinsamen Abschnitt einen gemeinsamen Abschnitt, beispielsweise aus einem von der Bildgebungsvorrichtung 30c aufgenommenen Bild an der zweiten Position PF und einem von der Bildgebungsvorrichtung 30c aufgenommenen Bild an der dritten Position PT während der Fahrt des Baggers 1.
Der gemeinsame Abschnitt zwischen dem an der ersten Position PF aufgenommenen Bild und dem an der zweiten Position PS aufgenommenen Bild entspricht einem Merkmalsabschnitt FP in einem Abschnitt, in dem der erste Bereich FMF und der zweite Bereich FMS einander überlappen. Der gemeinsame Abschnitt zwischen dem an der zweiten Position PS aufgenommenen Bild und dem an der dritten Position PT aufgenommenen Bild entspricht einem Merkmalsabschnitt FP in einem Abschnitt, in dem der zweite Bereich FMS und der dritte Bereich FMT einander überlappen.
Die Extraktionseinheit 41A für einen gemeinsamen Abschnitt extrahiert einen gemeinsamen Abschnitt aus mehreren Bildern, die während der Fahrt des Baggers 1 und vor und nach der Fahrt erhalten werden, durch Verwendung eines Algorithmus, beispielsweise eines Harris-Operators, zum Erfassen eines Merkmalspunkts aus mehreren Bildern. Wenn der gemeinsame Abschnitt extrahiert wird, bestimmt die Bewegungsbetrag-Berechnungseinheit 41B der Verarbeitungseinheit 41 einen Bewegungsbetrag ΔD (ΔD1, ΔD2) einer Bildgebungsvorrichtung 30 auf der Grundlage des gemeinsamen Abschnitts PCM. Wenn zwischen zwei verschiedenen Bildern ein gemeinsamer Abschnitt vorhanden ist, wird eine Position, an der der gemeinsame Abschnitt gesehen wird, zwischen den beiden Bildern geändert. Der Betrag dieser Änderung entspricht dem Bewegungsbetrag ΔD der Bildgebungsvorrichtung 30. Der Bewegungsbetrag ΔD ist nicht auf den Bewegungsbetrag in einer Richtung beschränkt, wie er in 12 dargestellt ist, und kann ein Bewegungsbetrag sein, der auf den sechs Variablen basiert (insgesamt sechs Variablen, insbesondere eine Variable in Xs-Richtung, die Variable in Ys-Richtung und die Variable in Zs-Richtung an der Position einer Bildgebungsvorrichtung 30 und weiteren drei Variablen, die die Stellung der Bildgebungsvorrichtung darstellen, insbesondere Variablen, die die Drehrichtungen um die Xs-Achse, die Ys-Achse und die Zs-Achse repräsentieren).
Wie vorstehend beschrieben, kann der Bewegungsbetrag D zum Beispiel durch mindestens eines von dem Achtpunkt-Algorithmus-Verfahren, der Dreidimensional-zu-Dreidimensional-(3D-3D)Transformation und der Bündeleinstellung bestimmt werden. Wenn der Bewegungsbetrag ΔD bestimmt wird, gibt es keine Bedingung, dass der Schwenkkörper 3 in der Mitte seines Schwenkens eingeschränkt wird. Wenn der Bewegungsbetrag ΔD bestimmt wird, sind daher insgesamt sechs Variablen, insbesondere eine Xs-Richtungsvariable, die Ys-Richtungsvariable und die Zs-Richtungsvariable an der Position einer Bildgebungsvorrichtung 30, und weitere drei Variablen, die die Stellung der Bildgebungsvorrichtung repräsentieren, insbesondere Variablen, die die Drehrichtungen um die Xs-Achse, um die Ys-Achse und um die Zs-Achse repräsentieren, erforderlich. Wenn die vorstehenden sechs Variablen durch mindestens eines von dem Achtpunkt-Algorithmus-Verfahren, der Dreidimensional-zu-Dreidimensional-(3D-3D-)Transformation und der Bündeleinstellung bestimmt werden, sind mehr gemeinsame Abschnitte in mehreren Bildern erforderlich als wenn der Schwenkwinkel Δθ bestimmt wird.
Wenn der Bewegungsbetrag ΔD erhalten wird, werden insgesamt sechs Variablen bestimmt, insbesondere werden die Xs-Richtungsvariable, die Ys-Richtungsvariable und die Zs-Richtungsvariable an der Position der Bildgebungsvorrichtung 30, die zu diesem Zeitpunkt bestimmt wird, und die Variablen, die die Drehrichtungen um die Xs-Achse, die Ys-Achse und die Zs-Achse repräsentieren, erhalten. Auf der Grundlage dieser sechs erhaltenen Variablen werden auch die Position und die Stellung der Bildgebungsvorrichtung 30 erhalten. Wenn der Bagger 1 fährt, werden der Bewegungsbetrag ΔD der Bildgebungsvorrichtung 30 und die Position und die Stellung der Bildgebungsvorrichtung 30 nur durch die Bewegungsbetrag-Berechnungseinheit 41B erhalten. Das heißt, wenn der Bagger 1 fährt, umfasst die in 3 dargestellte Berechnungseinheit 41E für die Position der Bildgebungsvorrichtung nur die Bewegungsbetrag-Berechnungseinheit 41B.
Wenn die Position und die Stellung der Bildgebungsvorrichtung 30 während der Fahrt des Baggers 1 erhalten werden, bestimmt die Berechnungseinheit 41D der dreidimensionalen Position dreidimensionale Positionen der Umgebung CR des Baggers 1 an mehreren Positionen, an denen der Bagger 1 fährt, unter Verwendung der Position und der Stellung der Bildgebungsvorrichtung 30 während des Fahrvorgangs und der Ergebnisse, die von mindestens einem Paar Bildgebungsvorrichtungen 30 aufgenommen werden. Die Position und die Stellung der Bildgebungsvorrichtung 30 in dem globales Koordinatensystem werden zum Beispiel an einer Position erhalten, zu der sich der Bagger 1 um einen vorbestimmten Abstand von einem Ruhezustand des Baggers aus bewegt. Daher kann die Berechnungseinheit 41D einer dreidimensionalen Position eine dreidimensionale Position, die in einem Pixel in einem Entfernungsbild enthalten ist, vom Bildgebungsvorrichtung-Koordinatensystem in das globale Koordinatensystem unter Verwendung der erhaltenen Position und Stellung transformieren. Auf diese Weise kann die Berechnungseinheit 41D der dreidimensionalen Position die dreidimensionale Position der Umgebung CR des Baggers 1 im globalen Koordinatensystem bestimmen.
Für einen Abschnitt, der nicht in der dreidimensionalen Messung beschrieben wird, während der Bagger 1 fährt, kann das in der kontinuierlichen Messung während des Schwenkens des Schwenkkörpers 3 beschriebene Verfahren verwendet werden.
In einer Ausführungsform erreicht die Verarbeitungsvorrichtung 40 die dreidimensionale Messung durch Durchführen der stereoskopischen Bildverarbeitung an Bildern, die von mindestens einem Paar von Bildgebungsvorrichtungen 30 aufgenommen werden, aber die vorliegende Erfindung ist nicht darauf beschränkt. Beispielsweise werden Bilder der Umgebung CR des Baggers 1, die von mindestens einem Paar Bildgebungsvorrichtungen 30 aufgenommen wurden, und die Position und die Stellung des Baggers 1 in Ruhe, die von der Positionserfassungsvorrichtung 23 und der IMU 24 bestimmt werden, beispielsweise zu einer externen Verwaltungsvorrichtung übertragen. Dann kann die externe Verwaltungsvorrichtung die stereoskopische Bildverarbeitung an den Bildern der Umgebung CR des Baggers 1 durchführen und den Schwenkwinkel θ des Schwenkens des Schwenkkörpers 3 und die Position und die Stellung des Baggers 1 bestimmen. Dann können die dreidimensionalen Positionen der Umgebung CR des Baggers 1 während des Schwenkens unter Verwendung der erhaltenen Ergebnisse bestimmt werden. In diesem Fall entspricht die Verwaltungsvorrichtung außerhalb des Baggers 1 der Verarbeitungsvorrichtung 40.
In einer Ausführungsform umfasst die Arbeitsmaschine vorzugsweise den Schwenkkörper 3, der mindestens ein Paar Bildgebungsvorrichtungen 30 umfasst, und ist nicht auf den Bagger 1 beschränkt. Ferner verwendet die Verarbeitungsvorrichtung 40 in der Ausführungsform während des Schwenkvorgangs des Schwenkkörpers 3 nicht die Position und die Stellung des Baggers 1, die durch die Positionserfassungsvorrichtung 23 und die IMU 24 erhalten werden. Abhängig von der Genauigkeit der Positionserfassungsvorrichtung 23 und der IMU 24 kann die Verarbeitungsvorrichtung 40 jedoch mindestens eine von der Position und der Stellung des Baggers 1, die durch mindestens eine von der Positionserfassungsvorrichtung 23 und der IMU 24 erhalten wird, verwenden, um die dreidimensionalen Positionen der Umgebung CR des Baggers 1 zu erhalten.
In einer Ausführungsform wird der Schwenkwinkel θ auf der Grundlage eines von mindestens einer Bildgebungsvorrichtung 30 aufgenommenen Bildes bestimmt, aber der Schwenkwinkel θ kann unter Verwendung eines anderen Verfahrens bestimmt werden. Zum Beispiel kann der Schwenkwinkel θ unter Verwendung eines Winkelerfassungssensors, wie etwa eines Drehgebers, zum Erfassen des Schwenkwinkels des Schwenkkörpers 3 bestimmt werden. In diesem Fall synchronisiert die Verarbeitungseinheit 41 den Zeitpunkt, zu dem der Schwenkwinkel θ, der ein Erfassungswert von dem Winkelerfassungssensor ist, von dem Winkelerfassungssensor erfasst wird, mit einem Zeitpunkt, zu dem mindestens ein Paar Bildgebungsvorrichtungen 30 das auszuhebende Objekt erfasst. Auf diese Weise wird der Zeitpunkt, zu dem Bilder von mindestens einem Paar Bildgebungsvorrichtungen 30 aufgenommen werden, dem Schwenkwinkel θ des Schwenkkörpers 3 zu diesem Zeitpunkt zugeordnet.
In einer Ausführungsform ist eine Erfassungsvorrichtung eine Stereokamera, die mindestens ein Paar Bildgebungsvorrichtungen 30 umfasst. Wenn Bilder mit der Stereokamera aufgenommen werden, werden die Zeitpunkte der Bildaufnahme durch jeweilige Kameras miteinander synchronisiert. Die Erfassungsvorrichtung ist nicht auf die Stereokamera beschränkt. Die Erfassungsvorrichtung kann ein Sensor sein, beispielsweise eine Flugzeitkamera (TOF-Kamera), die sowohl ein Bild als auch ein Entfernungsbild aufnehmen kann, das dreidimensionale Daten darstellt. Die Erfassungsvorrichtung kann eine Bildgebungsvorrichtung sein, die eine Kamera aufweist, um ein Entfernungsbild zu erhalten. Die Erfassungsvorrichtung kann ein Laserscanner sein.
In einer Ausführungsform führt eine Bildgebungsvorrichtung 30 mehrere Bildgebungen in vorbestimmten periodischen Intervallen während des Schwenkvorgangs des Schwenkkörpers 3 durch, und es wird der Schwenkwinkel θ bei jedem Bildgebungszeitpunkt erhalten, aber die vorliegende Erfindung ist nicht auf dieses Beispiel beschränkt. Wenn der Schwenkkörper 3 zum Beispiel aus der ersten Position PF (während des Anhaltens) aus, die in 5 dargestellt ist, zu schwenken beginnt, kann die Verarbeitungsvorrichtung 40 die Anzahl gemeinsamer Punkte zwischen einem von einer Bildgebungsvorrichtung 30 an der ersten Position PF aufgenommenen Bild und Bildern, die in vorbestimmten periodischen Intervallen nach dem Starten des Schwenkens aufgenommen werden, messen, so dass die zweite Position PS zur Bestimmung der Position der Bildgebungsvorrichtung 30 von der ersten Position PF auf der Grundlage einer Änderung der Anzahl von Merkmalspunkten bestimmt wird. Beispielsweise kann als ein Verfahren zum Bestimmen der zweiten Position PS die Anzahl gemeinsamer Punkte zwischen einem an der ersten Position PF aufgenommenen ersten Bild PF und aufeinanderfolgenden Bildern, die sequentiell erfasst werden, gemessen werden, so dass ein Bild, das gemeinsame Punkte aufweist, deren Anzahl nicht mehr als ein vorbestimmter Wert ist, als das zweite Bild bestimmt wird, das an der zweiten Position PS aufgenommen wird.
In einer Ausführungsform werden der Schwenkwinkel Δθ und der Bewegungsbetrag D einer Bildgebungsvorrichtung 30 bestimmt, indem mindestens eines von dem Acht-Punkte-Algorithmus-Verfahren, der 3D-3D-Transformation und der Bündeleinstellung verwendet wird. Beispielsweise können der Schwenkwinkel Δθ des Baggers 1 und der Bewegungsbetrag ΔD der Bildgebungsvorrichtung 30 durch mindestens eines von einem Bündeleinstellungsverfahren und einer visuellsimultanen Lokalisierung und Bildgebung (V-SLAM) erhalten werden.
Wie vorstehend beschrieben, werden in einer Ausführungsform, während der Schwenkkörper, an dem die Erfassungsvorrichtung angebracht ist, geschwenkt wird, die umgebende Form um die Arbeitsmaschine von der Erfassungsvorrichtung erfasst, und auf der Grundlage von Informationen über die erfasste Form werden die dreidimensionalen Positionen um die Arbeitsmaschine herum bestimmt. Wie vorstehend beschrieben, wird bei einer Ausführungsform die Umgebungsform um die Arbeitsmaschine herum erfasst, während die Erfassungsvorrichtung zusammen mit dem Schwenkkörper geschwenkt wird, und die Umgebung der Arbeitsmaschine wird auf der Grundlage der erhaltenen Forminformation gemessen. Daher kann die Umgebung der Arbeitsmaschine weitgehend gemessen werden.
In einer Ausführungsform wird ein gemeinsamer Abschnitt aus mehreren Bildern bestimmt, die von mindestens einem Paar Bildgebungsvorrichtungen aufgenommen werden, der Schwenkwinkel des Schwenkkörpers wird auf der Grundlage der erhaltenen gemeinsamen Abschnitte bestimmt, und die Position und die Stellung der Arbeitsmaschine während des Schwenkvorgangs des Schwenkkörpers werden auf der Grundlage des erhaltenen Schwenkwinkels und einer Position und einer Stellung der Arbeitsmaschine bestimmt, die bestimmt werden, während der Schwenkkörper vor seinem Schwenkvorgang stillsteht. Dann werden die dreidimensionalen Positionen um die Arbeitsmaschine herum bestimmt, indem die erhaltene Position und Stellung der Arbeitsmaschine und die Ergebnisse, die von mindestens einem Paar Bildgebungsvorrichtungen an mehreren Positionen in einer Schwenkrichtung des Schwenkkörpers aufgenommen werden, verwendet werden. Aus diesem Grund werden selbst wenn eine Vorrichtung zum Erfassen der Position und der Stellung einer Arbeitsmaschine eine Zeit benötigt, um die Position und die Stellung der Arbeitsmaschine stabil auszugeben, oder sogar wenn eine Zeitspanne zum Ausgeben der Position und der Stellung der Arbeitsmaschine lang ist, die Position und die Stellung der Arbeitsmaschine während des Schwenkvorgangs aus einem Erfassungsergebnis der Erfassungsvorrichtung erhalten. Infolgedessen wird die umgebende Form um die Arbeitsmaschine selbst dann erfasst, wenn der Schwenkkörper nicht intermittierend geschwenkt wird, sondern kontinuierlich geschwenkt wird, und die Umgebung der Arbeitsmaschine wird auf der Grundlage eines Erfassungsergebnisses gemessen. Daher ist die Zeit, die erforderlich ist, um die umgebende Form um die Arbeitsmaschine herum zu erfassen, verkürzt. Darüber hinaus wird die Umgebungsform um die Arbeitsmaschine herum erfasst, während der Schwenkkörper geschwenkt wird, um die Umgebung der Arbeitsmaschine auf der Grundlage eines Ergebnisses der Erfassung zu messen, und die Umgebung der Arbeitsmaschine wird weitgehend gemessen.
In einer Ausführungsform ist die Beschreibung auf den Bagger 1 beschränkt, aber ein Objekt, auf das das Messsystem 50 und das Messverfahren anzuwenden sind, ist nicht auf den Bagger 1 beschränkt. Insbesondere kann die dreidimensionale Messung der Position der Arbeitsmaschine während ihres Fahrvorgangs unter Verwendung der kontinuierlichen Bildgebung in einem Bulldozer, Radlader, Muldenkipper, Motorgrader und den anderen Arbeitsmaschinen verwendet werden.
Die Ausführungsformen wurden vorstehend beschrieben, sind aber nicht auf die vorstehende Beschreibung beschränkt. Darüber hinaus umfassen die vorstehend genannten Komponenten jene Komponenten, die vom Fachmann konzipiert wurden, und im Wesentlichen identische Komponenten, d.h. sogenannte Äquivalente. Die vorstehend genannten Komponenten können in geeigneter Weise miteinander kombiniert werden. Zumindest eine von verschiedenen Auslassungen, Substitutionen und Änderungen der Komponenten kann vorgenommen werden, ohne vom Geist und Umfang der Erfindung abzuweichen.
Bezugszeichenliste

1: BAGGER
2: ARBEITSGERÄT
3: SCHWENKKÖRPER
5: FAHRKÖRPER
23: POSITIONSERFASSUNGSVORRICHTUNG (POSITIONSERFASSUNGSEINHEIT)
24: STELLUNGSERFASSUNGSEINHEIT (IMU)
30, 30a, 30b, 30c, 30d: BILDGEBUNGSVORRICHTUNG (BILDGEBUNGSEINHEIT)
32: EINGABEVORRICHTUNG
33: LICHT
40: VERARBEITUNGSVORRICHTUNG
41: VERARBEITUNGSEINHEIT
41A: EXTRAKTIONSEINHEIT FÜR DEN GEMEINSAMEN ABSCHNITT
41B: BEWEGUNGSBETRAGS-BERECHNUNGSEINHEIT
41C: FAHRZEUGKÖRPERZUSTAND-BERECHNUNGSEINHEIT
41D: BERECHNUNGSEINHEIT FÜR DIE DREIDIMENSIONALE POSITION
41E: BILDGEBUNGSEINHEITSPOSITION-BERECHNUNGSEINHEIT
42: SPEICHEREINHEIT
43: EINGABE-/AUSGABEEINHEIT
50: MESSSYSTEM
51: HUB
CR: UMGEBUNG
FP: MERKMALSABSCHNITT
PT: ENTFERNUNGSBILD
SI: FORMINFORMATION
θ: SCHWENKWINKEL

Claims

Messsystem, umfassend: eine Bildgebungseinheit, die an einem Schwenkkörper einer Arbeitsmaschine montiert ist, um eine Form um die Arbeitsmaschine herum abzubilden; eine Positionserfassungseinheit, die eine Position des Schwenkkörpers bestimmt; eine Bildgebungseinheitsposition-Berechnungseinheit, die eine Position der Bildgebungseinheit berechnet, wenn die Bildgebungseinheit während des Schwenkvorgangs des Schwenkkörpers eine Bildgebung durchführt; und eine Berechnungseinheit für die dreidimensionale Position, die während der Bildgebung auf der Grundlage einer von der Bildgebungseinheitsposition-Berechnungseinheit berechneten Position der Bildgebungseinheit eine dreidimensionale Position um die Arbeitsmaschine herum bestimmt.
Messsystem nach Anspruch 1, ferner umfassend eine Extraktionseinheit für einen gemeinsamen Abschnitt, die einen gemeinsamen Abschnitt zwischen mehreren zweidimensionalen Bildern bestimmt, die von der Bildgebungseinheit während des Schwenkvorgangs der Arbeitsmaschine aufgenommen werden, wobei die Bildgebungseinheitsposition-Berechnungseinheit eine Position der Bildgebungseinheit berechnet, wenn die Bildgebungseinheit eine Bildgebung durchführt.
Messsystem nach Anspruch 1 oder 2, wobei die Bildgebungseinheitsposition-Berechnungseinheit einen Schwenkwinkel des Schwenkkörpers während der Bildgebung berechnet, um eine Position der Bildgebungseinheit während der Bildgebung zu berechnen, und die Position der Bildgebungseinheit berechnet.
Messsystem nach einem der Ansprüche 1 bis 3, wobei die Bildgebungseinheitsposition-Berechnungseinheit eine Position des Schwenkkörpers vor dem Schwenkvorgang des Schwenkkörpers oder eine Position des Schwenkkörpers nach dem Schwenkvorgang des Schwenkkörpers verwendet, um eine Position der Bildgebungseinheit zu korrigieren, wenn die Bildgebungseinheit die Bildgebung durchführt.
Messsystem nach Anspruch 3 oder 4, wobei die Bildgebungseinheitsposition-Berechnungseinheit einen Schwenkwinkel des Schwenkkörpers vor dem Schwenkvorgang des Schwenkkörpers und einen Schwenkwinkel des Schwenkkörpers nach dem Schwenkvorgang des Schwenkkörpers verwendet, um einen Schwenkwinkel des Schwenkkörpers während des Schwenkvorgangs zu korrigieren.
Messsystem nach einem der Ansprüche 2 bis 5, wobei die Bildgebungseinheitsposition-Berechnungseinheit eine Position der Bildgebungseinheit auf der Grundlage mehrerer gemeinsamer Abschnitte unter Verwendung einer Methode der kleinsten Quadrate berechnet.
Messsystem nach einem der Ansprüche 1 bis 6, wobei die Berechnungseinheit für die dreidimensionale Position mehrere dreidimensionale Positionen um die Arbeitsmaschine herum kombiniert, die während des Schwenkvorgangs des Schwenkkörpers erhalten werden.
Arbeitsmaschine, umfassend das Messsystem nach einem der Ansprüche 1 bis 7.
Messverfahren, umfassend: Berechnen einer Position einer Bildgebungseinheit während der Bildgebung durch die Bildgebungseinheit, die an einem an einer Arbeitsmaschine montierten Schwenkkörper angebracht ist, während des Schwenkvorgangs des Schwenkkörpers; und Bestimmen einer dreidimensionalen Position um die Arbeitsmaschine herum während der Bildgebung auf der Grundlage der berechneten Position der Bildgebungseinheit.