DE112020000310T5

DE112020000310T5 - Bildverarbeitungssystem, Bildverarbeitungsverfahren, Verfahren zur Erzeugung eines gelernten Modells und Datensatz zum Lernen

Info

Publication number: DE112020000310T5
Application number: DE112020000310.8T
Authority: DE
Inventors: Shun Kawamoto; Shintaro Hamada; Yosuke KAJIHARA
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2019-02-01
Filing date: 2020-01-24
Publication date: 2021-11-04
Also published as: KR20210110671A; CN113366533A; JP2020126363A; JP7365122B2; WO2020158611A1; US20220101552A1

Abstract

In dem Bildverarbeitungssystem gemäß der vorliegenden Erfindung erfasst die Datenerfassungseinheit ein Bild, das ein Lade-/Entladeziel eines Transportmaterials einer Arbeitsmaschine zeigt. Die Flächenbestimmungseinheit bestimmt einen Bereich, der das Lade-/Entladeziel aus dem erfassten Bild enthält. Die Lade-/Entladezielbestimmungseinheit bestimmt mindestens eine vorbestimmte Oberfläche des Lade-/Entladeziels aus dem Bereich, der das Lade-/Entladeziel enthält.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft ein Bildverarbeitungssystem, ein Bildverarbeitungsverfahren, ein Verfahren zur Erzeugung eines gelernten Modells und einen Datensatz zum Lernen.
Die vorliegende Anmeldung beansprucht die Priorität der am 1. Februar 2019 in Japan eingereichten japanischen Patentanmeldung Nr. 2019-017400 , deren Inhalt hier durch Bezugnahme aufgenommen ist.
Stand der Technik
Patentdokument 1 offenbart ein Verfahren zum Extrahieren einer Kante aus einem Bild, das von einer in einem Hydraulikbagger vorgesehenen Bilderfassungsvorrichtung aufgenommen wurde, um eine Position einer Kippmulde eines Kippmuldenkippers zu bestimmen.
Zitationsliste
Patentdokument
[Patentdokument 1]
Ungeprüfte japanische Patentanmeldung, Erstveröffentlichung Nr. 2000-192514
Zusammenfassung der Erfindung
Technisches Problem
An einem Standort, an dem eine Lademaschine vorhanden ist, ist eine Straße möglicherweise nicht asphaltiert und es wird eine Spurrille auf der Bodenoberfläche erzeugt. Wenn eine Kante aus einem Bild extrahiert wird, das die Spurrinne und den Kippmuldenkipper zeigt, wird zusätzlich zu einer Kante des Kippmuldenkippers auch eine Kante der Spurrinne erzeugt. Daher besteht in einem Fall, in dem die Position der Kippmulde des Kippmuldenkippers aus dem aufgenommenen Bild durch das in Patentdokument 1 beschriebene Verfahren bestimmt wird, die Möglichkeit, dass die Position der Kippmulde aufgrund des Vorhandenseins der Spurrille nicht richtig bestimmt werden kann.
Es ist somit eine Aufgabe der vorliegenden Erfindung ein Bildverarbeitungssystem, ein Bildverarbeitungsverfahren, ein Verfahren zur Erzeugung eines gelernten Modells und einen Datensatz zum Lernen bereitzustellen, die in der Lage sind, die Robustheit eines Bestimmungsvorgangs eines Lade-/Entladeziels eines Transportmaterials aus einem erfassten Bild zu verbessern.
Lösung des Problems
Gemäß einem Aspekt der vorliegenden Erfindung umfasst ein Bildverarbeitungssystem eine Datenerfassungseinheit, die so konfiguriert ist, dass sie ein erfasstes Bild erfasst, das ein Lade-/Entladeziel eines Transportmaterials einer Arbeitsmaschine zeigt, eine Flächenbestimmungseinheit, die so konfiguriert ist, dass sie einen Bereich, der das Lade-/Entladeziel enthält, aus dem erfassten Bild bestimmt, und eine Lade-/Entladezielbestimmungseinheit, die so konfiguriert ist, dass sie mindestens eine vorbestimmte Oberfläche des Lade-/Entladeziels aus dem Bereich, der das Lade-/Entladeziel enthält, bestimmt.
Vorteilhafte Auswirkungen der Erfindung
Gemäß dem obigen Aspekt kann das Bildverarbeitungssystem die Robustheit der Verarbeitung hinsichtlich der Bestimmung des Lade-/Entladeziels verbessern.
Figurenliste

1 ist ein Diagramm, das eine Konfiguration einer Ladestelle gemäß einer Ausführungsform zeigt.
2 ist eine Außenansicht eines Hydraulikbaggers gemäß einer Ausführungsform.
3 ist ein schematisches Blockdiagramm, das eine Konfiguration einer Steuervorrichtung gemäß einer ersten Ausführungsform zeigt.
4 ist ein Diagramm, das ein Beispiel für eine Bildsegmentierung gemäß der ersten Ausführungsform zeigt.
5 ist ein Diagramm, das ein Beispiel für eine Konfiguration eines neuronalen Netzes zeigt.
6 ist ein Beispiel für eine Führungsinformation.
7 ist ein Flussdiagramm, das ein Anzeigeverfahren der Führungsinformation durch die Steuervorrichtung gemäß der ersten Ausführungsform zeigt.
8 ist ein Flussdiagramm, das ein Lernverfahren für ein Segmentierungsmodell gemäß der ersten Ausführungsform zeigt.
9 ist ein schematisches Blockdiagramm, das eine Konfiguration einer Steuervorrichtung gemäß einer zweiten Ausführungsform zeigt.
10 ist ein Flussdiagramm, das ein Steuerungsverfahren für einen Hydraulikbagger gemäß der zweiten Ausführungsform zeigt.
11 ist ein schematisches Blockdiagramm, das eine Konfiguration einer Steuervorrichtung gemäß einer dritten Ausführungsform zeigt.
12 ist ein Beispiel für eine Führungsinformation gemäß der dritten Ausführungsform.
13 ist ein Flussdiagramm, das ein Anzeigeverfahren von Führungsinformationen durch die Steuervorrichtung gemäß der dritten Ausführungsform zeigt.
14 ist ein Diagramm, das ein Beispiel für eine Bildsegmentierung gemäß einer fünften Ausführungsform zeigt.
15 ist ein Flussdiagramm, das ein Anzeigeverfahren von Führungsinformationen durch eine Steuervorrichtung gemäß der fünften Ausführungsform zeigt.

Beschreibung der Ausführungsformen
<Erste Ausführungsform>
Nachfolgend werden Ausführungsformen unter Bezugnahme auf die Zeichnungen im Detail beschrieben.
1 ist ein Diagramm, das eine Konfiguration einer Ladestelle gemäß einer Ausführungsform zeigt.
An der Ladestelle werden ein Hydraulikbagger 100, der eine Lademaschine ist, und ein Kippmuldenkipper 200, der ein Transportfahrzeug ist, eingesetzt. Der Hydraulikbagger 100 hebt ein Transportmaterial L wie z. B. Erde von einer Baustelle aus und lädt das Transportmaterial auf den Kippmuldenkipper 200. Der Kippmuldenkipper 200 transportiert das vom Hydraulikbagger 100 geladene Transportmaterial L zu einem vorgegebenen Abladeplatz. Der Kippmuldenkipper 200 umfasst eine Kippmulde 210, die ein Behälter zur Aufnahme des Transportmaterials L ist. Die Kippmulde 210 ist ein Beispiel für ein Lade-/Entladeziel des Transportmaterials L. Die Ladestelle ist ein Beispiel für ein Gelände. Der Standort ist ein Grundstück, auf dem die Lademaschine betrieben wird.
«Konfiguration eines Hydraulikbaggers»
2 ist eine Außenansicht eines Hydraulikbaggers gemäß einer Ausführungsform.
Der Hydraulikbagger 100 umfasst eine Arbeitsausrüstung 110, die hydraulisch betrieben wird, einen Oberwagen bzw. Schwenkkörper 120, der die Arbeitsausrüstung 110 trägt, und einen Unterwagen 130, der den Schwenkkörper 120 trägt.
Die Arbeitsausrüstung 110 umfasst einen Ausleger 111, einen Arm 112, einen Löffel 113, einen Auslegerzylinder 114, einen Armzylinder 115 und einen Löffelzylinder 116.
Der Ausleger 111 ist eine Säule, die den Arm 112 und den Löffel 113 trägt. Ein Basisendabschnitt des Auslegers 111 ist über einen Auslegerstift P1 an einem vorderen Teil des Schwenkkörpers 120 befestigt.
Der Arm 112 verbindet den Ausleger 111 und den Löffel 113. Ein Basisendabschnitt des Arms 112 ist mit einem Spitzenendabschnitt des Auslegers 111 durch einen Armstift P2 verbunden.
Der Löffel 113 ist ein Behälter mit einem Blatt zum Ausheben von Erde oder Ähnlichem. Ein Basisendabschnitt des Löffels 113 ist über einen Löffelstift P3 an einem Spitzenendabschnitt des Arms 112 befestigt.
Der Auslegerzylinder 114 ist ein Hydraulikzylinder zur Betätigung des Auslegers 111. Ein Basisendabschnitt des Auslegerzylinders 114 ist am Schwenkkörper 120 befestigt. Ein Spitzenendabschnitt des Auslegerzylinders 114 ist am Ausleger 111 befestigt.
Der Armzylinder 115 ist ein Hydraulikzylinder zum Antrieb des Arms 112. Ein Basisendabschnitt des Armzylinders 115 ist am Ausleger 111 befestigt. Ein Spitzenendabschnitt des Armzylinders 115 ist am Arm 112 befestigt.
Der Löffelzylinder 116 ist ein Hydraulikzylinder zum Antrieb des Löffels 113. Ein Basisendabschnitt des Löffelzylinders 116 ist am Arm 112 befestigt. Ein Spitzenendabschnitt des Löffelzylinders 116 ist am Löffel 113 befestigt.
Der Schwenkkörper 120 ist mit einer Kabine 121 ausgestattet, in der ein Bediener Platz nimmt. Die Kabine 121 ist vor dem Schwenkkörper 120 und auf einer linken Seite (+Y-Seite) der Arbeitsausrüstung 110 angeordnet.
«Steuerungssystem für Hydraulikbagger»
Der Hydraulikbagger 100 enthält einen Arbeitsausrüstungspositionsdetektor 122, einen Positions-/Azimutrichtungsrechner 123, einen Neigungsdetektor 124, eine Stereokamera 125, eine Bedienungsvorrichtung 126, eine Steuervorrichtung 127 und eine Anzeigevorrichtung 128.
Der Arbeitsausrüstungspositionsdetektor 122 erfasst einen Winkel der Arbeitsausrüstung 110. Der Arbeitsausrüstungspositionsdetektor 122 gemäß einer ersten Ausführungsform ist ein Hubdetektor, der eine Hublänge jedes Auslegerzylinders 114, des Armzylinders 115 und des Löffelzylinders 116 erfasst. Dementsprechend kann die unten beschriebene Steuervorrichtung 127 den Winkel der Arbeitsausrüstung 110 basierend auf der Hublänge jedes der Auslegerzylinder 114, des Armzylinders 115 und des Löffelzylinders 116 erfassen. Andererseits ist die vorliegende Erfindung in einer anderen Ausführungsform nicht darauf beschränkt. Anstelle des Hubdetektors oder in Kombination mit dem Hubdetektor kann ein Winkeldetektor, wie z. B. eine IMU, ein Drehgeber oder eine Wasserwaage, als Arbeitsausrüstungspositionsdetektor 122 verwendet werden.
Der Positions-/Azimutrichtungsrechner 123 berechnet eine Position des Schwenkkörpers 120 und eine Azimutrichtung, in die der Schwenkkörper 120 zeigt. Der Positions-/Azimutrichtungsrechner 123 enthält zwei Empfänger, die Positionssignale von künstlichen Satelliten empfangen, die ein globales Navigationssatellitensystem (GNSS) konfigurieren. Jeder der beiden Empfänger ist an einer anderen Position des Schwenkkörpers 120 installiert. Der Positions-/Azimutrichtungsrechner 123 erkennt eine Position eines repräsentativen Punktes (Ursprung eines Kippmulden-Koordinatensystems) des Schwenkkörpers 120 in einem Standort-Koordinatensystem basierend auf dem von mindestens einem Empfänger empfangenen Positionierungssignal.
Der Positions-/Azimutrichtungsrechner 123 berechnet die Azimutrichtung des Schwenkkörpers 120 auf der Grundlage der von den beiden erfassten Positionierungssignalen angezeigten Positionen und der Erdungspositionen der beiden Empfänger, wobei jedes der von den beiden Empfängern empfangenen Positionierungssignale verwendet wird. Der Positions-/Azimutrichtungsrechner 123 gemäß einer anderen Ausführungsform kann anstelle der beiden Empfänger eine andere Vorrichtung, wie z. B. einen Drehgeber oder eine IMU, zur Messung der Azimutrichtung des Schwenkkörpers 120 enthalten.
Der Neigungsdetektor 124 misst die Beschleunigung und die Winkelgeschwindigkeit des Schwenkkörpers 120, um eine Neigung des Schwenkkörpers 120 (z. B. ein Rollen, das eine Drehung in Bezug auf die X-Achse darstellt, ein Nicken, das eine Drehung in Bezug auf die Y-Achse darstellt, und ein Gieren, das eine Drehung in Bezug auf die Z-Achse darstellt) basierend auf dem Messergebnis zu erfassen. Der Neigungsdetektor 124 ist z. B. an einer Unterseite der Kabine 121 angebracht. Als Neigungsdetektor 124 kann z. B. eine Inertialmesseinheit (IMU) verwendet werden, die ein Trägheitsmessgerät ist.
Die Stereokamera 125 ist an einem oberen Teil des Fahrerhauses 121 angebracht. Die Stereokamera 125 ist vor (+X-Richtung) und über (+Z-Richtung) der Kabine 121 angebracht. Die Stereokamera 125 erfasst ein Bild vor (+X-Richtung) der Kabine 121 durch eine Windschutzscheibe auf einer Frontfläche der Kabine 121. Die Stereokamera 125 umfasst mindestens ein Kamerapaar.
Die Bedienungsvorrichtung 126 ist in der Kabine 121 vorgesehen. Die Bedienungsvorrichtung 126 wird vom Bediener betätigt, um Hydrauliköl zu einem Aktuator der Arbeitsausrüstung 110 zu liefern. Das Hydrauliköl wird dem Auslegerzylinder 114, dem Armzylinder 115, dem Löffelzylinder 116 und einem Schwenkmotor (nicht dargestellt) entsprechend einem Betätigungsbetrag der Bedienungsvorrichtung 126 zugeführt, und die Arbeitsausrüstung 110 und der Schwenkkörper 120 werden angetrieben.
Die Steuervorrichtung 127 erfasst Informationen vom Arbeitsausrüstungspositionsdetektor 122, dem Positions-/Azimutrichtungsrechner 123, dem Neigungsdetektor 124 und der Stereokamera 125, um Führungsinformationen zu erzeugen, die eine Positionsbeziehung zwischen dem Löffel 113 und der Kippmulde des Kippmuldenkippers 200 anzeigen.
Das Anzeigegerät 128 zeigt die von der Steuervorrichtung 127 erzeugten Führungsinformationen an.
Je nach Ausführungsform muss der Hydraulikbagger 100 den Arbeitsausrüstungspositionsdetektor 122, den Positions-/Azimutrichtungsrechner 123, den Neigungsdetektor 124, die Stereokamera 125 und die Anzeigevorrichtung 128 nicht enthalten.
«Konfiguration der Stereokamera»
In der ersten Ausführungsform umfasst die Stereokamera 125 eine rechte Kamera 1251 und eine linke Kamera 1252. Kameras, die einen CCD-Sensor (charge-coupled device) und einen CMOS-Sensor (complementary metal-oxide-semiconductor) verwenden, sind veranschaulichende Beispiele für jede Kamera.
Die rechte Kamera 1251 und die linke Kamera 1252 sind in einem Abstand in einer Links-/Rechtsrichtung (Y-Achsenrichtung) installiert, so dass die optischen Achsen der Kameras im Wesentlichen parallel zu einer Bodenfläche der Kabine 121 verlaufen. Die Stereokamera 125 ist ein Beispiel für eine Bilderfassungsvorrichtung. Die Steuervorrichtung 127 kann einen Abstand zwischen der Stereokamera 125 und einem erfassten Ziel berechnen, indem sie ein von der rechten Kamera 1251 aufgenommenes Bild und ein von der linken Kamera 1252 aufgenommenes Bild verwendet. Im Folgenden wird das von der rechten Kamera 1251 aufgenommene Bild auch als Bild des rechten Auges bezeichnet. Das von der linken Kamera 1252 aufgenommene Bild wird auch als Bild des linken Auges bezeichnet. Eine Kombination der von den beiden Kameras der Stereokamera 125 aufgenommenen Bilder wird auch als Stereobild bezeichnet. In einer anderen Ausführungsform kann die Stereokamera 125 aus drei oder mehr Kameras aufgebaut sein.
«Konfiguration der Steuervorrichtung»
3 ist ein schematisches Blockdiagramm, das eine Konfiguration der Steuervorrichtung gemäß der ersten Ausführungsform zeigt.
Die Steuervorrichtung 127 enthält einen Prozessor 91, einen Hauptspeicher 92, einen Speicher 93 und eine Schnittstelle 94.
Im Speicher 93 ist ein Programm zur Steuerung der Arbeitsausrüstung 110 gespeichert. Ein Festplattenlaufwerk (HDD) und ein nichtflüchtiger Speicher sind beispielhafte Beispiele für den Speicher 93. Der Speicher 93 kann ein internes Medium sein, das direkt mit einem Bus der Steuervorrichtung 127 verbunden ist, oder ein externes Medium, das über die Schnittstelle 94 oder eine Kommunikationsleitung mit der Steuervorrichtung 127 verbunden ist. Der Speicher 93 ist ein Beispiel für eine Speichereinheit.
Der Prozessor 91 liest das Programm aus dem Speicher 93, erweitert das Programm in den Hauptspeicher 92 und führt die Verarbeitung gemäß dem Programm aus. Der Prozessor 91 sichert einen Speicherbereich im Hauptspeicher 92 entsprechend dem Programm. Der Hauptspeicher 92 ist ein Beispiel für die Speichereinheit. Die Schnittstelle 94 ist mit dem Arbeitsausrüstungspositionsdetektor 122, dem Positions-/Azimutrichtungsrechner 123, dem Neigungsdetektor 124, der Stereokamera 125, der Anzeigevorrichtung 128 und einer weiteren Peripherievorrichtung verbunden, um Signale zu senden und zu empfangen.
Die Steuervorrichtung 127 gemäß der ersten Ausführungsform zeigt die Führungsinformationen, die eine relative Position zwischen der Arbeitsmaschine und dem Lade-/Entladeziel des Transportmaterials darstellen, auf der Anzeigevorrichtung 128 an. Dementsprechend kann der Bediener das Lade-/Entladeziel durch Bezugnahme auf die Führungsinformationen auch in einem Fall erkennen, in dem es schwierig ist, das Lade-/Entladeziel visuell zu erkennen.
Wenn das Programm ausgeführt wird, verfügt der Prozessor 91 daher über eine Datenerfassungseinheit 1701, eine Flächenbestimmungseinheit 1702, eine dreidimensionale Datenerzeugungseinheit 1703, eine Lade-/Entladezielbestimmungseinheit 1704, eine Modellanpassungseinheit 1705, eine Arbeitsausrüstungspositionsbestimmungseinheit 1706, eine Führungsinformationsbestimmungseinheit 1707, eine Anzeigesteuereinheit 1708 und eine Lerneinheit 1709. Der Speicher 93 speichert einen Kameraparameter CP, ein Segmentierungsmodell M und ein Zielmodell D. Der Kameraparameter CP ist eine Information, die eine Positionsbeziehung zwischen dem Schwenkkörper 120 und der rechten Kamera 1251 und eine Positionsbeziehung zwischen dem Schwenkkörper 120 und der linken Kamera 1252 angibt. Bei dem Zielmodell D handelt es sich um dreidimensionale Daten, die eine Form der Kippmulde 210 darstellen.
Das Programm kann dazu dienen, einige der von der Steuervorrichtung 127 ausgeübten Funktionen zu realisieren. Zum Beispiel kann das Programm die Funktion durch eine Kombination mit einem anderen, bereits im Speicher 93 gespeicherten Programm oder durch eine Kombination mit einem anderen, in einem anderen Gerät installierten Programm ausüben. In einer anderen Ausführungsform kann die Steuervorrichtung 127 zusätzlich oder anstelle der obigen Konfiguration eine kundenspezifische große integrierte Schaltung (LSI) wie z. B. einen programmierbaren Logikbaustein (PLD) enthalten. Eine programmierbare Array-Logik (PAL), eine generische Array-Logik (GAL), ein komplexer programmierbarer Logikbaustein (CPLD) und eine im Feld programmierbare Gatter-Anordnung (FPGA) sind beispielhafte Beispiele für die PLD. In diesem Fall können einige oder alle Funktionen, die vom Prozessor realisiert werden, von der integrierten Schaltung realisiert werden.
Die Datenerfassungseinheit 1701 erfasst Daten vom Arbeitsausrüstungspositionsdetektor 122, dem Positions-/Azimutrichtungsrechner 123, dem Neigungsdetektor 124 und der Stereokamera 125 über die Schnittstelle 94. Das heißt, die Datenerfassungseinheit 1701 erfasst den Winkel der Arbeitsausrüstung 110, eine Position, eine Azimutrichtung und eine Neigung des Schwenkkörpers 120 sowie das Stereobild. Die Datenerfassungseinheit 1701 ist ein Beispiel für eine Bilderfassungseinheit. Im Folgenden werden die Position, die Azimutrichtung und die Neigung des Schwenkkörpers 120 auch als Lage bzw. Haltung des Schwenkkörpers 120 bezeichnet. Da die Stereokamera 125 am Schwenkkörper 120 vorgesehen ist, stellen die Position, die Azimutrichtung und die Neigung des Schwenkkörpers 120 eine Haltung der Stereokamera 125 dar.
4 ist ein Diagramm, das ein Beispiel für eine Bildsegmentierung gemäß der ersten Ausführungsform zeigt.
Die Flächenbestimmungseinheit 1702 gibt das Bild des rechten Auges des von der Datenerfassungseinheit 1701 erfassten Stereobildes in das im Speicher 93 gespeicherte Segmentierungsmodell M ein, um das Bild des rechten Auges in eine Vielzahl von Bereichen zu unterteilen, die einer Vielzahl bekannter Objekte entsprechen. Zum Beispiel, wie in 4 gezeigt, erzeugt die Flächenbestimmungseinheit 1702 ein Segmentbild, in dem das Bild des rechten Auges, das ein Eingabebild ist, in die Vielzahl von Bereichen unterteilt wird, die fünf Objekten einer Fahrzeugkarosserie des Muldenkippers 200, der Kippmulde 210, dem Transportmaterial L, der Arbeitsausrüstung 110 und dem Boden entsprechen. Die Vielzahl der bekannten Objekte umfasst zumindest die Kippmulde 210, die ein Ladeziel ist. Ein Wert jedes Pixels des Segmentbildes nimmt einen Wert an, der einen Typ des Objekts dargestellt, das in dem Pixel des Eingabebildes, das dem Pixel entspricht, gezeigt wird. Das heißt, das Segmentbild wird in eine Vielzahl von Bereichen (Segmenten) unterteilt, die aus einer Vielzahl von Pixeln mit demselben Wert gebildet werden. Die Flächenbestimmungseinheit 1702 bestimmt einen Bereich, in dem die Kippmulde in dem von der Datenerfassungseinheit 1701 erfassten Stereobild gezeigt wird, basierend auf dem Segmentbild des Segmentierungsmodells M.
Das Segmentierungsmodell M enthält ein neuronales Netz 140, das in 5 dargestellt ist. 5 ist ein Diagramm, das ein Beispiel für eine Konfiguration eines neuronalen Netzes zeigt. Das Segmentierungsmodell M wird z. B. durch ein gelerntes Modell eines tiefen neuronalen Netzes (DNN) realisiert. Das gelernte Modell ist aus einer Kombination aus einem Lernmodell und einem gelernten Parameter konfiguriert.
Wie in 5 gezeigt, enthält das neuronale Netzwerk 140 eine Eingabeschicht 141, eine oder mehrere Zwischenschichten 142 (versteckte Schichten) und eine Ausgabeschicht 143. Jede der Schichten 141, 142 und 143 enthält ein oder mehrere Neuronen. Die Anzahl der Neuronen in der Zwischenschicht 142 kann beliebig eingestellt werden. Die Ausgabeschicht 143 kann entsprechend der Größe eines Ausgabebildes eingestellt werden.
Neuronen in benachbarten Schichten werden miteinander gekoppelt, und für jede Kopplung wird ein Gewicht (Kopplungslast) eingestellt. Die Anzahl der gekoppelten Neuronen kann nach Bedarf eingestellt werden. Für jedes Neuron wird ein Schwellenwert eingestellt. Ein Ausgabewert jedes Neurons wird dadurch bestimmt, ob eine Summe der Produkte aus einem Eingabewert und der Gewichtung für jedes Neuron den Schwellenwert überschreitet oder nicht.
Ein Bild wird in die Eingabeschicht 141 eingegeben. Das Bild, das in die Eingabeschicht 141 eingegeben wird, ist ein Bild, das ein Objekt zeigt, das mindestens einem einer Vielzahl von Bereichen (einer Vielzahl von Objekten) entspricht. In die Ausgabeschicht 143 wird ein Segmentbild eingegeben, in dem ein Wert jedes Pixels einen Wert annimmt, der einen Typ eines Objekts darstellt, das in einem entsprechenden Pixel des in die Eingabeschicht 141 eingegebenen Bildes gezeigt wird und dem Pixel entspricht. Das heißt, das Segmentierungsmodell M ist ein gelerntes Modell, das trainiert wurde, um ein in Bereiche unterteiltes Segmentbild für jedes in einem Bild dargestellte Objekt auszugeben, wenn das Bild eingegeben wird.
Zum Beispiel wird das Segmentierungsmodell M trainiert, indem ein Datensatz zum Lernen verwendet wird, in dem das an der Ladestelle aufgenommene Bild als Lerndaten und das Segmentbild, in dem der Pixelwert für jede der Fahrzeugkarosserien des Muldenkippers 200, der Kippmulde 210, des Transportmaterials L, der Arbeitsausrüstung 110 und des Bodens aufgeteilt ist, als überwachte Daten verwendet wird. In der vorliegenden Ausführungsform beziehen sich die „Lerndaten“ auf Daten, die während des Trainings des Lernmodells in die Eingabeschicht eingegeben werden. In der vorliegenden Ausführungsform sind die „überwachten Daten“ Daten, die eine korrekte Antwort zum Vergleich mit dem Wert der Ausgabeschicht des neuronalen Netzes 140 darstellen. In der vorliegenden Ausführungsform bezieht sich der „Datensatz für das Lernen“ auf eine Kombination aus den Lerndaten und den überwachten Daten.
Der durch Lernen erhaltene gelernte Parameter des Segmentierungsmodells M wird im Speicher 93 abgelegt. Der gelernte Parameter umfasst z. B. die Anzahl der Schichten des neuronalen Netzes 140, die Anzahl der Neuronen in jeder Schicht, eine Kopplungsbeziehung zwischen den Neuronen, das Gewicht der Kopplung zwischen den Neuronen und den Schwellenwert jedes Neurons.
Eine DNN-Konfiguration, die im Allgemeinen für die Bildsegmentierung verwendet wird, wird als Konfiguration des neuronalen Netzes 140 des Segmentierungsmodells M verwendet. Das Segmentierungsmodell M kann eine TL-Version (transfer-learned version) eines bestehenden gelernten Segmentierungsmodells sein, das den obigen Datensatz zum Lernen verwendet. Das Segmentierungsmodell M gemäß einer anderen Ausführungsform kann durch nicht überwachtes Lernen oder Verstärkungslernen trainiert werden.
Die dreidimensionale Datenerzeugungseinheit 1703 extrahiert, basierend auf einem Bereich, in dem die von der Flächenbestimmungseinheit 1702 bestimmte Kippmulde 210 gezeigt wird, ein Teilbild für das rechte Auge und ein Teilbild für das linke Auge, die aus Pixeln konfiguriert sind, die sich auf den Bereich aus jedem der Bilder für das rechte Auge und das linke Auge des Stereobildes beziehen. Die dreidimensionale Datenerzeugungseinheit 1703 kann das Teilbild für das rechte Auge und das Teilbild für das linke Auge nicht nur aus dem Bereich extrahieren, der als die Kippmulde 210 klassifiziert ist, sondern auch aus einem Bereich, der die Umgebung des Bereichs einschließt, der als die Kippmulde 210 klassifiziert ist. Beispielsweise kann die dreidimensionale Datenerzeugungseinheit 1703 einen Bereich, in dem ein Rechteck, das den als die Kippmulde 210 klassifizierten Bereich umschreibt, vertikal und horizontal um eine vorbestimmte Anzahl von Pixeln erweitert ist, als Teilbild des rechten Auges und Teilbild des linken Auges extrahieren. Durch das Extrahieren des Bereichs, der die Umgebung des als die Kippmulde 210 klassifizierten Bereichs einschließt, kann verhindert werden, dass der Bereich, in dem die Kippmulde 210 angezeigt wird, selbst in einem Fall fehlt, in dem ein Teil der Kippmulde aufgrund eines Segmentierungsfehlers als anderes Objekt klassifiziert wird.
Die dreidimensionale Datenerzeugungseinheit 1703 erzeugt Punktgruppendaten, die eine Position des Bereichs angeben, in dem der Kippmulden 210 im Standortkoordinatensystem angezeigt wird, basierend auf dem Teilbild des rechten Auges und dem Teilbild des linken Auges, den im Speicher 93 gespeicherten Kameraparametern CP und der Position, Azimutrichtung und Neigung des Schwenkkörpers 120, die von der Datenerfassungseinheit 1701 erfasst wurden. Im Einzelnen erzeugt die dreidimensionale Datenerzeugungseinheit 1703 die Punktgruppendaten durch das folgende Verfahren. Zunächst erzeugt die dreidimensionale Datenerzeugungseinheit 1703 die Punktgruppendaten, die sich auf das Kippmulden-Koordinatensystem beziehen, durch Triangulation auf der Grundlage des Teilbildes des rechten Auges, des Teilbildes des linken Auges und des Kameraparameters CP. Als nächstes wandelt die dreidimensionale Datenerzeugungseinheit 1703 eine Position jedes Punktes im Kippmulden-Koordinatensystem in die Position jedes Punktes im Standortkoordinatensystem basierend auf der Position, der Azimutrichtung und der Neigung des Schwenkkörpers 120 um. Die Punktgruppendaten sind ein Beispiel für dreidimensionale Daten, die eine dreidimensionale Form des Objekts des aufgenommenen Bildes darstellen. In einer anderen Ausführungsform können als dreidimensionale Daten ein Tiefenbild, ein Polygon, ein CAD-Modell und Ähnliches verwendet werden.
Die Lade-/Entladezielbestimmungseinheit 1704 bestimmt eine dreidimensionale Feature-Menge (3D-Punktgruppen-Feature-Menge) für jeden Punkt der von der dreidimensionalen Datenerzeugungseinheit 1703 erzeugten Punktgruppendaten. Ein normales Feature, ein SHOT-Feature (signature of histograms of orientations) und ein PFH-Feature (point feature histograms) sind beispielhafte Beispiele für die dreidimensionale Feature-Menge. Zum Beispiel kann das normale Feature eines bestimmten Punktes (Punkt von Interesse), der in der Punktegruppe enthalten ist, erhalten werden, indem man einen Eigenvektor erhält, der sich auf einen minimalen Eigenwert einer Kovarianzmatrix der Punktegruppe um den Punkt von Interesse bezieht. Die Lade-/Entladezielbestimmungseinheit 1704 gruppiert die Punktgruppendaten für jede Oberfläche der Kippmulde 210 basierend auf der Feature-Menge. Insbesondere unterteilt die Lade-/Entladezielbestimmungseinheit 1704 die Punktgruppendaten in eine Gruppe, die einer Vorderwand entspricht, eine Gruppe, die einer Seitenklappe entspricht, eine Gruppe, die einer Heckklappe entspricht, und eine Gruppe, die einer Bodenfläche entspricht, basierend auf der Feature-Menge. Das hier beschriebene Unterteilungsverfahren der Punktgruppendaten ist ein Beispiel, und die Punktgruppendaten können in andere als die oben genannten vier Gruppen unterteilt werden. In einer anderen Ausführungsform besteht zum Beispiel eine hohe Wahrscheinlichkeit, dass das Lade-/Entladeziel verdeckt ist. Daher muss die Lade-/Entladezielbestimmungseinheit 1704 die Gruppierung in die Gruppe, die der Bodenfläche entspricht, nicht durchführen. Die Lade-/Entladezielbestimmungseinheit 1704 ist ein Beispiel für eine Kippmuldenoberflächenbestimmungseinheit.
Die Modellanpassungseinheit 1705 ordnet das Zielmodell D in einem virtuellen Raum an, der durch das Standortkoordinatensystem dargestellt wird, basierend auf der Position der Punktgruppendaten, die für jede Oberfläche gruppiert sind, um eine Position, Azimutrichtung und Neigung der Kippmulde 210 im Standortkoordinatensystem zu bestimmen. Beispielsweise ordnet die Modellanpassungseinheit 1705 das Zielmodell D so an, dass ein typisches Normal-Feature der Gruppe der Punktgruppendaten und das Normal-Feature jeder Oberfläche der Kippmulde 210 innerhalb eines vorgegebenen Fehlerbereichs übereinstimmen. Die Modellanpassungseinheit 1705 kann gemäß einer anderen Ausführungsform die Position jeder Oberfläche im Karosseriekoordinatensystem oder einem Kamerakoordinatensystem angeben. Die Modellanpassungseinheit 1705 ist ein Beispiel für eine Lagebestimmungseinheit. Die Modellanpassungseinheit 1705 ist ein Beispiel für eine Lagebestimmungseinheit.
Die Arbeitsausrüstungspositionsbestimmungseinheit 1706 gibt die Positionen des Auslegers 111, des Arms 112 und des Löffels 113 im Standortkoordinatensystem auf der Grundlage des Winkels der Arbeitsausrüstung 110 und der von der Datenerfassungseinheit 1701 erfassten Position, Azimutrichtung und Neigung des Schwenkkörpers 120 an.
Die Führungsinformationserzeugungseinheit 1707 erzeugt die Führungsinformation, die die Positionsbeziehung zwischen der Kippmulde 210 und dem Löffel 113 angibt, basierend auf der Position der Kippmulde 210, die von der Modellanpassungseinheit 1705 bestimmt wird, den Positionen des Auslegers 111, des Arms 112 und des Löffels 113, die von der Arbeitsausrüstungspositionsbestimmungseinheit 1706 bestimmt werden, und der Position, Azimutrichtung und Neigung des Schwenkkörpers 120, die von der Datenerfassungseinheit 1701 erfasst werden.
6 ist ein Beispiel für die Führungsinformation. Zum Beispiel, wie in 6 gezeigt, ordnet die Führungsinformationserzeugungseinheit 1707 das dreidimensionale Modell des Hydraulikbaggers 100 im virtuellen Raum an, basierend auf den Positionen des Auslegers 111, des Arms 112 und des Löffels 113, die von der Arbeitsausrüstungspositionsbestimmungseinheit 1706 bestimmt werden, und der Position, Azimutrichtung und Neigung des Schwenkkörpers 120. Die Führungsinformationserzeugungseinheit 1707 stellt das dreidimensionale Modell des Hydraulikbaggers 100 so bereit, dass eine Differenz zwischen der dreidimensionalen Feature-Menge des dreidimensionalen Modells des Muldenkippers 200 und der von der Modellanpassungseinheit 1705 vorgegebenen dreidimensionalen Feature-Menge der Kippmulde 210 minimiert wird. Die Führungsinformationserzeugungseinheit 1707 stellt den Hydraulikbagger 100 und den Muldenkipper 200, die im virtuellen Raum angeordnet sind, von einem zufälligen Standpunkt aus dar, um die Führungsinformation zu erzeugen, die die Positionsbeziehung zwischen dem Löffel 113 des Hydraulikbaggers 100 und der Kippmulde 210 des Muldenkippers 200 darstellt.
Die Führungsinformation gemäß einer anderen Ausführungsform muss die Positionsbeziehung zwischen dem Löffel 113 und der Kippmulde 210 nicht grafisch darstellen. Die Führungsinformation gemäß einer anderen Ausführungsform kann z. B. eine Information sein, die anzeigt, ob sich der Löffel 113 in der Draufsicht von oben im Außenrahmen der Kippmulde 210 befindet oder nicht. Die Führungsinformation gemäß einer anderen Ausführungsform kann die Anzeige einer Aushubzielposition des Löffels 113 oder die Führungsinformation für die Aushubposition des Löffels 113 sein (z.B. Information oder Anzeige einer Differenz zwischen einer aktuellen Position des Löffels 113 und der Aushubzielposition). Die Führungsinformation kann eine Information oder eine Anzeige sein, die angibt, wie viel Arbeitsgang erforderlich ist, um die Aushubzielposition zu erreichen. Es können zumindest nur die Kippmulde 210 und der Löffel 113 angezeigt werden.
Die Anzeigesteuereinheit 1708 gibt ein Anzeigesignal zur Anzeige der Führungsinformation an die Anzeigevorrichtung 128 aus.
Die Lerneinheit 1709 führt die Lernverarbeitung des Segmentierungsmodells M durch. Die Lerneinheit 1709 kann in einem von der Steuervorrichtung 127 getrennten Gerät vorgesehen sein. In diesem Fall wird das im separaten Gerät gelernte Modell im Speicher 93 aufgezeichnet.
«Anzeigeverfahren»
7 ist ein Flussdiagramm, das ein Anzeigeverfahren der Führungsinformation durch die Steuervorrichtung gemäß der ersten Ausführungsform zeigt.
Zunächst erfasst die Datenerfassungseinheit 1701 den Winkel der Arbeitsausrüstung 110 vom Arbeitsausrüstungspositionsdetektor 122 über die Schnittstelle 94, erfasst die Position und die Azimutrichtung des Schwenkkörpers 120 vom Positions-/Azimutrichtungsrechner 123, erfasst die Neigung des Schwenkkörpers 120 vom Neigungsdetektor 124 und erfasst das Stereobild von der Stereokamera 125 (Schritt S1). In einer anderen Ausführungsform muss die Datenerfassungseinheit 1701 den Winkel der Arbeitsausrüstung 110 sowie die Position, Azimutrichtung und Neigung des Schwenkkörpers 120 nicht erfassen. Als nächstes gibt die Flächenbestimmungseinheit 1702 das Bild des rechten Auges des von der Datenerfassungseinheit 1701 erfassten Stereobildes in das im Speicher 93 gespeicherte Segmentierungsmodell M ein, um das in mehrere Bereiche unterteilte Segmentbild für jedes gezeigte Objekt zu erhalten (Schritt S2). In einer anderen Ausführungsform kann die Flächenbestimmungseinheit 1702 das Segmentbild aus dem Bild des linken Auges erhalten. Die Flächenbestimmungseinheit 1702 bestimmt einen Bereich, in dem die Kippmulde in dem von der Datenerfassungseinheit 1701 erfassten Stereobild gezeigt wird, basierend auf dem Segmentbild (Schritt S3).
Die dreidimensionale Datenerzeugungseinheit 1703 extrahiert das Teilbild des rechten Auges und das Teilbild des linken Auges, die sich auf den in Schritt S3 bestimmten Bereich beziehen, in dem die Kippmulde 210 jeweils vom Rechtsaugenbild und Linksaugenbild des Stereobildes aus (Schritt S4) gezeigt wird. Die dreidimensionale Datenerzeugungseinheit 1703 erzeugt die auf das Kippmulden-Koordinatensystem bezogenen Punktgruppendaten durch Triangulation auf der Grundlage des Teilbildes des rechten Auges, des Teilbildes des linken Auges und des Kameraparameters CP (Schritt S5). Als nächstes wandelt die dreidimensionale Datenerzeugungseinheit 1703 die Position jedes Punktes der Punktgruppendaten im Kippmulden-Koordinatensystem in die Position jedes Punktes davon im Standort-Koordinatensystem basierend auf der Position, der Azimutrichtung und der Neigung des in Schritt S1 erfassten Schwenkkörpers 120 (Schritt S6) um. Das heißt, die dreidimensionale Datenerzeugungseinheit 1703 verschiebt die Punktgruppendaten parallel auf der Grundlage der in Schritt S1 erfassten Position des Schwenkkörpers 120 und dreht die Punktgruppendaten auf der Grundlage der Azimutrichtung und der Neigung davon. Die Koordinatenumwandlung vom Kippmulden-Koordinatensystem in das Standort-Koordinatensystem kann nach Schritt S7 oder Schritt S8 durchgeführt werden, wie weiter unten beschrieben wird.
Die Lade-/Entladezielbestimmungseinheit 1704 bestimmt die dreidimensionalen Feature-Menge für jeden Punkt der in Schritt S6 erhaltenen Punktgruppendaten und gruppiert die Punktgruppendaten für jede Oberfläche der Kippmulde 210 basierend auf der dreidimensionalen Feature-Menge (Schritt S7). Dementsprechend kann die Lade-/Entladezielbestimmungseinheit 1704 jede Oberfläche der Kippmulde 210 aus den Punktgruppendaten bestimmen.
Die Modellanpassungseinheit 1705 ordnet das Zielmodell D in dem virtuellen Raum an, der durch das Standortkoordinatensystem dargestellt wird, so dass eine Differenz zwischen einer dreidimensionalen Feature-Menge der Punktgruppendaten, die sich auf jede Gruppe beziehen, und einer dreidimensionalen Feature-Menge des in dem Speicher 93 gespeicherten Zielmodells D minimiert wird, um die Position, die Azimutrichtung und die Neigung der Kippmulde 210 in dem Standortkoordinatensystem zu spezifizieren (Schritt S8). Mit der Anordnung des Zielmodells D im virtuellen Raum auf der Grundlage der Punktgruppendaten durch die Modellanpassungseinheit 1705 ist es möglich, einen verdeckten Abschnitt der Kippmulde 210 selbst in einem Fall zu schätzen, in dem ein Teil der Kippmulde 210 oder dergleichen durch ein Hindernis im Stereobild verdeckt ist, und dann ist es möglich, die Erkennungsgenauigkeit der Kippmulde 210 zu verbessern. In einer anderen Ausführungsform kann die Modellanpassungseinheit 1705 eine bestimmte, in Schritt S7 gruppierte Fläche oder einen bestimmten Punkt der Fläche mit einer entsprechenden Fläche oder einem bestimmten Punkt des Zielmodells D abgleichen, um das Zielmodell D im Standortkoordinatensystem anzuordnen. Die Steuervorrichtung 127 kann eine Position, eine Azimutrichtung und eine Neigung der Kippmulde 210 von jeder in Schritt S7 bestimmten Oberfläche spezifizieren, ohne die Anpassung mit dem Zielmodell D durchzuführen. Zum Beispiel kann die Steuervorrichtung 127 die Position der Kippmulde 210 von Positionen der Schwerpunkte der mehreren bestimmten Oberflächen spezifizieren, die Azimutrichtung der Kippmulde von einer normalen Richtung der Oberfläche spezifizieren, die der Vorderwand oder der Heckklappe entspricht, und weiter die Neigung der Kippmulde von der normalen Richtung der Bodenfläche der Kippmulde 210 spezifizieren. Andererseits ist es nicht immer möglich, jede Fläche in den Punktgruppendaten genau zu extrahieren. Daher führt die Steuervorrichtung 127 die Anpassung mit dem Zielmodell D durch, und es ist möglich, die Robustheit bei der Angabe der Position, Azimutrichtung und Neigung der Kippmulde 210 weiter zu verbessern.
Die Arbeitsausrüstungspositionsbestimmungseinheit 1706 legt die Positionen des Auslegers 111, des Arms 112 und des Löffels 113 im Standortkoordinatensystem fest, basierend auf dem Winkel der Arbeitsausrüstung 110 und der Position, der Azimutrichtung und der Neigung des Schwenkkörpers 120, die von der Datenerfassungseinheit 1701 erfasst wurden (Schritt S9).
Die Führungsinformationserzeugungseinheit 1707 erzeugt die in 6 gezeigten Führungsinformationen auf der Grundlage der in Schritt S8 angegebenen Position, Azimutrichtung und Neigung der Kippmulde 210, der in Schritt S9 angegebenen Positionen des Auslegers 111, des Arms 112 und des Löffels 113 sowie der in Schritt S1 erfassten Position, Azimutrichtung und Neigung des Schwenkkörpers 120 (Schritt S10). Die Anzeigesteuereinheit 1708 gibt das Anzeigesignal zur Anzeige der Führungsinformationen an die Anzeigevorrichtung 128 aus (Schritt S11).
«Lernverfahren»
8 ist ein Flussdiagramm, das ein Lernverfahren für das Segmentierungsmodell gemäß der ersten Ausführungsform zeigt. Die Datenerfassungseinheit 1701 erfasst die Lerndaten (Schritt S101). Die Lerndaten des Segmentierungsmodells M sind beispielsweise ein an der Ladestelle aufgenommenes Bild oder ein aus 3DCG- oder CAD-Daten generiertes Bild. Eine Vielzahl von Lerndaten, die für das Lernen des Segmentierungsmodells M verwendet werden, umfassen mindestens ein Bild, das die Kippmulde 210 zeigt. Die Lerndaten können aus dem von der Stereokamera 125 aufgenommenen Bild gewonnen werden. Die Lerndaten können aus einem Bild gewonnen werden, das von einer anderen Arbeitsmaschine aufgenommen wurde.
Als Nächstes führt die Lerneinheit 1709 das Lernen des Segmentierungsmodells M durch. Die Lerneinheit 1709 verwendet die Kombination aus den in Schritt S101 erfassten Lerndaten und den überwachten Daten, die das Segmentbild sind, das in die Vielzahl von Bereichen unterteilt ist, die den Objekten entsprechen, die in dem mit den Lerndaten verbundenen Bild gezeigt werden, als den Datensatz zum Lernen, um das Lernen des Segmentierungsmodells M durchzuführen (Schritt S102).
Zum Beispiel verwendet die Lerneinheit 1709 die Lerndaten als Eingabe, um die Berechnungsverarbeitung des neuronalen Netzes 140 in einer Vorwärtspropagationsrichtung durchzuführen. Dementsprechend erhält die Lerneinheit 1709 den Ausgangswert, der von der Ausgabeschicht 143 des neuronalen Netzes 140 ausgegeben wird. Der Datensatz zum Lernen kann im Hauptspeicher 92 oder im Speicher 93 abgelegt werden. Als nächstes berechnet die Lerneinheit 1709 einen Fehler zwischen dem Ausgabewert aus der Ausgabeschicht 143 und den überwachten Daten. Die Lerneinheit 1709 aktualisiert das Gewicht der Kopplung zwischen den Neuronen basierend auf dem Fehler des berechneten Ausgabewerts.
Die Lerneinheit 1709 gibt die Lerndaten, die sich auf einen Bewertungsdatensatz beziehen, in das Segmentierungsmodell M ein, um zu bestimmen, ob der Ausgabewert des Segmentierungsmodells M mit den überwachten Daten, die sich auf den Bewertungsdatensatz beziehen, übereinstimmt oder nicht, wobei der Datensatz zum Lernen, der nicht für das Lernen des Segmentierungsmodells M verwendet wurde, als Bewertungsdatensatz verwendet wird (Schritt S103). Wenn die Anzahl der Pixel, in denen der Ausgabewert und die überwachten Daten unterschiedlich sind, innerhalb einer vorbestimmten Anzahl liegt, kann bestimmt werden, dass der Ausgabewert und die überwachten Daten übereinstimmen. In einem Fall, in dem der Ausgabewert aus dem Segmentierungsmodell M nicht mit den überwachten Daten übereinstimmt (Schritt S103: NO), wird die obige Verarbeitung wiederholt, bis der Ausgabewert aus dem Segmentierungsmodell M mit den überwachten Daten übereinstimmt. Als Ergebnis wird ein Parameter des Segmentierungsmodells M optimiert, und das Segmentierungsmodell M kann gelernt werden.
In einem Fall, in dem der Ausgabewert des Segmentierungsmodells M mit den überwachten Daten übereinstimmt (Schritt S103: JA), zeichnet die Lerneinheit 1709 das Segmentierungsmodell M auf, das ein gelerntes Modell einschließlich des durch das Lernen optimierten Parameters im Speicher 93 ist (Schritt S104).
«Betrieb/Wirkung»
Wie oben beschrieben, bestimmt die Steuervorrichtung 127 gemäß der ersten Ausführungsform den Bereich, in dem der Kippmulden 210 gezeigt wird, und bestimmt die Position der Kippmulde 210 basierend auf dem Bereich aus dem erfassten Bild, das die Kippmulde 210 zeigt, der das Lade-/Entladeziel des Transportmaterials L ist. Wie oben beschrieben, kann die Steuervorrichtung 127 gemäß der ersten Ausführungsform die Position des Lade-/Entladeziels unabhängig von einer im Bild enthaltenen Kante spezifizieren. Dementsprechend kann die Steuervorrichtung 127 gemäß der ersten Ausführungsform die Robustheit der Verarbeitung der Bestimmung der Position des Lade-/Entladeziels des Transportmaterials L selbst in einem Fall verbessern, in dem es schwierig ist, die Kante aufgrund der Verzerrung des Lade-/Entladeziels oder dergleichen zu erkennen. Wenn das Transportmaterial L in die Kippmulde 210 geladen wird, wird eine Oberflächenform der Kippmulde 210 als Ganzes verändert. Das Transportmaterial L und die Kippmulde 210 können jedoch durch Angabe des Bereichs, in dem die Kippmulde 210 dargestellt ist, identifiziert werden. Daher ist es möglich, die Robustheit der Erkennung zu verbessern. Je nach Ausführungsform kann die Verarbeitung der Schritte S2 bis S6 und der Schritte S8 bis S11 der in 7 gezeigten Verarbeitung durch die Steuervorrichtung 127 entfallen.
Das Steuervorrichtung 127 gemäß der ersten Ausführungsform zeigt die Führungsinformationen an. Dementsprechend ermöglicht die Steuervorrichtung 127 auch in einem Fall, in dem es für den Bediener schwierig ist, die Kippmulde 210 aufgrund einer relativen Position zwischen dem Hydraulikbagger 100 und dem Muldenkipper 200 visuell zu erkennen, dem Bediener, das Lade-/Entladeziel zu erkennen. Es ist möglich, die Arbeitseffizienz zu verbessern, indem die Arbeitsausrüstung 110 anhand der als Führungsinformation angezeigten Kippmulde 210 bedient wird.
Gemäß der ersten Ausführungsform legt die Steuervorrichtung 127 den Bereich fest, in dem das Lade-/Entladeziel im erfassten Bild angezeigt wird, basierend auf dem Segmentierungsmodell M und dem erfassten Bild. Es ist bekannt, dass die Segmentierung, d. h. die Segmentierung von Objekten, die in einem Bild enthalten sind, mit dem gelernten Modell im Zusammenhang mit dem maschinellen Lernen genau realisiert werden kann. Daher kann die Steuervorrichtung 127 gemäß der ersten Ausführungsform eine Position eines vorbestimmten Abschnitts der Kippmulde 210 genau bestimmen, indem der Kippmulden 210 unter Verwendung des Segmentierungsmodells M erkannt wird. Die Steuervorrichtung 127 kann die Segmentierung der im Bild dargestellten Objekte durch ein anderes Verfahren als das maschinelle Lernverfahren durchführen.
Gemäß der ersten Ausführungsform erzeugt die Steuervorrichtung 127 die Punktgruppendaten unter Verwendung des Teilbildes des rechten Auges und des Teilbildes des linken Auges, die sich auf den angegebenen Bereich beziehen. Dementsprechend ist es möglich, den Berechnungsaufwand im Vergleich zu dem Fall zu reduzieren, in dem die Punktgruppendaten unter Verwendung aller Pixel des Stereobildes erzeugt werden. Da die zusätzlichen Bereiche außer dem durch die Segmentierung bestimmten Bereich (z. B. Bereiche wie das Transportmaterial L, die Arbeitsausrüstung 110 und der Boden) weggelassen werden, kann die Lade-/Entladezielbestimmungseinheit 1704 eine Möglichkeit des Untermischens von Rauschen in der Punktgruppendatengruppe reduzieren. Die Steuervorrichtung 127 gemäß einer anderen Ausführungsform kann die Punktgruppendaten unter Verwendung aller Pixel des Stereobildes erzeugen und einen Teil, der sich auf einen bestimmten Bereich bezieht, aus den Punktgruppendaten extrahieren.
In einer anderen Ausführungsform können die dreidimensionalen Daten erzeugt werden, indem anstelle des Stereobildes ein von einem Laserscanner erzeugtes Fernbild verwendet wird.
Die Steuervorrichtung 127 gemäß der ersten Ausführungsform erzeugt die Punktgruppendaten aus dem erfassten Bild und stellt die Punktgruppendaten im Standortkoordinatensystem basierend auf der Position, Azimutrichtung und Neigung des Schwenkkörpers 120 zur Verfügung. Dementsprechend ist es möglich, die Position, die Azimutrichtung und die Neigung der Kippmulde 210 im Standortkoordinatensystem auch in einem Fall festzulegen, in dem eine Position, eine Azimutrichtung und eine Neigung der Stereokamera 125 durch den Betrieb des Hydraulikbaggers 100 geändert werden. In einer anderen Ausführungsform können in einem Fall, in dem die Stereokamera 125 fest an der Baustelle installiert ist, die Punktgruppendaten im Baustellenkoordinatensystem angeordnet werden, ohne die Position, Azimutrichtung und Neigung des Schwenkkörpers 120 zu erhalten.
<Zweite Ausführungsform >
Nachfolgend wird eine zweite Ausführungsform unter Bezugnahme auf die Zeichnungen beschrieben. Die Steuervorrichtung 127 gemäß der ersten Ausführungsform erzeugt die Führungsinformation basierend auf der vorgegebenen Position, Azimutrichtung und Neigung der Kippmulde 210 und präsentiert die Führungsinformation dem Bediener. Im Gegensatz dazu steuert die Steuervorrichtung 127 gemäß der zweiten Ausführungsform die Beladung der Arbeitsausrüstung auf der Grundlage der vorgegebenen Position, Azimutrichtung und Neigung der Kippmulde 210.
«Konfiguration der Steuervorrichtung»
9 ist ein schematisches Blockdiagramm, das eine Konfiguration einer Steuervorrichtung gemäß der zweiten Ausführungsform zeigt.
Der Prozessor 91 gemäß der zweiten Ausführungsform enthält anstelle der Führungsinformationserzeugungseinheit 1707 und der Anzeigesteuereinheit 1708 gemäß der ersten Ausführungsform eine Arbeitsmaschinensteuereinheit 1711.
Die Arbeitsmaschinensteuereinheit 1711 steuert das Verhalten des Schwenkkörpers 120 und der Arbeitsausrüstung 110 basierend auf der Position, der Azimutrichtung und der Neigung der Kippmulde 210, die von der Modellanpassungseinheit 1705 vorgegeben werden, in einem Fall, in dem eine an der Bedienungsvorrichtung 126 vorgesehene Taste für automatisches Laden vom Bediener gedrückt wird.
«Steuerungsverfahren des Hydraulikbaggers»
10 ist ein Flussdiagramm, das ein Steuerungsverfahren für einen Hydraulikbagger gemäß der zweiten Ausführungsform zeigt.
Wenn die Taste für die automatische Beladung gedrückt wird, legt die Steuervorrichtung 127 die Positionen der Kippmulde 210 und der Arbeitsausrüstung 110 im Standortkoordinatensystem durch die gleiche Verarbeitung wie in den Schritten S1 bis S9 der ersten Ausführungsform fest. Die Arbeitsmaschinensteuereinheit 1711 erzeugt und gibt Steuersignale für den Schwenkkörper 120 und die Arbeitsausrüstung 110 basierend auf den Positionen der Kippmulde 210 und der Arbeitsausrüstung 110 im Standortkoordinatensystem aus (Schritt S31).
Wenn z. B. die Höhe des Löffels 113 niedriger ist als die Höhe der Kippmulde 210, erzeugt die Arbeitsmaschinensteuereinheit 1711 das Steuersignal zum Anheben des Auslegers 111. In einem Fall, in dem die Höhe des Löffels 113 gleich oder höher als die Höhe der Kippmulde 210 ist, stoppt die Arbeitsmaschinensteuereinheit 1711 die Ausgabe des Steuersignals zum Anheben des Auslegers 111 und startet die Ausgabe des Steuersignals zum Schwenken des Schwenkkörpers 120. In einem Fall, in dem die Höhe des Löffels 113 gleich oder höher als die Höhe der Kippmulde 210 ist und eine Position des Löffels 113 in Draufsicht von oben gesehen innerhalb eines Bereichs der Kippmulde 210 liegt, der von der Position der Kippmulde 210 aus bestimmt ist, stoppt die Arbeitsmaschinensteuereinheit 1711 die Ausgabe des Steuersignals zum Schwenken des Schwenkkörpers 120 und erzeugt das Steuersignal zum Abkippen des Löffels 113.
«Betrieb/Wirkung»
Wie oben beschrieben, kann die Steuervorrichtung 127 gemäß der zweiten Ausführungsform den Hydraulikbagger 100 automatisch auf der Grundlage des erfassten Bildes steuern.
<Dritte Ausführungsform>
Nachfolgend wird eine dritte Ausführungsform unter Bezugnahme auf die Zeichnungen beschrieben. Die Steuervorrichtung 127 gemäß der dritten Ausführungsform veranlasst die Anzeigevorrichtung 128, eine Kippmuldenkarte anzuzeigen, die eine Verteilung einer Menge des Transportmaterials L in der Kippmulde 210 anzeigt. Dementsprechend veranlasst die Steuervorrichtung 127 den Bediener, die Lade-/Entladeposition des Transportmaterials L zu erfassen, um das Transportmaterial L gleichmäßig in die Kippmulde 210 zu laden.
11 ist ein schematisches Blockdiagramm, das eine Konfiguration einer Steuervorrichtung gemäß der dritten Ausführungsform zeigt.
Die Steuervorrichtung 127 gemäß der dritten Ausführungsform enthält eine Verteilungsbestimmungseinheit 1721 anstelle der Arbeitsausrüstungspositionsbestimmungseinheit 1706 gemäß der ersten Ausführungsform. Die Flächenbestimmungseinheit 1702, die dreidimensionale Datenerzeugungseinheit 1703 und die Führungsinformationserzeugungseinheit 1707 gemäß der dritten Ausführungsform führen eine andere Verarbeitung als die der ersten Ausführungsform aus.
Die Flächenbestimmungseinheit 1702 legt einen Bereich fest, in dem das Transportmaterial L zusätzlich zu dem Bereich, in dem der Kippmulden 210 im Stereobild dargestellt ist, gezeigt wird.
Die dreidimensionale Datenerzeugungseinheit 1703 erzeugt Kippmuldenpunktgruppendaten, d. h. dreidimensionale Daten, die sich auf den Bereich beziehen, in dem die Kippmulde 210 dargestellt ist, und Transportmaterialpunktgruppendaten, d. h. dreidimensionale Daten, die sich auf den Bereich beziehen, in dem das Transportmaterial L dargestellt ist. Die dreidimensionale Datenerzeugungseinheit 1703 kann die Transportmaterialpunktgruppendaten nicht nur aus dem in das Transportmaterial L eingeordneten Bereich, sondern auch aus dem Bereich einschließlich der Umgebung des in das Transportmaterial L eingeordneten Bereichs erzeugen. Durch das Extrahieren des Bereichs, der die Umgebung des als Transportmaterial L klassifizierten Bereichs einschließt, kann verhindert werden, dass der Bereich, in dem das Transportmaterial L angezeigt wird, selbst in einem Fall fehlt, in dem ein Teil des Transportmaterials L aufgrund eines Segmentierungsfehlers als anderes Objekt klassifiziert wird.
Die Verteilungsbestimmungseinheit 1721 erzeugt die Kippmuldenkarte, die die Verteilung der Menge des Transportmaterials L in der Kippmulde 210 anzeigt, basierend auf einer dreidimensionalen Position der Bodenfläche der Kippmulde 210, die von der Modellanpassungseinheit 1705 bestimmt wurde, und den Transportmaterialpunktgruppendaten, die von der dreidimensionalen Datenerzeugungseinheit 1703 erzeugt wurden. Die Kippmuldenkarte ist z. B. eine Höhenkarte des Transportmaterials L in Bezug auf die Bodenfläche der Kippmulde 210.
Die Führungsinformationserzeugungseinheit 1707 erzeugt die Führungsinformationen aus der von der Verteilungsbestimmungseinheit 1721 erzeugten Kippmuldenkarte.
12 ist ein Beispiel für Führungsinformationen gemäß der dritten Ausführungsform. Wie in 12 gezeigt, erzeugt die Führungsinformationserzeugungseinheit 1707 beispielsweise die Führungsinformationen zur Anzeige einer zweidimensionalen Wärmekarte, die eine Verteilung einer Höhe von der Bodenfläche der Kippmulde 210 zur Oberfläche des Transportmaterials L darstellt. Die Granularität der vertikalen und horizontalen Unterteilungen in der in 12 gezeigten Wärmekarte ist ein Beispiel und ist in einer anderen Ausführungsform nicht darauf beschränkt. Die Wärmekarte gemäß einer anderen Ausführungsform kann beispielsweise ein Verhältnis einer Höhe des Transportmaterials L zu einer Höhe bezogen auf eine Obergrenze der Beladung der Kippmulde 210 darstellen.
«Anzeigeverfahren»
13 ist ein Flussdiagramm, das ein Anzeigeverfahren der Führungsinformation durch die Steuervorrichtung gemäß der dritten Ausführungsform zeigt.
Zunächst erfasst die Datenerfassungseinheit 1701 die Position und die Azimutrichtung des Schwenkkörpers 120 aus dem Positions-/Azimutrichtungsrechner 123 über die Schnittstelle 94, erfasst die Neigung des Schwenkkörpers 120 aus dem Neigungsdetektor 124 und erfasst das Stereobild aus der Stereokamera 125 (Schritt S51). In einer anderen Ausführungsform muss die Datenerfassungseinheit 1701 den Winkel der Arbeitsausrüstung 110 sowie die Position, Azimutrichtung und Neigung des Schwenkkörpers 120 nicht erfassen. Als nächstes gibt die Flächenbestimmungseinheit 1702 das von der Datenerfassungseinheit 1701 erfasste Stereobild in das im Speicher 93 gespeicherte Segmentierungsmodell M ein, um das in mehrere Bereiche unterteilte Segmentbild für jedes gezeigte Objekt zu erhalten (Schritt S52). Die Flächenbestimmungseinheit 1702 bestimmt den Bereich, in dem der Kippmulden 210 gezeigt wird, und den Bereich, in dem das Transportmaterial L in dem von der Datenerfassungseinheit 1701 erfassten Stereobild gezeigt wird, basierend auf dem Segmentbild (Schritt S53).
Die dreidimensionale Datenerzeugungseinheit 1703 extrahiert das Teilbild des rechten Auges und das Teilbild des linken Auges, die sich auf den in Schritt S3 bestimmten Bereich beziehen, in dem die Kippmulde 210 gezeigt wird, und das Teilbild des rechten Auges und das Teilbild des linken Auges, die sich auf den Bereich beziehen, in dem das Transportmaterial L gezeigt wird, jeweils aus dem rechten Augenbild und dem linken Augenbild des Stereobildes (Schritt S54). Die dreidimensionale Datenerzeugungseinheit 1703 erzeugt die auf das Kippmulden-Koordinatensystem bezogenen Kippmuldenpunktgruppendaten durch Triangulation auf der Grundlage des Teilbildes des rechten Auges und des Teilbildes des linken Auges, die auf den Bereich bezogen sind, in dem der Kippmulden 210 gezeigt wird, und des Kameraparameters CP. Die dreidimensionale Datenerzeugungseinheit 1703 erzeugt die Transportmaterialpunktgruppendaten, die sich auf das Kippmulden-Koordinatensystem beziehen, durch Triangulation auf der Grundlage des Teilbildes des rechten Auges und des Teilbildes des linken Auges, die sich auf den Bereich beziehen, in dem das Transportmaterial L gezeigt wird, und des Kameraparameters CP (Schritt S55). Die dreidimensionale Datenerzeugungseinheit 1703 wandelt die Position jedes Punktes der Punktgruppendaten der Kippmulde und der Punktgruppendaten des Transportmaterials im Kippmulden-Koordinatensystem in die Position jedes Punktes davon im Standortkoordinatensystem, basierend auf der Position, Azimutrichtung und Neigung des Schwenkkörpers 120 (Schritt S56) um.
Die Lade-/Entladezielbestimmungseinheit 1704 bestimmt die dreidimensionalen Feature-Menge für jeden Punkt der in Schritt S56 erhaltenen Kippmuldenpunktgruppendaten und gruppiert die Kippmuldenpunktgruppendaten für jede Oberfläche der Kippmulde 210 auf der Grundlage der dreidimensionalen Feature-Menge (Schritt S57). Die Modellanpassungseinheit 1705 ordnet das Zielmodell D in dem virtuellen Raum an, der durch das Standortkoordinatensystem dargestellt wird, so dass eine Differenz zwischen einer dreidimensionalen Feature-Menge der Kippmuldenpunktgruppendaten, die sich auf jede Gruppe beziehen, und der dreidimensionalen Feature-Menge des Zielmodells D, das in dem Speicher 93 gespeichert ist, minimiert wird, um die Position, die Azimutrichtung und die Neigung der Kippmulde 210 in dem Standortkoordinatensystem anzugeben (Schritt S58).
Die Verteilungsbestimmungseinheit 1721 erzeugt die Kippmuldenkarte, die die Höhenkarte ist, die eine Höhe in Bezug auf die vertikal nach oben gerichtete Richtung in Bezug auf die Bodenfläche der Kippmulde 210 darstellt, basierend auf den in Schritt S55 erzeugten Transportmaterialpunktgruppendaten und dem in Schritt S58 (Schritt S59) angeordneten Zielmodell D. Die Kippmuldenkarte kann ein Gitter ohne die Höhendaten enthalten. In einem Fall, in dem die Punktgruppendaten in Schritt S5 in das Kippmulden-Koordinatensystem umgewandelt werden, kann die Verteilungsbestimmungseinheit 1721 die Kippmuldenkarte erzeugen, indem sie die Höhenkarte mit einer XY-Ebene als Referenzhöhe und mit der Z-Achsenrichtung als Höhenrichtung erhält.
Die Führungsinformationserzeugungseinheit 1707 erzeugt die in 12 gezeigte Führungsinformation auf der Grundlage der Kippmuldenkarte (Schritt S60). Die Anzeigesteuereinheit 1708 gibt das Anzeigesignal zur Anzeige der Führungsinformation an die Anzeigevorrichtung 128 aus (Schritt S61).
«Betrieb/Wirkung»
Wie oben beschrieben, bestimmt die Steuervorrichtung 127 gemäß der dritten Ausführungsform die dreidimensionalen Positionen der Oberfläche des Transportmaterials L und der Bodenfläche der Kippmulde 210 basierend auf dem erfassten Bild, um die Kippmuldenkarte zu erzeugen, die die Verteilung der Menge des Transportmaterials L in der Kippmulde 210 basierend auf den dreidimensionalen Positionen anzeigt. Dementsprechend kann die Steuervorrichtung 127 die Verteilung des Transportmaterials L in der Kippmulde 210 angeben. Durch die Erkennung der Verteilung des Transportmaterials L in der Kippmulde 210 kann der Bediener die Lade-/Entladeposition des Transportmaterials L erkennen, um das Transportmaterial L gleichmäßig in die Kippmulde 210 zu laden.
In der dritten Ausführungsform erzeugt die Steuervorrichtung 127 die Führungsinformationen auf der Grundlage der Kippmuldenkarte, aber die vorliegende Erfindung ist darauf nicht beschränkt. In einer anderen Ausführungsform kann die Steuervorrichtung 127 beispielsweise den Hydraulikbagger 100 wie in der zweiten Ausführungsform auf der Grundlage der Kippmuldenkarte steuern. Ist beispielsweise die Höhe des Löffels 113 niedriger als die Höhe der Kippmulde 210 oder eine Höhe einer Spitze der Verteilung des Transportmateriales L in der Kippmuldenkarte, erzeugt die Arbeitsmaschinensteuereinheit 1711 das Steuersignal zum Anheben des Auslegers 111. In einem Fall, in dem die Höhe des Löffels 113 gleich oder höher ist als die Höhe der Kippmulde 210 und die Höhe der Spitze der Verteilung des Transportmaterials L in der Kippmuldenkarte, stoppt die Arbeitsmaschinensteuereinheit 1711 die Ausgabe des Steuersignals zum Anheben des Auslegers 111 und startet die Ausgabe des Steuersignals zum Schwenken des Schwenkkörpers 120. In einem Fall, in dem die Höhe des Löffels 113 gleich oder höher ist als die Höhe der Kippmulde 210 und die Höhe des Scheitelpunkts der Verteilung des Transportmaterials L in der Kippmuldenkarte und die Position des Löffels 113 in der Draufsicht von oben gesehen innerhalb des Bereichs der Kippmulde 210 liegt, der von der Position der Kippmulde 210 aus bestimmt ist, stoppt die Arbeitsmaschinensteuereinheit 1711 die Ausgabe des Steuersignals zum Schwenken des Schwenkkörpers 120 und erzeugt das Steuersignal zum Abkippen des Löffels 113.
<Vierte Ausführungsform>
Die Steuervorrichtung 127 gemäß der dritten Ausführungsform gleicht das Zielmodell D mit den Punktgruppendaten der Kippmulde ab, um die dreidimensionale Position der Bodenfläche der Kippmulde 210 festzulegen. Im Gegensatz dazu bestimmt die Steuervorrichtung 127 gemäß der vierten Ausführungsform die dreidimensionale Position der Bodenfläche der Kippmulde 210 ohne Verwendung des Zielmodells D. Das heißt, die Steuervorrichtung 127 gemäß der vierten Ausführungsform muss das Zielmodell D nicht in dem Speicher 93 speichern.
Die Modellanpassungseinheit 1705 gemäß der vierten Ausführungsform verzerrt ein rechteckiges Parallelepiped-Polygon ohne eine Oberseite, um die Punktgruppendaten der Kippmulde basierend auf den Punktgruppendaten der Kippmulde bestmöglich anzupassen. Die Modellanpassungseinheit 1705 legt eine Position einer Bodenfläche des angepassten rechteckigen Parallelepiped-Polygons als die Position der Bodenfläche der Kippmulde 210 fest.
Wie oben beschrieben, ist es gemäß der vierten Ausführungsform möglich, die Position der Bodenfläche der Kippmulde 210 ohne Verwendung des Zielmodells D der Kippmulde 210 zu bestimmen. Gemäß der vierten Ausführungsform ist es möglich, die Position der Bodenfläche der Kippmulde 210 zu bestimmen, obwohl die Punktgruppendaten der Kippmulde Rauschen enthalten.
<Fünfte Ausführungsform>
14 ist ein Diagramm, das ein Beispiel für eine Bildsegmentierung gemäß einer fünften Ausführungsform zeigt.
In dem vom Segmentierungsmodell M gemäß der ersten bis vierten Ausführungsform erzeugten Segmentbild wird der Bereich, in dem die Kippmulde 210 gezeigt wird, durch ein Segment dargestellt. Als Segmentierungsmodell M gemäß der fünften Ausführungsform wird das Segmentierungsmodell M verwendet, das trainiert wurde, um das Segmentbild zu erzeugen, in dem das Bild, das die Kippmulde 210 zeigt, in einen Bereich, in dem der Schutzrahmen gezeigt wird, einen Bereich, in dem die Vorderwand gezeigt wird, einen Bereich, in dem die Seitenklappe gezeigt wird, und einen Bereich, in dem die Heckklappe gezeigt wird, unterteilt ist, wie in 14 gezeigt.
Die Steuervorrichtung 127 gemäß der fünften Ausführungsform muss die Lade-/Entladezielbestimmungseinheit 1704 in der Konfiguration der ersten Ausführungsform nicht enthalten. Andererseits sind die Operationen der Flächenbestimmungseinheit 1702, der dreidimensionalen Datenerzeugungseinheit 1703 und der Modellanpassungseinheit 1705 der Steuervorrichtung 127 gemäß der fünften Ausführungsform unterschiedlich.
Die Flächenbestimmungseinheit 1702 gibt das Bild des rechten Auges des von der Datenerfassungseinheit 1701 erfassten Stereobildes in das im Speicher 93 gespeicherte Segmentierungsmodell M ein, um das Bild des rechten Auges in die mehreren Bereiche zu unterteilen, die den mehreren bekannten Objekten entsprechen. In diesem Fall umfassen die mehreren bekannten Objekte mindestens den Schutzrahmen, die Vorderwand, die Seitenklappe und die Heckklappe.
Die dreidimensionale Datenerzeugungseinheit 1703 erzeugt aus dem Stereobild die Punktgruppendaten, die sich auf jeden Bereich des Schutzrahmens, der Vorderwand, der Seitenklappe und der Heckklappe beziehen.
Die Modellanpassungseinheit 1705 ordnet das Zielmodell D in dem virtuellen Raum an, der durch das Standortkoordinatensystem dargestellt wird, basierend auf der Position der einzelnen Punktgruppendaten des Schutzrahmens, der Vorderwand, der Seitenklappe und der Heckklappe, um die Position, die Azimutrichtung und die Neigung der Kippmulde 210 in dem Standortkoordinatensystem zu bestimmen.
«Anzeigeverfahren»
15 ist ein Flussdiagramm, das ein Anzeigeverfahren der Führungsinformationen durch eine Steuervorrichtung gemäß der fünften Ausführungsform zeigt.
Zunächst erfasst die Datenerfassungseinheit 1701 den Winkel der Arbeitsausrüstung 110 vom Arbeitsausrüstungspositionsdetektor 122 über die Schnittstelle 94, erfasst die Position und die Azimutrichtung des Schwenkkörpers 120 vom Positions-/Azimutrichtungsrechner 123, erfasst die Neigung des Schwenkkörpers 120 vom Neigungsdetektor 124 und erfasst das Stereobild von der Stereokamera 125 (Schritt S71). In einer anderen Ausführungsform kann die Datenerfassungseinheit 1701 den Winkel der Arbeitsausrüstung 110 sowie die Position, Azimutrichtung und Neigung des Schwenkkörpers 120 nicht erfassen. Als nächstes gibt die Flächenbestimmungseinheit 1702 das von der Datenerfassungseinheit 1701 erfasste Stereobild in das im Speicher 93 gespeicherte Segmentierungsmodell M ein, um das in mehrere Bereiche unterteilte Segmentbild für jedes gezeigte Objekt zu erhalten (Schritt S72). Die Flächenbestimmungseinheit 1702 bestimmt den Bereich für jede Oberfläche der Kippmulde 210 in dem von der Datenerfassungseinheit 1701 erfassten Stereobild basierend auf dem Segmentbild (Schritt S73). Das heißt, die Flächenbestimmungseinheit 1702 bestimmt jeweils den Bereich, in dem der Schutzrahmen dargestellt ist, den Bereich, in dem die Vorderwand dargestellt ist, den Bereich, in dem die Seitenklappe dargestellt ist, und den Bereich, in dem die Heckklappe dargestellt ist.
Die dreidimensionale Datenerzeugungseinheit 1703 extrahiert das Teilbild des rechten Auges und das Teilbild des linken Auges, die sich auf jede in Schritt S73 bestimmte Oberfläche beziehen, aus jedem Bild des rechten Auges und dem Bild des linken Auges des Stereobildes (Schritt S74). Die dreidimensionale Datenerzeugungseinheit 1703 erzeugt die Punktgruppendaten jeder Oberfläche in Bezug auf das Fahrzeugkarosserie-Koordinatensystem durch Triangulation auf der Grundlage des Teilbildes des rechten Auges, des Teilbildes des linken Auges und des Kameraparameters CP (Schritt S75). Als nächstes wandelt die dreidimensionale Datenerzeugungseinheit 1703 die Position jedes Punktes der Punktgruppendaten jeder Oberfläche im Kippmulden-Koordinatensystem in die Position jedes Punktes davon im Standortkoordinatensystem basierend auf der Position, der Azimutrichtung und der Neigung des Schwenkkörpers 120 (Schritt S76) um. In diesem Fall werden die Punktgruppendaten bereits in die Gruppe für jede Oberfläche unterteilt, ohne dass der dreidimensionale Feature-Menge angegeben wird.
Die Modellanpassungseinheit 1705 ordnet das Zielmodell D in dem virtuellen Raum an, der durch das Standortkoordinatensystem dargestellt wird, so dass eine Differenz zwischen der Position der Punktgruppendaten, die sich auf jede Gruppe beziehen, und der Position jeder Oberfläche des Zielmodells D, die in dem Speicher 93 gespeichert ist, minimiert wird, um die Position, die Azimutrichtung und die Neigung der Kippmulde 210 in dem Standortkoordinatensystem anzugeben (Schritt S77).
Die Arbeitsausrüstungspositionsbestimmungseinheit 1706 legt die Positionen des Auslegers 111, des Arms 112 und des Löffels 113 im Standortkoordinatensystem auf der Grundlage des Winkels der Arbeitsausrüstung 110 und der Position, Azimutrichtung und Neigung des Schwenkkörpers 120 fest, die von der Datenerfassungseinheit 1701 erfasst wurden (Schritt S78).
Die Führungsinformationserzeugungseinheit 1707 erzeugt die Führungsinformationen auf der Grundlage der in Schritt S77 angegebenen Position, Azimutrichtung und Neigung der Kippmulde 210, der in Schritt S78 angegebenen Positionen des Auslegers 111, des Arms 112 und des Löffels 113 sowie der in Schritt S71 erfassten Position, Azimutrichtung und Neigung des Schwenkkörpers 120 (Schritt S79). Die Anzeigesteuereinheit 1708 gibt das Anzeigesignal zur Anzeige der Führungsinformationen an die Anzeigevorrichtung 128 aus (Schritt S80).
«Betrieb/Wirkung»
Wie oben beschrieben, unterteilt das Segmentierungsmodell M in der Steuervorrichtung 127 jede Oberfläche der Kippmulde 210 in die verschiedenen Bereiche. Dementsprechend kann die Steuervorrichtung 127 die dreidimensionalen Daten mit dem dreidimensionalen Modell abgleichen, ohne die dreidimensionale Feature-Menge zu berechnen.
<Andere Ausführungsform>
Obwohl eine Ausführungsform mit Bezug auf die Zeichnungen detailliert beschrieben wurde, ist die bestimmte Konfiguration nicht auf die obige beschränkt, und es können verschiedene Konstruktionsänderungen und dergleichen vorgenommen werden.
In der obigen Ausführungsform erzeugt die Steuervorrichtung 127 beispielsweise die dreidimensionalen Daten aus dem Stereobild mittels Triangulation, aber die vorliegende Erfindung ist darauf nicht beschränkt. Beispielsweise kann die Steuervorrichtung 127 gemäß einer anderen Ausführungsform die dreidimensionalen Daten unter Verwendung eines gelernten Modells erzeugen, das das Tiefenbild durch Eingabe des Stereobildes ausgibt. In einer anderen Ausführungsform kann das gelernte Segmentierungsmodell M so verwendet werden, dass das Stereobild eingegeben und das in Bereiche für jedes Objekt unterteilte Tiefenbild ausgegeben wird.
In der obigen Ausführungsform gibt die Steuervorrichtung 127 die Position, die Azimutrichtung und die Neigung der Kippmulde 210 vor, ist aber in einer anderen Ausführungsform nicht darauf beschränkt. Beispielsweise kann die Steuervorrichtung 127 gemäß einer anderen Ausführungsform die Position der Kippmulde 210 bestimmen, während die Azimutrichtung und Neigung der Kippmulde 210 nicht bestimmt werden. Beispielsweise kann die Steuervorrichtung 127 gemäß einer anderen Ausführungsform die Position und die Azimutrichtung der Kippmulde 210 bestimmen, während die Neigung der Kippmulde 210 nicht bestimmt wird.
Die Steuervorrichtung 127 gemäß der obigen Ausführungsform ist am Hydraulikbagger 100 montiert, aber die vorliegende Erfindung ist darauf nicht beschränkt. Beispielsweise kann die Steuervorrichtung 127 gemäß einer anderen Ausführungsform in einer entfernten Servervorrichtung vorgesehen sein. Die Steuervorrichtung 127 kann von einer Vielzahl von Rechnern realisiert werden. In diesem Fall kann ein Teil der Konfiguration der Steuervorrichtung 127 in der entfernten Servervorrichtung bereitgestellt werden. Das heißt, die Steuervorrichtung 127 kann als ein aus mehreren Geräten gebildetes Bildverarbeitungssystem realisiert sein. Der Hydraulikbagger 100 kann ein vollständig autonomer oder ein teilautonomer Hydraulikbagger sein. Das Anzeigesignal zur Anzeige der Führungsinformationen kann an eine Fernkabine zur Fernsteuerung der Arbeitsmaschine übertragen werden.
Das Lade-/Entladeziel gemäß der obigen Ausführungsform ist die Kippmulde 210 des Kippmuldenkippers 200, aber die vorliegende Erfindung ist nicht darauf beschränkt. Zum Beispiel kann das Lade-/Entladeziel gemäß einer anderen Ausführungsform ein anderes Lade-/Entladeziel sein, wie z. B. ein Trichter.
Außerdem sind die Vorgänge, die anhand des Flussdiagramms in der obigen Ausführungsform beschrieben werden, nicht auf die Ausführung in der obigen Reihenfolge beschränkt. Zum Beispiel wird in dem in 7 gezeigten Anzeigeverfahren der Führungsinformationen das Koordinatensystem der Punktgruppendaten in Schritt S6 in das Standortkoordinatensystem umgewandelt, und dann werden die Oberflächengruppierung in Schritt S7 und die Haltungsbestimmung der Kippmulde in Schritt S8 durchgeführt. Die vorliegende Erfindung ist jedoch nicht hierauf beschränkt. Beispielsweise kann in einer anderen Ausführungsform die Koordinatenumrechnung nach der Oberflächengruppierung in Schritt S7 oder der Haltungsbestimmung der Kippmulde in Schritt S8 durchgeführt werden. In ähnlicher Weise ist es möglich, die Reihenfolge der Verarbeitung auch für andere Vorgänge entsprechend zu ändern.
In der obigen Ausführungsform gibt die Steuervorrichtung des Hydraulikbaggers 100 die Position der Kippmulde 210 vor, aber die vorliegende Erfindung ist darauf nicht beschränkt. In einer anderen Ausführungsform kann beispielsweise eine Steuervorrichtung einer anderen Arbeitsmaschine, wie z. B. eines Mobilkrans, eine Steuervorrichtung einer Arbeitsmaschine, wie z. B. eines Kipplasters, eines Radladers oder einer Planierraupe, oder eine Überwachungsvorrichtung, die auf der Baustelle installiert ist, die Position der Kippmulde 210 bestimmen.
Industrielle Anwendbarkeit
Gemäß der Offenbarung der vorliegenden Erfindung kann das Bildverarbeitungssystem die Robustheit der Verarbeitung der Bestimmung des Lade-/Entladeziels verbessern.
Bezugszeichenliste

100:: Hydraulikbagger
110:: Arbeitsausrüstung
120:: Schwingkörper
130:: Unterwagen
122:: Arbeitsausrüstungspositionsdetektor
123:: Positions-/Azimutrichtungsrechner
124:: Neigungsdetektor
125:: Stereokamera
127:: Steuervorrichtung
128:: Anzeigegerät
1701:: Datenerfassungsvorrichtung
1702:: Flächenbestimmungseinheit
1703:: Dreidimensionale Datenerzeugungseinheit
1704:: Lade-/Entladezielbestimmungseinheit
1705:: Modellanpassungseinheit
1706:: Arbeitsausrüstungspositionsbestimmungseinheit
1707:: Führungsinformationsbestimmungseinheit
1708:: Anzeigesteuervorrichtung
1709:: Lerneinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019017400 [0002]
JP 2000192514 [0004]

Claims

Bildverarbeitungssystem, umfassend: eine Datenerfassungseinheit, die so konfiguriert ist, dass sie ein erfasstes Bild erfasst, das eine Kippmulde einer Arbeitsmaschine zeigt; eine Flächenbestimmungseinheit, die so konfiguriert ist, dass sie einen Bereich, der die Kippmulde enthält, aus dem aufgenommenen Bild bestimmt; und eine Kippmuldenoberflächenbestimmungseinheit, die so konfiguriert ist, dass sie mindestens eine vorbestimmte Oberfläche der Kippmulde aus dem von der Flächenbestimmungseinheit bestimmten Bereich bestimmt.
Bildverarbeitungssystem nach Anspruch 1, wobei die Flächenbestimmungseinheit den Bereich, der die Kippmulde enthält, auf der Grundlage eines Segmentierungsmodells bestimmt, das ein erlerntes Modell ist, das ein Ausgabebild ausgibt, in dem ein Wert jedes einer Vielzahl von Pixeln einen Wert annimmt, der einen Typ eines Objekts dargestellt, das in einem Pixel des Eingabebildes gezeigt wird, das dem Pixel durch Eingeben eines Eingabebildes entspricht, und das erfasste Bild.
Bildverarbeitungssystem nach Anspruch 1 oder 2, ferner umfassend: eine Lagebestimmungseinheit, die so konfiguriert ist, dass sie eine Position der Kippmulde auf der Grundlage der bestimmten Oberfläche bestimmt.
Bildverarbeitungssystem nach Anspruch 3, wobei die Lagebestimmungseinheit ferner eine Azimutrichtung und eine Haltung der Kippmulde basierend auf der bestimmten Oberfläche bestimmt.
Bildverarbeitungssystem nach Anspruch 3 oder 4, ferner umfassend: eine dreidimensionale Datenerzeugungseinheit, die so konfiguriert ist, dass sie auf der Grundlage des erfassten Bildes dreidimensionale Daten erzeugt, die eine dreidimensionale Form eines Objekts des erfassten Bildes darstellen, wobei die Lagebestimmungseinheit die Position der Kippmulde basierend auf der mindestens einen vorbestimmten Fläche in den dreidimensionalen Daten bezogen auf den Bereich bestimmt.
Bildverarbeitungssystem nach Anspruch 5, wobei die Lagebestimmungseinheit die Position der Kippmulde basierend auf der mindestens einen vorbestimmten Fläche in den dreidimensionalen Daten, die sich auf den Bereich beziehen, und einem Zielmodell, das ein dreidimensionales Modell ist, das eine Form der Kippmulde anzeigt, bestimmt.
Bildverarbeitungssystem nach einem der Ansprüche 3 bis 6, wobei die Datenerfassungseinheit eine bildaufnehmende Haltung einer Bildaufnahmevorrichtung erfasst, die das aufgenommene Bild aufnimmt, und die Lagebestimmungseinheit eine dreidimensionale Position der Kippmulde an einer Stelle basierend auf dem Bereich und der bildaufnehmenden Haltung festlegt.
Bildverarbeitungssystem nach Anspruch 5 oder 6, wobei die dreidimensionale Datenerzeugungseinheit dreidimensionale Daten des Transportmaterials erzeugt, die eine dreidimensionale Position eines in die Kippmulde geladenen Transportmaterials basierend auf dem erfassten Bild darstellen, wobei das Bildverarbeitungssystem ferner umfasst: eine Verteilungsbestimmungseinheit, die konfiguriert ist, um Verteilungsinformationen zu erzeugen, die eine Verteilung einer Menge des Transportmaterials in der Kippmulde basierend auf den dreidimensionalen Daten des Transportmaterials in der Kippmulde und einer dreidimensionalen Position mindestens eines Teils der Kippmulde anzeigen.
Bildverarbeitungsverfahren, das die folgenden Schritte umfasst: Erfassen eines aufgenommenen Bildes, das eine Kippmulde für ein Transportmaterial einer Arbeitsmaschine zeigt; Bestimmen eines Bereichs, der die Kippmulde enthält, aus dem aufgenommenen Bild; und Bestimmen mindestens einer vorbestimmten Oberfläche der Kippmulde aus dem Bereich, der die Kippmulde enthält.
Verfahren zum Erzeugen eines gelernten Modells eines Segmentierungsmodells, das einen Bereich ausgibt, der die Kippmulde enthält, durch Eingeben eines erfassten Bildes, das eine Kippmulde für ein Transportmaterial einer Arbeitsmaschine zeigt, wobei das Verfahren die folgenden Schritte umfasst: Erfassen des aufgenommenen Bildes, das die Kippmulde des Transportmaterials der Arbeitsmaschine zeigt; und Erzeugen des gelernten Modells durch Lernen des Segmentierungsmodells unter Verwendung des erfassten Bildes, das die Kippmulde zeigt, und von Informationen, die den Bereich einschließlich der Kippmulde angeben, der in dem erfassten Bild als Datensatz zum Lernen gezeigt wird.
Datensatz zum Lernen, der in einem Computer verwendet wird und ein Segmentierungsmodell zum Lernen veranlasst, umfassend: ein erfasstes Bild, das eine Kippmulde für ein Transportmaterial einer Arbeitsmaschine zeigt; und Informationen, die einen Bereich der Kippmulde des Transportmateriales der Arbeitsmaschine angeben, wobei der Datensatz zum Lernen in der Verarbeitung verwendet wird, um das Segmentierungsmodell durch den Computer zum Lernen zu veranlassen.
Bildverarbeitungssystem, das Folgendes umfasst: eine Datenerfassungseinheit, die so konfiguriert ist, dass sie ein erfasstes Bild erfasst, das ein Lade-/Entladeziel eines Transportmaterials einer Arbeitsmaschine zeigt; eine Flächenbestimmungseinheit, die so konfiguriert ist, dass sie einen Bereich einschließlich des Lade-/Entladeziels aus dem erfassten Bild bestimmt; und eine Lade-/Entladezielbestimmungseinheit, die so konfiguriert ist, dass sie mindestens eine vorbestimmte Oberfläche des Lade-/Entladeziels aus dem Bereich bestimmt, der das Lade-/Entladeziel enthält.