DE112019003049T5

DE112019003049T5 - Vorrichtung zur bestimmung von fracht, die von baumaschinen getragen wird, baumaschine, verfahren zur bestimmung von fracht, die von baumaschinen getragen wird, verfahren zur erstellung eines interpolationsmodells und datensatz zum lernen

Info

Publication number: DE112019003049T5
Application number: DE112019003049.3T
Authority: DE
Inventors: Shun Kawamoto; Shintaro Hamada; Yosuke KAJIHARA
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2018-08-31
Filing date: 2019-07-19
Publication date: 2021-03-11
Also published as: JP7311250B2; JP2020034527A; WO2020044848A1; CN112513563A; CN112513563B; US20210272315A1

Abstract

Eine Bilderfassungseinheit erfasst ein aufgenommenes Bild, das ein Abwurfziel der Arbeitsmaschine zeigt, in der ein Transportobjekt von einer Bildaufnahmevorrichtung abgeworfen wird. Eine Abwurfziel-Bestimmungseinheit bestimmt eine dreidimensionale Position von zumindest einem Abschnitt des Abwurfziels basierend auf dem aufgenommenen Bild. Eine Oberflächenbestimmungseinheit bestimmt eine dreidimensionale Position einer Oberfläche des Transportobjekts im Abwurfziel auf der Grundlage der dreidimensionalen Position des mindestens einen Abschnitts des Abwurfziels und des aufgenommenen Bildes.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Vorrichtung zur Bestimmung von Transportobjekten einer Arbeitsmaschine, eine Arbeitsmaschine, ein Verfahren zur Bestimmung von Transportobjekten einer Arbeitsmaschine, ein Verfahren zur Erstellung eines komplementären Modells und einen Datensatz zum Lernen.
Es wird die Priorität der am 31. August 2018 eingereichten japanischen Patentanmeldung Nr. 2018-163671 beansprucht, deren Inhalt hierin durch Bezugnahme aufgenommen ist.
Stand der Technik
Die Patentliteratur 1 offenbart ein Verfahren zur Berechnung einer Position des Schwerpunkts eines Transportobjekts auf der Grundlage der Ausgabe eines an einem Transportfahrzeug vorgesehenen Wiegesensors und zur Anzeige eines Beladungszustands des Transportobjekts.
Zitationsliste
Patentliteratur
Patentliteratur 1
Ungeprüfte japanische Patentanmeldung, Erstveröffentlichung Nr. 2001-71809
Zusammenfassung der Erfindung
Technisches Problem
Bei dem in der Patentliteratur 1 beschriebenen Verfahren kann zwar die Position des Schwerpunkts eines Abwurfziels, z. B. des Transportfahrzeugs, bestimmt werden, aber eine dreidimensionale Position des Transportobjekts im Abwurfziel kann nicht angegeben werden.
Gegenstand der vorliegenden Erfindung ist es, eine Vorrichtung zur Bestimmung von Transportobjekten einer Arbeitsmaschine, eine Arbeitsmaschine, ein Verfahren zur Bestimmung von Transportobjekten einer Arbeitsmaschine, ein Verfahren zur Erzeugung eines komplementären Modells und einen Datensatz zum Lernen bereitzustellen, der in der Lage ist, eine dreidimensionale Position eines Transportobjekts in einem Abwurfziel zu bestimmen.
Lösung des Problems
Gemäß einem Aspekt der vorliegenden Erfindung enthält eine Vorrichtung zum Bestimmen von Transportobjekten einer Arbeitsmaschine eine Bilderfassungseinheit, die ein aufgenommenes Bild erfasst, das ein Abwurfziel der Arbeitsmaschine zeigt, in das ein Transportobjekt abgeworfen wird, eine Abwurfziel-Bestimmungseinheit, die eine dreidimensionale Position wenigstens eines Abschnitts des Abwurfziels basierend auf dem aufgenommenen Bild bestimmt, eine Erzeugungseinheit für dreidimensionale Daten, die Tiefendaten erzeugt, welche dreidimensionale Daten sind, die eine Tiefe des aufgenommenen Bildes darstellen, basierend auf dem aufgenommenen Bild, und eine Oberflächenbestimmungseinheit, die eine dreidimensionale Position einer Oberfläche des Transportobjekts in dem Abwurfziel bestimmt, indem sie aus den Tiefendaten einen Abschnitt entfernt, der dem Abwurfziel entspricht, basierend auf der dreidimensionalen Position des wenigstens einen Abschnitts des Abwurfziels.
Vorteilhafte Auswirkungen der Erfindung
Gemäß mindestens einem der obigen Aspekte kann die Transportobjekt-Bestimmungsvorrichtung die Verteilung des Transportobjekts im Abwurfziel festlegen.
Figurenliste

1 ist ein Diagramm, das eine Konfiguration eines Ladeplatzes gemäß einer Ausführungsform zeigt.
2 ist eine Außenansicht eines Hydraulikbaggers gemäß einer Ausführungsform.
3 ist ein schematisches Blockdiagramm, das eine Konfiguration eines Steuergeräts gemäß einer ersten Ausführungsform zeigt.
4 ist ein Diagramm, das ein Beispiel für eine Konfiguration eines neuronalen Netzes zeigt.
5 ist ein Beispiel für Führungsinformationen.
6 ist ein Flussdiagramm, das ein Anzeigeverfahren der Führungsinformationen durch das Steuergerät gemäß der ersten Ausführungsform zeigt.
7 ist ein Flussdiagramm, das ein Lernverfahren für ein Modell zur Bestimmung von Merkmalspunkten gemäß der ersten Ausführungsform zeigt.
8 ist ein Flussdiagramm, das ein Lernverfahren für ein komplementäres Modell gemäß der ersten Ausführungsform zeigt.
9 ist ein schematisches Blockdiagramm, das eine Konfiguration eines Steuergeräts gemäß einer zweiten Ausführungsform zeigt.
10 ist ein Flussdiagramm, das ein Anzeigeverfahren von Führungsinformationen durch das Steuergerät gemäß der zweiten Ausführungsform zeigt.
11A ist ein Diagramm, das ein erstes Beispiel für ein Verfahren zur Berechnung einer Menge eines Transportobjekts in einer Kippmulde zeigt.
11B ist ein Diagramm, das ein zweites Beispiel für das Verfahren zur Berechnung der Menge des Transportobjekts in der Kippmulde zeigt.

Beschreibung der Ausführungsformen
<Erste Ausführungsform>
Nachfolgend werden Ausführungsformen unter Bezugnahme auf die Zeichnungen im Detail beschrieben.
1 ist ein Diagramm, das eine Konfiguration eines Ladeplatzes gemäß einer Ausführungsform zeigt.
Auf einer Baustelle sind ein Hydraulikbagger 100, der eine Lademaschine ist, und ein Muldenkipper 200, der ein Transportfahrzeug ist, vorgesehen. Der Hydraulikbagger 100 schöpft ein Transportobjekt L, wie z. B. Erde, von der Baustelle und lädt das Transportobjekt in den Muldenkipper 200. Der Muldenkipper 200 transportiert das vom Hydraulikbagger 100 geladene Transportobjekt L zu einem vorbestimmten Erdentnahmeplatz. Der Muldenkipper 200 enthält eine Kippmulde 210, die ein Behälter zur Aufnahme des Transportobjekts L ist. Die Kippmulde 210 ist ein Beispiel für ein Abwurfziel, in das das Transportobjekt L abgeworfen wird.
«Konfiguration eines Hydraulikbaggers»
2 ist eine Außenansicht eines Hydraulikbaggers gemäß einer Ausführungsform.
Der Hydraulikbagger 100 umfasst ein Arbeitsgerät 110, das hydraulisch betrieben wird, einen Schwenkkörper 120, der das Arbeitsgerät 110 trägt, und einen Bewegungskörper 130, der den Schwenkkörper 120 trägt.
Der Schwenkkörper 120 ist mit einer Kabine 121 ausgestattet, in der ein Bediener Platz nimmt. Die Kabine 121 befindet sich in einem vorderen Teil des Schwenkkörpers 120 und ist auf einer linken Seite (+Y-Seite) des Arbeitsgeräts 110 angeordnet.
«Steuersystem des Hydraulikbaggers»
Der Hydraulikbagger 100 enthält eine Stereokamera 122, eine Bedienungsvorrichtung 123, ein Steuergerät 124 und eine Anzeigevorrichtung 125.
Die Stereokamera 122 ist in einem oberen Bereich der Kabine 121 vorgesehen. Die Stereokamera 122 ist in einem oberen (+Z-Richtung) und vorderen (+X-Richtung) Bereich der Kabine 121 montiert. Die Stereokamera 122 erfasst ein Bild an der Vorderseite (+X-Richtung) der Kabine 121 durch eine Windschutzscheibe auf einer Vorderfläche der Kabine 121. Die Stereokamera 122 umfasst mindestens ein Kamerapaar.
Die Bedienungsvorrichtung 123 ist in der Kabine 121 vorgesehen. Die Bedienungsvorrichtung 123 wird vom Bediener betätigt, um einen Aktor des Arbeitsgeräts 110 mit Hydrauliköl zu versorgen.
Das Steuergerät 124 erfasst Informationen von der Stereokamera 122, um Führungsinformationen zu erzeugen, die eine Verteilung des Transportobjekts in der Kippmulde 210 des Muldenkippers 200 anzeigen. Die Steuervorrichtung 124 ist ein Beispiel für eine Transportobjekt-Bestimmungsvorrichtung.
Die Anzeigevorrichtung 125 zeigt die vom Steuergerät 124 erzeugten Führungsinformationen an.
Der Hydraulikbagger 100 gemäß einer anderen Ausführungsform muss nicht unbedingt die Stereokamera 122 und die Anzeigevorrichtung 125 enthalten.
«Konfiguration der Stereokamera»
In der ersten Ausführungsform umfasst die Stereokamera 122 eine auf der rechten Seite vorgesehene Kamera 1221 und eine auf der linken Seite vorgesehene Kamera 1222. Beispiele für jede Kamera sind eine Kamera mit einem CCD-Sensor (Charge Coupled Device) und ein CMOS-Sensor (Complementary Metal Oxide Semiconductor).
Die rechte Kamera 1221 und die linke Kamera 1222 sind in einem Abstand in einer Links-/Rechtsrichtung (Y-Achsen-Richtung) montiert, so dass die optischen Achsen der Kameras 1221 und 1222 im Wesentlichen parallel zu einer Bodenfläche der Kabine 121 sind. Die Stereokamera 122 ist ein Beispiel für eine Bildaufnahmevorrichtung. Das Steuergerät 124 kann einen Abstand zwischen der Stereokamera 122 und einem erfassten Ziel berechnen, indem es ein von der rechten Kamera 1221 erfasstes Bild und ein von der linken Kamera 1222 erfasstes Bild verwendet. Im Folgenden wird das von der rechten Kamera 1221 aufgenommene Bild auch als rechtes Augenbild bezeichnet. Das von der linken Kamera 1222 aufgenommene Bild wird auch als linkes Augenbild bezeichnet. Eine Kombination der Bilder, die von den jeweiligen Kameras der Stereokamera 122 aufgenommen wurden, wird auch als Stereobild bezeichnet. In einer anderen Ausführungsform kann die Stereokamera 122 aus drei oder mehr Kameras aufgebaut sein.
«Konfiguration des Steuergeräts»
3 ist ein schematisches Blockdiagramm, das eine Konfiguration des Steuergeräts gemäß der ersten Ausführungsform zeigt.
Das Steuergerät 124 enthält einen Prozessor 91, einen Hauptspeicher 92, einen Speicher 93 und eine Schnittstelle 94.
Der Speicher 93 speichert ein Programm zur Steuerung des Arbeitsgeräts 110. Beispiele für den Speicher 93 sind ein Festplattenlaufwerk (HDD) und ein nichtflüchtiger Speicher. Der Speicher 93 kann ein internes Medium, das direkt mit einem Bus des Steuergeräts 124 verbunden ist, oder ein externes Medium, das über die Schnittstelle 94 oder eine Kommunikationsleitung mit des Steuergeräts 124 verbunden ist, sein. Der Speicher 93 ist ein Beispiel für eine Speichereinheit.
Der Prozessor 91 liest das Programm aus dem Speicher 93, erweitert das Programm im Hauptspeicher 92 und führt die Verarbeitung gemäß dem Programm aus. Der Prozessor 91 sichert einen Speicherbereich im Hauptspeicher 92 entsprechend dem Programm. Die Schnittstelle 94 ist mit der Stereokamera 122, der Anzeigevorrichtung 125 und anderen Peripheriegeräten verbunden und sendet und empfängt Signale. Der Hauptspeicher 92 ist ein Beispiel für die Speichereinheit.
Bei der Ausführung des Programms enthält der Prozessor 91 eine Datenerfassungseinheit 1701, eine Merkmalspunkt-Bestimmungseinheit 1702, eine Einheit zur Erzeugung dreidimensionaler Daten 1703, eine Kippmulden-Bestimmungseinheit 1704, eine Oberflächenbestimmungseinheit 1705, eine Verteilungsbestimmungseinheit 1706, eine Verteilungsschätzungseinheit 1707, eine Führungsinformationen-Erzeugungseinheit 1708 und eine Anzeige-Steuereinheit 1709. Der Speicher 93 speichert einen Kamera-Parameter CP, ein Modell zur Bestimmung von Merkmalspunkten M1, ein komplementäres Modell M2 und ein Kippmuldenmodell VD. Der Kamera-Parameter CP ist eine Information, die eine Positionsbeziehung zwischen dem Schwenkkörper 120 und der rechten Kamera 1221 und eine Positionsbeziehung zwischen dem Schwenkkörper 120 und der linken Kamera 1222 angibt. Das Kippmuldenmodell VD ist ein dreidimensionales Modell, das eine Form der Kippmulde 210 darstellt. In einer anderen Ausführungsform können anstelle des Kippmuldenmodells VD auch dreidimensionale Daten verwendet werden, die eine Form des Muldenkippers 200 darstellen. Das Kippmuldenmodell VD ist ein Beispiel für ein Zielmodell.
Das Programm kann dazu dienen, einen Teil der vom Steuergerät 124 auszuübenden Funktionen zu realisieren. Zum Beispiel kann das Programm eine Funktion durch eine Kombination mit einem anderen, bereits im Speicher 93 gespeicherten Programm oder durch eine Kombination mit einem anderen, in einem anderen Gerät installierten Programm ausführen. In einer anderen Ausführungsform kann das Steuergerät 124 zusätzlich zu oder anstelle der obigen Konfiguration eine kundenspezifische großflächige integrierte Schaltung (LSI) wie z. B. eine programmierbare Logikvorrichtung (PLD) enthalten. Beispiele für die PLD sind eine programmierbare Array-Logik (PAL), eine generische Array-Logik (GAL), eine komplexe programmierbare Logikvorrichtung (CPLD) und ein feldprogrammierbares Gate-Array (FPGA). In diesem Fall können einige oder alle Funktionen, die vom Prozessor realisiert werden, von der integrierten Schaltung realisiert werden.
Die Datenerfassungseinheit 1701 nimmt das Stereobild von der Stereokamera 122 über die Schnittstelle 94 auf. Die Datenerfassungseinheit 1701 ist ein Beispiel für eine Bilderfassungseinheit. In einer anderen Ausführungsform kann die Datenerfassungseinheit 1701 in einem Fall, in dem der Hydraulikbagger 100 die Stereokamera 122 nicht enthält, ein Stereobild von einer Stereokamera, die in einer anderen Arbeitsmaschine vorgesehen ist, einer Stereokamera, die auf der Baustelle montiert ist, oder dergleichen, erfassen.
Die Merkmalspunkt-Bestimmungseinheit 1702 gibt das rechte Augenbild des von der Datenerfassungseinheit 1701 erfassten Stereobildes in das im Speicher 93 gespeicherte Modell M1 zur Festlegung von Merkmalspunkten ein, um die Positionen einer Vielzahl von Merkmalspunkten der Kippmulde 210 festzulegen, die im rechten Augenbild dargestellt sind. Beispiele für Merkmalspunkte der Kippmulde 210 sind das obere und untere Ende einer Frontplatte der Kippmulde 210, ein Schnittpunkt eines Schutzrahmens der Frontplatte und eines Seitentors sowie das obere und untere Ende einer festen Säule einer Heckklappe. Das heißt, der Merkmalspunkt ist ein Beispiel für eine vorbestimmte Position des Abwurfziels.
Das Modell zur Bestimmung von Merkmalspunkten M1 enthält ein neuronales Netz 140, das in 4 dargestellt ist. 4 ist ein Diagramm, das ein Beispiel für eine Konfiguration des neuronalen Netzes zeigt. Das Merkmalspunkt-Bestimmungsmodell M1 wird z. B. durch ein trainiertes Modell eines tiefen neuronalen Netzes (DNN) realisiert. Das trainierte Modell wird aus einer Kombination aus einem Trainingsmodell und einem trainierten Parameter gebildet.
Wie in 4 gezeigt, enthält das neuronale Netz 140 eine Eingabeschicht 141, eine oder mehrere Zwischenschichten 142 (versteckte Schichten) und eine Ausgabeschicht 143. Jede der Schichten 141, 142 und 143 enthält ein oder mehrere Neuronen. Die Anzahl der Neuronen in der Zwischenschicht 142 kann beliebig eingestellt werden. Die Ausgabeschicht 143 kann entsprechend der Anzahl der Merkmalspunkte eingestellt werden.
Neuronen in den aneinander angrenzenden Schichten werden miteinander verbunden und für jede Verbindung wird eine Gewichtung (Verbindungslast) eingestellt. Die Anzahl der verbundenen Neuronen kann entsprechend eingestellt werden. Für jedes Neuron wird ein Schwellenwert festgelegt, und ein Ausgabewert jedes Neurons wird dadurch bestimmt, ob eine Summe der Produkte aus einem Eingabewert und der Gewichtung für jedes Neuron den Schwellenwert überschreitet oder nicht.
Ein Bild, das die Kippmulde 210 des Muldenkippers 200 zeigt, wird in die Eingabeschicht 141 eingegeben. Für jedes Pixel des Bildes wird ein Ausgabewert, der die Wahrscheinlichkeit angibt, dass das Pixel der Merkmalspunkt ist, an die Ausgabeschicht 143 ausgegeben. Das heißt, das Merkmalspunkt-Bestimmungsmodell M1 ist ein trainiertes Modell, das trainiert wird, wenn ein Bild, das die Kippmulde 210 zeigt, eingegeben wird, um die Positionen der Merkmalspunkte der Kippmulde 210 in dem Bild auszugeben. Das Merkmalspunkt-Bestimmungsmodell M1 wird trainiert, indem beispielsweise ein Datensatz zum Lernen mit einem Bild, das die Kippmulde 210 des Muldenkippers 200 zeigt, als Trainingsdaten und mit einem Bild, das durch Auftragen der Positionen der Merkmalspunkte der Kippmulde 210 erhalten wird, als Lerndaten verwendet wird. Bei den Lerndaten handelt es sich um ein Bild, bei dem ein Pixel, das sich auf den Plot bezieht, einen Wert hat, der anzeigt, dass die Wahrscheinlichkeit, dass es sich bei dem Pixel um den Merkmalspunkt handelt, 1 ist, und ein anderes Pixel einen Wert hat, der anzeigt, dass die Wahrscheinlichkeit, dass es sich bei dem Pixel um den Merkmalspunkt handelt, 0 ist. Bei den Lerndaten kann es sich um Informationen handeln, bei denen ein Pixel, das sich auf den Plot bezieht, einen Wert hat, der anzeigt, dass die Wahrscheinlichkeit, dass es sich bei dem Pixel um den Merkmalspunkt handelt, 1 ist, und ein anderes Pixel einen Wert hat, der anzeigt, dass die Wahrscheinlichkeit, dass es sich bei dem Pixel um den Merkmalspunkt handelt, 0 ist, und es kann sich auch nicht um ein Bild handeln. In der vorliegenden Ausführungsform bezieht sich der Begriff „Trainingsdaten“ auf Daten, die während des Trainings des Trainingsmodells in die Eingabeschicht eingegeben werden. In der vorliegenden Ausführungsform sind „Trainingsdaten“ Daten, die eine korrekte Antwort zum Vergleich mit dem Wert der Ausgabeschicht des neuronalen Netzes 140 darstellen. In der vorliegenden Ausführungsform bezieht sich „Datensatz zum Lernen“ auf eine Kombination aus den Trainingsdaten und den Lerndaten. Die trainierten Parameter des durch Training erhaltenen Merkmalspunkt-Bestimmungsmodells M1 werden im Speicher 93 gespeichert. Zu den trainierten Parametern gehören z. B. die Anzahl der Schichten des neuronalen Netzes 140, die Anzahl der Neuronen in jeder Schicht, die Verbindungsbeziehung zwischen den Neuronen, die Gewichtung jeder Verbindung zwischen den Neuronen und der Schwellenwert jedes Neurons.
Beispielsweise kann die gleiche oder eine ähnliche DNN-Konfiguration wie eine DNN-Konfiguration, die für die Erkennung eines Gesichtsorgans verwendet wird, oder eine DNN-Konfiguration, die für die Schätzung einer Körperhaltung einer Person verwendet wird, als Konfiguration des neuronalen Netzes 140 des Merkmalspunkt-Bestimmungsmodells M1 verwendet werden. Das Merkmalspunkt-Bestimmungsmodell M1 ist ein Beispiel für ein Positionsbestimmungsmodell. Das Merkmalspunkt-Bestimmungsmodell M1 kann gemäß einer anderen Ausführungsform durch nicht überwachtes Lernen oder verstärktes Lernen trainiert werden.
Die dreidimensionale Datenerzeugungseinheit 1703 erzeugt eine dreidimensionale Karte, die eine Tiefe in einem Abbildungsbereich der Stereokamera 122 durch Stereomessung unter Verwendung des Stereobildes und der im Speicher 93 gespeicherten Kamera-Parameter darstellt. Insbesondere erzeugt die dreidimensionale Datenerzeugungseinheit 1703 Punktgruppendaten, die eine dreidimensionale Position durch die Stereomessung des Stereobildes anzeigen. Die Punktgruppendaten sind ein Beispiel für Tiefendaten. In einer anderen Ausführungsform kann die dreidimensionale Datenerzeugungseinheit 1703 anstelle der Punktgruppendaten eine aus den Punktgruppendaten generierte Höhenkarte als dreidimensionale Daten erzeugen.
Die Kippmulden-Bestimmungseinheit 1704 bestimmt eine dreidimensionale Position der Kippmulde 210 basierend auf den Positionen der Merkmalspunkte, die durch die Merkmalspunkt-Bestimmungseinheit 1702 bestimmt wurden, den Punktgruppendaten, die durch die dreidimensionale Datenerzeugungseinheit 1703 bestimmt wurden, und dem Kippmuldenmodell VD. Insbesondere bestimmt die Kippmulden-Bestimmungseinheit 1704 dreidimensionale Positionen der Merkmalspunkte basierend auf den Positionen der Merkmalspunkte, die durch die Merkmalspunkt-Bestimmungseinheit 1702 bestimmt wurden, und den Punktgruppendaten, die durch die dreidimensionale Datenerzeugungseinheit 1703 bestimmt wurden. Als nächstes passt die Kippmulden-Bestimmungseinheit 1704 das Kippmuldenmodell VD an die dreidimensionalen Positionen der Merkmalspunkte an, um die dreidimensionale Position der Kippmulde 210 zu spezifizieren. In einer anderen Ausführungsform kann die Kippmulden-Bestimmungseinheit 1704 die dreidimensionale Position der Kippmulde 210 auf der Grundlage der Höhenkarte bestimmen.
Die Oberflächenbestimmungseinheit 1705 bestimmt eine dreidimensionale Position einer Oberfläche des Transportobjekts L auf der Kippmulde 210 basierend auf den von der dreidimensionalen Datenerzeugungseinheit 1703 erzeugten Punktgruppendaten und der von der Kippmulden-Bestimmungseinheit 1704 bestimmten dreidimensionalen Position der Kippmulde 210. Insbesondere schneidet die Oberflächenbestimmungseinheit 1705 einen Abschnitt oberhalb einer Bodenfläche der Kippmulde 210 aus den von der dreidimensionalen Datenerzeugungseinheit 1703 erzeugten Punktgruppendaten aus, um die dreidimensionale Position der Oberfläche des Transportobjekts L auf der Kippmulde 210 festzulegen.
Die Verteilungsbestimmungseinheit 1706 erzeugt eine Kippmuldenkarte, die eine Verteilung einer Menge des Transportobjekts L auf der Kippmulde 210 anzeigt, basierend auf der dreidimensionalen Position der Bodenfläche der Kippmulde 210, die von der Kippmulden-Bestimmungseinheit 1704 bestimmt wurde, und der dreidimensionalen Position der Oberfläche des Transportobjekts L, die von der Oberflächenbestimmungseinheit 1705 bestimmt wurde. Die Kippmuldenkarte ist ein Beispiel für Verteilungsinformationen. Die Kippmuldenkarte ist z. B. eine Höhenkarte des Transportobjekts L in Bezug auf die Bodenfläche der Kippmulde 210.
Die Verteilungsschätzungseinheit 1707 erzeugt eine Kippmuldenkarte, in der ein Wert für einen Abschnitt der Kippmuldenkarte ergänzt wird, der keinen Wert von Höhendaten aufweist. Das heißt, die Verteilungsschätzungseinheit 1707 schätzt eine dreidimensionale Position eines abgeschirmten Abschnitts der Kippmuldenkarte, der durch ein Hindernis abgeschirmt ist, um die Kippmuldenkarte zu aktualisieren. Beispiele für das Hindernis sind das Arbeitsgerät 110, die Heckklappe der Kippmulde 210 und das Transportobjekt L.
Insbesondere gibt die Verteilungsschätzungseinheit 1707 die Kippmuldenkarte in das im Speicher 93 gespeicherte komplementäre Modell M2 ein, um eine Kippmuldenkarte zu erzeugen, in der die Höhendaten ergänzt werden. Das komplementäre Modell M2 wird z. B. durch ein trainiertes DNN-Modell realisiert, das das in 4 gezeigte neuronale Netz 140 enthält. Das komplementäre Modell M2 ist ein trainiertes Modell, das trainiert wird, wenn eine Kippmuldenkarte mit einem Gitter ohne Höhendaten eingegeben wird, um eine Kippmuldenkarte auszugeben, in der alle Gitter die Höhendaten umfassen. Das komplementäre Modell M2 wird z.B. mit einer Kombination aus einer vollständigen Kippmuldenkarte, in der alle Gitter die Höhendaten umfassen, die durch Simulation oder ähnliches erzeugt wird, und einer unvollständigen Kippmuldenkarte, in der ein Abschnitt der Höhendaten aus der vollständigen Kippmuldenkarte entfernt wurde, als Datensatz zum Lernen trainiert. Das komplementäre Modell M2 gemäß einer anderen Ausführungsform kann durch nicht überwachtes Lernen oder verstärktes Lernen trainiert werden.
Die Führungsinformations-Erzeugungseinheit 1708 erzeugt die Führungsinformationen aus der von der Verteilungsschätzungseinheit 1707 erzeugten Kippmuldenkarte.
5 ist ein Beispiel für die Führungsinformationen. Wie in 5 gezeigt, erzeugt die Führungsinformations-Erzeugungseinheit 1708 beispielsweise die Führungsinformationen zur Anzeige einer zweidimensionalen Wärmekarte, die eine Verteilung der Höhe von der Bodenfläche der Kippmulde 210 zur Oberfläche des Transportobjekts L anzeigt. Die Granularität der vertikalen und horizontalen Unterteilungen in der in 5 gezeigten Wärmekarte ist ein Beispiel und ist in einer anderen Ausführungsform nicht darauf beschränkt. Die Wärmekarte gemäß einer anderen Ausführungsform kann z. B. ein Verhältnis einer Höhe des Transportobjekts L zu einer Höhe bezogen auf eine Obergrenze der Beladung der Kippmulde 210 darstellen.
Die Anzeigesteuereinheit 1709 gibt ein Anzeigesignal zur Anzeige der Führungsinformationen an die Anzeigevorrichtung 125 aus.
Die Lerneinheit 1801 führt eine Lernverarbeitung des Modells M1 zur Bestimmung der Merkmalspunkte und des komplementären Modells M2 durch. Die Lerneinheit 1801 kann in einer vom Steuergerät 124 separaten Vorrichtung vorgesehen sein. In diesem Fall wird das trainierte Modell, das in der separaten Vorrichtung trainiert wurde, im Speicher 93 aufgezeichnet.
«Anzeigeverfahren»
6 ist ein Flussdiagramm, das ein Anzeigeverfahren der Führungsinformationen durch das Steuergerät gemäß der ersten Ausführungsform zeigt.
Zunächst erfasst die Datenerfassungseinheit 1701 das Stereobild von der Stereokamera 122 (Schritt S1). Als Nächstes gibt die Merkmalspunkt-Bestimmungseinheit 1702 das rechte Augenbild des von der Datenerfassungseinheit 1701 erfassten Stereobildes in das im Speicher 93 gespeicherte Merkmalspunkt-Bestimmungsmodell M1 ein, um die Positionen einer Vielzahl von Merkmalspunkten der Kippmulde 210 zu spezifizieren, die im rechten Augenbild dargestellt sind (Schritt S2). Beispiele für die Merkmalspunkte der Kippmulde 210 sind das obere und das untere Ende der Frontplatte der Kippmulde 210, der Schnittpunkt des Schutzrahmens der Frontplatte und des Seitentors sowie das obere und das untere Ende der festen Säule der Heckklappe. In einer anderen Ausführungsform kann die Merkmalspunkt-Bestimmungseinheit 1702 das linke Augenbild in das Modell M1 zur Festlegung von Merkmalspunkten eingeben, um die Positionen der Vielzahl von Merkmalspunkten festzulegen.
Die dreidimensionale Datenerzeugungseinheit 1703 erzeugt die Punktgruppendaten des gesamten Abbildungsbereichs der Stereokamera 122 durch die Stereomessung unter Verwendung des in Schritt S1 erfassten Stereobildes und der im Speicher 93 gespeicherten Kamera-Parameter (Schritt S3).
Die Kippmulden-Bestimmungseinheit 1704 bestimmt die dreidimensionalen Positionen der Merkmalspunkte basierend auf den in Schritt S2 bestimmten Positionen der Merkmalspunkte und den in Schritt S3 erzeugten Punktgruppendaten (Schritt S4). Zum Beispiel bestimmt die Kippmulden-Bestimmungseinheit 1704 unter Verwendung der Punktgruppendaten einen dreidimensionalen Punkt, der dem Pixel entspricht, das den Merkmalspunkt in dem rechten Augenbild zeigt, um die dreidimensionale Position des Merkmalspunktes zu spezifizieren. Die Kippmulden-Bestimmungseinheit 1704 passt das im Speicher 93 gespeicherte Kippmuldenmodell VD an die bestimmten Positionen der Merkmalspunkte an, um die dreidimensionale Position der Kippmulde 210 zu spezifizieren (Schritt S5). Zu diesem Zeitpunkt kann die Kippmulden-Bestimmungseinheit 1704 ein Koordinatensystem der Punktgruppendaten in ein Kippmulden-Koordinatensystem umwandeln, das eine Ecke der Kippmulde 210 als Ursprung hat, basierend auf der dreidimensionalen Position der Kippmulde 210. Das Kippmulden-Koordinatensystem kann beispielsweise als ein Koordinatensystem dargestellt werden, das sich aus einer X-Achse, die sich in einer Breitenrichtung der Frontplatte erstreckt, einer Y-Achse, die sich in einer Breitenrichtung des Seitentors erstreckt, und einer Z-Achse, die sich in einer Höhenrichtung der Frontplatte erstreckt, zusammensetzt, mit einem unteren linken Ende der Frontplatte als Ursprung. Die Kippmulden-Bestimmungseinheit 1704 ist ein Beispiel für eine Abwurfziel-Bestimmungseinheit.
Die Oberflächenbestimmungseinheit 1705 extrahiert aus den in Schritt S3 erzeugten Punktgruppendaten eine Vielzahl von dreidimensionalen Punkten in einem Prismenbereich, der von der in Schritt S5 festgelegten Frontplatte, der Seitenwand und der Heckklappe der Kippmulde 210 umgeben ist und sich in Höhenrichtung der Frontplatte erstreckt, um dreidimensionale Punkte, die dem Hintergrund entsprechen, aus den Punktgruppendaten zu entfernen (Schritt S6). Die Frontplatte, die Seitenwand und die Heckklappe bilden einen Wandabschnitt der Kippmulde 210. In einem Fall, in dem die Punktgruppendaten in Schritt S5 in das Kippmulden-Koordinatensystem umgewandelt werden, setzt die Oberflächenbestimmungseinheit 1705 Schwellenwerte, die auf der Grundlage einer bekannten Größe der Kippmulde 210 auf der X-Achse, der Y-Achse und der Z-Achse bestimmt werden, um dreidimensionale Punkte in einem Bereich zu extrahieren, der durch die Schwellenwerte definiert ist. Die Höhe des Prismenbereichs kann gleich der Höhe der Frontplatte oder um eine vorgegebene Länge höher als die Höhe der Frontplatte sein. Das Transportobjekt L kann auch in einem Fall, in dem das Transportobjekt L höher als die Höhe der Kippmulde 210 geladen ist, genau extrahiert werden, indem eine Höhe des Prismenbereichs höher als die der Frontplatte festgelegt wird. Der Prismenbereich kann ein Bereich sein, der sich um einen vorbestimmten Abstand von dem Bereich nach innen verengt, der von der Frontplatte, der Seitenwand und der Heckklappe umgeben ist. In diesem Fall kann ein Fehler in den Punktgruppendaten reduziert werden, auch wenn das Kippmuldenmodell VD ein einfaches 3D-Modell ist, bei dem die Dicken der Frontplatte, der Seitenwand, der Heckklappe und der Bodenfläche nicht genau sind.
Die Oberflächenbestimmungseinheit 1705 entfernt dreidimensionale Punkte, die der Position des Kippmuldenmodells VD entsprechen, aus der Vielzahl der in Schritt S6 extrahierten dreidimensionalen Punkte, um die dreidimensionale Position der Oberfläche des auf der Kippmulde 210 geladenen Transportobjekts L zu bestimmen (Schritt S7). Die Verteilungsbestimmungseinheit 1706 erzeugt die Kippmuldenkarte, die eine Höhenkarte ist, die die Höhe in der Höhenrichtung der Frontplatte mit der Bodenfläche der Kippmulde 210 als Bezugshöhe darstellt, basierend auf der Vielzahl von dreidimensionalen Punkten, die in Schritt S6 extrahiert wurden, und der Bodenfläche der Kippmulde 210 (Schritt S8). Die Kippmuldenkarte kann ein Gitter ohne die Höhendaten enthalten. In einem Fall, in dem die Punktgruppendaten in Schritt S5 in das Kippmulden-Koordinatensystem umgewandelt werden, kann die Verteilungsbestimmungseinheit 1706 die Kippmuldenkarte erzeugen, indem sie eine Höhenkarte mit einer XY-Ebene als Referenzhöhe und mit der Z-Achsenrichtung als Höhenrichtung erhält.
Die Verteilungsschätzungseinheit 1707 gibt die in Schritt S7 erzeugte Kippmuldenkarte in das im Speicher 93 gespeicherte komplementäre Modell M2 ein, um die Kippmuldenkarte zu erzeugen, in der die Höhendaten ergänzt sind (Schritt S8). Die Führungsinformations-Erzeugungseinheit 1708 erzeugt die in 5 gezeigten Führungsinformationen auf der Grundlage der Kippmuldenkarte (Schritt S9). Die Anzeigesteuereinheit 1709 gibt das Anzeigesignal zur Anzeige der Führungsinformationen an die Anzeigevorrichtung 125 aus (Schritt S10).
Je nach Ausführungsform kann die Verarbeitung der Schritte S2 bis S4 und der Schritte S7 bis S10 unter der in 6 gezeigten Verarbeitung durch das Steuergerät 124 entfallen.
Anstelle der Verarbeitung der Schritte S3 und S4 unter der Verarbeitung durch das in 6 gezeigte Steuergerät 124 können die Positionen der Merkmalspunkte im linken Augenbild aus den Positionen der Merkmalspunkte im rechten Augenbild durch den Stereoabgleich bestimmt werden, um die dreidimensionalen Positionen der Merkmalspunkte unter Verwendung der Triangulation zu spezifizieren. Anstelle des Prozesses von Schritt S6 können Punktgruppendaten nur in dem Prismenbereich erzeugt werden, der von der Frontplatte, der Seitenwand und der Heckklappe der in Schritt S5 bestimmten Kippmulde 210 umgeben ist und sich in Höhenrichtung der Frontplatte erstreckt. Da in diesem Fall nicht die Punktgruppendaten des gesamten Abbildungsbereichs erzeugt werden müssen, kann der Rechenaufwand reduziert werden.
<<Lernverfahren >>
7 ist ein Flussdiagramm, das ein Lernverfahren für das Merkmalspunkt-Bestimmungsmodell M1 gemäß der ersten Ausführungsform zeigt. Die Datenerfassungseinheit 1701 erfasst die Trainingsdaten (Schritt S101). Die Trainingsdaten im Merkmalspunkt-Bestimmungsmodell M1 sind zum Beispiel ein Bild, das die Kippmulde 210 zeigt. Die Trainingsdaten können aus einem Bild gewonnen werden, das von der Stereokamera 122 aufgenommen wurde. Die Trainingsdaten können aus einem Bild gewonnen werden, das von einer anderen Arbeitsmaschine aufgenommen wurde. Als Trainingsdaten kann ein Bild, das eine andere Arbeitsmaschine als den Muldenkipper zeigt, z. B. ein Bild, das die Kippmulde eines Radladers zeigt, verwendet werden. Es ist möglich, die Robustheit der Kippmuldenerfassung zu verbessern, indem Kippmulden verschiedener Arbeitsmaschinentypen als Trainingsdaten verwendet werden.
Als Nächstes führt die Lerneinheit 1801 ein Training des Modells M1 durch, das die Merkmalspunkte bestimmt. Die Lerneinheit 1801 führt das Training des Merkmalspunkt-Bestimmungsmodells M1 durch, indem sie die Kombination aus den in Schritt S101 erfassten Trainingsdaten und den Lerndaten, d. h. dem Bild, das durch Aufzeichnen der Positionen der Merkmalspunkte der Kippmulde erhalten wird, als Datensatz für das Lernen verwendet (Schritt S102). Zum Beispiel verwendet die Lerneinheit 1801 die Trainingsdaten als Eingabe, um eine Berechnungsverarbeitung des neuronalen Netzes 140 in einer Vorwärtspropagationsrichtung durchzuführen. Dementsprechend erhält die Lerneinheit 1801 einen Ausgabewert, der von der Ausgabeschicht 143 des neuronalen Netzes 140 ausgegeben wird. Der Datensatz für das Lernen kann im Hauptspeicher 92 oder im Speicher 93 gespeichert sein. Als nächstes berechnet die Lerneinheit 1801 einen Fehler zwischen dem Ausgabewert von der Ausgabeschicht 143 und den Lerndaten. Der Ausgabewert von der Ausgabeschicht 143 ist ein Wert, der die Wahrscheinlichkeit angibt, dass ein Pixel der Merkmalspunkt ist, und die Lerndaten sind die Informationen, die durch Aufzeichnen der Position des Merkmalspunktes erhalten werden. Die Lerneinheit 1801 berechnet einen Fehler der Gewichtung jeder Verbindung zwischen den Neuronen und einen Fehler des Schwellenwerts jedes Neurons durch Backpropagation aus dem berechneten Fehler des Ausgabewerts. Die Lerneinheit 1801 aktualisiert das Gewicht jeder Verbindung zwischen den Neuronen und den Schwellenwert jedes Neurons basierend auf den berechneten Fehlern.
Die Lerneinheit 1801 bestimmt, ob der Ausgabewert des Merkmalspunkt-Bestimmungsmodells M1 mit den Lerndaten übereinstimmt oder nicht (Schritt S 103). Es kann bestimmt werden, dass der Ausgabewert mit den Lerndaten übereinstimmt, wenn ein Fehler zwischen dem Ausgabewert und den Lerndaten innerhalb eines vorgegebenen Wertes liegt. In einem Fall, in dem der Ausgabewert des Merkmalspunkt-Bestimmungsmodells M1 nicht mit den Lerndaten übereinstimmt (Schritt S103: NEIN), wird die obige Verarbeitung wiederholt, bis der Ausgabewert des Merkmalspunkt-Bestimmungsmodells M1 mit den Lerndaten übereinstimmt. Als Ergebnis werden die Parameter des Merkmalspunkt-Bestimmungsmodells M1 optimiert, und das Merkmalspunkt-Bestimmungsmodell M1 kann trainiert werden.
In einem Fall, in dem der Ausgabewert des den Merkmalspunkt-Bestimmungsmodells M1 mit einem Wert übereinstimmt, der dem Merkmalspunkt entspricht (Schritt S103: JA), zeichnet die Lerneinheit 1801 das Merkmalspunkt-Bestimmungsmodell M1 als trainiertes Modell einschließlich der durch das Training optimierten Parameter im Speicher 93 auf (Schritt S104).
8 ist ein Flussdiagramm, das ein Lernverfahren des komplementären Modells gemäß der ersten Ausführungsform zeigt. Die Datenerfassungseinheit 1701 erfasst die vollständige Kippmuldenkarte, in der alle Gitter die Höhendaten als Lerndaten aufweisen (Schritt S111). Die vollständige Kippmuldenkarte wird z. B. durch Simulation oder ähnliches erzeugt. Die Lerneinheit 1801 entfernt stichprobenartig einen Abschnitt der Höhendaten der vollständigen Kippmuldenkarte, um die unvollständige Kippmuldenkarte als Trainingsdaten zu erzeugen (Schritt S112).
Als nächstes führt die Lerneinheit 1801 ein Training des komplementären Modells M2 durch. Die Lerneinheit 1801 führt das Training des komplementären Modells M2 mit der Kombination aus den in Schritt S112 erzeugten Trainingsdaten und den in Schritt S111 erfassten Lehrdaten als Datensatz zum Lernen durch (Schritt S113). Beispielsweise verwendet die Lerneinheit 1801 die Trainingsdaten als Eingabe, um eine Berechnungsverarbeitung des neuronalen Netzes 140 in einer Vorwärtspropagationsrichtung durchzuführen. Dementsprechend erhält die Lerneinheit 1801 einen Ausgabewert, der von der Ausgabeschicht 143 des neuronalen Netzes 140 ausgegeben wird. Der Datensatz für das Lernen kann im Hauptspeicher 92 oder im Speicher 93 gespeichert sein. Als nächstes berechnet die Lerneinheit 1801 einen Fehler zwischen der von der Ausgabeschicht 143 ausgegebenen Kippmuldenkarte und der vollständigen Kippmuldenkarte als Lerndaten. Die Lerneinheit 1801 berechnet einen Fehler des Gewichts jeder Verbindung zwischen den Neuronen und einen Fehler des Schwellenwerts jedes Neurons durch Backpropagation aus dem berechneten Fehler des Ausgabewerts. Die Lerneinheit 1801 aktualisiert das Gewicht jeder Verbindung zwischen den Neuronen und den Schwellenwert jedes Neurons basierend auf den berechneten Fehlern.
Die Lerneinheit 1801 bestimmt, ob der Ausgabewert des komplementären Modells M2 mit den Lerndaten übereinstimmt oder nicht (Schritt S114). Es kann festgestellt werden, dass der Ausgabewert mit den Lerndaten übereinstimmt, wenn ein Fehler zwischen dem Ausgabewert und den Lerndaten innerhalb eines vorgegebenen Wertes liegt. In einem Fall, in dem der Ausgabewert des komplementären Modells M2 nicht mit den Lerndaten übereinstimmt (Schritt S114: NEIN), wird die obige Verarbeitung wiederholt, bis der Ausgabewert des komplementären Modells M2 mit der vollständigen Kippmuldenkarte übereinstimmt. Als Ergebnis werden die Parameter des komplementären Modells M2 optimiert, und das komplementäre Modell M2 kann trainiert werden.
In einem Fall, in dem der Ausgabewert des komplementären Modells M2 mit den Lerndaten übereinstimmt (Schritt S114: JA), speichert die Lerneinheit 1801 das komplementäre Modell M2 als trainiertes Modell einschließlich der durch das Training optimierten Parameter in dem Speicher 93 (Schritt S115).
« Bedienung und Auswirkungen»
Wie oben beschrieben, bestimmt das Steuergerät 124 gemäß der ersten Ausführungsform die dreidimensionalen Positionen der Oberfläche des Transportobjekts L und der Bodenfläche der Kippmulde 210 basierend auf dem aufgenommenen Bild und erzeugt die Kippmuldenkarte, die die Verteilung der Menge des Transportobjekts L auf der Kippmulde 210 basierend auf den dreidimensionalen Positionen anzeigt. Dementsprechend kann das Steuergerät 124 die Verteilung des Transportobjekts L auf der Kippmulde 210 angeben. Durch die Erkennung der Verteilung des Transportobjekts L auf der Kippmulde 210 kann der Bediener die Abwurfposition des Transportobjekts L erkennen, um das Transportobjekt L ausgewogen auf die Kippmulde 210 zu laden.
Das Steuergerät 124 gemäß der ersten Ausführungsform schätzt die Verteilung der Menge des Transportobjekts L in dem durch ein Hindernis abgeschirmten Abschnitt der Kippmuldenkarte. Dementsprechend kann der Bediener die Verteilung der Menge des Transportobjekts L auch für einen Abschnitt der Kippmulde 210 erkennen, der durch das Hindernis abgeschirmt ist und nicht von der Stereokamera 122 erfasst werden kann.
<Zweite Ausführungsform>
Das Steuergerät 124 gemäß einer zweiten Ausführungsform legt die Verteilung des Transportobjekts L auf der Kippmulde 210 auf der Grundlage eines Typs des Transportobjekts L fest.
9 ist ein schematisches Blockdiagramm, das eine Konfiguration eines Steuergeräts gemäß der zweiten Ausführungsform zeigt.
Das Steuergerät 124 gemäß der zweiten Ausführungsform enthält außerdem eine Typenbestimmungseinheit 1710. Der Speicher 93 speichert ein Typenbestimmungsmodell M3 und eine Vielzahl von komplementären Modellen M2 entsprechend dem Typ des Transportobjekts L.
Die Typenbestimmungseinheit 1710 gibt ein Bild des Transportobjekts L in das Typenbestimmungsmodell M3 ein, um den Typ des im Bild dargestellten Transportobjekts L festzulegen. Beispiele für die Art des Transportobjekts sind Ton, Sand, Kies, Fels und Holz.
Das Typenbestimmungsmodell M3 wird z. B. durch ein trainiertes Modell eines tiefen neuronalen Netzes (DNN) realisiert. Das Typenbestimmungsmodell M3 ist ein trainiertes Modell, das bei Eingabe eines Bildes, das das Transportobjekt L zeigt, darauf trainiert wird, den Typ des Transportobjekts L auszugeben. Als DNN-Konfiguration des Typenbestimmungsmodells M3 kann z. B. die gleiche oder eine ähnliche DNN-Konfiguration wie eine zur Bilderkennung verwendete DNN-Konfiguration verwendet werden. Das Typenbestimmungsmodell M3 wird z. B. mit einer Kombination aus einem Bild, das das Transportobjekt L zeigt, und einer Kennzeichnung, die den Typ des Transportobjekts L repräsentiert, als Lerndaten trainiert. Das Typenbestimmungsmodell M3 wird z. B. mit einer Kombination aus einem Bild, das das Transportobjekt L zeigt, und Kennzeichnungsdaten, die den Typ des Transportobjekts L repräsentieren, als Lerndaten trainiert. Das Typenbestimmungsmodell M3 kann durch Transferlernen eines allgemein trainierten Bilderkennungsmodells trainiert werden. Das Typenbestimmungsmodell M3 gemäß einer anderen Ausführungsform kann durch nicht überwachtes Lernen oder verstärktes Lernen trainiert werden.
Der Speicher 93 speichert das komplementäre Modell M2 für jeden Typ des Transportobjekts L. Zum Beispiel speichert der Speicher 93 ein komplementäres Modell M2 für Ton, ein komplementäres Modell M2 für Sand, ein komplementäres Modell M2 für Kies, ein komplementäres Modell M2 für Fels und ein komplementäres Modell M2 für Holz. Jedes komplementäre Modell M2 wird z. B. mit einer Kombination aus einer vollständigen Kippmuldenkarte, die durch Simulation o. ä. entsprechend dem Typ des Transportobj ekts L erzeugt wurde, und einer unvollständigen Kippmuldenkarte, die durch Entfernen eines Abschnitts der Höhendaten aus der Kippmuldenkarte als Lerndaten erhalten wird, trainiert.
«Anzeigeverfahren»
10 ist ein Flussdiagramm, das ein Anzeigeverfahren der Führungsinformationen durch das Steuergerät gemäß der zweiten Ausführungsform zeigt.
Zunächst erfasst die Datenerfassungseinheit 1701 das Stereobild von der Stereokamera 122 (Schritt S21). Als Nächstes gibt die Merkmalspunkt-Bestimmungseinheit 1702 das rechte Augenbild des von der Datenerfassungseinheit 1701 erfassten Stereobildes in das im Speicher 93 gespeicherte Merkmalspunkt-Bestimmungsmodell M1 ein, um die Positionen der Vielzahl von Merkmalspunkten der im rechten Augenbild dargestellten Kippmulde 210 zu spezifizieren (Schritt S22).
Die dreidimensionale Datenerzeugungseinheit 1703 erzeugt die Punktgruppendaten des gesamten Abbildungsbereichs der Stereokamera 122 durch die Stereomessung unter Verwendung des in Schritt S21 erfassten Stereobildes und der im Speicher 93 gespeicherten Kamera-Parameter (Schritt S23).
Die Kippmulden-Bestimmungseinheit 1704 bestimmt die dreidimensionalen Positionen der Merkmalspunkte auf der Grundlage der in Schritt S22 bestimmten Positionen der Merkmalspunkte und der in Schritt S23 erzeugten Punktgruppendaten (Schritt S24). Die Kippmulden-Bestimmungseinheit 1704 passt das im Speicher 93 gespeicherte Kippmuldenmodell VD an die bestimmten Positionen der Merkmalspunkte an, um die dreidimensionale Position der Bodenfläche der Kippmulde 210 zu spezifizieren (Schritt S25). Beispielsweise ordnet die Kippmulden-Bestimmungseinheit 1704 das Kippmuldenmodell VD, das auf der Grundlage der Abmessungen des zu erfassenden Muldenkippers 200 erstellt wurde, auf der Basis von mindestens drei bestimmten Positionen der Merkmalspunkte in einem virtuellen Raum an.
Die Oberflächenbestimmungseinheit 1705 extrahiert aus den in Schritt S23 erzeugten Punktgruppendaten eine Vielzahl von dreidimensionalen Punkten in einem Prismenbereich, der von der in Schritt S25 bestimmten Frontplatte, der Seitenklappe und der Heckklappe der Kippmulde 210 umgeben ist und sich in Höhenrichtung der Frontplatte erstreckt, um dem Hintergrund entsprechende dreidimensionale Punkte aus den Punktgruppendaten zu entfernen (Schritt S26). Die Oberflächenbestimmungseinheit 1705 entfernt dreidimensionale Punkte, die der Position des Kippmuldenmodells VD entsprechen, aus der Vielzahl der dreidimensionalen Punkte, die in Schritt S6 extrahiert wurden, um die dreidimensionale Position der Oberfläche des auf der Kippmulde 210 geladenen Transportobjekts L zu spezifizieren (Schritt S27). Die Verteilungsbestimmungseinheit 1706 erzeugt die Kippmuldenkarte, die eine Höhenkarte mit der Bodenfläche der Kippmulde 210 als Bezugshöhe ist, basierend auf der Vielzahl der in Schritt S27 extrahierten dreidimensionalen Punkte und der Bodenfläche der Kippmulde 210 (Schritt S28). Die Kippmuldenkarte kann ein Gitter ohne die Höhendaten enthalten.
Die Oberflächenbestimmungseinheit 1705 bestimmt einen Bereich, in dem das Transportobjekt L in dem rechten Augenbild erscheint, basierend auf der dreidimensionalen Position der Oberfläche des Transportobjekts L, die in Schritt S27 (Schritt S29) bestimmt wurde. Zum Beispiel bestimmt die Oberflächenbestimmungseinheit 1705 eine Vielzahl von Pixeln im rechten Augenbild, die der Vielzahl von dreidimensionalen Punkten entsprechen, die in Schritt S27 extrahiert wurden, und bestimmt einen Bereich, der aus der Vielzahl von bestimmten Pixeln besteht, als den Bereich, in dem das Transportobjekt L erscheint. Die Typenbestimmungseinheit 1710 extrahiert den Bereich, in dem das Transportobjekt L erscheint, aus dem rechten Augenbild und gibt ein Bild, das sich auf den Bereich bezieht, in das Typenbestimmungsmodell M3 ein, um den Typ des Transportobjekts L zu bestimmen (Schritt S30).
Die Verteilungsschätzungseinheit 1707 gibt die in Schritt S28 erzeugte Kippmuldenkarte in das komplementäre Modell M2 ein, das dem in Schritt S30 angegebenen Typ zugeordnet ist, um die Kippmuldenkarte zu erzeugen, in der die Höhendaten ergänzt sind (Schritt S31). Die Führungsinformations-Erzeugungseinheit 1708 erzeugt die Führungsinformationen basierend auf der Kippmuldenkarte (Schritt S32). Die Anzeigesteuereinheit 1709 gibt das Anzeigesignal zur Anzeige der Führungsinformationen an die Anzeigevorrichtung 125 aus (Schritt S33).
« Bedienung und Auswirkungen»
Wie oben beschrieben, schätzt das Steuergerät 124 gemäß der zweiten Ausführungsform die Verteilung der Menge des Transportobjekts L im abgeschirmten Abschnitt basierend auf der Art des Transportobjekts L. Das heißt, die Eigenschaften (z. B. der Schüttwinkel) des auf der Kippmulde 210 geladenen Transportobjekts L unterscheiden sich je nach Art des Transportobjekts L. Gemäß der dritten Ausführungsform ist es jedoch möglich, die Verteilung des Transportobjekts L im abgeschirmten Abschnitt je nach Art des Transportobjekts L genauer zu schätzen.
<Andere Ausführungsform>
Obwohl Ausführungsformen unter Bezugnahme auf die Zeichnungen detailliert beschrieben wurden, ist eine bestimmte Konfiguration nicht auf die oben genannten beschränkt, und es können verschiedene Konstruktionsänderungen und dergleichen vorgenommen werden.
Obwohl zum Beispiel das Steuergerät 124 gemäß der oben beschriebenen Ausführungsform am Hydraulikbagger 100 montiert ist, ist die vorliegende Erfindung nicht darauf beschränkt. Beispielsweise kann das Steuergerät 124 gemäß einer anderen Ausführungsform in einer entfernten Servervorrichtung vorgesehen sein. Das Steuergerät 124 kann durch eine Vielzahl von Rechnern realisiert werden. In diesem Fall kann ein Abschnitt der Konfiguration des Steuergeräts 124 in der entfernten Servervorrichtung bereitgestellt werden. Das heißt, das Steuergerät 124 kann als ein aus einer Vielzahl von Geräten bestehendes System zur Angabe von Transportobjekten implementiert sein.
Obwohl das Abwurfziel gemäß der oben beschriebenen Ausführungsform die Kippmulde 210 des Muldenkippers 200 ist, ist die vorliegende Erfindung nicht darauf beschränkt. Beispielsweise kann das Abwurfziel gemäß einer anderen Ausführungsform ein anderes Abwurfziel sein, wie z. B. ein Trichter.
Obwohl das aufgenommene Bild gemäß der oben beschriebenen Ausführungsform das Stereobild ist, ist die vorliegende Erfindung nicht darauf beschränkt. In einer anderen Ausführungsform kann die Berechnung beispielsweise auf der Grundlage eines einzelnen Bildes anstelle des Stereobildes durchgeführt werden. In diesem Fall kann das Steuergerät 124 die dreidimensionale Position des Transportobjekts L festlegen, indem sie z. B. ein trainiertes Modell verwendet, das aus dem einen Bild Tiefeninformationen erzeugt.
Obwohl das Steuergerät 124 gemäß der oben beschriebenen Ausführungsform den Wert des abgeschirmten Abschnitts der Kippmuldenkarte durch Verwendung des komplementären modells M2 ergänzt, ist die vorliegende Erfindung nicht darauf beschränkt. Beispielsweise kann das Steuergerät 124 gemäß einer anderen Ausführungsform eine Höhe des abgeschirmten Abschnitts basierend auf einer Änderungsrate oder einem Änderungsmuster der Höhe des Transportobjekts L in der Nähe des abgeschirmten Abschnitts schätzen. Beispielsweise kann das Steuergerät 124 in einem Fall, in dem die Höhe des Transportobjekts L in der Nähe des abgeschirmten Abschnitts geringer wird, wenn es sich dem abgeschirmten Abschnitt nähert, die Höhe des Transportobjekts L im abgeschirmten Abschnitt auf einen Wert schätzen, der niedriger ist als die Höhe in der Nähe des abgeschirmten Abschnitts, basierend auf der Änderungsrate der Höhe.
Das Steuergerät 124 gemäß einer anderen Ausführungsform kann die Höhe des Transportobjekts L im abgeschirmten Abschnitt durch Simulation unter Berücksichtigung einer physikalischen Eigenschaft, wie z. B. des Schüttwinkels des Transportobjekts L, abschätzen. Das Steuergerät 124 gemäß einer anderen Ausführungsform kann die Höhe des Transportobjekts L im abgeschirmten Abschnitt deterministisch auf der Basis eines zellulären Automaten abschätzen, bei dem jedes Gitter der Kippmuldenkarte als Zelle betrachtet wird.
Das Steuergerät 124 gemäß einer anderen Ausführungsform muss die Kippmuldenkarte nicht ergänzen und kann Informationen in Bezug auf die Kippmuldenkarte anzeigen, einschließlich eines Abschnitts, in dem die Höhendaten fehlen.
11A ist ein Diagramm, das ein erstes Beispiel für ein Verfahren zur Berechnung der Menge eines Transportobjekts in einer Kippmulde zeigt. 11B ist ein Diagramm, das ein zweites Beispiel für das Verfahren zur Berechnung der Menge des Transportobjekts in der Kippmulde zeigt.
Wie in 11A gezeigt, wird die Kippmuldenkarte gemäß der oben beschriebenen Ausführungsform durch eine Höhe von einer Bodenfläche L1 der Kippmulde 210 bis zu einem oberen Grenzwert der Beladung der Kippmulde 210 dargestellt, aber die vorliegende Erfindung ist darauf nicht beschränkt.
Wie in 11B gezeigt, kann die Kippmuldenkarte gemäß einer anderen Ausführungsform beispielsweise eine Höhe von einer anderen Bezugsebene L3 in Bezug auf die Bodenfläche zu einer Oberfläche L2 des Transportobjekts L darstellen. In dem in 11B gezeigten Beispiel ist die Bezugsebene L3 eine Ebene, die parallel zur Bodenfläche verläuft und durch einen Punkt der Bodenfläche geht, der der Bodenfläche am nächsten liegt. In diesem Fall kann der Bediener die Menge des Transportobjekts L leicht erkennen, bis der Kippmulde 210 voll ist, unabhängig von einer Neigung der Kippmulde 210.
Obwohl das Steuergerät 124 gemäß der oben beschriebenen Ausführungsform die Kippmuldenkarte basierend auf der Bodenfläche der Kippmulde 210 und der Oberfläche des Transportobjekts L erzeugt, ist die vorliegende Erfindung nicht darauf beschränkt. Beispielsweise kann das Steuergerät 124 gemäß einer anderen Ausführungsform die Kippmuldenkarte auf der Grundlage einer Öffnungsfläche der Kippmulde 210, der Oberfläche des Transportobjekts und einer Höhe von der Bodenfläche zur Öffnungsfläche der Kippmulde 210 berechnen. Das heißt, das Steuergerät 124 kann die Kippmuldenkarte berechnen, indem sie von der Höhe von der Bodenfläche zur Öffnungsfläche der Kippmulde 210 einen Abstand von einer oberen Endfläche der Kippmulde zur Oberfläche des Transportobjekts L subtrahiert.
Obwohl die Führungsinformations-Erzeugungseinheit 1708 gemäß der oben beschriebenen Ausführungsform die Merkmalspunkte aus dem rechten Augenbild extrahiert, indem sie das Merkmalspunkt-Bestimmungsmodell M1 verwendet, ist die vorliegende Erfindung nicht darauf beschränkt. In einer anderen Ausführungsform kann die Führungsinformations-Erzeugungseinheit 1708 beispielsweise die Merkmalspunkte aus dem linken Augenbild extrahieren, indem sie das Merkmalspunkt-Bestimmungsmodell M1 verwendet.
Industrielle Anwendbarkeit
Die Transportobjekt-Bestimmungsvorrichtung gemäß der vorliegenden Erfindung kann die Verteilung des Transportobjekts im Abwurfziel vorgeben.
Bezugszeichenliste

100: Hydraulikbagger
110: Arbeitsgerät
120: Schwenkkörper
121: Kabine
122: Stereokamera
1221: Rechte Kamera
1222: Linke Kamera
123: Bedienungsvorrichtung
124: Steuergerät
125: Anzeigegerät
130: Bewegungskörper
91: Prozessor
92: Hauptspeicher
93: Speicher
94: Schnittstelle
1701: Datenerfassungsgerät
1702: Merkmalspunkt-Bestimmungseinheit
1703: Dreidimensionale Datenerzeugungseinheit
1704: Kippmulden-Bestimmungseinheit
1705: Oberflächenbestimmungseinheit
1706: Verteilungsbestimmungseinheit
1707: Verteilungsschätzungseinheit
1708: Führungsinformations-Erzeugungseinheit
1709: Anzeigensteuervorrichtung
1710: Typenbestimmungseinheit
200: Muldenkipper
210: Kippmulde
211: Heckklappe
212: Seitentor
213: Frontplatte
CP: Kamera-Parameter
VD: Kippmuldenmodell
M1: Merkmalspunkt-Bestimmungsmodell
M2: Komplementäres Modell
M3: Typenbestimmungsmodell
L: Transportobjekt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018163671 [0002]
JP 200171809 [0004]

Claims

Transportobjektbestimmungsvorrichtung einer Arbeitsmaschine, umfassend: eine Bilderfassungseinheit, die ein aufgenommenes Bild erfasst, das ein Abwurfziel der Arbeitsmaschine zeigt, in das ein Transportobjekt abgeworfen wird; eine Abwurfziel-Bestimmungseinheit, die eine dreidimensionale Position von mindestens einem Abschnitt des Abwurfziels basierend auf dem aufgenommenen Bild bestimmt; eine dreidimensionale Datenerzeugungseinheit, die Tiefendaten erzeugt, die dreidimensionale Daten sind, die eine Tiefe des aufgenommenen Bildes darstellen, basierend auf dem aufgenommenen Bild, und eine Oberflächenbestimmungseinheit, die eine dreidimensionale Position einer Oberfläche des Transportobjekts in dem Abwurfziel bestimmt, indem sie aus den Tiefendaten einen Abschnitt entfernt, der dem Abwurfziel entspricht, basierend auf der dreidimensionalen Position des mindestens einen Abschnitts des Abwurfziels.
Transportobjektbestimmungsvorrichtung einer Arbeitsmaschine nach Anspruch 1, ferner umfassend: eine Einheit zum Festlegen von Merkmalspunkten, die eine Position eines Merkmalspunkts des Abwurfziels basierend auf dem aufgenommenen Bild festlegt, wobei die Abwurfziel-Bestimmungseinheit die dreidimensionale Position des mindestens einen Abschnitts des Abwurfziels basierend auf der Position des Merkmalspunkts bestimmt.
Transportobjektbestimmungsvorrichtung einer Arbeitsmaschine nach Anspruch 1 oder 2, wobei die Abwurfziel-Bestimmungseinheit die dreidimensionale Position des mindestens einen Abschnitts des Abwurfziels basierend auf dem aufgenommenen Bild und einem Zielmodell bestimmt, das ein dreidimensionales Modell ist, das eine Form des Abwurfziels anzeigt.
Transportobjektbestimmungsvorrichtung einer Arbeitsmaschine nach einem der Ansprüche 1 bis 3, wobei die Oberflächenbestimmungseinheit aus den Tiefendaten eine dreidimensionale Position in einem Prismenbereich extrahiert, der von einem Wandabschnitt des Abwurfziels umgeben ist und sich in einer Höhenrichtung des Wandabschnitts erstreckt, und den Abschnitt entfernt, der dem Abwurfziel in der extrahierten dreidimensionalen Position entspricht, um die dreidimensionale Position der Oberfläche des Transportobjekts zu bestimmen.
Transportobjektbestimmungsvorrichtung einer Arbeitsmaschine nach einem der Ansprüche 1 bis 4, ferner umfassend: eine Verteilungsbestimmungseinheit, die Verteilungsinformationen erzeugt, die eine Verteilung einer Menge des Transportobjekts in dem Abwurfziel basierend auf der dreidimensionalen Position der Oberfläche des Transportobjekts in dem Abwurfziel und der dreidimensionalen Position des mindestens einen Abschnitts des Abwurfziels anzeigt.
Transportobjektbestimmungsvorrichtung einer Arbeitsmaschine nach Anspruch 5, ferner umfassend: eine Verteilungsschätzungseinheit, die eine Verteilung einer Menge des Transportobjekts in einem abgeschirmten Abschnitt der Verteilungsinformationen schätzt, der durch ein Hindernis abgeschirmt ist.
Transportobjektbestimmungsvorrichtung einer Arbeitsmaschine nach Anspruch 6, wobei die Verteilungsschätzungseinheit die von der Verteilungsbestimmungseinheit erzeugte Verteilungsinformationen in ein komplementäres Modell eingibt, um Verteilungsinformationen zu erzeugen, die einen Wert des abgeschirmten Abschnitts ergänzen, wobei das komplementäre Modell ein trainiertes Modell ist, das, wenn Verteilungsinformationen mit einigen fehlenden Werten eingegeben werden, Verteilungsinformationen ausgibt, die die fehlenden Werte ergänzt.
Transportobjektbestimmungsvorrichtung einer Arbeitsmaschine nach Anspruch 6, wobei die Verteilungsschätzungseinheit Verteilungsinformationen erzeugt, die einen Wert des abgeschirmten Abschnitts auf der Grundlage einer Änderungsrate oder eines Änderungsmusters einer dreidimensionalen Position des Transportobjekts in der Nähe des abgeschirmten Abschnitts ergänzen.
Transportobjektbestimmungsvorrichtung einer Arbeitsmaschine nach einem der Ansprüche 6 bis 8, wobei die Verteilungsschätzungseinheit eine Verteilung einer Menge des Transportobjekts in dem abgeschirmten Abschnitt basierend auf einem Typ des Transportobjekts schätzt.
Transportobjektbestimmungsvorrichtung einer Arbeitsmaschine nach einem der Ansprüche 1 bis 9, wobei das erfasste Bild ein Stereobild ist, das mindestens ein erstes Bild und ein zweites Bild enthält, die von einer Stereokamera erfasst wurden.
Arbeitsmaschine, umfassend: Arbeitsgerät zum Transport eines Transportobjektes; eine Bildaufnahmevorrichtung; die Transportobjekt-Bestimmungsvorrichtung nach einem der Ansprüche 1 bis 10; und ein Anzeigegerät, das Informationen über das Transportobjekt in dem von der Transportobjekt-Bestimmungsvorrichtung bestimmten Abwurfziel anzeigt.
Transportobjektbestimmungsverfahren einer Arbeitsmaschine, umfassend: einen Schritt des Erfassens eines aufgenommenen Bildes, das ein Abwurfziel der Arbeitsmaschine zeigt, in das ein Transportobjekt abgeworfen wird; einen Schritt des Bestimmens einer dreidimensionalen Position von mindestens einem Abschnitt des Abwurfziels auf der Grundlage des aufgenommenen Bildes; einen Schritt zum Erzeugen von Tiefendaten, die dreidimensionale Daten sind, die eine Tiefe des aufgenommenen Bildes darstellen, basierend auf dem aufgenommenen Bild; und einen Schritt des Entfernens eines Abschnitts aus den Tiefendaten, der dem Abwurfziel entspricht, basierend auf der dreidimensionalen Position des mindestens einen Abschnitts des Abwurfziels, um eine dreidimensionale Position einer Oberfläche des Transportobjekts im Abwurfziel zu bestimmen.
Verfahren zur Erzeugung eines komplementären Modells, das, wenn Verteilungsinformationen mit einigen fehlenden Werten eingegeben werden, Verteilungsinformationen ausgibt, die die fehlenden Werte ergänzen, wobei das Verfahren umfasst: einen Schritt des Erfassens von Verteilungsinformationen, die eine Verteilung einer Menge eines Transportobjekts in einem Abwurfziel einer Arbeitsmaschine angeben, und unvollständiger Verteilungsinformationen, in denen einige Werte der Verteilungsinformationen fehlen, als Datensatz zum Lernen, und einen Schritt des Trainierens des komplementären Modells unter Verwendung des Datensatzes zum Lernen, so dass, wenn die unvollständigen Verteilungsinformationen als Eingabewert verwendet werden, die Verteilungsinformationen zu einem Ausgabewert werden.
Datensatz zum Lernen, der in einem Computer mit einer Lerneinheit und einer Speichereinheit und der zum Trainieren eines in der Speichereinheit gespeicherten komplementären Modells verwendet wird, wobei der Datensatz umfasst Verteilungsinformationen, die eine Verteilung einer Menge eines Transportobjekts in einem Abwurfziel einer Arbeitsmaschine angeben, und unvollständige Verteilungsinformationen, bei denen einige Werte der Verteilungsinformationen fehlen, wobei der Datensatz verwendet wird, um das Trainieren des komplementären Modells durch die Lerneinheit zu verarbeiten.