DE102019211710A1

DE102019211710A1 - Behälterwinkelerfassung unter verwendung eines bildsensors zur feedbackschleifensteuerung

Info

Publication number: DE102019211710A1
Application number: DE102019211710.4A
Authority: DE
Inventors: John M. Hageman; Tarik Loukili; Suraj Amatya
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2018-08-06
Filing date: 2019-08-05
Publication date: 2020-02-06
Also published as: US20200040555A1; CN110805093B; CN110805093A; US10689830B2; AU2019204778A1

Abstract

Eine mobile Arbeitsmaschine umfasst einen Rahmen und ein Bodeneingriffselement, das beweglich von dem Rahmen getragen wird und von einem Motor angetrieben wird, um die Bewegung der mobilen Arbeitsmaschine anzutreiben. Die mobile Arbeitsmaschine umfasst auch einen Behälter, der beweglich von dem Rahmen getragen wird, und ein Stellglied, das konfiguriert ist, um die Bewegung des Behälters relativ zu dem Rahmen steuerbar anzutreiben. Die Arbeitsmaschine umfasst auch ein Steuersystem, das konfiguriert ist, um ein Stellgliedsteuersignal zu erzeugen, das eine befohlene Bewegung des Stellglieds angibt und das Stellgliedsteuersignal an das Stellglied bereitstellt, um das Stellglied zum Ausführen der befohlenen Bewegung zu steuern, und einen Bildsensor, der mit der mobilen Arbeitsmaschine gekoppelt ist, wobei der Bildsensor konfiguriert ist, um ein Bild des Behälters aufzunehmen. Die Arbeitsmaschine umfasst auch ein Winkelbestimmungssystem, das kommunikativ an das Steuersystem gekoppelt und konfiguriert ist, um einen Winkel des Behälters relativ zu dem Bildsensor basierend auf dem Bild des Behälters zu bestimmen.

Description

GEBIET DER BESCHREIBUNG
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Vorrichtungen zur Verwendung bei Erdbewegungsarbeiten. Insbesondere, aber nicht ausschließlich, bezieht sich diese Offenbarung auf das Schätzen des Winkels eines Behälters eines Arbeitsfahrzeugs.
HINTERGRUND
Das Bedienen eines Arbeitsfahrzeugs, beispielsweise eines Baggers oder eines Schabers, ist eine hohe persönliche Kompetenz. Effizienz (z. B. die Menge der Erde, die durch das Arbeitsfahrzeug über einen bestimmten Zeitraum oder pro verbrauchter Kraftstoffeinheit bewegt wird usw.) ist eine Möglichkeit, zumindest einen Teil dieser Fähigkeit zu messen. Effizienz ist auch eine Möglichkeit, die Leistung der jeweiligen Maschine zu messen. Es ist jedoch schwierig, die Effizienz mit Genauigkeit und ohne Zwischenschaltung eines zusätzlichen Schrittes beim Bewegen der Erde zu messen. Um beispielsweise den Inhalt der Schaufel eines Baggers zu wiegen, muss die Schaufel in einer vorgegebenen Weise positioniert oder bewegt werden, damit das Gewicht genau erfasst werden kann. Dies erfordert zusätzliche Schritte, die dazu führen können, dass der gesamte Erdbewegungsprozess weniger effizient ist. Ferner können Systeme, die verwendet werden, um die Menge des Inhalts in der Schaufel ohne physischen Kontakt mit der Schaufel zu bestimmen, das Volumen des Inhalts möglicherweise nicht genau schätzen.
Die vorstehende Erörterung dient lediglich allgemeinen Hintergrundinformationen und ist nicht als Hilfsmittel bei der Bestimmung des Umfangs des beanspruchten Gegenstands gedacht.
ZUSAMMENFASSUNG
Eine mobile Arbeitsmaschine umfasst einen Rahmen und ein Bodeneingriffselement, das beweglich von dem Rahmen getragen wird und von einem Motor angetrieben wird, um die Bewegung der mobilen Arbeitsmaschine anzutreiben. Die mobile Arbeitsmaschine umfasst auch einen Behälter, der beweglich von dem Rahmen getragen wird, und ein Stellglied, das konfiguriert ist, um die Bewegung des Behälters relativ zu dem Rahmen steuerbar anzutreiben. Die Arbeitsmaschine umfasst auch ein Steuersystem, das konfiguriert ist, um ein Stellgliedsteuersignal zu erzeugen, das eine befohlene Bewegung des Stellglieds angibt und das Stellgliedsteuersignal an das Stellglied bereitstellt, um das Stellglied zum Ausführen der befohlenen Bewegung zu steuern, und einen Bildsensor, der mit der mobilen Arbeitsmaschine gekoppelt ist, wobei der Bildsensor konfiguriert ist, um ein Bild des Behälters aufzunehmen. Die Arbeitsmaschine umfasst auch ein Winkelbestimmungssystem, das kommunikativ an das Steuersystem gekoppelt und konfiguriert ist, um einen Winkel des Behälters relativ zu dem Bildsensor basierend auf dem Bild des Behälters zu bestimmen.
Diese Kurzdarstellung wird bereitgestellt, um eine Auswahl von Konzepten in einer vereinfachten Form einzuführen, die im Folgenden in der ausführlichen Beschreibung beschrieben sind. Diese Zusammenfassung ist weder als Festlegung von, Schlüsselmerkmalen oder wesentlichen Eigenschaften des beanspruchten Gegenstands auszulegen, noch zur Verwendung als Hilfe bei der Festlegung des Anwendungsbereichs des beanspruchten Gegenstands. Der beanspruchte Gegenstand beschränkt sich nicht auf Implementierungen, die alle oder einzelne im Hintergrund festgestellte Nachteile lösen.
Figurenliste

1 ist eine perspektivische Ansicht eines Arbeitsfahrzeugs, das ein Bagger mit einem Volumenschätzsystem gemäß einem Beispiel der vorliegende Offenbarung ist.
2 ist eine perspektivische Ansicht der Stereokamera aus 1 gemäß einem Beispiel der vorliegenden Offenbarung.
3 ist ein Blockdiagramm eines Volumenschätzsystems gemäß einem Beispiel der vorliegenden Offenbarung.
4 ist ein funktionelles Blockdiagramm eines Volumenschätzsystems gemäß einem Beispiel der vorliegenden Offenbarung.
5 ist ein Prozessflussdiagramm zum Verarbeiten von Stereobildern zum Messen des Materialvolumens in einer Schaufel gemäß einem Beispiel der vorliegenden Offenbarung.
6 ist ein Flussdiagramm eines Prozesses zum Berechnen eines Materialvolumens in einem Behälter eines Arbeitsfahrzeugs gemäß einem Beispiel der vorliegenden Offenbarung.
7 ist ein Blockdiagramm einer Hardwarearchitektur eines Volumenschätzsystems gemäß einem Beispiel der vorliegenden Offenbarung.
8 ist ein Softwarelogikdiagramm zum Bestimmen eines Materialvolumens in einem Behälter über ein 3D-Sensorsystem gemäß einiger Beispiele der vorliegenden Offenbarung.
9 zeigt ein Beispiel einer Punktwolke aus Material in einer Schaufel, wie aus einem Kamerabild verarbeitet, das von einer Stereokamera nach einigen Beispielen der vorliegenden Offenbarung erhalten wurde.
10 zeigt ein Beispiel der Benutzerschnittstelle auf einer Anzeigevorrichtung gemäß einiger Beispiele der vorliegenden Offenbarung.
11 ist eine Seitenansicht eines Beispiels eines Behälters, der gemäß einiger Beispiele der vorliegenden Offenbarung durch verschiedene Zonen drehbar ist.
12 ist eine Seitenansicht eines Beispiels eines Behälters in einem Erfassungsbereich eines 3D-Sensors gemäß einiger Beispiele der vorliegenden Offenbarung.
13 ist eine Seitenansicht eines Beispiels eines Behälters gemäß einiger Beispiele der vorliegenden Offenbarung.
14 ist eine Seitenansicht eines Beispiels eines Behälters mit ausgehobenem Material gemäß einiger Beispiele der vorliegenden Offenbarung.
15 ist eine Draufsicht auf ein Beispiel eines Behälters, der in einem ersten Winkel gemäß einiger Beispiele der vorliegenden Offenbarung positioniert ist.
16 ist eine Draufsicht auf ein Beispiel eines Behälters, der in einem zweiten Winkel gemäß einiger Beispiele der vorliegenden Offenbarung positioniert ist.
17 ist eine Draufsicht auf ein Beispiel eines Behälters, der in einem dritten Winkel gemäß einiger Beispiele der vorliegenden Offenbarung positioniert ist.
18 umfasst isometrische Ansichten und X/Y-Ebenenansichten von Beispielen von Punktwolken eines Behälters gemäß einiger Beispiele der vorliegenden Offenbarung.
19 ist eine perspektivische Ansicht eines Beispiels für einen Schaber gemäß einiger Beispiele der vorliegenden Offenbarung.
20 ist eine perspektivische Ansicht eines Beispiels für einen Behälter eines Schabers gemäß einiger Beispiele der vorliegenden Offenbarung.
21 ist ein Blockdiagramm, das ein Beispiel für ein Winkelbestimmungssystem zeigt.
22A-22B (hierin gemeinsam als 22 bezeichnet) sind Ablaufdiagramme, die ein Beispiel für ein Verfahren zum Steuern einer Arbeitsmaschine zeigt
23 veranschaulicht ein Beispiel einer Ansicht von einem 3D-Sensor.
24 ist ein Diagramm von aufgezeichneten Daten mit einer Flächen- und einer Winkelachse.
25A veranschaulicht ein Beispiel eines Referenzbildes einer Ansicht von einem 3D-Sensor.
25B veranschaulicht ein Beispiel für eine Ansicht, die von einem 3D-Sensor erfasst wurde.
26 ist ein Ablaufdiagramm, das ein Beispiel für den Betrieb der Referenzgeneratorlogik zeigt.
27 ist ein Blockdiagramm eines Beispiels einer Rechnerumgebung, das in den in den vorherigen Figuren dargestellten Merkmalen verwendet werden kann.

AUSFÜHRLICHE BESCHREIBUNG
Bestimmte Aspekte und Merkmale der vorliegenden Offenbarung betreffen das Schätzen eines Materialvolumens (z. B. Erde) in einem Behälter eines Arbeitsfahrzeugs, wie etwa eines Baggers, Frontladers, eines Schabers, einer unterirdischen Bergbauausrüstung oder einer anderen Art von Maschine unter Verwendung eines berührungslosen Messsystems. Das System kann einen 3D-Sensor, wie etwa eine Stereokamera (die als stereoskopische Kamera bezeichnet werden kann) oder einen Laserscanner, und einen Winkelsensor oder ein Winkelbestimmungssystem umfassen. Der 3D-Sensor kann Bilder vom Inhalt des Behälters erfassen. Die Bilder können mit vom Winkelsensor gemessenen Winkeln oder mit Winkeln, die vom Winkelbestimmungssystem empfangen wurden, in eine 3D-Punktwolke umgewandelt werden. Die 3D-Punktwolke kann mit einer bekannten Punktwolke, einem mathematischen Modell oder einem CAD-Modell verglichen werden, das den Behälter und verschiedene Inhaltsvolumina darstellt, um das Inhaltsvolumen in dem Behälter zu bestimmen. Zusätzlich oder alternativ können die Winkeldaten des Winkelsensors oder des Winkelbestimmungssystems zur Kamera- und Behälterausrichtung verwendet werden.
Die Produktivität von Material, das von einem Arbeitsfahrzeug oder einer Gruppe von Arbeitsfahrzeugen an einer Baustelle bewegt wird, kann überwacht werden. Visuelle Sensoren, wie 3D-Sensoren oder Lasersensoren, können verwendet werden, um die Genauigkeit und Einfachheit der Volumenschätzung zu verbessern. Kosten und Unannehmlichkeiten können im Vergleich zu anderen Volumenschätzlösungen, wie Positionssensoren und Gewichtungssensoren, reduziert werden. Ferner können durch die Verwendung eines Winkelbestimmungssystems die Kosten und der Aufwand für einen zusätzlichen Winkelsensor reduziert werden. Dies liegt daran, dass das Winkelbestimmungssystem anstelle des Winkelsensors denselben visuellen Sensor verwenden kann, der in dem Volumenschätzsystem verwendet wird, um den Winkel des Behälters zu bestimmen. Alternativ kann das Winkelbestimmungssystem in Verbindung mit einem Winkelsensor arbeiten, um zu bestimmen, ob der Winkelsensor fehlerhaft ist und/oder ausgetauscht werden muss.
In einem Beispiel umfasst ein Volumenschätzsystem eine Stereokamera, die am Arm eines Baggers montiert ist, der eine Schaufel aufweist, die sich im Sichtfeld der Stereokamera befindet. Ein anderer Sensor, wie beispielsweise ein Zylinderpositionssensor oder ein Sensor für eine inertiale Messeinheit (Inertial Measurement Unit - IMU), kann verwendet werden, um den Winkel der Schaufel relativ zum Arm zu bestimmen. Das System kann ein Modell der Schaufel erstellen und verstehen, wie sich die Schaufel in Bezug auf den Arm dreht. Die Stereokamera kann verwendet werden, um eine 3D-Punktwolke von Objekten im Sehfeld der Stereokamera zu erzeugen. Das System kann bestimmen, welche Oberfläche sich über der Schaufel befindet, die wahrscheinlich der Boden ist. Die Oberfläche des Bodens kann mit dem Modell der Schaufel und ihrem Drehwinkel verglichen werden, um die Materialmenge in der Schaufel zu bestimmen und eine Volumenschätzungsmessung im Wesentlichen gleichzeitig mit der Bewegung der Schaufel auf dem Boden zu erzeugen. Eine andere Logik kann bestimmen, ob es einzelne Aushübe an Material gibt, und das System kann versuchen, so viele relevante Messungen während des Grabzyklus zu verwenden, um eine möglichst genaue Volumenmessung pro Aushub zu erzeugen. Die Daten können zusammen mit anderen Metriken dem Baggerführer angezeigt oder an einen Cloud-Dienst, wie JDLink™, gestreamt werden, damit ein Eigentümer oder Manager sie anzeigen kann.
Das Volumen eines Materials kann mithilfe von verschiedenen Verfahren geschätzt werden. Ein Prozess kann das Messen von 3D-Punkten beinhalten, die die Oberfläche von Material darstellen, das von dem Behälter eines Arbeitsfahrzeugs getragen wird, wobei ein Sensor verwendet wird, der den Behälter oder das Material in dem Behälter nicht berührt. In einigen Beispielen kann die Oberfläche des Materials extrapoliert werden, wenn das Material durch den berührungslosen Sensor nicht beobachtbar ist, indem ein Schüttwinkel des Materials gemessen wird. Die 3D-Punkte können auch andere Oberflächen sowohl innerhalb des Trägers als auch der Umgebung beinhalten, die sich im Sichtfeld des Sensors befindet. Die Position und Ausrichtung des Behälters relativ zu dem Sensor kann gemessen werden. Es können die 3D-Punkte ermittelt werden, die dem vom Behälter getragenen Material entsprechen, und es können die 3D-Punkte ermittelt werden, die dem Behälter selbst entsprechen. Die 3D-Punkte, die nicht dem vom Behälter getragenen Material entsprechen oder der Behälter selbst können herausgefiltert werden. Beispielsweise können 3D-Punkte, die Staub oder andere luftgetragene Füllstoffe darstellen, herausgefiltert werden. Das Materialvolumen kann unter Verwendung der 3D-Punkte berechnet werden, die dem von dem Träger getragenen Material entsprechen, wobei (i) die Ausrichtung oder Position des Trägers relativ zum Sensor und (ii) eine 3D-Form des Trägers verwendet werden. Beispielsweise kann das Volumen als Differenz zu einer Referenzfläche berechnet werden, die ein bekanntes Volumen darstellt.
Ein System gemäß einigen Beispielen kann zusätzliche Merkmale enthalten. Beispielsweise kann eine visuelle Verfolgung verwendet werden, um den Schwenkzustand und andere Bewegungen des Arbeitsfahrzeugs zu identifizieren. Die Oberflächen sowohl des Materials innerhalb des Behälters als auch der umgebenden Materialoberflächen in der Umgebung können bestimmt und verglichen werden. Es können ebenfalls andere Sensoreingabene wie Position, Geschwindigkeit und Druck von Sensoren am Arbeitsfahrzeug verwendet werden.
Der Sensor kann eine Stereokamera sein, die an einem Stab, Ausleger oder Fahrgestell eines Baggers montiert ist. Die Stereokamera kann die 3D-Punkte stereoskopisch erfassen. In anderen Beispielen kann der Sensor eine andere Art von Sensor sein (z. B. ein am Arbeitsfahrzeug angebrachter Fest-, Abtast- oder Blitzlaser), der Flugzeitprinzipien verwenden kann, um die 3D-Punkte zu erfassen.
Das System kann anhand des Erscheinungsbilds (z. B. anhand von Farbdaten) und der Position der 3D-Punkte zwischen dem vom Behälter getragenen Material und anderen Materialien oder Objekten unterscheiden. Durch das Herausfiltern von nicht im Behälter befindlichen und nicht getragenen Materialien kann sowohl ein Tiefenbild des Sichtfelds als auch das Erscheinungsbild der von der Stereokamera aufgenommenen Bilder verwendet werden. Die Geometrie der Form des Behälters kann modelliert werden. Ein Verfahren zum Modellieren der Form des Trägers umfasst das Messen der 3D-Punkte, die dem Behälter entsprechen, wenn der Behälter leer ist (d. h. wenn sich kein Material im Behälter befindet) durch den Sensor, z. B. durch einen Kalibrierprozess. Die 3D-Punkte werden gefiltert, um die Grenzen des Behälters zu bestimmen. Durch Verarbeitung der gemessenen 3D-Punkte wird eine mathematische Darstellung des Behälters erzeugt. Es werden Segmente der 3D-Punkte erzeugt, die verschiedenen geometrischen Komponenten des Behälters entsprechen. Beispiele für Segmente umfassen eine Rückplatte, Seitenbleche, eine Innenfläche und Zähne für einen Behälter, der eine Schaufel ist. Das Modell kann auch anhand einer 3D-CAD-Zeichnung des Behälters erzeugt werden. Jede der geometrischen Komponenten des Behälters kann durch das Aussehen und die relative Position und Orientierung der jeweiligen geometrischen Komponente in Bezug auf den Sensor bestimmt werden. Die Geometrie der Form des Behälters kann aus einer Onboard- oder Offboard-Speichervorrichtung modelliert werden.
In einigen Beispielen kann eine Ebene (z. B. eine Aufschlagebene), die der Oberseite des Behälters entspricht, definiert und aktualisiert werden, wenn sich der Behälter bewegt. Eine geschlossene Begrenzung, die den Umfang des Behälters darstellt, kann in der Ebene definiert und aktualisiert werden, wenn sich der Behälter bewegt. Das Volumen innerhalb der geschlossenen Begrenzung in der Ebene und die gemessenen 3D-Punkte können berechnet werden. Die geschlossene Begrenzung auf der Ebene kann von einem Bediener anhand eines oder mehrerer Bilder des Behälters definiert werden. Es kann ein Flächenraster definiert werden, das Zellen einer bekannten Oberfläche innerhalb der geschlossenen Begrenzung auf der Ebene umfasst. Die 3D-Punkte können auf das Raster projiziert werden, um die Recheneffizienz zu erhöhen. Der Abstand zwischen einem 3D-Punkt, der dem Material in dem Behälter entspricht, und einem 3D-Punkt, der dem mathematischen Modell einer Innenfläche des Anbaugeräts entspricht, kann gemessen werden. Die Abstände, die innerhalb der definierten Begrenzung des Behälters liegen, können summiert werden. Die Summe der Abstände kann mit der Fläche multipliziert werden, die durch jede Zelle im Raster dargestellt wird.
Die Genauigkeit und Stabilität einer Volumenmessung von in einem Behälter getragenem Material kann weiter erhöht werden. Beispielsweise kann die Konsistenz mehrerer aufeinanderfolgender Messungen berechnet werden. Der gleitende Durchschnittswert der Volumenschätzungen kann berechnet werden. Auf momentane Volumenmessungen kann ein Filter angewendet werden. Das Modell des Behälters kann mithilfe eines Drehwinkels aktualisiert werden, der von einem Drehgeber gemessen wird, der mit Messungen von der Stereokamera kombiniert wird, oder wenn der Behälter von der Stereokamera verdeckt wird.
In einigen Beispielen kann die Leistung des Arbeitsfahrzeugbedieners gemessen werden, indem das Gesamtvolumen des während des gesamten Vorgangs bewegten Materials aufgezeichnet und ein Histogramm des gemessenen Volumens des Materials erzeugt wird. Zusätzlich oder alternativ können Volumenschätzungsmetriken und Visualisierungen als eine oder mehrere von (i) einer 3D-Punktwolke des Behälters, des Materials und der Umgebung, (ii) Bildern von der Stereokamera oder (iii) Metriken, wie etwa Volumenschätzung, Varianz, Summen, Behälterposition, Behältergeschwindigkeit usw. angezeigt werden.
Diese veranschaulichenden Beispiele werden angeführt, um den Leser in den hier erörterten allgemeinen Gegenstand einzuführen und sollen den Umfang der offenbarten Konzepte nicht einschränken. Die folgenden Abschnitte beschreiben verschiedene zusätzliche Merkmale und Beispiele unter Bezugnahme auf die Zeichnungen, in denen gleiche Bezugszeichen gleiche Elemente angeben, und Richtungsbeschreibungen verwendet werden, um die veranschaulichenden Beispiele zu beschreiben, sollten jedoch wie die veranschaulichenden Beispiele nicht verwendet werden, um die vorliegende Offenbarung zu beschränken.
1 ist eine perspektivische Ansicht eines Arbeitsfahrzeugs, das ein Bagger 100 mit einem Volumenschätzsystem gemäß einem Beispiel der vorliegenden Offenbarung ist. Der Bagger 100 umfasst neben anderen Komponenten eine Kabine 102, einen Ausleger 104, einen Schaft 106, einen Hydraulikzylinder 108 und eine Schaufel 110 oder eine andere Art von Behälter. Die Schaufel 110 kann verwendet werden, um Erde oder andere Gegenstände von einem Ort an einen anderen zu bewegen, und kann durch den Hydraulikzylinder 108 drehgesteuert und durch den Ausleger 104 und den Schaft 106 positionsgesteuert werden. Die Kabine 102 kann einen Bediener aufnehmen und umfasst Steuerungen zum Steuern der anderen Komponenten des Baggers 100.
Das Volumenschätzsystem kann einen 3D-Sensor, wie etwa eine Stereokamera 112, eine Rechenvorrichtung (nicht gezeigt) und einen Winkelsensor 114 umfassen. Die Stereokamera 112 ist in 1 auf dem Schaft 106 positioniert, aber in anderen Beispielen kann die Stereokamera 112 auf anderen Komponenten des Baggers 100, wie beispielsweise dem Ausleger 104, positioniert sein. Die Stereokamera 112 kann in einem Abstand auf dem Schaft 106 positioniert werden, um ein gewünschtes Sichtfeld der Stereokamera 112 zu erhalten. Je weiter oben die Kamera auf dem Schaft 106 positioniert ist, desto breiter ist ihr Sichtfeld. Der Winkelsensor 114 kann an oder nahe dem Hydraulikzylinder 108 positioniert sein. Wie nachfolgend beschrieben, kann das Winkelbestimmungssystem 2100 zusammen mit oder anstelle des Winkelsensors 114 verwendet werden.
Die Stereokamera 112 kann Bilder der Schaufel 110 aufnehmen, um das Materialvolumen in der Schaufel 110 kontinuierlich zu überwachen. Die Bilder können mit Informationen von dem Winkelsensor 114 oder einem Winkelbestimmungssystem und Kenntnissen über die Größe der Schaufel 110 verwendet werden, um ein Volumen des Inhalts in der Schaufel zu einem bestimmten Zeitpunkt zu bestimmen. Beispielsweise kann die Rechenvorrichtung (nicht gezeigt) an einer beliebigen geeigneten Stelle innerhalb des Baggers 100, wie etwa innerhalb der Kabine 102, oder entfernt von dem Bagger 100 positioniert sein. Die Rechenvorrichtung kann die Signale von der Stereokamera 112 und dem Winkelsensor 114 oder dem Winkelbestimmungssystem empfangen und das Volumen des Inhalts der Schaufel 110 bestimmen, wenn der Inhalt, wie etwa Erde, von einem Ort zu einem anderen bewegt wird. Die Signale können mehrere Bilder der Schaufel 110 und einen oder mehrere Winkel im Zusammenhang mit den Bildern beinhalten. Die Rechenvorrichtung kann Daten verwenden, die durch die Signale dargestellt werden, um das Volumen des Inhalts in der Schaufel zu bestimmen. Das Volumen des Inhalts kann verwendet werden, um eine Effizienz des Bedieners des Baggers 100 oder des Baggers 100 selbst zu überwachen oder zu messen. In einigen Beispielen ist eine Anzeigevorrichtung in der Kabine 102 oder an einem entfernten Ort angebracht, um Daten über das Volumen des Inhalts in der Schaufel 110 anzuzeigen.
2 ist eine perspektivische Ansicht eines Beispiels für die Stereokamera 112 aus 1. Die Stereokamera 112 umfasst zwei Objektive 202, die separate Bildsensoren sind, die voneinander beabstandet sind und eine bekannte räumliche Beziehung zueinander aufweisen. Die Anordnung kann binokulares Sehen simulieren, um 3D-Bilder aufzunehmen. Die Objektive 202 sind in einem Gehäuse 204 montiert, das eine oder mehrere Befestigungsvorrichtungen (z. B. Löcher, Klammern oder Klemmen) aufweist zum Montieren der Stereokamera 112 an dem Bagger aus 1. Das Gehäuse 204 kann Löcher aufweisen, die vor den Objektiven 202 positioniert sind, so dass das Gehäuse 204 das Sichtfeld der Objektive 202 nicht blockiert.
Die Stereokamera 112 kann in 1 oberhalb der Schaufel 110 angebracht und der Schaufel 110 zugewandt sein. Dies kann es der Stereokamera 112 ermöglichen, Material in der Schaufel 110 zusammen mit anderen Objekten innerhalb des Sichtfelds der Stereokamera 112 zu erfassen. Die Stereokamera 112 kann Signale, die erfasste Bilder des Sichtfelds der Stereokamera 112 darstellen, an die Rechenvorrichtung übertragen.
3 ist ein Blockdiagramm eines Beispiels eines Volumenschätzsystems 300. Das Volumenschätzsystem 300 umfasst eine Stereokamera 302 und einen Schaufelwinkelsensor 304. In anderen Beispielen umfasst das Volumenschätzsystem 300 zusätzlich oder alternativ zu der Stereokamera 302 eine beliebige andere Art von 3D-Sensor, wie etwa einen 3D-Laserscanner, einen Ultraschallwandler, einen Entfernungssensor, eine strukturierte Lichtkamera, eine 3D-Kamera oder einen Blitz-LIDAR. Der Schaufelwinkelsensor 304 kann eine beliebige Art von Sensor sein, der eine Referenzposition einer Schaufel eines Arbeitsfahrzeugs relativ zur Stereokamera 302 bereitstellen kann. Ein Beispiel für den Schaufelwinkelsensor 304 ist eine inertiale Messeinheit (Inertial Measurement Unit - IMU) oder ein Potentiometer. Der Winkel kann alternativ indirekt gemessen werden, beispielsweise durch einen am Hydraulikzylinder montierten Sensor. Das heißt, ein Sensor kann die Position des Hydraulikzylinders messen, um den Winkel der Schaufel zu bestimmen, anstatt den Winkel der Schaufel direkt zu messen. Anstelle oder in Verbindung mit dem Schaufelwinkelsensor 304 kann der Winkel auf Grundlage eines Bildes von der Stereokamera 302 durch ein Winkelbestimmungssystem, wie etwa das nachstehend unter Bezug auf das in 21 - 26 beschriebene System 2100, gemessen und berechnet werden, Für die vorliegende Beschreibung wird angenommen, dass der Schaufelwinkelsensor 304 ein beliebiger dieser Sensoren oder eine beliebige Kombination dieser Sensoren sein kann.
Ebenfalls in dem Volumenschätzsystem 300 enthalten ist eine Prozessorvorrichtung 306 und eine Speichervorrichtung 307, die Daten von jeder von der Stereokamera 302 und dem Schaufelwinkelsensor 304 oder dem Winkelbestimmungssystem empfangen können. Die Prozessorvorrichtung 306 kann eine oder mehrere in der Speichervorrichtung 307 gespeicherte Operationen ausführen, um einen Winkel der Schaufel oder eines anderen Behälters zu einem gegebenen Zeitpunkt zu bestimmen und das Materialvolumen in der Schaufel zu schätzen. Die Prozessorvorrichtung 306 kann eine Prozessorvorrichtung oder mehrere Prozessorvorrichtungen umfassen. Nicht einschränkende Beispiele der Prozessorvorrichtung 306 beinhalten ein Field-Programmable Gate Array („FPGA“), eine anwendungsspezifische integrierte Schaltung („ASIC“), einen Mikroprozessor usw.
Die Prozessorvorrichtung 306 kann über einen Bus kommunikativ an die Speichervorrichtung 307 gekoppelt sein. Die nichtflüchtige Speichervorrichtung 307 kann jede Art von Speichervorrichtung umfassen, die gespeicherte Informationen beim Ausschalten bewahrt. Nicht einschränkende Beispiele der Speichervorrichtung 307 umfassen elektrisch löschbaren und programmierbaren Nur-Lese-Speicher („EEPROM“), Flash-Speicher oder eine beliebige andere Art von nichtflüchtigem Speicher. In einigen Beispielen kann zumindest ein Teil der Speichervorrichtung 307 ein Medium beinhalten, von dem die Prozessorvorrichtung 306 die Anweisungen lesen kann. Die Speichervorrichtung 307 kann jede Art von nichtflüchtigem computerlesbarem Medium umfassen, wie etwa elektronische, optische, magnetische oder andere Speichervorrichtungen, die in der Lage sind, der Prozessorvorrichtung 306 computerlesbare Anweisungen oder anderen Programmcode bereitzustellen. Nicht einschränkende Beispiele für ein computerlesbares Medium umfassen (sind aber nicht beschränkt auf) Magnetplatte(n), Speicherchip(s), ROM, Direktzugriffsspeicher („RAM“), einen ASIC, einen konfigurierten Prozessor, optischen Speicher oder jedes andere Medium, von dem ein Computerprozessor Anweisungen lesen kann. Die Anweisungen können prozessorspezifische Anweisungen beinhalten, die von einem Compiler oder einem Interpreter aus Code erzeugt werden, der in einer beliebigen geeigneten Computerprogrammiersprache geschrieben wurde, einschließlich zum Beispiel C, C ++, C# usw. In einigen Beispielen kann die Speichervorrichtung 307 ein Bildverarbeitungsmodul (nicht gezeigt) umfassen. Die Prozessorvorrichtung 306 kann das Bildverarbeitungsmodul verwenden, um eine oder mehrere Bildverarbeitungsaufgaben an Daten durchzuführen, die von der Stereokamera 302 empfangen werden.
Das Volumenschätzsystem 300 umfasst auch einen drahtlosen Sender 308, der das geschätzte Volumen von der Prozessorvorrichtung empfangen und ein drahtloses Signal 310 an eine andere Vorrichtung, wie etwa eine Anzeigevorrichtung oder eine Datenbank, ausgeben kann. Der drahtlose Sender 308 kann eine oder mehrere Komponenten darstellen, die eine Netzwerkverbindung ermöglichen. Beispiele hierfür sind unter anderem drahtlose Schnittstellen wie IEEE 802.11, Bluetooth oder Funkschnittstellen für den Zugriff auf Mobilfunknetze (z. B. Transceiver/Antenne für den Zugriff auf ein CDMA-, GSM-, UMTS- oder ein anderes Mobilfunknetz). In anderen Beispielen wird der drahtlose Sender 308 durch einen Sender zum Übertragen der Daten über eine drahtgebundene Verbindung zu der anderen Vorrichtung ersetzt.
4 ist ein funktionales Blockdiagramm eines Beispiels eines Volumenschätzsystems 400. Das Volumenschätzsystem 400 beinhaltet einen Erfassungsabschnitt 402, einen Kalibrierungsabschnitt 404 und einen Volumenschätzabschnitt 405 zusammen mit einer Benutzerschnittstelle 406 zum Ausgeben von Daten an einen Benutzer oder ein anderes System. In einigen Beispielen können der Kalibrierungsabschnitt 404 und der Volumenschätzungsabschnitt 405 durch eine Prozessorvorrichtung, wie etwa die Prozessorvorrichtung 306 aus 3 implementiert werden.
Der Erfassungsabschnitt 402 umfasst eine Kamera 408 oder eine andere Art von Sensor zum Erfassen von 3D-Bildern und Daten einer Schaufel oder eines anderen Behälters eines Arbeitsfahrzeugs. Der Erfassungsabschnitt 402 umfasst auch einen Positionssensor 410, der ein Schaufelwinkelsensor oder ein anderer Sensortyp sein kann. Die Kamera 408 kann mehrere Bilder der Schaufel oder eines anderen Behälters bereitstellen. Die Bilder können Farbinhalte wie Rot, Grün, Blau (RGB) und Tiefeninhalte (D) enthalten. Der Positionssensor 410 (der das nachstehend beschriebene Winkelbestimmungssystem 2100 sein kann) kann einen Schaufelwinkel 414 oder Winkel der Schaufel oder eines anderen Behälters bereitstellen. Der Schaufelwinkel 414 und die Bilddaten in Farbe und mit Tiefeninformationen können dem Kalibrierungsabschnitt 404 und dem Volumenschätzabschnitt 405 bereitgestellt werden. In einigen Beispielen können die Bilddaten der Schaufel ohne Material darin nur dem Kalibrierungsabschnitt 404 bereitgestellt werden, und anschließend erfasste Bilddaten, die Bilder der Schaufel mit Material darin enthalten, können nur dem Volumenschätzabschnitt 405 bereitgestellt werden.
Der Kalibrierungsabschnitt 404 kann ein Modell der Schaufel unter Verwendung der Bilddaten und der Winkeldaten erzeugen. Das Modell kann in Form einer 3D-Punktwolke vorliegen, die die Komponenten der Schaufel darstellt, und kann Informationen über Volumina haben, wenn sich Material auf verschiedenen Ebenen in der Schaufel befand. Der Kalibrierungsabschnitt 404 umfasst ein Schaufelsegmentierungsmodul 416, das die Bilddaten segmentieren kann, um die Komponenten der Schaufel und die Positionen der Komponenten relativ zueinander zu bestimmen. Beispielsweise kann das Schaufelsegmentierungsmodul 416 Pixeldaten in den Bildern analysieren, um die Rückseite der Schaufel, die Vorderseite der Schaufel, die Seiten der Schaufel und die Zähne oder andere Vorsprünge, die sich von ihr erstrecken, zu identifizieren. Diese Informationen können dem Schaufelmodellierungsmodul 418 bereitgestellt werden, welches das Modell der Schaufel als eine Konfigurationsdatei erzeugen kann. Die Konfigurationsdatei kann Informationen über die Schaufel in einer 3D-Punktwolkenanordnung enthalten. Im Allgemeinen kann die Konfigurationsdatei verschiedene Parameter (z. B. Schaufelkapazität, Abmessungen, mathematische Modellkoeffizienten usw.) in Bezug auf jede Komponente der Software speichern. Die Konfigurationsdatei kann auch über die Benutzerschnittstelle 406 ausgegeben werden. Weitere Informationen zu einem Kalibrierungsprozess gemäß einiger Beispiele werden im Folgenden unter Bezugnahme auf 12, 13 und 14 beschrieben.
Das Modell kann von einem Volumenberechnungsmodul 420 in dem Volumenschätzabschnitt 405 verwendet werden, um ein Materialvolumen in der Schaufel zu schätzen. Bilddaten und Schaufelwinkeldaten der Schaufel mit darin befindlichem Material können von einem Bodensegmentierungsmodul 422 empfangen werden, das bestimmen kann, ob sich in den Bilddaten dargestelltes Material in der Schaufel oder ob es sich im Hintergrund oder einem anderen Teil des Bildes befindet.
Beispiele des Modells der Schaufel und ihres Inhalts werden in 18 gezeigt. Die obere Reihe in 18 beinhaltet drei isometrische Ansichten eines 3D-Modells der Schaufel. Die isometrischen Ansichten können Material darstellen, das sich im Laufe der Zeit während eines einzelnen Aushubs angesammelt hat, oder die unterschiedlichen Materialmengen, die unterschiedlichen Aushüben entsprechen. In diesen Beispielen hat das Volumenberechnungsmodul 420 bestimmt, dass die Schaufel 5,15 Gallonen Material, 51,53 Gallonen Material bzw. 103,06 Gallonen Material beinhaltet. Die untere Reihe in 18 umfasst drei X/Y-Ebenenansichten eines Modells der Schaufel. Die Ebenenansichten können Material darstellen, das sich im Laufe der Zeit während eines einzelnen Aushubs angesammelt hat, oder die unterschiedlichen Materialmengen, die unterschiedlichen Aushüben entsprechen. In diesen Beispielen hat das Volumenberechnungsmodul 420 auch bestimmt, dass die Schaufel die 5,15 Gallonen Material, 51,53 Gallonen Material bzw. 103,06 Gallonen Material beinhaltet. Es können mehrere unterschiedliche Modelle und Ansichten der Schaufel generiert und einem Benutzer präsentiert werden.
Zurückkommend zu 4 können die Bilddaten, die Material in der Schaufel darstellen, dem Volumenberechnungsmodul 420 bereitgestellt werden, das diese Bilddaten mit der Konfigurationsdatei vergleichen kann, um eine Schätzung des Volumens des Materials in der Schaufel auszugeben. Die Schätzung des Volumens kann der Benutzerschnittstelle 406 bereitgestellt werden, die eine Anzeigevorrichtung sein kann, die eine visuelle Darstellung der Volumenschätzung ausgeben kann. 9 zeigt ein Beispiel einer Punktwolke aus Material 902 in einer Schaufel 904, wie sie von einem Kamerabild 906 verarbeitet wurde, das von einer Stereokamera erhalten wurde. 10 zeigt ein Beispiel der Benutzerschnittstelle 406 auf einer Anzeigevorrichtung 1002 gemäß einiger Beispiele der vorliegenden Offenbarung. Die Benutzerschnittstelle 406 kann ein Balkendiagramm 1004 umfassen, das eine Historie von Materialvolumina, die aus vorherigen Aushüben berechnet wurden, und eine dreidimensionale Darstellung 1006 einer Punktwolke oder eine ähnliche Darstellung eines aktuellen Aushubs darstellt.
5 ist ein Prozessflussdiagramm zum Verarbeiten von Stereobildern zum Messen des Materialvolumens in einer Schaufel gemäß einem Beispiel der vorliegenden Offenbarung. Eine Stereokamera kann Bilder 502 mit dem linken Auge und Bilder 504 mit dem rechten Auge eines Sichtfeldes aufnehmen, das eine Schaufel mit Material umfasst. Eine Prozessorvorrichtung führt eine Stereoverarbeitung 506 an den aufgenommenen Bildern durch, um Tiefeninformationen zu bestimmen, die durch die Bilder 502 des linken Auges und die Bilder 504 des rechten Auges repräsentiert werden. Beispielsweise können die Bilder mit einem Zeitstempel versehen sein und ein Bild für das linke Auge und ein Bild für das rechte Auge, die denselben Zeitstempel teilen, können kombiniert werden, um die Tiefeninformationen zu bestimmen, die durch die Bilder dargestellt werden.
Die Bilder und die Tiefeninformationen werden unter Verwendung eines 3D-Filterprozesses 508 gefiltert. Beispielsweise kann der Filterprozess 508 Flecken, die Flugpunkte oder Schmutz in dem Bereich sind, oder andere visuelle Darstellungen von Objekten, die sich nicht innerhalb der Schaufel befinden, entfernen. Der Filterprozess 508 kann das Durchführen eines Speckle-Reduktionsprozesses an den Bildern umfassen. Die gefilterten 3D-Daten und ein Schaufelwinkel 509 werden verwendet, um eine Volumenmessung 510 des Inhalts innerhalb der Schaufel zu bestimmen. Beispielsweise kann der Schaufelwinkel 509 verwendet werden, um eine erwartete Oberfläche des Materials zu bestimmen, das sich in der Schaufel befindet. Wenn der Winkel der Schaufel in Bezug auf einen Ausleger eines Baggers größer als neunzig Grad ist, kann die erwartete Oberfläche (z. B. eine Bezugsebene) aus einem Blickwinkel der Stereokamera kleiner sein, als wenn der Winkel der Schaufel in Bezug auf den Ausleger neunzig Grad oder etwa neunzig Grad beträgt. Die zu erwartende Oberfläche des Materials kann dazu verwendet werden, die tatsächliche Materialfläche in der Schaufel zu analysieren, um eine Volumenmessung zu bestimmen. Beispielsweise können relative Transformationen in Bezug auf die erwartete Oberfläche berechnet werden, um zu bestimmen, ob ein Punkt Erde ist. Das Volumen 512 kann zur Speicherung an eine Anzeigevorrichtung oder an eine Datenbank ausgegeben werden.
6 ist ein Flussdiagramm eines Prozesses zum Berechnen eines Materialvolumens in einem Behälter eines Arbeitsfahrzeugs gemäß einem Beispiel der vorliegenden Offenbarung. Andere Beispiele können mehr Schritte, weniger Schritte oder eine andere Reihenfolge der in 6 gezeigten Schritte umfassen.
In Block 602 wird ein Schaufelmodell mithilfe von Kamerakalibrierungsinformationen 604, eines vorhandenen Schaufelmodells oder einer vorhandenen Vorlage 606 und eines Winkels von einem Winkelsensor 608 oder Winkelbestimmungssystem 2100 (nachfolgend beschrieben) transformiert oder erzeugt. Das Schaufelmodell kann in einer Kalibrierungsstufe transformiert oder erzeugt werden, wie etwa durch Verwenden von Bildern einer leeren Schaufel von den Kamerakalibrierungsinformationen 604, um ein vorhandenes Schaufelmodell oder eine vorhandene Schaufelvorlage eines Schaufelmodells zusätzlich zu dem Winkel von dem Winkelsensor 608 oder Winkelbestimmungssystem 2100, bei dem die Bilder erfasst werden, zu modifizieren oder zu transformieren.
In Block 610 wird eine Gitterkarte einer 3D-Punktwolke unter Verwendung von Stereo- oder Disparitätsbildern 611 aktualisiert, die von der Kamera der Schaufel mit Material darin erfasst wurden. Das aktualisierte Gitter und das Schaufelmodell werden Block 612 zur weiteren Verarbeitung bereitgestellt. Die Gitterkarte kann mit jedem neuen Einzelbild, das von der Kamera aufgenommen wird, aktualisiert werden.
Für jeden Punkt in der Gitterkarte wird in Block 614 eine Nachschlagetabelle verwendet, die die mit dem Schaufelwinkel transformierten Schaufelgrenzen definiert. Die Nachschlagetabelle kann beispielsweise in einem Segmentierungsprozess verwendet werden, um die Punkte aus der Gitterkarte zu identifizieren, die sich in der Schaufel befinden, im Gegensatz zu Punkten, die die Schaufel selbst, Hintergrundbilder oder Speckle-Artefakte in den Bilddaten darstellen.
Für jeden Punkt in der Gitterkarte, der als ein Punkt identifiziert wird, der sich in der Schaufel befindet, kann die diesem Punkt zugeordnete Höhe in Block 616 bestimmt werden. In einem Beispiel kann die Höhe für einen Punkt unter Verwendung des Modells der Schaufel bestimmt werden, um Tiefeninformationen eines Punkts zu bestimmen, der an einer bestimmten Stelle in der Schaufel positioniert ist.
In Block 618 können die Höheninformationen für die Punkte verwendet werden, um das Volumen der Punkte innerhalb der Schaufel und somit das Volumen des Materials in der Schaufel zu berechnen. In einem Beispiel wird das Volumen für jeden Punkt bestimmt und dann das Volumen für die Punkte in der Schaufel summiert, um das Volumen für das Material in der Schaufel zu berechnen.
7 ist ein Blockdiagramm einer Hardwarearchitektur eines Volumenschätzsystems gemäß einem Beispiel der vorliegenden Offenbarung. Die Hardwarearchitektur umfasst ein Verarbeitungsmodul 702, mit dem andere Komponenten über eine CAN-Schnittstelle (Controller Area Network), eine Ethernet-Schnittstelle oder einen anderen Schnittstellentyp kommunikativ gekoppelt sind. Die Komponenten können einen berührungslosen 3D-Sensor 704, der eine Stereokamera sein kann, und einen Werkzeugpositionssensor 706, der ein Winkelsensor oder Winkelbestimmungssystem 2100 sein kann, umfassen. Beispiel für ein Anbaugerät ist eine Schaufel oder ein anderer Behälter. Es können auch andere verschiedene Maschinensensoren 708 enthalten sein. Dazu können GPS, Geschwindigkeitssensoren, Feuchtigkeitssensoren oder andere Arten von Sensoren gehören. Das Verarbeitungsmodul 702 kann Daten und Steuersignale mit jedem der Sensoren 704, 706, 708 kommunizieren. Das Verarbeitungsmodul 702 kann auch Daten verarbeiten, wie etwa durch Bestimmen einer Volumenschätzung von Material im Anbaugerät, und Daten mit anderen Komponenten über ein drahtgebundenes oder drahtloses Kommunikationsmodul 710 senden/empfangen. Die anderen Komponenten können ein Cloud-basiertes Modul 712 umfassen, um es anderen Benutzern oder Systemen zu ermöglichen, über eine Cloud-Speichereinrichtung auf die Daten zuzugreifen, ein bordeigenes Anzeigemodul 714 zum Anzeigen der Daten für einen Bediener eines Arbeitsfahrzeugs und ein Protokollierungsmodul 716 zum Speichern der Daten im Laufe der Zeit zum anschließenden Zugriff und Vergleich.
8 ist ein Softwarelogikdiagramm zum Bestimmen eines Materialvolumens in einem Behälter über ein 3D-Sensorsystem gemäß einiger Beispiele der vorliegenden Offenbarung. Die Softwarelogikmodule können als Anweisungen in Modulen implementiert sein, die auf einem nichtflüchtigen computerlesbaren Medium gespeichert sind und von einer Prozessorvorrichtung ausgeführt werden.
Die Module können Systemeingaben 802 enthalten, wie etwa eine Konfigurationsdatei 804, einen Schaufelwinkel 806, Bilddaten 808 und eine 3D-Punktwolke 810. Die Konfigurationsdatei 810 kann Informationen über einen bestimmten Behälter enthalten, der auf dem zugehörigen Arbeitsfahrzeug verwendet wird. Die Informationen können neben anderen möglichen Daten ein minimales Volumen der Schaufel, ein maximales Volumen der Schaufel, einen minimalen Schaufelwinkel, einen maximalen Schaufelwinkel und einen Prozess zum Berechnen des Schaufelvolumens enthalten. Der Schaufelwinkel 806 kann der Winkel der Schaufel relativ zu einer Kamera sein. Die Bilddaten 808 können Bilder der Schaufel von der Kamera enthalten. Die 3D-Punktwolke 810 enthält ein Modell oder eine Darstellung eines oder mehrerer der Bilder der Bilddaten 808.
Die Systemeingänge 802 werden zusätzlichen Modulen bereitgestellt. Die zusätzlichen Module umfassen eine visuelle Odometrie 812, eine Schaufelhöhenberechnung 814 und eine momentane Volumenmessung 816. Das visuelle Odometriemodul 812 kann Bilddaten, 3D-Daten, Fahrzeugsensordaten oder eine beliebige Kombination davon verwenden, um eine Größe und eine Richtung der lateralen und longitudinalen Bewegung zu erzeugen. Die Ausgabe kann an ein Grabzyklusidentifikationsmodul 818 bereitgestellt werden und kann zur Bestimmung verwendet werden, ob der Bediener den Boden gräbt oder die Schaufel für einen anderen Zweck bewegt. Die Schaufelhöhenberechnung 814 kann Prozesse zum Ausgeben einer Schaufelhöhe an das Grabzyklusidentifikationsmodul 818 umfassen. Die relevante Schaufel kann identifiziert werden, was das Analysieren von Bilddaten zum Identifizieren von Pixeln oder Punkten innerhalb des Bildes umfassen kann, die der Schaufel entsprechen. Die Schaufelhöhe kann den Abstand der Schaufel vom Boden messen. Die Schaufelhöhe kann positiv sein, wenn sich die Schaufel über dem Boden befindet, und sie kann negativ sein, wenn sich die Schaufel innerhalb des Boden befindet oder das Material bewegt wird. Das Bodenniveau kann identifiziert werden, indem die Bilddaten analysiert werden, um die Pixel oder Punkte zu identifizieren, die für den Boden repräsentativ sind. Die Schaufelhöhe zu dem bestimmten Zeitpunkt wird dem Grabzyklusidentifikationsmodul 818 bereitgestellt.
Das Grabzyklusidentifikationsmodul 818 kann Daten und Signale empfangen, die von anderen Modulen erzeugt werden, um den Grabzyklus im Zusammenhang mit den Daten zu identifizieren. Die Identifikation wird einem gültigen Aushubidentifikationsmodul 820 bereitgestellt, das bestimmen kann, ob der Aushub gültig ist.
Die momentane Volumenmessung 816 kann eine zeitgestempelte Volumenmessung auf Grundlage der Systemeingaben 802 berechnen. Die momentane Volumenmessung kann zusammen mit der Aushubidentifikation bereitgestellt werden, um eine Volumenschätzung des Inhalts pro Aushub 822 der Schaufel oder eines anderen Behälters darzustellen.
In einigen Beispielen, wenn sich ein Behälter dreht, um Erde zu graben, kann der Behälter Bereiche von Winkeln oder Zonen durchqueren. Eine Prozessorvorrichtung kann verschiedene Vorgänge zum Bestimmen eines Materialvolumens in dem Behälter ausführen, wenn der Behälter jede der Zonen durchquert. Beispielsweise ist in 11 der Behälter 1100 durch die Zonen 1102-1108 drehbar. Jede Zone 1102-1108 umfasst einen Bereich von Winkeln, in dem der Behälter 1100 gedreht werden kann, während Erde gegraben wird. Wenn sich der Behälter 1100 dreht, um Erde zu graben, kann der Behälter 1100 einige oder alle der in 11 gezeigten Zonen 1102-1108 durchqueren. Eine Prozessorvorrichtung kann einen Winkelsensor oder ein Winkelbestimmungssystem 2100 verwenden, um einen Drehwinkel der Schaufel 110 zu erfassen oder zu bestimmen und null oder mehr Aufgaben durchzuführen, wenn die PRozessorvorrichtung bestimmt, dass sich der Behälter 1100 in jeder der Zonen 1102-1108 befindet.
Beispielsweise kann die Zone 1102 eine leere Zone sein, in der der Behälter 1100 möglicherweise keinen Inhalt enthält. Die Prozessorvorrichtung kann den Winkelsensor oder das Winkelbestimmungssystem 2100 verwenden, um zu erfassen, dass sich der Behälter 1100 in der Zone 1102 befindet, und Aufgaben ausführen, wie etwa: (i) Aktualisieren einer Datenbank, um ein vorheriges Aushubvolumen anzugeben, das ein Materialvolumen in einem vorherigen Aushub des Behälters sein kann; (ii) Aktualisieren einer laufenden Summe des Materialvolumens, das nach mehreren Aushüben des Behälters erhalten wird; (iii) Inkrementieren eines Aushubzählers, der ein Zähler einer Anzahl von Aushüben sein kann, die durch den Behälter durchgeführt werden; (iv) Beginnen, ein neues Aushubvolumen zu berechnen, das ein Materialvolumen in einem aktuellen Aushub des Behälters sein kann; oder (v) eine beliebige Kombination davon. Die Zone 1104 kann eine „Nichtaktionszone“ sein, in der die Prozessorvorrichtung unter Verwendung eines 3D-Sensors möglicherweise keine Messungen des Innenraums des Behälters 1100 vornimmt. Die Nichtaktionszone kann einen Bereich von Winkeln umfassen, für den es eine unzureichende Menge des Innenraums des Behälters 1100 geben würde, der innerhalb des Erfassungsfeldes des 3D-Sensors positioniert ist, um nützliche Messungen zu erhalten. Zone 1106 kann eine „Erfassungszone“ sein, in der die Prozessorvorrichtung den 3D-Sensor verwenden kann, um Messungen des Behälters 1100 durchzuführen, die zum Bestimmen eines Volumens des Inhalts in dem Behälter 1100 verwendet werden können. Die Zone 1106 kann einen Bereich von Winkeln darstellen, bei dem sich der Innenraum des Behälters 1100 in einem geeigneten Erfassungsfeld des 3D-Sensors befindet, damit der 3D-Sensor den Inhalt der Schaufel 110 erfassen kann. Zone 1108 kann eine weitere „Nichtaktionszone“ sein, in der die Prozessorvorrichtung unter Verwendung eines 3D-Sensors möglicherweise keine Messungen des Innenraums des Behälters 1100 vornimmt. Die Prozessorvorrichtung kann eine beliebige Anzahl und Kombination von Zonen identifizieren, durch die sich der Behälter 1100 drehen kann, während er Erde gräbt, und eine beliebige Anzahl und Kombination von Aufgaben für jede Zone ausführen.
In einigen Beispielen kann die Prozessorvorrichtung einen Kalibrierungsprozess durchführen, bevor ein Volumen des Inhalts in einem Behälter 1100 bestimmt wird. Zum Beispiel kann die Prozessorvorrichtung den Kalibrierungsprozess durchführen, wenn ein neuer Behälter 1100 zum ersten Mal verwendet wird. Der Kalibrierungsprozess kann zu Kalibrierungsdaten führen, die dem Behälter 1100 entsprechen, wenn der Behälter 1100 leer ist. Die Kalibrierungsdaten können als eine Basislinie dienen, mit der nachfolgende Messungen des Behälters 1100 (z. B. wenn der Behälter 1100 Erde enthält) verglichen werden können. In einigen Beispielen kann die Prozessorvorrichtung die Kalibrierungsdaten zur späteren Verwendung in einer Datenbank speichern. Der Kalibriervorgang kann für eine Vielzahl von Behältern wiederholt werden, um eine Standardbibliothek von Kalibrierdaten für die Behälter zu generieren.
Ein Beispiel des Kalibrierungsprozesses wird nachfolgend unter Bezugnahme auf die 12-17 beschrieben. 12 ist eine Seitenansicht eines Beispiels eines Behälters 1202 in einem Erfassungsfeld 1204 eines 3D-Sensors 1206. Eine Prozessorvorrichtung kann einen Kalibrierungsprozess durchführen, um Kalibrierungsdaten für den Behälter 1202 mithilfe von Messungen, die von dem 3D-Sensor 1206 erfasst werden, und Benutzereingaben zu bestimmen.
Zum Beispiel kann die Prozessorvorrichtung den Kalibrierungsprozess unter Verwendung einer Nennkapazität des Behälters 1202, einer Form des Behälters 1202 und einer Anschlagebene des Behälters 1202 durchführen. Die Nennkapazität des Behälters 1202 kann als Benutzereingabe bereitgestellt werden und kann auf einer Seite des Behälters 1202 aufgedruckt, in einem Handbuch mit dem Behälter 1202 bereitgestellt oder anderweitig dem Benutzer durch einen Hersteller des Behälters 1202 bereitgestellt werden. Ein Beispiel für eine Nennkapazität für den Behälter 1202 kann 1,3 Kubikmeter sein. Die Form des Behälters 1202 kann auf Grundlage von Messungen vom 3D-Sensor 1206 bestimmt werden. Zum Beispiel kann der Behälter 1202 mehrmals langsam auf- und abgerollt werden, während der 3D-Sensor 1206 Sensormessungen durchführt. Eine Prozessorvorrichtung kann dann die Sensormessungen verwenden, um eine dreidimensionale (3D) Darstellung der Form der Schaufel zu erzeugen (z. B. unter Verwendung einer der oben beschriebenen Techniken). Die Anschlagebene kann auch auf Grundlage der Messungen vom 3D-Sensor 1206 bestimmt werden. Eine Anschlagebene kann eine zweidimensionale Ebene sein, die der Oberseite des Behälters 1202 entspricht und die vier Ecken des Behälters 1202 umfasst. Beispiele für eine Anschlagebene sind in den 13-14 als gestrichelte Linien und in den 15-17 als schattierte Bereiche 1502 gezeigt. In einigen Beispielen verwendet die Prozessorvorrichtung die Sensormessungen von dem 3D-Sensor, um sich der Anschlagebene des Behälters 1202 anzunähern, und dann kann ein Benutzer in der Lage sein, die Anschlagebene über eine Benutzereingabe fein abzustimmen. Wie später in Bezug auf das Winkelbestimmungssystem 2100 beschrieben, kann der 2D-Bereich der sichtbaren Anschlagebene, zum Beispiel aus den 15-17, verwendet werden, um einen Winkel der Schaufel zu schätzen.
Bezugnehmend auf 13 kann zumindest ein Teil des Kalibrierungsprozesses das Bestimmen eines Volumens des Innenraums 1302 des Behälters 1202 umfassen. Das Volumen des Innenraums 1302 des Behälters 1202 kann bestimmt werden, indem der Behälter 1202 mit Erde gefüllt wird (z. B. durch Ausheben von Erde), so dass eine obere Materialschicht 1304 über die Anschlagebene hinausragt (z. B. durch die gestrichelte Linie dargestellt). Der Behälter 1202 kann voll oder über seiner Kapazität sein. Ein Volumen der oberen Materialschicht 1304 kann bestimmt werden, indem eine leere Schaufelgitterkarte, die Gitterzellen mit jeweils bekannter Oberfläche aufweist, mit den Bildern des Materials in der Schaufel verglichen wird. Die Höhe der Anschlagebene für jede Gitterzelle kann bekannt sein und ein bekanntes Volumen aufweisen. Der Höhenunterschied kann gemessen und dem bekannten Volumen hinzugefügt werden. Das Volumen des Inneren 1302 des Behälters 1202 kann dann bestimmt werden, indem das Volumen der oberen Schicht 1304 von der vom Benutzer bereitgestellten Nennkapazität des Behälters 1202 subtrahiert wird.
In einigen Beispielen umfasst der Kalibrierungsprozess auch das Bestimmen eines Volumens eines Aushubs von Material in dem Behälter 1202. Ein Beispiel für einen Aushub an Material wird durch den schraffierten Bereich in 14 dargestellt. Wie gezeigt, weist der Aushub an Material eine ungleichmäßige Form auf, wobei ein Abschnitt 1402 des Materials über der Anschlagebene liegt, ein anderer Abschnitt 1404 des Materials unter der Anschlagebene liegt und ein leerer Raum 1406 zwischen einem oberen Bereich des anderen Abschnitts 1404 des Materials und der Anschlagebene liegt. Ein Volumen des Abschnitts 1402 des Materials über der Anschlagebene kann bestimmt werden, indem die Oberseite des Materials erfasst wird, ein Winkel der Anschlagebene bestimmt wird und ein Volumen des Abschnitts 1402 des Materials, das über der Anschlagebene liegt, unter Verwendung der erfassten Oberseite des Materials und des Winkels der Anschlagebene berechnet wird. Die Oberseite des Materials kann mit dem 3D-Sensor erfasst werden. Ein Volumen des Leerraums 1406 unterhalb der Anschlagebene kann auch unter Verwendung der erfassten Oberfläche des Materials und des Winkels der Anschlagebene bestimmt werden. Das Volumen des Aushubs kann über die folgende Gleichung bestimmt werden: $V_Aushub = V_Innenraum + V_über - V_leer$
Wobei V Aushub das Volumen des Aushubs ist, V_Innenraum das Volumen des Innenraums 1302 des Behälters 1202 ist, V_über das Volumen des Abschnitts 1402 des Materials über der Anschlagebene ist und V_leer das Volumen des leeren Raums 1406 unter der Anschlagebene ist.
Beispiele der vorliegenden Offenbarung können unter Verwendung einer beliebigen Art von Arbeitsfahrzeug, wie etwa eines Baggers oder Schabers, implementiert werden. Ein Beispiel für einen Schaber 1900 ist in 19 dargestellt. Der Schaber 1900 kann ein Gerät zur Erdbewegung sein. Der Schaber 1900 kann einen Behälter 1902 und eine Schneidkante aufweisen, die angehoben oder abgesenkt werden kann. Wenn sich der Schaber 1900 entlang einer Oberfläche bewegt, kann die Schneidkante Erde abschaben und den Behälter 1902 füllen.
Ein Beispiel für mindestens einen Abschnitt eines Volumenschätzsystems 2000, das an den Schaber 1900 gekoppelt ist, ist in 20 dargestellt. Das Volumenschätzsystem 2000 kann einen 3D-Sensor umfassen, der konfiguriert ist, um Material in dem Behälter 1902 zu erfassen. Das Volumenschätzsystem 2000 kann Messungen von dem 3D-Sensor verwenden, um einen Kalibrierungsprozess für den Behälter 1902 durchzuführen, eine Menge an Material zu bestimmen, die sich in dem Behälter 1902 angesammelt hat, oder beides.
21 ist ein Blockdiagramm, das ein Beispiel für ein Winkelbestimmungssystem 2100 zeigt. Anstelle oder in Verbindung mit einem der zuvor erwähnten Winkelsensoren kann das Winkelbestimmungssystem 2100 verwendet werden. Das Winkelbestimmungssystem 2100 kann zum Beispiel auf der Maschine 100 eingesetzt werden und/oder zum Beispiel den Prozessor 306 verwenden. Das Winkelbestimmungssystem 2100 umfasst eine Vielzahl verschiedener Komponenten, die eine Vielzahl verschiedener Funktionen ausführen können. Einige dieser Funktionen werden unter Bezugnahme auf 22 ausführlicher beschrieben.
Kurz gesagt empfängt die Bildschnittstellenlogik 2102 Bilder oder andere Sensorsignale von einem Sensor. Zum Beispiel können die Bilder von einem der oben ausführlich beschriebenen 3D-Sensoren empfangen werden. Die Bildschnittstellenlogik 2102 kann auch andere Bildvorprozesse durchführen, wie etwa Stereobildverarbeitung, Lichtkorrektur, Skalierung, Fokussierung, Anti-Aliasing, Formatierung usw. Die Segmentierungslogik 2104 analysiert das Bild und identifiziert einen Behälter, beispielsweise eine Baggerschaufel, im Bild. Die Segmentierungslogik 2104 kann den Behälter auf verschiedene Weise identifizieren, wie etwa auf Grundlage der Erkennung von Referenzpunkten, Kantenerkennung, Vergleich mit einem Referenzbild usw. Sobald er identifiziert ist, kann die Segmentierungslogik 2104 einen Teil oder ein Segment des Bildes, das den Behälter enthält, extrahieren oder segmentieren. Zum Beispiel kann die Segmentierungslogik 2104 ähnlich der oder dieselbe Komponente sein wie die oben beschriebene Schaufelsegmentierung 416. Die Bereichsgeneratorlogik 2106 berechnet einen geometrischen Bereich des Bildsegments, der durch die Segmentierungslogik 2104 als den Behälter enthaltend identifiziert wurde. Die Winkelgeneratorlogik 2108 berechnet einen Winkel des Behälters auf Grundlage des Bildes des Behälters. Zum Beispiel kann die Winkelgeneratorlogik 2108 den von der Bereichsgeneratorlogik 2106 berechneten Bereich verwenden, um den Winkel des Behälters zu bestimmen. Der von der Winkelgeneratorlogik 2108 berechnete Winkel kann in dem obigen Volumenschätzsystem verwendet werden oder er kann von einem Steuersystem 2122 oder einem anderen Maschinensteuersystem als Steuerrückmeldung verwendet werden, um eine Steuerung durchzuführen.
Die Referenzgeneratorlogik 2112 erzeugt einen Satz von Referenzbildern und verwendet die Datenspeicher-Interaktionslogik 2118, um die Bilder im Datenspeicher 2120 zu speichern. Ein Referenzbild bezieht sich auf ein zuvor aufgenommenes Bild des Behälters, bei dem verschiedene Eigenschaften des Behälters zum Zeitpunkt des Bildes bekannt sind. 26, die im Folgenden ausführlicher beschrieben wird, zeigt einen beispielhaften Betrieb der Referenzgeneratorlogik 2112.
Beispielsweise kann es für jeden Grad (oder jede andere Einheit) der Drehung des Behälters ein Referenzbild geben. Die Winkelverifizierungslogik 2110 kann ein solches Referenzbild verwenden, um einen Winkel zu verifizieren, der durch die Winkelgeneratorlogik 2108 berechnet wurde. Zum Beispiel erfasst die Winkelgeneratorlogik 2108 ein Bild und identifiziert Eigenschaften eines Behälters bei einem spezifischen Winkel und die Winkelverifikationslogik 2110 ruft ein Referenzbild ab, das dem berechneten Winkel entspricht (oder diesem am nächsten kommt), und bestätigt, dass die Bilder (das erfasste Bild des Behälters und das Referenzbild des Behälters) ähnliche Eigenschaften aufweisen.
Als weiteres Beispiel können die Referenzbilder die Position von Referenzpunkten auf dem Behälter bekannt haben und diese spezifischen Punkte auf dem Behälter identifiziert haben. Beispielsweise können der Umfang und die Identifizierungspunkte (wie etwa die Ecken des Behälters) im Referenzbild bekannt sein und im aufgenommenen Bild identifiziert werden. Die Segmentierungslogik 2104 kann diese bekannten Punkte von Interesse in dem Referenzbild verwenden, um die Grenzen des Behälters in einem aufgenommenen Bild zu identifizieren.
Die Anzeigegeneratorlogik 2116 zeigt dem Benutzer den Winkel des Behälters, das Volumen des Inhalts im Behälter und/oder andere berechnete Metriken an. Die Datenspeicher-Interaktionslogik 2118 wird von anderen Komponenten verwendet, um Daten abzurufen und in dem Datenspeicher 2120 zu speichern. Das Steuersystem 2122 erzeugt Steuersignale, die verschiedene Stellglieder der Arbeitsmaschine betätigen. Das Steuersystem 2122 kann Feedbackinformationen empfangen, die Winkel oder Positionen der gesteuerten Komponenten angeben, wie etwa eine Schaufel, einen Arm oder einen Ausleger eines Baggers, um die Komponenten genauer zu steuern.
22A und 22B (gemeinsam als 22 bezeichnet) sind ein Flussdiagramm, das ein Beispiel für den Vorgang des Winkelbestimmungssystems 2100 zeigt, das auf einer mobilen Maschine eingesetzt wird. Der Vorgang 2200 beginnt bei Block 2210, wo ein Bild des Behälters mit einem Sensor erfasst wird. Der Sensor kann eine Standardkamera sein, wie oben beschrieben und durch Block 2212 angezeigt. Der Sensor kann eine Standardkamera sein, wie durch Block 2214 angezeigt. Der Sensor kann ein laserbasierter Sensor sein, wie oben beschrieben und durch Block 2216 angezeigt. Natürlich kann der Sensor auch eine andere Art von Sensor sein, wie durch Block 2218 angezeigt.
Der Vorgang 2200 fährt bei Block 2220 fort, wo das Bild von der Bildschnittstellenlogik 2102 empfangen wird. Die Bildschnittstellenlogik 2102 kann in einem Fall, in dem der Sensor eine Stereokamera ist, die Stereobildverarbeitung abschließen, wie durch Block 2222 angezeigt. Die Stereobildverarbeitung wurde mit Bezug auf 5 ausführlicher beschrieben. Die Bildschnittstellenlogik 2102 kann auch die Standardbildverarbeitung auf dem/den empfangenen Bild(ern) abschließen. Zur Standardbildverarbeitung gehören unter anderem Lichtkorrektur, Skalierung, Fokussierung, Anti-Aliasing, Formatierung usw. Die Bildschnittstellenlogik 2102 kann das/die Bild(er) auch auf andere Weise verarbeiten, wie durch Block 2226 angezeigt.
Der Vorgang 2200 fährt bei Block 2230 fort, wo die Segmentierungslogik 2104 den Abschnitt des Bildes, der den Behälter enthält, identifiziert und segmentiert. In einem Beispiel vervollständigt die Segmentierungslogik 2104 die vorstehend beschriebenen Funktionen in Bezug auf die Schaufelsegmentierung 416 aus 4. Die Segmentierungslogik 2104 kann den Behälter mithilfe von Referenzbildern identifizieren, wie durch Block 2232 angezeigt. Beispielsweise ruft die Segmentierungslogik 2104 eine Vielzahl von Referenzbildern ab, die den Behälter enthalten, und jedes Referenzbild weist Metadaten auf, die die Position des Behälters in dem Referenzbild angeben. Diese Referenzbilder (oder das Segment des Referenzbildes) werden mit dem aufgenommenen Bild auf Ähnlichkeiten verglichen, um den Behälter in dem aufgenommenen Bild zu identifizieren.
Die Segmentierungslogik 2104 kann den Behälter mithilfe der Kantenerkennung identifizieren, wie durch Block 2234 angezeigt. Beispielsweise kann die Segmentierungslogik 2104 bekannte Kantenerkennungs- oder Bilddiskontinuitätsverfahren verwenden, um Kanten zu identifizieren, die einer bekannten oder angenäherten Form des Behälters entsprechen. Die Segmentierungslogik 2104 kann den Behälter mithilfe von Referenzpunkten identifizieren, wie durch Block 2236 angezeigt. Beispielsweise kann die Segmentierungslogik 2104 bekannte eindeutige Punkte des Behälters identifizieren. Wenn der Behälter beispielsweise eine Schaufel ist, weisen die Schaufelzähne und der Schaufelgelenkpunkt häufig visuell einzigartige Merkmale auf, die Referenzpunkten zugeordnet und auf Grundlage ihrer Einzigartigkeit identifiziert werden können. Die Segmentierungslogik 2104 kann den Behälter in dem Bild auch mithilfe einer Kombination der obigen Verfahren oder auf andere Weise identifizieren, wie durch Block 2238 angezeigt.
Nachdem die Segmentierungslogik 2104 den Behälter in dem Bild identifiziert, isoliert die Segmentierungslogik 2104 das Segment, das den Behälter enthält. Die Segmentierungslogik 2104 kann das Segment auf Grundlage des Umfangs des identifizierten Behälters isolieren, wie durch Block 2240 angezeigt. Beispielsweise wird das Segment entlang einer Kante isoliert, die als der Umfang des Behälters erkannt wird, und alles außerhalb des erkannten Umfangs wird verworfen. Die Segmentierungslogik 2104 kann das Segment um eine berechnete konvexe Hülle herum isolieren, wie durch Block 2242 angezeigt. Beispielsweise identifiziert die Segmentierungslogik 2104 Punkte des Behälters und berechnet eine konvexe Hülle um diese Punkte, und die konvexe Hülle wird dann segmentiert oder isoliert. In anderen Beispielen isoliert die Segmentierungslogik 2104 das Segment auf Grundlage eines anderen Verfahrens, wie durch Block 2244 angezeigt. Ein Beispiel einer Segmentierungslogik 2104, die einen Behälter identifiziert, wird in Bezug auf 23 näher beschrieben.
23 zeigt ein Beispiel für ein Bild, das von einem an einem Arm montierten Bildsensor, wie etwa dem Sensor 112 in 1, aufgenommen wurde. Die Ansicht 2300 zeigt einen Arm 2304 und eine Schaufel 2302. Der Schaufel 2302 sind Referenzpunkte 2306, Mittelpunkt 2308 und Referenzlinien 2310 überlagert. Diese Objekte sind Beispiele für Merkmale, welche die Segmentierungslogik 2104 verwenden kann, um den Behälter 2302 aus dem umgebenden Bild 2320 zu identifizieren.
Unter Bezugnahme auf 22 wird der Vorgang 2200 des Identifizierens des Winkels der Schaufel bei Block 2250 fortgesetzt, wo bestimmt wird, ob sich das Segment innerhalb einer Region von Interesse befindet, d. h. einer Region des Bildes, wo der Behälter erwartungsgemäß sein wird. Befindet sich das Segment nicht innerhalb einer Region von Interesse, fährt das Verfahren 2200 bei Block 2278 fort, wo der aktuelle Schaufelwinkel auf den „letzten vorhergesagten Winkel“ eingestellt wird und Vorgang 2200 bei 2210 erneut beginnt. Wenn sich das Segment innerhalb einer Region von Interesse befindet, fährt das Verfahren 2200 bei Block 2260 fort.
Bei Block 2260 berechnet die Bereichsgeneratorlogik 2106 einen zweidimensionalen Bereich des Segments. Dann wird bei Block 2262 der berechnete Bereich mit einem minimalen und maximalen Schwellenwert verglichen. Beispielsweise können die minimalen und maximalen Schwellenwerte die zuvor berechneten minimalen und maximalen Bereiche der Schaufel darstellen. Die Schwellenwerte können aus einem Kalibrierungszyklus identifiziert werden, wie etwa nachfolgend in Bezug auf 26 beschrieben, wobei der Behälter (Schaufel) gesteuert wird, um einen vollständigen Bewegungsablauf zu durchlaufen. Die bei dieser Bewegung erhaltenen maximalen und minimalen Bereiche definieren die entsprechenden Schwellenwerte. Wenn der Bereich unter dem Mindestschwellenwert oder über dem Höchstschwellenwert liegt, wird der vorhergesagte Winkel auf den letzten vorhergesagten Winkel eingestellt, wie durch Block 2278 angezeigt.
Wenn der Bereich über dem minimalen Schwellenwert und unter dem maximalen Schwellenwert liegt, wird der Vorgang 2200 mit Block 2266 fortgesetzt. Bei Block 2266 wird der Winkel des Behälters durch die Winkelgeneratorlogik 2108 auf Grundlage des berechneten Bereichs vorhergesagt. Die Winkelgeneratorlogik 2108 kann den Winkel auf Grundlage einer Nachschlagetabelle vorhersagen, wie durch Block 2267 angezeigt. Beispielsweise kann die Winkelgeneratorlogik 2108 auf eine Datentabelle zugreifen, in der jeder Datenpunkt einen Bereichswert und einen entsprechenden Winkelwert aufweist. Dann kann die Winkelgeneratorlogik 2108 auf den Datenpunkt auf der Tabelle zugreifen, der den nächstgelegenen Bereichswert aufweist, und seinen entsprechenden Winkelwert als den vorhergesagten Winkel verwenden. Die Winkelgeneratorlogik 2108 kann den Winkel auf Grundlage von Vorhersagetechniken vorhersagen, wie unter anderem Interpolation, Extrapolation, Trendlinie usw., wie durch Block 2268 angezeigt. Die Winkelgeneratorlogik 2108 kann den Winkel auch auf andere Weise identifizieren, wie durch Block 2269 angezeigt. Einige Beispiele von Block 2266 werden nun in Bezug auf 24 beschrieben.
24 ist ein Diagramm, das ein Beispiel für Bereichsdaten zeigt, die mit Winkeldaten korrelieren. Das Diagramm 2400 kann mit Datenpunkten 2406 gefüllt werden, die in einem Kalibrierungsprozess gesammelt wurden, zum Beispiel dem nachfolgend mit Bezug auf 26 beschriebenen Prozess. Das Diagramm 2400 umfasst eine X-Achse 2402 und eine Y-Achse 2404. Die Y-Achse 2404 gibt den Bereich des Behälters in einem aufgenommenen Bild an. Die X-Achse 2402 gibt einen Winkel des Behälters an, als das Bild aufgenommen wurde. Die Trendlinie 2408 gibt den Trend oder die identifizierte Beziehung zwischen dem geometrischen Bereich des Behälters in einem Bild und dem Winkel des Behälters an.
In einem Beispiel zum Identifizieren des Behälterwinkels in Block 2266 ist der in Block 2260 berechnete Bereich gleich 6,5 Einheiten. Mithilfe einer Nachschlageoperation, die in Block 2267 dargelegt ist, greift die Logik 2108 auf eine Nachschlagetabelle (dargestellt durch Diagramm 2400) zu, die Werte umfasst, die den verschiedenen Datenpunkten 2406 entsprechen. Der nächstgelegene Datenpunkt mit einem Bereichswert von 6,5 ist der Referenzpunkt 2416. Der Referenzpunkt 2416 weist einen Winkelwert (X) von 88,7 Grad auf und daher wird in diesem Beispiel von Block 2267 der Winkel als 88,7 Grad identifiziert.
In einem anderen Beispiel (in Block 2268 von 22 dargelegt) kann die Trendlinie 2408 verwendet werden, um den Winkel zu identifizieren. Wenn beispielsweise der Bereich in diesem Beispiel ebenfalls mit 6,5 Einheiten berechnet wurde und kein Datenpunkt 2406 genau dem Wert von 6,5 Einheiten entsprach, wird Punkt 2418 auf der Trendlinie 2408 (der einem Flächenwert von 6,5 entspricht) verwendet, um den Winkelwert zu identifizieren. Der Punkt 2418 hat hier einen Winkelwert (X) von 87,2 Grad. Daher wird in diesem Beispiel von Block 2268 der Winkel als 87,2 Grad identifiziert.
Unter Bezugnahme auf 22 kann der Vorgang 2200 den identifizierten Winkel an dieser Stelle ausgeben. In einem weiteren Beispiel wird eine zusätzliche Überprüfung durchgeführt, um zu bestätigen, dass der Winkel genau ist. In einem solchen Beispiel wird die Verarbeitung bei Block 2270 fortgesetzt, wo die Winkelverifizierungslogik 2110 die Datenspeicher-Interaktionslogik 2118 verwendet, um auf Referenzdaten im Datenspeicher 2120 zuzugreifen. Insbesondere kann die Winkelverifizierungslogik 2110 auf Referenzkoordinaten um einen Referenzbehälterumfang für den vorhergesagten Winkel von Block 2264 zugreifen. Beispielsweise wird der vorhergesagte Winkel von Block 2264 als Eingabe in eine Nachschlagetabelle von Referenzbildern verwendet (mit entsprechenden Daten, wie etwa dem Winkel, dem Bereich, dem Umfang, den Referenzkoordinaten, die der Position des Behälters entsprechen usw.), und das Referenzbild mit dem nächsten Winkel zu dem vorhergesagten Winkel von 2264 wird ausgewählt.
Bei Block 2272 berechnet die Winkelverifizierungslogik 2110 den Abstand zwischen den Referenzpunkten von Block 2270 und den berechneten Punkten von Block 2230. Bei Block 2274 bestimmt die Winkelverifizierungslogik 2110, ob eine Mindestanzahl von Punkten innerhalb des Schwellenabstands der Referenz liegt. Anderenfalls wird der vorhergesagte Winkel bei Block 2278 gleich dem letzten vorhergesagten Winkel gesetzt. Wenn sich eine minimale Anzahl von Punkten innerhalb eines Schwellenabstands der Referenz befindet, wird der vorhergesagte Winkel von Block 2264 durch die Winkelverifizierungslogik 2110 bestätigt, wie durch Block 2276 angezeigt. Natürlich veranschaulichen die Blöcke 2270-2278 nur ein Beispiel zum Verifizieren des vorhergesagten Winkels, und es kann auch andere Möglichkeiten zum Verifizieren des vorhergesagten Winkels geben.
Ein Beispiel der Blöcke 2270-2278 ist in Bezug auf 25A und 25B detaillierter dargestellt und beschrieben. 25A zeigt ein Referenzbild und 25B zeigt ein aufgenommenes Bild, beispielsweise ein im Block 2220 aufgenommenes Bild. Bei Block 2270 werden die Referenzkoordinaten um den Behälterumfang abgerufen, die in 25A als Referenzpunkte 2504 dargestellt sind. Bei Block 2272 wird ein Abstand zwischen den Referenzpunkten 2504 und den erfassten Punkten 2558 berechnet. In 25B zeigen Punkte, die als Behälterpunkte 2554 gekennzeichnet sind, an, dass der gegebene Referenzpunkt 2504 und der entsprechende erfasste Behälterpunkt 2558 innerhalb eines Schwellenabstands voneinander liegen. Punkte, die als Referenzpunkt 2504 und Behälterpunkt 2558 gekennzeichnet bleiben, veranschaulichen, dass diese Punkte nicht innerhalb eines Schwellenabstands voneinander liegen. Bei Block 2274 wird bestimmt, ob es eine minimale Anzahl von erfassten Punkten (z. B. 2554) innerhalb eines Schwellenabstands ihres entsprechenden Referenzpunkts (z. B. 2504) gibt. Wenn es eine minimale Anzahl von erfassten Punkten 2554 innerhalb des Schwellenabstands gibt (im Gegensatz zu nicht übereinstimmenden Punkten 2558), dann fährt der Vorgang 2200 bei Block 2276 fort, wo der Winkel bestätigt wird. Wenn nicht, fährt der Vorgang 2200 mit Block 2278 fort, wo der aktuelle Winkel auf den zuletzt gespeicherten Winkel eingestellt wird.
Unter Bezugnahme auf 22 speichert die Datenspeicher-Interaktionslogik 2118 bei Block 2280 den vorhergesagten Winkel im Datenspeicher 2120. Bei Block 2282 gibt die Winkelgeneratorlogik 2106 den (verifizierten oder zuletzt verifizierten) vorhergesagten Behälterwinkel aus. Die Ausgabe des vorhergesagten Winkels kann ein Feedback an ein Steuersystem oder eine Steuerlogik 2122 sein, wie durch Block 2284 angezeigt. Beispielsweise kann der Winkel verwendet werden, um die Position des Behälters zu berechnen, und die Position wird in der Feedbackschleife des Behälters verwendet. Die Ausgabe des vorhergesagten Winkels kann an ein Volumenbestimmungssystem anstelle eines gemessenen Winkels des Behälters erfolgen, wie durch Block 2286 angezeigt. Beispielsweise wird der berechnete Winkel anstelle einer Winkelmessung von einem Winkelsensor verwendet. Die Ausgabe des vorhergesagten Winkels kann an eine Anzeigevorrichtung zum Anzeigen für einen Benutzer erfolgen, wie durch Block 2288 angezeigt. Der vorhergesagte Winkel kann auch eine Ausgabe für andere Anwendungen sein, wie durch Block 2290 angezeigt.
26 ist ein Flussdiagramm, das ein Beispiel für einen Winkelbestimmungsvorgang zum Erhalten von oben erörterten Referenzbildern und Referenzpunkten zeigt. Der Vorgang 2600 beginnt bei Block 2610, wo die Steuerlogik 2122 ein Behälterstellglied (z. B. Stellglied 108) betätigt, um den Behälter in eine erste Extremposition zu bewegen. In einem Beispiel, in dem der Behälter eine Schaufel eines Baggers ist, kann das Bewegen der Schaufel in eine erste Extremposition ein vollständiges Einrollen der Schaufel in Richtung eines Arms bedeuten.
Der Vorgang 2600 geht zu Block 2620 über, wo ein Bild des Behälters von einem Sensor erfasst wird. Zum Beispiel kann das Bild durch den Bildsensor 112 aus 1 aufgenommen worden sein. Der Vorgang 2600 geht zu Block 2630 über, wo ein Winkel des Behälters gemessen wird. Der Winkel ist veranschaulichend ein Winkel relativ zu dem Arm, relativ zu dem Rahmen oder ein anderer Winkel, der verwendet werden kann, um den Winkel der Anschlagebene der Schaufel relativ zu der Bildaufnahmevorrichtung 112 zu bestimmen. Der Winkel des Behälters kann manuell durch einen Benutzer gemessen werden, wie durch Block 2632 angezeigt. Beispielsweise misst der Benutzer den Winkel mit einem Winkelmesswerkzeug. Der Winkel des Behälters kann durch einen Sensor gemessen werden, wie durch Block 2634 angezeigt. In einem Beispiel ist der oben beschriebene Winkelsensor 114 der Sensor, der zum Messen des Winkels verwendet wird. Natürlich kann der Winkel auch auf andere Weise gemessen werden, wie durch Block 2636 angezeigt.
Der Vorgang 2600 geht zu Block 2640 über, wo ein geometrischer Bereich des Behälters in dem Bild berechnet wird. Der Bereich kann die geometrische Form aufweisen, die durch den Umfang des Behälters in dem Bild definiert ist, wie durch Block 2642 angezeigt. Der Bereich kann aus einer berechneten konvexen Hülle der Punkte bestehen, die den Behälter in dem Bild definieren, wie durch Block 2644 angezeigt. Selbstverständlich kann der Bereich eine andere geometrische Form aufweisen, wie durch den Block 2646 angezeigt.
Die Referenzgeneratorlogik 2112 identifiziert dann Referenzpunkte auf dem Bild. Die Referenzpunkte können manuell, mittels visueller Markierungen oder automatisch mittels Bildverarbeitung identifiziert werden. Das Identifizieren der Referenzpunkte wird durch Block 2648 angezeigt.
Der Vorgang 2600 geht zu Block 2650 über, wo die Datenspeicher-Interaktionslogik 2118 das Bild als ein Referenzbild in dem Datenspeicher 2120 in Verbindung mit seinem gemessenen Winkel von Block 2630 und seinen identifizierten Referenzpunkten und dem berechneten Bereich von Block 2648 bzw. 2640 speichert. Diese gespeicherten Bilder können später auf Grundlage ihrer Metadaten (z. B. Bereich oder Winkel usw.) abgerufen werden.
Der Vorgang 2600 wird bei Block 2660 fortgesetzt, wo die Steuerlogik 2122 ein Stellglied betätigt, das mit dem Behälter in einer gegebenen Richtung gekoppelt ist, um den Behälter in eine zweite Extremposition zu bewegen, in der ein anderes Referenzbild aufgenommen werden soll. Befindet sich der Behälter bereits in der zweiten Extremposition (wie durch Block 2670 angezeigt), ist der Vorgang abgeschlossen. Falls nicht, kehrt der Vorgang zu Block 2620 zurück, wo ein weiteres Referenzbild aufgenommen wird. In einem Beispiel kann ein Referenzbild bei jedem Bewegungsgrad der Schaufel aufgenommen werden, wenn sie von der ersten Extremposition in eine zweite, entgegengesetzte Extremposition bewegt wird. In einem weiteren Beispiel kann ein Referenzbild nach dem Bewegen der Schaufel um 2 Grad oder mehr aufgenommen werden. Die Aufnahme eines Referenzbildes für jeden Bewegungsgrad ist nur ein Beispiel, und es können auch andere Techniken verwendet werden.
27 ist ein Beispiel für eine Rechenumgebung, in der Elemente der 3-4 und 21, oder Teile davon (zum Beispiel) eingesetzt werden können. Unter Bezugnahme auf 27 umfasst ein exemplarisches System zur Implementierung einiger Beispiele eine Universal-Rechenvorrichtung in Form eines Computers 2810. Komponenten des Computers 2810 können, sind aber nicht beschränkt auf, eine Prozessoreinheit 2820 (die einen Prozessor 306 oder andere Prozessoren oder Server umfassen kann), einen Systemspeicher 2830 und einen Systembus 2821 umfassen, die verschiedene Systemkomponenten, einschließlich des Systemspeichers, mit der Prozessoreinheit 2820 koppeln. Der Systembus 2821 kann eine von mehreren Arten von Busstrukturen sein, einschließlich eines Speicherbusses oder einer Speichersteuerung, eines Peripheriebusses und eines lokalen Busses mit einer Vielzahl von Busarchitekturen. Speicher und Programme, die unter Bezugnahme auf die 3-8 und 21 beschrieben werden, können in entsprechende Abschnitte von 27 eingesetzt werden.
Der Computer 2810 enthält typischerweise eine Vielzahl von computerlesbaren Medien. Computerlesbare Medien können beliebige verfügbare Medien sein, auf die der Computer 2810 zugreifen kann, und umfassen sowohl flüchtige als auch nichtflüchtige Medien, entfernbare und nicht entfernbare Medien. Beispielsweise und nicht einschränkend können computerlesbare Medien Computerspeichermedien und Kommunikationsmedien umfassen. Computerspeichermedien unterscheiden sich von einem modulierten Datensignal oder einer Trägerwelle und beinhalten diese nicht. Sie umfassen Hardware-Speichermedien, die sowohl flüchtige als auch nichtflüchtige, entfernbare und nicht entfernbare Medien beinhalten, die in einem beliebigen Verfahren oder einer beliebigen Technologie zum Speichern von Informationen implementiert sind, wie etwa computerlesbare Anweisungen, Datenstrukturen, Programmmodule oder andere Daten. Computerspeichermedien umfassen, sind aber nicht beschränkt auf RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologie, CD-ROM, Digitalversatile-Disks (DVD) oder andere optische Plattenspeicher, Magnetkassetten, - bänder, -plattenspeicher oder andere magnetische Speichervorrichtungen oder jedes andere Medium, das verwendet werden kann, um die gewünschte Information zu speichern, auf die durch den Computer 2810 zugegriffen werden kann. Kommunikationsmedien können computerlesbare Anweisungen, Datenstrukturen, Programmmodule oder andere Daten in einem Transportmechanismus verkörpern und beinhalten beliebige Informationslieferungsmedien. Der Begriff „angepasstes Datensignal“ bezeichnet ein Signal, für das ein oder mehrere seiner Merkmale so festgelegt oder geändert sind, dass Informationen in dem Signal codiert sind.
Der Systemspeicher 2830 beinhaltet Computerspeichermedien in Form eines flüchtigen und/oder nichtflüchtigen Speichers, wie etwa Festspeicher (ROM, Read Only Memory) 2831 und Direktzugriffsspeicher (RAM, Random Access Memory) 2832. Ein grundlegendes Ein-/Ausgabesystem 2833 (Basic Input Output System, kurz BIOS), das die grundlegenden Programme enthält, die helfen, Informationen zwischen Elementen innerhalb des Computers 2810, zum Beispiel während des Starts, zu übertragen, wird typischerweise im ROM 2831 gespeichert. Der RAM 2832 enthält typischerweise Daten- und/oder Programmmodule, die für die Prozessoreinheit 2820 unmittelbar zugänglich sind und/oder gegenwärtig von dieser bearbeitet werden. Beispielsweise und nicht einschränkend zeigt 27 das Betriebssystem 2834, die Anwendungsprogramme 2835, andere Programmmodule 2836 und Programmdaten 2837.
Der Computer 2810 kann auch andere entfernbare/nichtentfernbare flüchtige/nichtflüchtige Computerspeichermedien beinhalten. Beispielsweise zeigt 27 ein Festplattenlaufwerk 2841, das nichtentfernbare, nichtflüchtige magnetische Medien, ein optisches Plattenlaufwerk 2855 und eine nicht flüchtige optische Platte 2856 liest oder darauf schreibt. Das Festplattenlaufwerk 2841 ist typischerweise über eine nichtentfernbare Speicherschnittstelle, wie etwa die Schnittstelle 2840, mit dem Systembus 2821 verbunden, und das optische Plattenlaufwerk 2855 ist typischerweise über eine entfernbare Speicherschnittstelle, wie etwa die Schnittstelle 2850 mit dem Systembus 2821 verbunden.
Alternativ oder zusätzlich kann die hierin beschriebene Funktionalität mindestens teilweise durch eine oder mehrere Hardware-Logikkomponenten ausgeführt werden. Zu den veranschaulichenden Arten von Hardware-Logikkomponenten, die verwendet werden können, gehören beispielsweise feldprogrammierbare Gate-Arrays (FPGAs), Applikations-spezifische integrierte Schaltungen (z. B. ASICs), Applikations-spezifische Standardprodukte (z. B. ASSPs), System-on-a-Chip-Systeme (SOCs), „Complex Programmable Logic Devices“ (CPLDs) usw.
Die Laufwerke und die dazugehörigen Computerspeichermedien, die vorstehend erläutert und in 27 veranschaulicht wurden, stellen Speicherplatz von computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen und anderen Daten für den Computer 2810 bereit. In 27 ist beispielsweise das Festplattenlaufwerk 2841 so dargestellt, dass es das Betriebssystem 2844, die Anwendungsprogramme 2845, andere Programmmodule 2846 und Programmdaten 2847 speichert. Es sei angemerkt, dass diese Komponenten entweder mit dem Betriebssystem 2834, den Anwendungsprogrammen 2835, anderen Programmmodulen 2836 und den Programmdaten 2837 identisch oder von diesen verschieden sein können.
Ein Benutzer kann Befehle und Informationen in den Computer 2810 über Eingabevorrichtungen, wie etwa eine Tastatur 2862, ein Mikrofon 2863 und eine Zeigevorrichtung 2861, wie etwa eine Maus, einen Trackball oder ein Touchpad, eingeben. Andere Eingabevorrichtungen (nicht dargestellt) können einen Joystick, ein Gamepad, eine Satellitenschüssel, einen Scanner oder dergleichen beinhalten. Diese und andere Eingabevorrichtungen sind oft mit der Prozessoreinheit 2820 über eine Benutzereingabeschnittstelle 2860 verbunden, die mit dem Systembus gekoppelt ist, aber auch über andere Schnittstellen- und Busstrukturen verbunden werden kann. Eine optische Anzeige 2891 oder eine andere Art von Anzeigevorrichtung ist ebenfalls über eine Schnittstelle, wie etwa eine Videoschnittstelle 2890, mit dem Systembus 2821 verbunden. Zusätzlich zum Monitor können Computer auch andere periphere Ausgabevorrichtungen, wie etwa die Lautsprecher 2897 und den Drucker 2896 beinhalten, die über eine periphere Ausgabeschnittstelle 2895 verbunden werden können.
Der Computer 2810 wird in einer Netzwerkumgebung über logische Verbindungen (wie etwa ein lokales Netzwerk - LAN oder ein Wide Area Network WAN) zu einem oder mehreren entfernten Computern, wie etwa einem entfernten Computer 2880, betrieben.
Bei Verwendung in einer LAN-Netzwerkumgebung ist der Computer 2810 über eine Netzwerkschnittstelle oder einen Adapter 2870 mit dem LAN 2871 verbunden. Bei Verwendung in einer WAN-Netzwerkumgebung umfasst der Computer 2810 typischerweise ein Modem 2872 oder andere Mittel zum Aufbauen einer Kommunikation über das WAN 2873, wie etwa mit dem Internet. In einer vernetzten Umgebung können Programmmodule in einer entfernten Speichervorrichtung gespeichert sein. Beispielsweise können sich diese Remote-Anwendungsprogramme 2885 auf einem Remote-Computer befinden.
Es ist auch zu beachten, dass die verschiedenen hierin beschriebenen Beispiele unterschiedlich kombiniert werden können. Das heißt, Teile eines oder mehrerer Beispiele können mit Teilen eines oder mehrerer anderer Beispiele kombiniert werden. All dies wird hier in Betracht gezogen.
Die vorstehende Beschreibung bestimmter Beispiele, einschließlich der veranschaulichten Beispiele, wurde nur zu Zwecken der Veranschaulichung und Beschreibung vorgestellt und ist nicht dazu bestimmt erschöpfend zu sein oder die Offenbarung auf die genau offenbarten Form zu beschränken. Zahlreiche Abwandlungen, Anpassungen und Verwendungen davon werden für Fachleute ersichtlich sein, ohne vom Umfang der Offenbarung abzuweichen.
Beispiel 1 ist eine mobile Arbeitsmaschine, umfassend:

Einen Rahmen;
Ein Bodeneingriffselement, das beweglich von dem Rahmen getragen und von einem Motor angetrieben wird, um eine Bewegung der mobilen Arbeitsmaschine anzutreiben;
Einen Behälter, der beweglich von dem Rahmen getragen wird;
Ein Stellglied, das konfiguriert ist, um die Bewegung des Behälters relativ zum Rahmen steuerbar anzutreiben;
Ein Steuersystem, das konfiguriert ist, um ein Stellgliedsteuersignal zu erzeugen, das eine befohlene Bewegung des Stellglieds anzeigt und das Stellgliedsteuersignal an das Stellglied liefert, um das Stellglied zum Ausführen der befohlenen Bewegung zu steuern;
Einen Bildsensor, der mit der mobilen Arbeitsmaschine gekoppelt ist, wobei der Bildsensor konfiguriert ist, um ein Bild des Behälters aufzunehmen; und
Ein Winkelbestimmungssystem, das kommunikativ an das Steuersystem gekoppelt ist und konfiguriert ist, um einen Winkel des Behälters relativ zu dem Bildsensor basierend auf dem Bild des Behälters zu bestimmen.

Beispiel 2 ist die mobile Arbeitsmaschine eines beliebigen oder aller vorhergehenden Beispiele, wobei das Winkelbestimmungssystem Folgendes umfasst:

Segmentierungslogik, die konfiguriert ist, um ein Segment des Bildes zu identifizieren, das den Behälter enthält; und
wobei das Winkelbestimmungssystem konfiguriert ist, um den Winkel zumindest teilweise basierend auf dem Segment des Bildes zu bestimmen.

Beispiel 3 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Winkelbestimmungssystem Folgendes umfasst:

Bereichsgeneratorlogik, die konfiguriert ist, um einen Bereich des Segments zu berechnen.

Beispiel 4 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Winkelbestimmungssystem Folgendes umfasst:

Winkelgeneratorlogik, die konfiguriert ist, um den Winkel des Behälters auf Grundlage der Fläche des Segments zu bestimmen.

Beispiel 5 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei die Segmentierungslogik einen Satz von Behälterumfangskoordinaten auf Grundlage des Segments erzeugt; und

das Winkelbestimmungssystem, umfassend:
Profilierungslogik, die konfiguriert ist, um den Winkel von der Winkelgeneratorlogik durch Vergleichen des Satzes von Behälterumfangskoordinaten mit einem Satz von vorbestimmten Referenzkoordinaten zu bestätigen.

Beispiel 6 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Winkelbestimmungssystem Folgendes umfasst:

Referenzgeneratorlogik, die konfiguriert ist, um den Satz vorbestimmter Referenzkoordinaten durch Empfangen einer Vielzahl unterschiedlicher Referenzbilder von dem Bildsensor und Empfangen einer Vielzahl unterschiedlicher Referenzwinkel zu erzeugen, wobei jedes unterschiedliche Referenzbild einen entsprechenden unterschiedlichen Referenzwinkel aufweist, der einen Winkel des Behälters in dem unterschiedlichen Referenzbild angibt.

Beispiel 7 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei der Bildsensor mindestens eine Stereokamera oder einen Laserscanner umfasst.
Beispiel 8 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, ferner umfassend:

Ein Volumengeneratorsystem, das mit dem Steuersystem gekoppelt und konfiguriert ist, um ein Volumen von Inhalten in dem Behälter auf Grundlage des Winkels des Behälters und des Bildes zu bestimmen.

Beispiel 9 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, ferner umfassend:

Anzeigegeneratorlogik, die konfiguriert ist, um das Volumen des Inhalts in dem Behälter auf einer Anzeigevorrichtung in einer Kabine der mobilen Arbeitsmaschine anzuzeigen.

Beispiel 10 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei der Behälter eine Schaufel umfasst, die mobile Arbeitsmaschine einen Bagger umfasst und der Inhalt Erde umfasst.
Beispiel 11 ist ein Verfahren zum Steuern einer mobilen Arbeitsmaschine, umfassend:

Empfangen einer Bedienereingabe mit einem Steuersystem, einer Bedienereingabe, die eine befohlene Bewegung eines Stellglieds anzeigt, das konfiguriert ist, um die Bewegung eines Behälters anzutreiben, der beweglich von einem Rahmen der mobilen Arbeitsmaschine getragen wird;
Erzeugen eines Steuersignals mit dem Steuersystem, das die befohlene Bewegung anzeigt;
Empfangen eines Bildes des Behälters der mobilen Arbeitsmaschine mit einer Winkelgeneratorlogik und von einem 3D-Sensor; und
Bestimmen eines Winkels des Behälters in Bezug auf den 3D-Sensor mit der Winkelgeneratorlogik auf Grundlage des Bildes.

Beispiel 12 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei das Bestimmen des Winkels des Behälters Folgendes umfasst:

Identifizieren und Segmentieren eines Abschnitts des Bildes, wobei der Abschnitt des Bildes den Behälter umfasst.

Beispiel 13 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei das Bestimmen des Winkels des Behälters Folgendes umfasst:

Bestimmen eines Bereichs des Abschnitts mit Bereichsgeneratorlogik.

Beispiel 14 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei das Bestimmen des Winkels des Behälters Folgendes umfasst:

Konvertieren des Bereichs zum Winkel auf Grundlage einer vorbestimmten Korrelation zwischen dem Bereich und dem Winkel.

Beispiel 15 ist das Verfahren eines oder aller vorhergehenden Beispiele, ferner umfassend:

Verifizieren des Winkels des Behälters mit einer Winkelverifizierungslogik durch Vergleichen des Bildes mit einem Satz von Referenzbildern.

Beispiel 16 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei die Segmentierung des Bildabschnitts die Erzeugung einer konvexen Hülle umfasst.
Beispiel 17 ist ein Steuersystem einer mobilen Arbeitsmaschine, umfassend:

Steuerlogik, die konfiguriert ist, um ein Stellgliedsteuersignal zu erzeugen, das eine befohlene Bewegung eines Stellglieds anzeigt, das mit einem Behälter der mobilen Arbeitsmaschine gekoppelt ist, um die Bewegung des Behälters der mobilen Arbeitsmaschine steuerbar anzutreiben, und das Stellgliedsteuersignal für das Stellglied bereitzustellen, um das Stellglied zum Ausführen der befohlenen Bewegung zu steuern;
Einen Sensor, der konfiguriert ist, um ein erfasstes Bild von Inhalten in dem Behälter der mobilen Arbeitsmaschine aufzunehmen;
Segmentierungslogik, die konfiguriert ist, um ein Segment des aufgenommenen Bildes zu identifizieren, das den Behälter umfasst;
Bereichsgeneratorlogik, die konfiguriert ist, um einen Bereich des Segments in dem erfassten Bild zu bestimmen; und
Winkelgeneratorlogik, die mit der Steuerlogik gekoppelt ist und konfiguriert ist, um einen Winkel des Behälters in Bezug auf den Sensor auf Grundlage des Bereichs zu bestimmen.

Beispiel 18 ist das Steuersystem einer mobilen Arbeitsmaschine eines oder aller vorhergehenden Beispiele, ferner umfassend:

Referenzgeneratorlogik, die konfiguriert ist, um ein Referenzbild eines leeren Behälters zu empfangen; und
wobei die Segmentierungslogik den Behälter in dem erfassten Bild auf Grundlage des Referenzbildes identifiziert.

Beispiel 19 ist das Steuersystem einer mobilen Arbeitsmaschine eines beliebigen oder aller vorhergehenden Beispiele, ferner umfassend:

Winkelverifizierungslogik, die konfiguriert ist, um den Winkel zu verifizieren, der durch die Winkelgeneratorlogik bestimmt wird, indem das erfasste Bild mit dem Referenzbild verglichen wird, wobei ein Referenzbehälterwinkel, der dem Referenzbild entspricht, bekannt ist.

Beispiel 20 ist das Steuersystem einer mobilen Arbeitsmaschine eines beliebigen oder aller vorhergehenden Beispiele, ferner umfassend:

Volumengeneratorlogik, die mit der Steuerlogik gekoppelt ist und konfiguriert ist, um ein Volumen an Inhalt in dem Behälter auf Grundlage des Winkels und des aufgenommenen Bildes zu bestimmen.

Obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodische Handlungen spezifischen Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht unbedingt auf die vorstehend beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden die oben beschriebenen besonderen Merkmale und Handlungen als beispielhafte Formen der Implementierung der Ansprüche offenbart.

Claims

Mobile Arbeitsmaschine (100), umfassend: Einen Rahmen; Ein Bodeneingriffselement, das beweglich von dem Rahmen getragen und von einem Motor angetrieben wird, um eine Bewegung der mobilen Arbeitsmaschine (100) anzutreiben; Einen Behälter (110), der beweglich von dem Rahmen getragen wird; Ein Stellglied (108), das konfiguriert ist, um die Bewegung des Behälters (110) relativ zum Rahmen steuerbar anzutreiben; Ein Steuersystem (2122), das konfiguriert ist, um ein Stellgliedsteuersignal zu erzeugen, das eine befohlene Bewegung des Stellglieds (108) anzeigt und das Stellgliedsteuersignal an das Stellglied (108) liefert, um das Stellglied (108) zum Ausführen der befohlenen Bewegung zu steuern; Einen Bildsensor (112), der mit der mobilen Arbeitsmaschine (100) gekoppelt ist, wobei der Bildsensor (112) konfiguriert ist, um ein Bild des Behälters (110) aufzunehmen; und Ein Winkelbestimmungssystem (2100), das kommunikativ an das Steuersystem (2122) gekoppelt ist und konfiguriert ist, um einen Winkel des Behälters (110) relativ zu dem Bildsensor basierend auf dem Bild des Behälters (110) zu bestimmen.
Mobile Arbeitsmaschine (100) nach Anspruch 1, wobei das Winkelbestimmungssystem (2100) Folgendes umfasst: Segmentierungslogik (2104), die konfiguriert ist, um ein Segment des Bildes zu identifizieren, das den Behälter (110) enthält; und Wobei das Winkelbestimmungssystem (2100) konfiguriert ist, um den Winkel zumindest teilweise basierend auf dem Segment des Bildes zu bestimmen.
Mobile Arbeitsmaschine (100) nach Anspruch 2, wobei das Winkelbestimmungssystem (2100) Folgendes umfasst: Bereichsgeneratorlogik (2106), die konfiguriert ist, um einen Bereich des Segments zu berechnen.
Mobile Arbeitsmaschine (100) nach Anspruch 3, wobei das Winkelbestimmungssystem (2100) Folgendes umfasst: Winkelgeneratorlogik (2108), die konfiguriert ist, um den Winkel des Behälters (110) auf Grundlage der Fläche des Segments zu bestimmen.
Mobile Arbeitsmaschine (100) nach Anspruch 4, wobei die Segmentierungslogik (2104) einen Satz von Behälterumfangskoordinaten auf Grundlage des Segments erzeugt; und wobei das Winkelbestimmungssystem (2100) Folgendes umfasst: Profilierungslogik (2110), die konfiguriert ist, um den Winkel von der Winkelgeneratorlogik (2108) durch Vergleichen des Satzes von Behälterumfangskoordinaten mit einem Satz von vorbestimmten Referenzkoordinaten zu bestätigen.
Mobile Arbeitsmaschine (100) nach Anspruch 5, wobei das Winkelbestimmungssystem (2100) Folgendes umfasst: Referenzgeneratorlogik (2112), die konfiguriert ist, um den Satz vorbestimmter Referenzkoordinaten durch Empfangen einer Vielzahl unterschiedlicher Referenzbilder von dem Bildsensor (112) und Empfangen einer Vielzahl unterschiedlicher Referenzwinkel zu erzeugen, wobei jedes unterschiedliche Referenzbild einen entsprechenden unterschiedlichen Referenzwinkel aufweist, der einen Winkel des Behälters (110) in dem unterschiedlichen Referenzbild angibt.
Mobile Arbeitsmaschine (100) nach einem der vorangehenden Ansprüche, wobei der Bildsensor (112) mindestens eine Stereokamera (2212) oder einen Laserscanner umfasst.
Mobile Arbeitsmaschine (100) nach einem der vorangehenden Ansprüche, ferner umfassend: Ein Volumengeneratorsystem (400), das mit dem Steuersystem (2122) gekoppelt und konfiguriert ist, um ein Volumen von Inhalten in dem Behälter (110) auf Grundlage des Winkels des Behälters (110) und des Bildes zu bestimmen.
Mobile Arbeitsmaschine (100) nach einem der vorangehenden Ansprüche, ferner umfassend: Anzeigegeneratorlogik (2116), die konfiguriert ist, um das Volumen des Inhalts in dem Behälter (110) auf einer Anzeigevorrichtung (1002) in einer Kabine (102) der mobilen Arbeitsmaschine (100) anzuzeigen.
Mobile Arbeitsmaschine (100) nach einem der vorangehenden Ansprüche, wobei der Behälter (110) eine Schaufel (110) umfasst, die mobile Arbeitsmaschine (100) einen Bagger (100) umfasst und der Inhalt Erde umfasst.
Verfahren zum Steuern einer mobilen Arbeitsmaschine (100), umfassend: Empfangen einer Bedienereingabe mit einem Steuersystem (2122), einer Bedienereingabe, die eine befohlene Bewegung eines Stellglieds (108) anzeigt, das konfiguriert ist, um die Bewegung eines Behälters (110) anzutreiben, der beweglich von einem Rahmen der mobilen Arbeitsmaschine (100) getragen wird; Erzeugen eines Steuersignals mit dem Steuersystem (2122), das die befohlene Bewegung anzeigt; Empfangen eines Bildes des Behälters (110) der mobilen Arbeitsmaschine (100) mit einer Winkelgeneratorlogik (2108) und von einem 3D-Sensor (112); und Bestimmen eines Winkels des Behälters (110) in Bezug auf den 3D-Sensor (112) mit der Winkelgeneratorlogik (2108) auf Grundlage des Bildes.
Verfahren nach Anspruch 11, wobei das Bestimmen des Winkels des Behälters (110) Folgendes umfasst: Identifizieren und Segmentieren eines Abschnitts des Bildes, wobei der Abschnitt des Bildes den Behälter (110) umfasst.
Verfahren nach Anspruch 12, wobei die Bestimmung des Winkels des Behälters (110) Folgendes umfasst: Bestimmen eines Bereichs des Abschnitts mit Bereichsgeneratorlogik (2106).
Ein Steuersystem (2100) einer mobilen Arbeitsmaschine, umfassend: Steuerlogik (2122), die konfiguriert ist, um ein Stellgliedsteuersignal zu erzeugen, das eine befohlene Bewegung eines Stellglieds (108) anzeigt, das mit einem Behälter (110) der mobilen Arbeitsmaschine (100) gekoppelt ist, um die Bewegung des Behälters (110) der mobilen Arbeitsmaschine (100) steuerbar anzutreiben, und das Stellgliedsteuersignal für das Stellglied (108) bereitzustellen, um das Stellglied (108) zum Ausführen der befohlenen Bewegung zu steuern; Einen Sensor (112), der konfiguriert ist, um ein erfasstes Bild von Inhalten in dem Behälter (110) der mobilen Arbeitsmaschine (100) aufzunehmen; Segmentierungslogik (2104), die konfiguriert ist, um ein Segment des aufgenommenen Bildes zu identifizieren, das den Behälter (110) umfasst; Bereichsgeneratorlogik (2106), die konfiguriert ist, um einen Bereich des Segments in dem erfassten Bild zu bestimmen; und Winkelgeneratorlogik (2108), die mit der Steuerlogik (2122) gekoppelt ist und konfiguriert ist, um einen Winkel des Behälters (110) in Bezug auf den Sensor (112) auf Grundlage des Bereichs zu bestimmen.
Das Steuersystem (2100) einer mobilen Arbeitsmaschine nach Anspruch 14, ferner umfassend: Referenzgeneratorlogik (2112), die konfiguriert ist, um ein Referenzbild eines leeren Behälters (110) zu empfangen; und wobei die Segmentierungslogik (2104) den Behälter (110) in dem erfassten Bild auf Grundlage des Referenzbildes identifiziert. Winkelverifizierungslogik (2110), die konfiguriert ist, um den Winkel zu verifizieren, der durch die Winkelgeneratorlogik (2108) bestimmt wird, indem das erfasste Bild mit dem Referenzbild verglichen wird, wobei ein Referenzbehälterwinkel, der dem Referenzbild entspricht, bekannt ist.