DE102021120208A1

DE102021120208A1 - System und Verfahren zum Unterstützen eines entfernten Betriebs einer Arbeitsmaschine

Info

Publication number: DE102021120208A1
Application number: DE102021120208.6A
Authority: DE
Inventors: Shaun D. Currier
Original assignee: Caterpillar Inc
Current assignee: Caterpillar Inc
Priority date: 2020-08-07
Filing date: 2021-08-03
Publication date: 2022-02-10
Also published as: US11473270B2; US20220042278A1; CN114071113A

Abstract

Ein System zum Unterstützen eines entfernten Betriebs einer Arbeitsmaschine kann eine Arbeitsmaschine (100) und eine an der Arbeitsmaschine angeordnete Ausrüstung (110) für entfernte Betriebe beinhalten. Die Ausrüstung für entfernte Betriebe kann derart konfiguriert sein, dass sie Informationen über die Umgebung der Arbeitsmaschine erfasst und die Informationen an eine Fernsteuerungsstation (102) überträgt. Das System kann ebenso eine Fernsteuerungsstation (102) beinhalten, die derart konfiguriert ist, dass sie Bilder der Umgebung der Arbeitsmaschine anzeigt. Das System kann ebenso ein Bedienerunterstützungsmodul (122) beinhalten, das die Informationen mit einem Merkmalsabgrenzer augmentiert.

Description

Technisches Gebiet
Die vorliegende Anmeldung bezieht sich allgemein auf Arbeitsmaschinen wie schwere Baumaschinen, landwirtschaftliche Geräte und andere Maschinen, die zum Durchführen von Arbeiten geeignet sind. Insbesondere bezieht sich die vorliegende Anwendung auf ferngesteuerte Arbeitsmaschinen, bei denen die Aufmerksamkeit des Bedieners möglicherweise eingeschränkt ist. Insbesondere bezieht sich die vorliegende Anwendung auf eine oder mehrere visuelle Hilfsmittel zum Augmentieren visueller Sensorsysteme, um den Bediener bei der Steuerung von Maschineninteraktionen zu unterstützen.
Stand der Technik
Arbeitsmaschinen, wie Radlader, werden für eine Vielzahl von Aufgaben verwendet, die die Bedienersteuerung der Arbeitsmaschine und eines oder mehrerer der Maschine zugeordneten Arbeitsgeräte erfordern. Diese Steuerung kann von einem Bediener an der Maschine selbst oder unter Verwendung einer oder mehrerer entfernter Vorrichtungen von der Maschine entfernt durchgeführt werden. Diese Maschinen können groß, komplex und leistungsfähig sein, sodass es wünschenswert ist, die Umgebung der Maschine zu kennen, wenn eine Steuerung bereitgestellt wird. Unter bestimmten Umständen kann die Arbeitsmaschine verwendet werden, um mit dem Boden, dem Gestein, der Bodenoberfläche, anderer Ausrüstung, stationären Objekten und anderen Gegenständen in der Umgebung interagieren. Unter diesen Umständen kann ein relativ präziser Betrieb der Arbeitsmaschine durchgeführt werden, um einen effizienten Betrieb zu gewährleisten und/oder Schäden an der Arbeitsmaschine oder der interagierenden Ausrüstung oder den umgebenden Gegenständen zu vermeiden. Wenn das Sehvermögen oder andere Sinne eingeschränkt sind, wie wenn die Arbeitsmaschine entfernt betrieben wird, kann ein präziser Betrieb schwieriger sein.
U.S. 2019/0302794A1 beschreibt ein gezieltes Ladeunterstützungssystem. U.S. 20190101641A1 beschreibt ein System für die Kollisionsvermeidung von Arbeitsgeräten für unterirdische Objekte. U.S. 20170016211A1 beschreibt ein Anzeigesystem und eine Baumaschine. JP2003278159 beschreibt ein ferngesteuertes Bauverfahren und -system.
Kurzdarstellung
In einer oder mehreren Ausführungsformen kann ein System zum Unterstützen eines entfernten Betriebs einer Arbeitsmaschine eine Arbeitsmaschine und eine an der Arbeitsmaschine angeordnete Ausrüstung für entfernte Betriebe beinhalten. Die Ausrüstung für entfernte Betriebe kann derart konfiguriert sein, dass sie Informationen über die Umgebung der Arbeitsmaschine erfasst und die Informationen an eine Fernsteuerungsstation überträgt. Die Fernsteuerungsstation kann derart konfiguriert sein, dass sie Bilder der Umgebung der Arbeitsmaschine anzeigt. Das System kann ebenso ein Bedienerunterstützungsmodul beinhalten, das die Informationen mit einem Merkmalsabgrenzer augmentiert.
In einer oder mehreren anderen Ausführungsformen kann ein Verfahren zum Unterstützen eines entfernten Betriebs einer Arbeitsmaschine das Empfangen von Bildmaterial und Daten über die Umgebung der Arbeitsmaschine und das Identifizieren eines Merkmals in dem Bildmaterial beinhalten. Das Verfahren kann ebenso das Augmentieren des Bildmaterials durch einen Merkmalsabgrenzer beinhalten, der das Merkmal darstellt.
In einer oder mehreren anderen Ausführungsformen kann ein Verfahren zum Betreiben einer Arbeitsmaschine das Betreiben der Arbeitsmaschine von einer Fernsteuerungsstation aus und das Stützen auf visuelle Anzeigen beinhalten, um die Beziehungen zwischen der Arbeitsmaschine und einer Umgebung zu verstehen. Das Verfahren kann ebenso das Betätigen von Steuerungen an der Fernsteuerungsstation wenigstens teilweise basierend auf den visuellen Anzeigen beinhalten. Das Verfahren kann ebenso das Stützen auf Merkmalsabgrenzer auf den Anzeigen zum Steuern der Ausrüstung beinhalten.
Figurenliste

1A ist eine perspektivische Ansicht einer Arbeitsmaschine, die von einem Bediener unter Verwendung einer Vor-Ort-Fernsteuerung bedient wird, gemäß einer oder mehreren Ausführungsformen.
1B ist eine Draufsicht auf die Vor-Ort-Fernsteuerung von 1A, gemäß einer oder mehreren Ausführungsformen.
2 ist eine schematische Darstellung einer Arbeitsmaschine, die von einem Bediener, der sich an einem entfernten Standort befindet, über ein Weitverbundnetz betrieben wird, gemäß einer oder mehreren Ausführungsformen.
3 ist ein Fernbedienerbild einer Schaufel eines Radladers, die sich einer LKW-Schiene nähert, gemäß einer oder mehreren Ausführungsformen.
4 ist ein Fernbedienerbild einer Schaufel eines Radladers, die über einer LKW-Schiene positioniert ist, gemäß einer oder mehreren Ausführungsformen.
5 ist ein Fernbedienerbild einer Schaufel eines Radladers, die eine LKW-Schiene und über eine Plattform des LKWs passiert, gemäß einer oder mehreren Ausführungsformen.
6 ist ein Fernbedienerbild einer Schaufel eines Radladers, die sich einer Spitze eines Erdhaufens nähert, gemäß einer oder mehreren Ausführungsformen.
7 ist ein Fernbedienerbild einer Schaufel eines Radladers, die sich einer Spitze eines Erdhaufens bedrohlich nähert, gemäß einer oder mehreren Ausführungsformen.
8 ist ein Fernbedienerbild einer Schaufel eines Radladers, die mit einem Erdhaufen in Eingriff steht, gemäß einer oder mehreren Ausführungsformen.
9 ist ein Fernbedienerbild einer Schaufel eines Radladers, die über dem Boden gehalten wird, gemäß einer oder mehreren Ausführungsformen.
10 ist ein Fernbedienerbild einer Schaufel eines Radladers, die sich einer LKW-Schiene nähert und einen Merkmalsabgrenzer aufweist, der die LKW-Schiene darstellt, gemäß einer oder mehreren Ausführungsformen.
11 ist ein Fernbedienerbild einer Schaufel eines Radladers, die sich einem Erdhaufen nähert und einen Merkmalsabgrenzer aufweist, der die Spitze des Erdhaufens darstellt, gemäß einer oder mehreren Ausführungsformen.
12 ist ein Fernbedienerbild einer Schaufel eines Radladers, die über dem Boden gehalten wird und einen Merkmalsabgrenzer aufweist, der die Oberfläche des Bodens unter dem Radlader darstellt, gemäß einer oder mehreren Ausführungsformen.
13 ist ein Fernbedienerbild einer Schaufel eines Radladers, die sich einer Lkw-Schiene nähert und einen intelligenten Merkmalsabgrenzer aufweist, der die LKW-Schiene darstellt und einen Hinweis auf die Nähe zu der LKW-Schiene bereitstellt, gemäß einer oder mehreren Ausführungsformen.
14 ist ein Fernbedienerbild einer Schaufel eines Radladers, die über einer Lkw-Schiene positioniert ist und einen intelligenten Merkmalsabgrenzer aufweist, der die LKW-Schiene darstellt und die Nähe zu der LKW-Schiene anzeigt, gemäß einer oder mehreren Ausführungsformen.
15 ist ein Fernbedienerbild einer Schaufel eines Radladers, die eine LKW-Schiene und über eine Plattform des LKWs passiert und einen intelligenten Merkmalsabgrenzer aufweist, der die LKW-Schiene darstellt und die Nähe zu der LKW-Schiene anzeigt, gemäß einer oder mehreren Ausführungsformen.
16 ist ein Fernbedienerbild einer Schaufel eines Radladers, die sich einer Spitze eines Erdhaufens nähert und einen intelligenten Merkmalsabgrenzer aufweist, der die Spitze darstellt und einen Hinauf auf die Nähe zu der Spitze bereitstellt, gemäß einer oder mehreren Ausführungsformen.
17 ist ein Fernbedienerbild einer Schaufel eines Radladers, die sich einer Spitze eines Erdhaufens bedrohlich nähert und einen intelligenten Merkmalsabgrenzer aufweist, der die Spitze darstellt und einen Hinauf auf die Nähe zu der Spitze bereitstellt, gemäß einer oder mehreren Ausführungsformen.
18 ist ein Fernbedienerbild einer Schaufel eines Radladers, die mit einem Erdhaufen in Eingriff steht und einen intelligenten Merkmalsabgrenzer aufweist, der die Spitze des Erdhaufens darstellt und einen Hinweis auf die Nähe zu der Spitze bereitstellt, gemäß einer oder mehreren Ausführungsformen.
19 ist ein Fernbedienerbild einer Schaufel eines Radladers, die über dem Boden gehalten wird und einen intelligenten Merkmalsabgrenzer aufweist, der die Oberfläche des Bodens unter dem Radlader darstellt und einen Hinweis auf die Schaufelhöhe über dem Boden bereitstellt, gemäß einer oder mehreren Ausführungsformen.
20 ist ein Fernbedienerbild einer Schaufel eines Radladers, die über dem Boden gehalten wird und einen intelligenten Merkmalsabgrenzer aufweist, der die Oberfläche des Bodens unter dem Radlader darstellt und einen Hinweis auf die Schaufelhöhe über dem Boden bereitstellt, gemäß einer oder mehreren Ausführungsformen.
21 ist ein Fernbedienerbild einer Schaufel eines Radladers, die über dem Boden gehalten wird und einen intelligenten Merkmalsabgrenzer aufweist, der die Oberfläche des Bodens unter dem Radlader darstellt und einen Hinweis auf die Schaufelhöhe über dem Boden bereitstellt, gemäß einer oder mehreren Ausführungsformen.
22 ist eine schematische Darstellung eines Verfahrens zum Bedienen einer Arbeitsmaschine.
23 ist eine schematische Darstellung eines Verfahrens zum Unterstützen eines entfernten Betriebs einer Arbeitsmaschine.

Detaillierte Beschreibung
1A ist eine perspektivische Ansicht einer Arbeitsmaschine 100, die von einem Bediener unter Verwendung einer Vor-Ort-Fernsteuerungsstation 102 bedient wird, gemäß einer oder mehreren Ausführungsformen. Die Arbeitsmaschine 100, die in 1A als Radlader veranschaulicht ist, kann jedoch ebenso jede andere Arbeitsmaschine sein, wie eine Planierraupe, ein Verdichter, ein Mischer, eine Schürfmaschine, ein Motorgrader, ein Bagger, ein Materialschlepper und Ähnliches. 1B ist eine Draufsicht auf die Vor-Ort-Fernsteuerungsstation 102 von 1A, gemäß einer oder mehreren Ausführungsformen. Wie gezeigt, kann die Vor-Ort-Fernsteuerungsstation 102 eine relativ kleine Anzeige aufweisen, die einen Blick auf die Vorderseite der Arbeitsmaschine 100 zeigt, sodass der Bediener die Bedienung der Maschine 100 aus der Kabinenperspektive kaum beurteilen kann. Stattdessen kann sich der Bediener auf eine direkte visuelle Rückmeldung oder andere sensorische Rückmeldungen (Geräusche, Vibrationen usw.) von der Position des Bedieners auf der Baustelle stützen.
2 ist eine schematische Darstellung einer Arbeitsmaschine 100, die von einem Bediener, der eine entfernte Steuerungsstation 102 verwendet, die sich auf einer entfernten Baustelle befindet, über ein Weitverbundnetz 106 betrieben wird, gemäß einer oder mehreren Ausführungsformen. In dieser Ausführungsform sind direkte visuelle Rückmeldungen und andere sensorische Rückmeldungen nicht verfügbar, und der Bediener kann sich auf eine oder mehrere relativ große Anzeigen 104 stützen, die visuelle und möglicherweise akustische Rückmeldungen von der Baustelle und basierend auf einem oder mehreren an der Arbeitsmaschine 100 positionierten Sensoren bereitstellen. In dieser Ausführungsform kann die Wahrnehmung der Maschinenaktivität, des Maschinenbetriebs und der Umgebung eines Benutzers nur durch die Anzeige bereitgestellt werden, die eine zweidimensionale Anzeige 104 sein kann.
Ein Beispiel für eine solche Erfahrung ist in 3-5 gezeigt. Wie gezeigt, ist 3 ein Fernbedienerbild der Schaufel 108 eines Radladers 100, die sich einer LKW-Schiene 50 nähert. Wie gezeigt, kann die Sicht des Bedieners durch die Hubarme der Schaufel 108, die zugeordnete Hydraulik und die Schaufel 108 selbst etwas behindert sein. Außerdem ist der Abstand zwischen der Schaufel/den Armen und dem LKW aufgrund der zweidimensionalen Art der Anzeige möglicherweise nicht so leicht zu erkennen. Dies wird bei einem Vergleich von 3 mit 4, die ein Fernbedienerbild einer Schaufel 108 eines Radladers ist, die über einer LKW-Schiene 50 positioniert ist, deutlicher. Das heißt, an der Stelle, an der sich die Schaufel 108 der Schiene 50 in 3 näherte, befindet sich die Schaufel 108 oberhalb der Schiene 50 in 4 und die Bilder sind recht ähnlich. 5 ist ein Fernbedienerbild einer Schaufel 108 eines Radladers, die eine LKW-Schiene 50 und über eine Plattform des LKWs passiert, gemäß einer oder mehreren Ausführungsformen. Im Vergleich zu 3 und 4, können, obwohl Unterschiede bestehen und die Wahrnehmung nicht übermäßig eingeschränkt ist, die Merkmale der vorliegenden Anmeldung dabei helfen, die Beziehung zwischen der Ausrüstung schneller und sicherer zu erkennen.
Ebenso können die Beziehungen zwischen der Ausrüstung und dem Boden unter Verwendung von Fernbildmaterial schwer zu erkennen sein. Beispielsweise ist 6 ein Fernbedienerbild einer Schaufel 108 eines Radladers 100, die sich einer Spitze 52 eines Erdhaufens 54 nähert, gemäß einer oder mehreren Ausführungsformen. Wie gezeigt, kann die Spitze 52 des Erdhaufens 54 (z. B. dort, wo die Neigung des Haufens auf den relativ flachen Boden trifft) schwer zu erkennen sein. 7 ist ein Fernbedienerbild einer Schaufel 108 eines Radladers 100, die sich einer Spitze 52 eines Erdhaufens 54 bedrohlich nähert, gemäß einer oder mehreren Ausführungsformen, und ohne eine klare Vorstellung davon, wo sich die Spitze 52 des Erdhaufens 54 befindet, kann ein Bediener Schwierigkeiten haben, die Schaufel 108 richtig zu bedienen. So kann der Bediener beispielsweise die Schaufel 108 über dem Boden halten, sofern/bis die Schaufel kurz vor dem Eindringen in den Erdhaufen 54 ist. So kann der Bediener die Schaufel 108 genau in dem richtigen Moment absenken, wenn er in den Erdhaufen 54 eingreift, oder der Bediener kann die Schaufel absenken, bevor er in den Erdhaufen eingreift, um den Bereich vor dem Erdhaufen zu reinigen. 8 ist ein Fernbedienerbild einer Schaufel 108 eines Radladers, die mit einem Erdhaufen 54 in Eingriff steht, gemäß einer oder mehreren Ausführungsformen. Wie gezeigt und erneut ist die Spitze 52 des Erdhaufens 54 auf dem zweidimensionalen Bildmaterial möglicherweise nicht sehr gut zu erkennen und es kann für den Bediener schwierig sein, auf geeignete Weise in den Erdhaufen 54 einzugreifen. Außerdem, wenn sich der Bediener dazu entschließt, in den Boden vor dem Eingreifen in den Erdhaufen, einzugreifen, kann die Kraft, die durch die Schaufel auf den Boden angewandt wird, hilfreich sein, um sicherzustellen, dass der Boden nicht aufgerissen oder übermäßig beschädigt ist. Ein zusätzlicher Hinweis: Der Bediener kann so lange in den Erdhaufen eingreifen, bis die Maschine langsamer wird oder den Eindruck erweckt, dass sie so weit wie möglich in den Erdhaufen eingegriffen hat. In diesen Situationen kann der Bediener in der Kabine anhand der Empfindung des Anhaltens oder des Verlangsamen der Maschine, der Geräusche der Hydraulik- und/oder Motoranstrengung, der Vibrationen und anderer sensorischer Rückmeldungen erkennen, dass die Schaufel ausreichend, jedoch nicht zu stark in den Boden eingreift oder dass der Radlader so weit wie möglich in den Erdhaufen eingegriffen hat und die Vorwärtsbewegung angehalten werden kann, damit die Maschine die Schaufel anheben und von dem Haufen zurückfahren kann, um eine Ladung Erde zu entfernen.
9 ist ein Fernbedienerbild einer Schaufel 108 eines Radladers 100, die über dem Boden 56 gehalten wird, gemäß einer oder mehreren Ausführungsformen. Das heißt, dass ein Bediener, wenn er über den Boden fährt, die Schaufel 108 über dem Boden halten kann, um zu vermeiden, dass der Boden 56 aufgescheuert wird, und dass der Bediener möglicherweise wünscht, dass die Schaufel 108 relativ niedrig ist, um eine klare Sicht über die Oberseite der Schaufel 108 bereitzustellen. Wie in 9 gezeigt, kann jedoch die Höhe der Schaufel 108 über dem Boden 54 auf einer zweidimensionalen Anzeige relativ schwer zu erkennen sein.
In einer ähnlichen Situation kann der Bediener die Schaufel allgemein gegen den Boden drücken und die Maschine zurücksetzen, um den Boden „zurückzuziehen“ und den Boden flachzumachen oder zu glätten. Ähnlich wie Situationen des Eingreifens in den Erdhaufen, kann der Bediener in der Kabine auf die Ausrüstung hören und sich auf Geräusche, hydraulisches Heulen, die Motoranstrengung, Vibrationen oder andere sensorische Rückmeldungen stützen, um ein Gefühl dafür zu bekommen, wie viel Druck die Schaufel auf den Boden anwendet, sodass das Glätten des Bodens auftreten kann, ohne den Boden zu beschädigen, die Räder durchzudrehen und/oder auf andere Weise den Zweck des Rückwärtsziehens zu vereiteln.
Die vorliegende Anmeldung kann Merkmale beinhalten, die insbesondere dazu geeignet sind, den Bediener einer Arbeitsmaschine bei der Wahrnehmung der umgebenden Ausrüstung und Objekte und der Interaktion der Maschine mit der Ausrüstung und den Objekten zu unterstützen, insbesondere wenn die Arbeitsmaschine aus der Ferne bedient wird, und insbesondere noch mehr, wenn eine Maschine aus der Ferne und von einer entfernten Baustelle aus bedient wird, an dem keine direkte visuelle oder sensorische Rückmeldung verfügbar ist.
Wiederum unter Bezugnahme auf 2, kann eine fernbedienbare Arbeitsmaschine 100 mit einer Ausrüstung für entfernte Betriebe 110 ausgestattet sein, die eine Kommunikation an und von der Arbeitsmaschine ermöglicht. Beispielsweise kann die Kommunikation, die die Maschine verlässt, Maschinenbetriebs- und Diagnoseinformationen beinhalten, wie sie sonst oder üblicherweise beispielsweise auf einem Armaturenbrett oder einer Anzeige in der Kabine angezeigt werden können. Darüber hinaus kann die Kommunikation, die die Maschine verlässt, zum Zwecke der Fernsteuerung sensorische Daten beinhalten, einschließlich Bilder, Töne, räumlicher Daten, hydraulischer Kraft- und/oder Druckdaten und Ähnliches. Eingehende Kommunikation kann Betriebsbefehle beinhalten, die sonst oder üblicherweise von den Steuerungen in der Kabine kommen, wie Richtungssteuerungen, Gassteuerungen, Bremssteuerungen und Arbeitsgerätesteuerungen. Die Ausrüstung für entfernte Betriebe kann Sensoren 112, ein Rechensystem 114 für entfernte Betriebe und einen Fernsteuerungssendeempfänger 116 beinhalten.
Der Fernsteuerungssendeempfänger 116 kann derart konfiguriert sein, dass er Informationen von dem Fernsteuerungssprozessor empfängt und diese Informationen an die Fernsteuerungsstation überträgt. Der Fernsteuerungssendeempfänger kann ebenso derart konfiguriert sein, dass er Informationsübertragungen von der Fernsteuerungsstation empfängt und diese Informationen an den Fernsteuerungsprozessor bereitstellt. Wie in 1 gezeigt, kann der Fernsteuerungssendeempfänger ein lokales Kommunikationssystem wie einen Hochfrequenzsendeempfänger, einen Bluetooth-Sendeempfänger, WiFi oder einen anderen Sendeempfänger beinhalten, der für die Kommunikation über relativ kurze Entfernungen geeignet ist. Wie in 2 gezeigt, kann der Fernsteuerungssendeempfänger einen Weitverbundnetzsendeempfänger beinhalten, der eine direkte Kommunikation mit dem Weitverbundnetz, wie über eine Mobilfunkverbindung, ermöglichen kann. Alternativ oder zusätzlich kann der Fernsteuerungssendeempfänger derart konfiguriert sein, dass er mit einem nahe gelegenen Relais 118 kommuniziert, beispielsweise wo Hochfrequenz, Bluetooth, WiFi oder ein anderes lokales Kommunikationssystem zum Kommunizieren an das Relais verwendet werden kann, das die Signale an ein größeres Verbundnetz, wie beispielsweise über ein Mobilfunknetz, und von diesem kommunizieren kann. Obwohl die drahtlose Kommunikation beschrieben wurde, können ebenso festverdrahtete Kommunikationssysteme zwischen dem Relais und dem Netz und/oder zwischen der Fernsteuerungsstation und dem Netz bereitgestellt werden.
Das Rechensystem 114 für entfernte Betriebe kann derart konfiguriert sein, dass es entfernte Betriebe durch das Verarbeiten von sensorischen Informationen und durch das Verarbeiten von Steuerinformationen erleichtert. In einer oder mehreren Ausführungsformen kann das Rechensystem 114 für entfernte Betriebe ein Modul sein, das in das Rechensystem der Arbeitsmaschinenausrüstung eingebaut ist. In anderen Ausführungsformen kann ein separates Rechensystem bereitgestellt werden, beispielsweise wenn eine Arbeitsmaschine mit einer Ausrüstung für entfernte Betriebe nachgerüstet wird. In jedem Fall kann das Rechensystem 114 für entfernte Betriebe ein computerlesbares Speichermedium beinhalten, das mit maschinenlesbaren Anweisungen zum Empfangen und Übertragen von Maschineninformationen und zum Empfangen und Implementieren von Maschinensteuerungen codiert ist. Das Speichermedium kann einen Kurzzeit- und/oder Langzeitspeicher beinhalten und kann flüchtig und/oder nichtflüchtig sein. Beispiele für nichtflüchtige Speicherelemente beinhalten magnetische Festplatten, optische Platten, Disketten, Flash-Speicher oder Formen von elektrisch programmierbaren Speichern (EPROM) oder elektrisch lösch- und programmierbaren Speichern (EEPROM). Beispiele für flüchtige Speicher sind Direktzugriffsspeicher (RAM), dynamische Direktzugriffsspeicher (DRAM), statische Direktzugriffsspeicher (SRAM) und andere Formen von flüchtigen Speichern, die in dem Stand der Technik bekannt sind. Das Rechensystem 114 für entfernte Betriebe kann ebenso einen Prozessor, wie einen Computerprozessor, beinhalten, der für das Ausführen der maschinenlesbaren Anweisungen geeignet ist, um Informationen zu übertragen und die Vorgänge der Maschine 100 zu steuern. In einer oder mehreren Ausführungsformen kann das Rechensystem für entfernte Betriebe die Maschinensteuervorrichtung beinhalten und/oder mit der Maschinensteuervorrichtung kommunizieren, um die Maschine 100 zu betreiben.
Die Sensoren 112 der vorliegenden Arbeitsmaschine können einen oder mehrere Sensoren 112 beinhalten, die geeignet sind, um dem Bediener sensorische Rückmeldungen bereitzustellen. In einer oder mehreren Ausführungsformen können die Sensoren 112 räumliche Sensoren, akustische Sensoren, taktile Sensoren, Drucksensoren, Kraftsensoren und Ähnliches beinhalten.
Beispielsweise können räumliche Sensoren derart konfiguriert sein, dass sie visuelles Bildmaterial der Arbeitsmaschine bereitstellen, sodass der Benutzer eine visuelle Wahrnehmung des Maschinenbetriebs und seine Beziehungen zu der Umgebung und zu der Ausrüstung hat. In einer oder mehreren Ausführungsformen können die Raumsensoren ein oder mehrere Bilderfassungsvorrichtungen, wie Kameras, beinhalten, die an der Arbeitsmaschine angeordnet sind und geeignet sind, um Videobildmaterial der Umgebung an oder nahe der Vorderseite der Maschine bereitzustellen. Die Bilderfassungsvorrichtungen können beispielsweise optische Bildsensoren oder Vorrichtungen sein, die optische Bildsensoren beinhalten. Die Bildsensoren können digitale Bildsensoren oder andere analoge oder digitale Vorrichtungen sein, die derart konfiguriert sind, dass sie empfangenes Licht in elektronische Signale umwandeln, und können in ein oder mehrere Bilderfassungsvorrichtungen, wie beispielsweise Kameras, eingebaut werden. Die Bilderfassungsvorrichtungen können derart konfiguriert sein, dass sie Standbilder, Videobilder oder Ähnliches für einen oder mehrere Bereiche in der Umgebung der Arbeitsmaschine oder in deren Nähe bereitstellen. Die Bilderfassungsvorrichtung kann beispielsweise in eine Kamera eingebaut sein und kann Bildsensoren für die Videoerfassung sein, einschließlich, ohne jedoch darauf beschränkt zu sein, eines Halbleitersensors mit ladungsgekoppelten Bauelementen (CCD), eines komplementären Metall-Oxid-Halbleitersensors (CMOS), eines N-Typ-Metall-Oxid-Halbleitersensors (NMOS) oder einer anderen Art von Bildsensor oder Kombinationen davon. In einer oder mehreren Ausführungsformen können zwei Kameras bereitgestellt sein, um eine stereoskopische Sicht auf den vorderen Bereich der Arbeitsmaschine zu ermöglichen. Alternativ oder zusätzlich können räumliche Sensoren ebenso Radarsysteme oder Lidarsysteme wie beispielsweise eindimensionale Lidarsysteme oder dreidimensionale Lidarsysteme (z. B. dreidimensionale Scanner) beinhalten. Die Radar- oder Lidarsysteme können bereitgestellt sein, um Ausrüstung oder andere Hindernisse in der Umgebung der Arbeitsmaschine zu identifizieren, und können separat oder in Verbindung mit den Bilderfassungsvorrichtungen verwendet werden, um dem Bediener räumliche Informationen bereitzustellen. Weitere räumliche Sensoren können ein Wärmebildgeber, ein Lastsensor, ein Ultraschallsensor oder Ähnliches sein, die derart konfiguriert sind, dass sie Daten über die physikalischen Eigenschaften des Bereichs um die Arbeitsmaschine oder in ihrer Nähe sammeln.
Als ein weiteres Beispiel können auditive Sensoren Mikrofone oder andere auditive Merkmale beinhalten, die es dem Bediener ermöglichen, die Maschine zu hören. Taktile Sensoren können Sensoren sein, die dazu geeignet sind, die Vibrationen der Maschine wahrzunehmen und Signale zu übertragen, die eine Nachbildung oder Nachahmung der Vibrationen oder Bewegungen ermöglichen. Darüber hinaus können Hydraulikdrucksensoren, andere Drucksensoren oder Kraftsensoren bereitgestellt werden, die bestimmte Aspekte der Maschinenanstrengung und/oder der Interaktion der Maschine mit anderer Ausrüstung oder einem Objekt wahrnehmen können. So können beispielsweise Hydrauliksensoren an dem Schaufelsteuerarm bereitgestellt sein, die den Betrag an nach unten gerichtetem Druck wahrnehmen, den die Schaufel auf den Boden anwendet. Es können noch weitere Druck- oder Kraftsensoren für die Wahrnehmung anderer Drücke und für andere Zwecke bereitgestellt werden.
Wie bereits erwähnt, kann das Rechensystem 114 für entfernte Betriebe unter anderem Raum-, Druck- oder Kraftinformationen von den Sensoren empfangen und die Informationen über den Kommunikationssendeempfänger 116 an eine Fernsteuerungsstation 102 übertragen. Die Fernsteuerungsstation 102 kann geeignet sein, um die Informationen zu empfangen und sie für den Bediener anzuzeigen. In einer oder mehreren Ausführungsformen kann die Fernsteuerungsstation 102 beispielsweise geeignet sein, um die für den Benutzer angezeigten Raumdaten zu analysieren und/oder zu augmentieren. Insbesondere, wie in 10 gezeigt, kann die Fernsteuerungsstation 102 geeignet sein, um einen Merkmalsabgrenzer bereitzustellen, der den Bediener dabei unterstützt, zu verstehen, wo sich bestimmte Merkmale der Umgebung der Arbeitsmaschine befinden. Wie in 10 gezeigt, kann ein Merkmalsabgrenzer 120A eine Augmentierungslinie beinhalten, die sich über die Oberkante eines nahegelegenen Kipplasters erstreckt, wobei die Augmentierungslinie die obere Schiene des Lastwagens abgrenzt und den Bediener dabei unterstützt, die Position der oberen Schiene zu verstehen. Wie in 11 gezeigt, kann ein Merkmalsabgrenzer 120B eine gekrümmte Augmentierungslinie beinhalten, die sich entlang der Naht zwischen der Spitze eines Erdhaufens und dem ansonsten im Wesentlichen flachen Boden erstreckt. In einem weiteren Beispiel, das in 12 gezeigt ist, kann ein Merkmalsabgrenzer 120C einen Schatten oder eine andere Anzeige der Bodenoberfläche beinhalten, um den Bediener dabei zu unterstützen, die Position der Schaufel relativ zu dem Boden zu verstehen.
Mit Rückbezug auf 1B und 2 können die Merkmalsabgrenzungen von einem Bedienerunterstützungsmodul 122 bereitgestellt werden. Wie bereits erwähnt, kann die Fernsteuerungsstation geeignet sein, um die für den Bediener angezeigten räumlichen Daten zu analysieren und/oder zu augmentieren, und als solches kann das Bedienerunterstützungsmodul in die Fernsteuerungsstation 102 eingebaut werden. Wie allerdings zu verstehen ist, kann das Bedienerunterstützungsmodul 122 ebenso alternativ oder zusätzlich in die Computersysteme der Arbeitsmaschine 100 integriert werden. In jedem Fall kann das Bedienerunterstützungsmodul 122 eine Rechenvorrichtung beinhalten, die für das Analysieren der von den Raumsensoren erzeugten räumlichen Daten und das Augmentieren des resultierenden Bildmaterials für die Unterstützung der Bedienerwahrnehmung konfiguriert ist.
In einer oder mehreren Ausführungsformen kann das Bedienerunterstützungsmodul 122 die räumlichen Daten analysieren, um bestimmte Merkmale der Umgebung zu identifizieren. Beispielsweise und wie vorstehend in Bezug auf 10, 11 und 12 gezeigt, kann das Bedienerunterstützungsmodul 122 geeignet sein, die Position einer Schiene 50 eines LKWs, eine Naht zwischen einem Erdhaufen und dem Boden (z. B. die Spitze 52 des Erdhaufens) und/oder die Oberfläche des Bodens 54 zu identifizieren und mit einem Merkmalsabgrenzer abzugrenzen. Weitere Merkmale der Umgebung können mit Merkmalsabgrenzern identifiziert und abgrenzt werden.
Wie bei der Ausrüstung 110 für entfernte Betriebe kann das Bedienerunterstützungsmodul 122 in einer oder mehreren Ausführungsformen ein nichtflüchtiges computerlesbares Speichermedium und einen Prozessor beinhalten. Das Speichermedium kann einen Kurzzeit- und/oder Langzeitspeicher beinhalten und kann flüchtig und/oder nichtflüchtig sein. Beispiele für nichtflüchtige Speicherelemente beinhalten magnetische Festplatten, optische Platten, Disketten, Flash-Speicher oder Formen von elektrisch programmierbaren Speichern (EPROM) oder elektrisch lösch- und programmierbaren Speichern (EEPROM). Beispiele für flüchtige Speicher sind Direktzugriffsspeicher (RAM), dynamische Direktzugriffsspeicher (DRAM), statische Direktzugriffsspeicher (SRAM) und andere Formen von flüchtigen Speichern, die in dem Stand der Technik bekannt sind. Das Medium kann Daten und darauf gespeicherte computerlesbare Anweisungen beinhalten, die die Identifizierung von Merkmalen der Umgebung ermöglichen. Die Daten können beispielsweise Informationen über verschiedene Höhen von LKW-Schienen oder andere Details über Ausrüstung beinhalten, mit denen die Arbeitsmaschine in Kontakt kommen kann. In einer oder mehreren Ausführungsformen können die Daten Größen, Formen und Ausrichtungen von Merkmalen potenzieller umgebender Ausrüstung beinhalten. Die Anweisungen auf dem Datenträger können Anweisungen zum Identifizieren von Merkmalen der umgebenden Ausrüstung oder Umgebung basierend auf den Daten und/oder der Bilddaten beinhalten. Das heißt, im Falle einer LKW-Schiene können die Anweisungen beispielsweise Verfahren zum Analysieren von Kontrasten in einem Bereich (z. B. einer Höhe) beinhalten, in dem eine LKW-Schiene erwartet wird. Darüber hinaus können die Anweisungen Verfahren zum Analysieren der Bilddaten unter Verwendung mehrerer Kameras und das Stützen auf die relativen Winkel beinhalten, die von den stereoskopischen Bilddaten bereitgestellt werden, um die Position bestimmter umgebenden Elemente zu identifizieren. Durch das Stützen auf die Farbkontraste in dem Bildmaterial, die räumlichen Beziehungen zwischen mehreren Sätzen von Bilddaten und/oder die voraussichtliche Höhe, Größe und Ausrichtung der LKW-Schiene kann der Prozessor des Bedienerunterstützungsmoduls die LKW-Schiene in den Bildern identifizieren. Nach der Identifizierung der LKW-Schiene kann der Prozessor des Bedienerunterstützungsmoduls das Bild augmentieren, indem er die LKW-Schiene mit einem Merkmalsabgrenzer 120A darstellt. Beispielsweise kann das Bedienerunterstützungsmoduls das Bild mit einer hellen Linie überlagern, beispielsweise wie in 10 gezeigt.
Die vorstehend beschriebene Analyse wurde zwar auf Bilddaten basierend beschrieben, es können aber auch andere räumliche Daten zum Unterstützen verwendet werden. Wenn beispielsweise zusätzliche Sensoren wie Lidar, Radar oder andere räumliche Sensoren verwendet werden, kann das Bedienerunterstützungsmodul 122 auch diese Informationen in die Analyse einbeziehen. Ein eindimensionales Lidar kann beispielsweise Abstandsinformationen bereitstellen und so den Abstand zwischen einer Arbeitsmaschine 100 und der Seite eines LKW identifizieren. Auf diese Weise kann das Bedienerunterstützungsmodul 122 beispielsweise verstehen, wie weit eine LKW-Schiene 50 vor der Arbeitsmaschine 100 liegt, und dabei unterstützen, die Position einer oberen Schiene 50 in einem Bild zu identifizieren. Wenn dreidimensionale Scans zur Verfügung stehen, kann ein Modell der Umgebung erzeugt werden, und die Schiene 50 kann durch das Analysieren des Modells identifiziert werden. Auch andere Technologien können in das System eingeschlossen werden, um Merkmale der Umgebung zu identifizieren. In einer oder mehreren Ausführungsformen können Bezugsinformationen in dem computerlesbaren Speichermedium gespeichert werden und/oder Anweisungen zum Lesen von Bezügen gespeichert werden. Das heißt, wenn beispielsweise Bezüge auf umliegender Ausrüstung vorhanden sind, kann das Speichermedium Anweisungen für einen Prozessor beinhalten, um Bilddaten zu analysieren und Informationen aus den in den Bilddaten vorhandenen Bezügen zu erzeugen. In einer oder mehreren Ausführungsformen kann sich das System auf den Bezug einfach räumlich stützen, wenn die Positionierung des Bezugs relativ zu einer oberen Schiene eines Kipplasters bekannt ist, und wenn der Bezug erkannt wird, ist die Position und Ausrichtung der oberen Schiene relativ zu dem Bezug automatisch bekannt. Kurz gesagt, aufgrund der Muster, die in dem Bezug vorhanden sind, kann ein Bezug inmitten der Umgebung leichter erkannt werden. Zusätzlich oder alternativ können der Bezug und das Lesen des Bezugs ähnlich einem QR-Code ausgefeilter sein und das System kann den Bezug scannen, um Informationen über die Ausrüstung zu erhalten, auf dem sich der Bezug befindet. Die aus dem Bezug gewonnenen Informationen können dazu verwendet werden, die Lage von Merkmalen der Ausrüstung zu identifizieren.
Obwohl das vorstehende System im Zusammenhang mit dem Identifizieren einer LKW-Schiene 50 beschrieben wurde, können auch andere Merkmale der Umgebung identifiziert werden. Beispielsweise, wie in 11 gezeigt, kann eine Naht zwischen einem Erdhaufen und der Bodenoberfläche oder der Spitze 52 identifiziert werden. In diesem Fall kann das Speichermedium Daten über Merkmale eines Erdhaufens und insbesondere Daten beinhalten, die darauf hinweisen, dass bestimmte Bereiche einer Neigungsänderung Indikatoren für die Lage einer Spitze 52 eines Erdhaufens sein können. Die computerlesbaren Anweisungen können ein Verfahren zum Überprüfen der räumlichen Daten (z. B. bildbasiert oder anderweitig) und zum Identifizieren einer gekrümmten Linie beinhalten, die eine Neigungsänderung von allgemein horizontal zu schräg definiert. Die Identifizierung kann auf Veränderungen des Farbkontrasts, auf räumlichen Informationen, die eine Neigungsänderung identifizieren, und auf anderen Techniken beruhen. Unter Verwendung dieser Merkmale kann der Prozessor des Bedienerunterstützungsmoduls die Spitze 52 eines Erdhaufens identifizieren. Nach der Identifizierung der Spitze kann der Prozessor des Bedienerunterstützungsmoduls 122 das Bild mit einem Merkmalsabgrenzer 120B augmentieren. Beispielsweise kann das Bedienerunterstützungsmoduls 122 das Bild mit einer gekrümmten hellen Linie überlagern, beispielsweise wie in 11 gezeigt.
Ein ähnlicher Ansatz kann verwendet werden, um die Oberfläche des Bodens 54 zu identifizieren. Das Speichermedium kann beispielsweise Informationen beinhalten, die den Boden als im Allgemeinen eben und/oder im Allgemeinen parallel zu dem Winkel der Arbeitsmaschine 100, die auf dem Boden 54 getragen wird, identifizieren. Unter Verwendung von Bilddaten und/oder anderen räumlichen Daten zusammen mit den auf dem Medium gespeicherten Daten kann der Prozessor die Ebene des Bodens identifizieren und die Bilddaten durch das Identifizieren der Ebene des Bodens in den Bildern augmentieren. In einer oder mehreren Ausführungsformen kann das augmentierte Bild einen Merkmalsabgrenzer 120C beinhalten, wie einen parallelogrammartigen Umriss unterhalb der Schaufel 108, der die Ebene des Bodens 54 relativ zu der Schaufel 108 identifiziert, wie in 12 gezeigt.
Unter den vorstehend genannten Bedingungen kann die Augmentierung der Bilddaten ein augmentiertes Bild bereitstellen, und das Bedienerunterstützungsmodul 122 kann die Bilddaten kontinuierlich augmentieren. Die Bilddaten können an der Fernsteuerungsstation 102 angezeigt werden (z. B. auf einem oder mehreren Bildschirmen oder auf der Fernsteuerung selbst). Mit den augmentierten Bildern kann der Bediener die Arbeitsmaschine 100 besser steuern.
Nun zu den 13-15: Das Bedienerunterstützungsmodul 122 kann die Bilder ebenso mit einem oder mehreren intelligenten Merkmalsabgrenzern augmentieren. Das heißt, eine Objektabgrenzung zwar hilfreich sein kann, kann jedoch eine Objektsabgrenzung, die sich ändert, wenn sich die Arbeitsmaschine bewegt oder mit umgebenden Objekten in Kontakt kommt, noch hilfreicher sein. Insbesondere und wie in Bezug auf 3-5 erwähnt, kann der relative Abstand beispielsweise zwischen einer Arbeitsmaschine und einem Muldenkipper bei der Bedienung über eine Fernsteuerungsstation 102 schwer wahrzunehmen sein. In einer oder mehreren Ausführungsformen kann sich das Bedienerunterstützungsmodul 122 auf die von den Raumsensoren aufgenommenen räumlichen Daten stützen, um verschiedene Grade der Abgrenzung bereitzustellen, wie in 13-15 gezeigt. Das heißt, wie in 13 gezeigt, kann ein intelligenter Merkmalsabgrenzer 124A in der Form einer relativ dünnen Abgrenzungslinie bereitgestellt werden, wenn sich die Arbeitsmaschine 100 dem Muldenkipper nähert. Nähert sich die Arbeitsmaschine 100 dem Muldenkipper, wie in 14 gezeigt, und ist die Schaufel 108 oberhalb der Schiene 50 des Muldenkippers, kann eine intelligente Merkmalsabgrenzung 124B in der Form einer ausgeprägteren (z. B. dickeren) Abgrenzungslinie bereitgestellt werden. Wie in 15 gezeigt, wenn die Schaufel die Schiene 50 und über die Plattform des Muldenkippers passiert ist, kann eine intelligente Merkmalsabgrenzung 124C in der Form einer noch ausgeprägteren (z. B. dickeren) Abgrenzungslinie bereitgestellt werden. In einer oder mehreren Ausführungsformen kann die intelligente Abgrenzung eine Linie beinhalten, die langsam, wenn die Arbeitsmaschine weit entfernt ist, schneller, wenn die Arbeitsmaschine nahe ist, und heftig blinkt, wenn die Arbeitsmaschine sehr nahe an dem Muldenkipper ist. In einer oder mehreren Ausführungsformen kann die intelligente Abgrenzung eine Farbe beinhalten, und die Farbe kann von grün zu gelb zu rot wechseln, wenn die Arbeitsmaschine die in 13-15 gezeigten Schritte durchläuft. Es können ebenso andere Farbprofile verwendet werden.
Das Bedienerunterstützungsmodul 122 kann eine ähnliche intelligente Merkmalsabgrenzung zum Zwecke des Unterstützens des Bedieners bereitstellen, wenn sich die Arbeitsmaschine einem Erdhaufen nähert. Das heißt, ein Bediener kann es beispielsweise vorziehen, die Schaufel der Arbeitsmaschine über dem Boden zu halten, sofern und solange die Arbeitsmaschine dabei ist, auf den Erdhaufen zu treffen. In diesem Fall kann sich das Bedienerunterstützungsmodul 122 auf die räumlichen Daten stützen, um die Spitze des Erdhaufens abzugrenzen, wie vorstehend in Bezug auf 11 beschrieben, jedoch kann eine intelligente Abgrenzung 126A, 126B und 126C in der Form einer dünnen Linie, einer ausgeprägteren Linie beziehungsweise einer sehr ausgeprägten Linie bereitgestellt werden, wenn sich die Arbeitsmaschine dem Erdhaufen nähert. Auf diese Weise kann der Bediener nicht nur wahrnehmen, wo sich die Spitze befindet, sondern auch, wie nahe die Arbeitsmaschine 100 der Spitze kommt. Wie bei der LKW-Schiene kann die intelligente Abgrenzung 126A, 126B, 126C langsam, schneller und heftig blinken, wenn sich die Arbeitsmaschine nähert, und/oder die Farbe der Linie kann beispielsweise von grün zu gelb oder rot wechseln. Weitere visuelle Effekte können verwendet werden, um neben der Lage eines Merkmals ebenso eine veränderte räumliche Beziehung widerzuspiegeln.
Das Bedienerunterstützungsmodul 122 kann einen ähnlichen intelligenten Merkmalsabgrenzer bereitstellen, um den Bediener bei dem Wissen über die Beziehung zwischen der Schaufel 108 und der Bodenoberfläche 54 zu unterstützen. So kann beispielsweise ein intelligenter Merkmalsabgrenzer bereitgestellt werden, der sich ändert, wenn sich die Schaufel dem Boden nähert. Beispielsweise kann ein intelligenter Merkmalsabgrenzer 128A in der Form eines Umrisses wie in 12, wenn die Schaufel weit von dem Boden entfernt ist, ein intelligenter Merkmalsabgrenzer 128B in der Form eines halbschattierten oder ausgefüllten Umrisses, wie in 19 gezeigt, oder ein intelligenter Merkmalsabgrenzer in der Form eines vollständig ausgefüllten, undurchsichtigen Umrisses bereitgestellt werden, wenn die Schaufel den Boden berührt. In einer oder mehreren anderen Ausführungsformen kann der intelligente Merkmalsabgrenzer einen Umriss beinhalten, der für alle Höhen über dem Boden ausgefüllt ist, jedoch kann er seine Farbe von grün zu gelb oder rot ändern und/oder der Umriss oder ausgefüllte Umriss kann langsam, schneller und heftig blinken, wenn die Schaufel den Boden berührt. In einer oder mehreren Ausführungsformen kann der intelligente Merkmalsabgrenzer die Form eines Schattens haben und viel breiter als die Schaufel, wenn sich die Schaufel hoch über dem Boden befindet, kleiner sein, wenn sich die Schaufel dem Boden nähert, und mit dem äußeren Umfang der Schaufel übereinstimmen, wenn die Schaufel den Boden erreicht. Weitere intelligente Merkmalsabgrenzer für die Schaufel in Bezug auf den Boden sind in 20 und 21 gezeigt. In 20 ist beispielsweise ein intelligenter Merkmalsabgrenzer 130 in der Form einer Bodenmarkierung, die die Ebene des Bodens identifiziert, und eine Verlängerungslinie bereitgestellt, die sich von dem Boden aus nach oben erstreckt, um den Abstand zwischen dem Boden und der Schaufel zu identifizieren. Die Verlängerungslinie kann sich in der Länge anpassen, wenn die Schaufel relativ zu dem Boden angehoben und abgesenkt wird. Der intelligente Merkmalsabgrenzer 132 des Bodens kann ebenso die Form von Landebahnlinien aufweisen, wie in 21 gezeigt. Die Landebahnlinien können beispielsweise mit der Ebene des Bodens und den Seiten der Schaufel übereinstimmen und hell sein, wenn die Schaufel hoch ist, ausgeprägter, wenn sich die Schaufel dem Boden nähert, und fett, wenn die Schaufel in Bodennähe ist. Die Landebahnlinien können ebenso blinken und/oder ihre Farbe ändern, wie vorstehend beschrieben. Obwohl mehrere Arten von intelligenten Abgrenzern separat beschrieben wurden, können eine oder mehrere der intelligenten Abgrenzungstechniken je nach Bedarf ebenso in Verbindung miteinander verwendet werden. Beispielsweise können die Größen-, Blink- und Farbeffekte zusammen verwendet werden. Es können ebenso andere Kombinationen verwendet werden.
Das Bedienerunterstützungsmodul 122 kann weitere Informationen basierend auf Druck- und/oder Kraftsensoren an der Maschine bereitstellen. So kann beispielsweise die Position relativ zu dem Boden hilfreich sein, jedoch kann ebenso die Kraft, die eine Schaufel auf den Boden anwendet, in bestimmten Situationen hilfreich sein. Das heißt, wie vorstehend in Bezug auf das Glätten des Bodens vor dem Eingreifen in den Erdhaufen, das Eingreifen in den Dreckhaufen und/oder das Rückwärtsziehen beschrieben, kann die Menge der Anstrengung der Maschine hilfreich sein, um zu wissen, wie stark die Schaufel in den Boden eingreift oder wie viel Arbeit die Maschine für das Eingreifen in einen Erdhaufen verwendet. Für den Fall, dass die Schaufel den Boden berührt, können intelligente Abgrenzer bereitgestellt werden, die auf Druck- oder Kraftsensoren basieren. Beispielsweise kann die Kraft oder der Druck in dem Hydrauliksystem in einen Bodendruck umgewandelt werden, der auf der Geometrie des Hydrauliksystems basiert, und die Schaufel und eine Bodenebene können in verschiedenen Farben eingefärbt werden, um die Menge an verwendetem Abwärtsdruck darzustellen. In einer oder mehreren anderen Ausführungsformen kann die Schaufel selbst eingefärbt werden, können die Hydraulikzylinder in dem Bild eingefärbt werden, oder es kann ein grafischer „Abwärtsdruck“-Pfeil verwendet werden, dessen Größe mit zunehmendem Abwärtsdruck variiert und/oder der blinkt, wenn der Abwärtsdruck einen vorbestimmten Höchstwert erreicht. In einer oder mehreren Ausführungsformen kann die Bodenart und/oder das Bodenmaterial in das System eingegeben werden, und der Abwärtsdruckbereich kann basierend auf dem zu bearbeitenden Material eingestellt werden.
Das Bedienerunterstützungsmodul 122 kann verwendet werden, um intelligente Merkmalsabgrenzer für eine Vielzahl von Bedingungen zu implementieren. Beispielsweise können Behinderungen und Hindernisse an oder in der Nähe der Arbeitsmaschine durch Linien, Schattierungen oder andere Überlagerungen augmentiert werden, und die Überlagerungen können aktive Überlagerungen sein, sodass das relative Risiko, auf die Hindernisse zu stoßen, oder der Grad, in dem etwas in Eingriff ist, dem Bediener durch die Deutlichkeit der Überlagerung, des Blinkens, des Farbwechsels oder andere aktive Benachrichtigungen präsentiert wird. In einer oder mehreren der vorstehend genannten Ausführungsformen kann die Merkmalsabgrenzung ebenso akustische Benachrichtigungen beinhalten.
Es wird darauf hingewiesen, dass im Zusammenhang mit der Fernsteuerung von Arbeitsmaschinen ist die vorliegende Anmeldung insofern von Vorteil, als sie einige der Wahrnehmungen ersetzt, die möglicherweise vorhanden waren, als der Bediener in der Arbeitsmaschine 100 anwesend war, und die bei der Fernsteuerung einer Arbeitsmaschine 100 nicht vorhanden sein können. Im Falle eines Beladens eines Muldenkippers hat die Fähigkeit des Bedieners, sich herumzubewegen, nach vorne zu lehnen oder anderweitig seine Perspektive zu wechseln, wenn er sich einem Muldenkipper genähert hat, es einem Bediener vor Ort ermöglicht, sich geeigneter zu nähern und einen Muldenkipper zu beladen, ohne auf die obere Schiene zu treffen. Möglicherweise war es für den Bediener ebenso einfacher, die Ladung in dem Muldenkipper gleichmäßig zu verteilen. Mit dem gegebenen Merkmalsabgrenzer und/oder dem intelligenten Merkmalsabgrenzer kann ein entfernter Bediener die Fähigkeit aufweisen, besser zu arbeiten, ohne auf den Muldenkipper zu treffen, und die Ladung gleichmäßig auf dem LKW verteilen.
Ähnlich im Falle eines Schaufelns von Erde von einem Haufen kann sich der Bediener in der Kabine umherbewegen, nach vorne lehnen und seine Perspektive auf den Erdhaufen ständig ändern, um dabei zu helfen, die Spitze zu identifizieren. Unter Verwendung des vorliegenden Merkmalsabgrenzer und/oder dem intelligenten Abgrenzer kann ein entfernter Bediener die Schaufel besser über dem Boden halten, bis die Arbeitsmaschine in den Haufen eingreift, an dem die Schaufel auf den Boden abgesenkt werden kann. Außerdem kann der Bediener die Schaufel absenken, bevor er den Erdhaufen erreicht, um den Bereich vor dem Erdhaufen zu glätten, und kann eine Anzeige haben, wie viel Abwärtsdruck angewendet wird. Sobald in den Haufen eingegriffen wurde, kann der Bediener eine Anzeige haben, wie viel Kraft oder Leistung zum Eingreifen in den Haufen aufgebracht wird, was dem Bediener eine bessere Fähigkeit bereitstellt, zu wissen, wann er mit dem Eingreifen in den Haufen aufhören muss.
Darüber hinaus kann ein Bediener in der Kabine, der versucht, mit der Schaufel knapp über dem Boden zu fahren, der Maschine während der Fahrt zuhören und diese fühlen, um zu wissen, ob die Schaufel in den Boden eingreift. Bei diesem System kann sich der Bediener auf den Merkmalsabgrenzer oder den intelligenten Merkmalsabgrenzer stützen, um zu wissen, wo sich die Schaufel während der Fahrt relativ zu dem Boden befindet.
Darüber hinaus können die Rückwärtsziehvorgänge Kraftanzeigen beinhalten, die es einem entfernten Bediener ermöglichen, besser zu verstehen und einzuschätzen, wie viel Kraft von der Schaufel auf den Boden angewendet wird. Dadurch kann der Bediener vermeiden, dass der Boden während dieses Vorgangs beschädigt wird.
Gewerbliche Anwendbarkeit
Im Betrieb und bei der Verwendung kann ein Benutzer eine Arbeitsmaschine, wie einen Radlader, von einem ferngesteuerten Standort aus betreiben. Der Benutzer kann ein Verfahren zum Betreiben einer Arbeitsmaschine 200 durchführen, das das Betreiben der Arbeitsmaschine von einer Fernsteuerungsstation vor Ort, wo ein gewisses Niveau an direkter visueller Rückmeldung vorhanden ist, oder auf einer entfernten Baustelle, wo keine direkte visuelle Rückmeldung verfügbar ist, beinhalten kann. Das Verfahren kann sich auf visuelle, auditive oder taktile Anzeigen oder Merkmale stützen, um zu sehen, was die Arbeitsmaschine macht und welche Beziehungen zwischen der Arbeitsmaschine und der Umgebung 204 bestehen. Das Verfahren kann ebenso das Betätigen von Steuerungen an der Fernsteuerungsstation wenigstens teilweise basierend auf den Anzeigen oder Merkmalen 206 beinhalten. In einer oder mehreren Ausführungsformen kann das Verfahren ebenso beinhalten, das Stützen auf Merkmalsabgrenzer auf den Anzeigen, um die Ausrüstung 208 zu steuern, und/oder das Stützen auf intelligente Merkmalsabgrenzer beinhalten, die sich ändern, wenn sich die Beziehung zwischen der Arbeitsmaschine und den Merkmalen ändert 210. Basierend auf diesen Steuerungen kann die Fernsteuerungsstation Signale an die Arbeitsmaschine 212 übertragen, und die Ausrüstung für entfernte Betriebe an der Arbeitsmaschine kann die Arbeitsmaschine 214 steuern. Dies kann das Betreiben der Positionssteuerungen der Maschine beinhalten, um die Maschine zu bewegen, und dies kann das Betreiben eines oder mehrerer Arbeitsgeräte der Maschine beinhalten. Bei einem Radlader kann dies beispielsweise das Anheben und Absenken und/oder Kippen der Schaufel beinhalten.
Während des Betriebs der Maschine kann Ausrüstung für entfernte Betriebe an der Maschine Informationen bezüglich der Umgebung der Maschine oder der Beanspruchung der Maschine erfassen und die Informationen an die Fernsteuerungsstation übertragen, damit der Bediener die Maschine steuern kann. Das System kann ein Bedienerunterstützungsmodul an der Arbeitsmaschine oder an der Fernsteuerungsstation beinhalten, das die von der Ausrüstung für entfernte Betriebe erfassten Informationen augmentieren kann, um dem Bediener ein besseres Verständnis der Umgebung der Arbeitsmaschine zu ermöglichen. In einer oder mehreren Ausführungsformen kann ein Verfahren zum Unterstützen des entfernten Betriebs einer Arbeitsmaschine 300 das Erfassen von räumlichen, auditiven, taktilen, Druck- oder Kraftdaten an einer Arbeitsmaschine 302 und das Übertragen der Daten an eine Fernsteuerungsstation 304 beinhalten. Das Verfahren kann ebenso das Identifizieren eines bestimmten Merkmals in den von der Ausrüstung 306 für entfernte Betriebe erfassten Bildern und das Augmentieren der räumlichen Daten mit einem Merkmalsabgrenzer 308 beinhalten. In einer oder mehreren Ausführungsformen kann das Merkmal eine LKW-Schiene, die Spitze eines Erdhaufens, die Oberfläche des Bodens, eine Behinderung oder ein anderes Merkmal der Arbeitsmaschinenumgebung sein. In einer oder mehreren Ausführungsformen kann der Merkmalsabgrenzer eine Linie, einen Umriss, eine Form, ein Symbol oder eine andere Art von Abgrenzer sein. In einer oder mehreren Ausführungsformen kann das Bedienerunterstützungsmodul die Funktion durch einen intelligenten Abgrenzer 310 augmentieren. Beispielsweise kann sich der Abgrenzer ändern, wenn sich die Beziehung zwischen der Arbeitsmaschine und dem Merkmal ändert 312. In einer oder mehreren Ausführungsformen kann der Abgrenzer ausgeprägter werden, wenn sich einem Merkmal genähert wird 314. In einer oder mehreren Ausführungsformen kann der Abgrenzer 316 blinken oder die Farbe 318 ändern, wenn sich dem Merkmal genähert wird. In anderen Ausführungsformen kann der Abgrenzer die Größe 320 ändern, wie beispielsweise im Falle eines Schattens der Schaufel. Es können noch weitere Änderungen an dem Abgrenzer vorgenommen werden, um einen intelligenten oder aktiven Merkmalsabgrenzer bereitzustellen. Darüber hinaus kann der sich ändernde Abgrenzer ebenso andere Zustandsänderungen als das Annähern an das Merkmal in der Umgebung widerspiegeln. So kann beispielsweise die Menge des Eingriffs mit der Umgebung, wie die Menge der Kraft oder des Drucks, die/der angewendet wird, mit einem intelligenten Abgrenzer abgrenzt werden, der sich ändert, wenn die Kraft oder der Druck zunimmt oder abnimmt.
Das vorliegende Verfahren zum Unterstützen eines entfernten Betriebs einer Arbeitsmaschine und die zugeordneten Betriebsverfahren können den Vorteil haben, dass sie einem entfernten Bediener ein höheres Niveau an Wahrnehmbarkeit bereitstellen als anderweitig verfügbar sein kann. Das heißt, die Merkmalsabgrenzer und/oder die intelligenten Merkmalsabgrenzer können dem Bediener ein besseres Gefühl für die relativen Positionen oder die Mengen des Eingriffs zwischen den Merkmalen und der Arbeitsmaschine oder Teilen der Arbeitsmaschine bereitstellen. So kann der Bediener die Ausrüstung besser steuern, um den Maschinenbetrieb effizienter und angemessener durchzuführen sowie Schäden an umgebender Ausrüstung, Hindernissen oder anderen Gegenständen zu vermeiden.
Die vorstehende detaillierte Beschreibung dient der Veranschaulichung und ist nicht einschränkend. Der Umfang der Offenbarung sollte daher unter Bezugnahme auf die beigefügten Ansprüche bestimmt werden, zusammen mit dem vollen Umfang der Äquivalente, zu denen diese Ansprüche berechtigt sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2019/0302794 A1 [0003]
US 20190101641 A1 [0003]
US 20170016211 A1 [0003]
JP 2003278159 [0003]

Claims

System zum Unterstützen eines entfernten Betriebs einer Arbeitsmaschine, wobei das System umfasst: eine Arbeitsmaschine (100); eine Ausrüstung (110) für entfernte Betriebe, die auf der Arbeitsmaschine angeordnet ist und derart konfiguriert ist, dass sie Informationen über die Umgebung der Arbeitsmaschine erfasst und die Informationen an eine Fernsteuerungsstation (102) überträgt; eine Fernsteuerungsstation (102), die derart konfiguriert ist, dass sie Bilder der Umgebung der Arbeitsmaschine anzeigt; und ein Bedienerunterstützungsmodul (122), das derart konfiguriert ist, dass es die Informationen mit einem Merkmalsabgrenzer augmentiert.
System nach Anspruch 1, wobei der Merkmalsabgrenzer ein Merkmal der Informationen abgrenzt, indem das Merkmal mit einer Form oder einem Symbol überlagert wird.
System nach Anspruch 2, wobei der Merkmalsabgrenzer eine Form ist und die Form den Kontouren des Merkmals folgt.
System nach Anspruch 2, wobei die Form oder das Symbol eine Linie ist.
System nach Anspruch 2, wobei der Merkmalsabgrenzer ein intelligenter Merkmalsabgrenzer ist, der sich ändert, wenn sich die Beziehung zwischen der Arbeitsmaschine (100) und dem Merkmal ändert.
System nach Anspruch 5, wobei der intelligente Merkmalsabgrenzer seine Farbe von grün zu gelb zu rot ändert, wenn sich die Arbeitsmaschine (100) einer anderen Ausrüstung nähert.
System nach Anspruch 5, wobei der intelligente Merkmalsabgrenzer eine Form umfasst, die derart konfiguriert ist, dass sie eine Ebene einer Bodenoberfläche unter einer Schaufel der Arbeitsmaschine (100) identifiziert.
System nach Anspruch 7, wobei die Form groß ist, wenn sich die Schaufel relativ hoch über der Bodenoberfläche befindet, und klein, wenn sich die Schaufel relativ nahe an der Bodenoberfläche befindet.
System nach Anspruch 5, wobei die Fernsteuerungsstation (102) ferner derart konfiguriert ist, dass sie Steuersignale an die Ausrüstung (110) für entfernte Betriebe zum Steuern der Arbeitsmaschine (100) überträgt.
Verfahren zum Unterstützen eines entfernten Betriebs einer Arbeitsmaschine, umfassend: Empfangen von Bildmaterial und Daten, die sich auf die Umgebung der Arbeitsmaschine beziehen; Identifizieren (306) eines Merkmals in dem Bildmaterial; und Augmentieren (308) des Bildmaterials mit einem Merkmalsabgrenzer, der das Merkmal abgrenzt.
Verfahren nach Anspruch 10, wobei der Merkmalsabgrenzer eine Form oder ein Symbol ist.
Verfahren nach Anspruch 11, wobei die Form eine Linie ist.
Verfahren nach Anspruch 12, wobei die Linie das Merkmal überlagert.
Verfahren nach Anspruch 11, wobei die Form derart konfiguriert ist, dass sie eine Ebene einer Bodenoberfläche unterhalb der Arbeitsmaschine identifiziert.
Verfahren nach Anspruch 10, wobei der Merkmalsabgrenzer ein intelligenter Merkmalsabgrenzer ist, der sich ändert, wenn sich die Beziehung zwischen dem Merkmal und der Arbeitsmaschine ändert.