DE102020210159A1

DE102020210159A1 - Mobile arbeitsmaschine mit objekterkennung mittels sichterkennung

Info

Publication number: DE102020210159A1
Application number: DE102020210159.0A
Authority: DE
Inventors: Michael G. Kean
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2019-09-11
Filing date: 2020-08-11
Publication date: 2021-03-11
Also published as: CN112487860A; US20210072764A1; US11755028B2; BR102020015111A2; AU2020213337A1

Abstract

Ein Verfahren zum Steuern einer mobilen Arbeitsmaschine auf einer Arbeitsstelle, umfassend das Empfangen einer Anzeige eines auf der Arbeitsstelle erkannten Objekts, Bestimmen eines Standorts des Objekts relativ zu der mobilen Arbeitsmaschine, Empfangen eines Bildes der Arbeitsstelle, Korrelieren der bestimmten Position des Objekts mit einem Teil des Bildes, Bewerten des Objekts durch Ausführen einer Bildverarbeitung des Teils des Bildes und Erzeugen eines Steuersignals, das die mobile Arbeitsmaschine auf Grundlage der Bewertung steuert.

Description

GEBIET DER BESCHREIBUNG
Die vorliegende Beschreibung bezieht sich im Allgemeinen auf Objekterkennungssysteme für mobile Arbeitsmaschinen. Insbesondere, aber nicht ausschließlich, bezieht sich die vorliegende Beschreibung auf ein Objekterkennungssystem für eine mobile Arbeitsmaschine, das Radarerkennung und Sichterkennung verwendet, um Objekte in einem hinteren Pfad der Maschine zu erkennen.
HINTERGRUND
Es gibt viele verschiedene Arten von Arbeitsmaschinen. Zu diesen Arbeitsmaschinen gehören unter anderem Maschinen für die Baubranche, Rasenpflege, Forstwirtschaft und Landwirtschaft. Viele dieser mobilen Geräte verfügen über steuerbare Teilsysteme, die Mechanismen umfassen, die vom Bediener bei der Durchführung von Arbeiten gesteuert werden.
So kann eine Baumaschine unter anderem mehrere unterschiedliche mechanische, elektrische, hydraulische, pneumatische und elektromechanische Teilsysteme aufweisen, die alle vom Bediener bedient werden können. Baumaschinen werden häufig eingesetzt für den Transport von Material über eine Arbeitsstelle hinweg oder in eine oder aus einer Arbeitsstelle hinaus bzw. heraus gemäß einem Arbeitsstellenbetrieb. Verschiedene Arbeiten an der Arbeitsstelle können das Bewegen von Material von einem Ort an einen anderen oder das Einebnen einer Arbeitsstelle usw. beinhalten. Während eines Arbeitsstellenbetriebs können eine Vielzahl von Baumaschinen verwendet werden, einschließlich unter anderem knickgelenkten Muldenkipper, Radlader, Grader und Bagger.
Arbeiten an Arbeitsstellen können eine große Anzahl von Schritten oder Phasen umfassen und recht komplex sein. Darüber hinaus erfordern die Arbeitsabläufe oft eine präzise Maschinensteuerung durch einen Bediener. Einige Manöver auf der Arbeitsstelle erfordern, dass der Bediener die Maschine in umgekehrter Richtung bedient, um die Maschine über die Arbeitsstelle zu bewegen. Dabei gibt es oft tote Winkel oder Bereiche, die für den Bediener selbst bei Verwendung von Spiegeln oder Rückfahrsystemen wie Rückfahrkameras schwer zu beobachten sind. Dies erhöht das Risiko eines unerwünschten Maschinenkontakts mit Gegenständen auf der Arbeitsstelle, wie etwa anderen Maschinen, Personen, Arbeitsstellenmaterialien usw.
Die obenstehende Erläuterung dient lediglich als allgemeine Hintergrundinformation und soll nicht als Hilfe bei der Bestimmung des Umfangs des beanspruchten Gegenstands verwendet werden.
KURZDARSTELLUNG
Ein Verfahren zum Steuern einer mobilen Arbeitsmaschine auf einer Arbeitsstelle, umfassend das Empfangen einer Anzeige eines auf der Arbeitsstelle erkannten Objekts, Bestimmen eines Standorts des Objekts relativ zu der mobilen Arbeitsmaschine, Empfangen eines Bildes der Arbeitsstelle, Korrelieren der bestimmten Position des Objekts mit einem Teil des Bildes, Bewerten des Objekts durch Ausführen einer Bildverarbeitung des Teils des Bildes und Erzeugen eines Steuersignals, das die mobile Arbeitsmaschine auf Grundlage der Bewertung steuert.
Diese Zusammenfassung wird bereitgestellt, um eine Auswahl von Konzepten in einer vereinfachten Form einzuführen, die im Folgenden in der ausführlichen Beschreibung beschrieben sind. Diese Zusammenfassung ist weder als Festlegung von Schlüsselmerkmalen oder wesentlichen Merkmalen des beanspruchten Gegenstands auszulegen noch zur Verwendung als Hilfe bei der Festlegung des Anwendungsbereichs des beanspruchten Gegenstands. Der beanspruchte Gegenstand ist nicht auf Implementierungen beschränkt, die im Abschnitt Hintergrund aufgeführte Nachteile ganz oder teilweise beseitigen.
Figurenliste

1 ist ein Blockdiagramm, das ein Beispiel für eine Arbeitsmaschinenarchitektur zeigt, die eine mobile Arbeitsmaschine beinhaltet.
2 ist eine bildliche Darstellung, die ein Beispiel für eine mobile Arbeitsmaschine zeigt.
3 ist ein Blockdiagramm, das ein Beispiel für ein Objekterkennungssystem veranschaulicht.
4 ist ein Ablaufdiagramm, das einen beispielhaften Betrieb eines Objekterkennungssystems veranschaulicht.
Die 5A und 5B sind ein Ablaufdiagramm, das einen beispielhaften Betrieb eines Objekterkennungssystems veranschaulicht.
6 ist ein Ablaufdiagramm, das einen beispielhaften Vorgang der Pfadbestimmung und Steuersignalerzeugung veranschaulicht.
7 ist eine beispielhafte Benutzerschnittstellenanzeige, die einen Pfad einer mobilen Arbeitsmaschine zeigt.
8 ist eine beispielhafte Benutzerschnittstellenanzeige, die einen Pfad einer mobilen Arbeitsmaschine zeigt.
9 ist eine beispielhafte Benutzerschnittstellenanzeige, die einen Pfad einer mobilen Arbeitsmaschine zeigt.
10 ist ein Blockdiagramm, das ein Beispiel der in 1 veranschaulichten Architektur zeigt, die in einer Remote-Serverarchitektur eingesetzt wird.
Die 11-13 zeigen Beispiele für mobile Geräte, die in den Architekturen verwendet werden können, die in den vorherigen Figuren gezeigt wurden.
14 zeigt ein Blockdiagramm eines Beispiels einer Rechnerumgebung, die in den Architekturen verwendet werden kann, die in den vorherigen Figuren gezeigt wurden.

AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Beschreibung bezieht sich im Allgemeinen auf Objekterkennungssysteme für mobile Arbeitsmaschinen. Insbesondere, aber nicht ausschließlich, bezieht sich die vorliegende Beschreibung auf ein Objekterkennungssystem für eine mobile Arbeitsmaschine, das Radarerkennung und Sichterkennung verwendet, um Objekte in einem hinteren Pfad der Maschine zu erkennen.
1 zeigt ein Blockdiagramm, das ein Beispiel für eine Arbeitsmaschinenarchitektur 100, die eine mobile Arbeitsmaschine 102 beinhaltet. Die Arbeitsmaschine 102 beinhaltet ein Steuersystem 104, das konfiguriert ist, um einen Satz von steuerbaren Teilsystemen 106 zu steuern, die Operationen an einer Arbeitsstelle durchführen. Zum Beispiel kann ein Bediener 108 mit der Arbeitsmaschine 102 interagieren und diese über einen oder mehrere Bedienerschnittstellenmechanismus/-mechanismen 110 steuern. Die Bedienerschnittstellenmechanismen 110 können beispielsweise ein Lenkrad, Pedale, Hebel, Joysticks, Tasten, Drehregler, Gestänge usw. beinhalten. Darüber hinaus können sie ein Anzeigegerät beinhalten, die vom Benutzer betätigbare Elemente anzeigt, wie etwa Symbole, Links, Schaltflächen usw. Wenn das Gerät eine berührungsempfindliche Anzeige ist, können diese vom Benutzer betätigbaren Elemente durch Berührungsgesten betätigt werden. In ähnlicher Weise kann der Bediener 108 Eingaben bereitstellen und Ausgaben über ein Mikrofon bzw. einen Lautsprecher empfangen, wenn die Mechanismen 110 Sprachverarbeitungsmechanismen enthalten. Die Bedienerschnittstellenmechanismen 110 können eine Vielzahl anderer Audio-, visueller oder haptischer Mechanismen beinhalten.
Die Arbeitsmaschine 102 beinhaltet ein Kommunikationssystem 112, das konfiguriert ist, um mit anderen Systemen oder Maschinen in der Architektur 100 zu kommunizieren. Beispielsweise kann das Kommunikationssystem 112 mit anderen lokalen Maschinen kommunizieren, wie etwa anderen Maschinen, die an derselben Arbeitsstelle wie die Arbeitsmaschine 102 arbeiten. Im dargestellten Beispiel ist das Kommunikationssystem 112 konfiguriert, um über ein Netzwerk 116 mit einem oder mehreren Remote-Systemen 114 zu kommunizieren. Das Netzwerk 116 kann aus einer Vielzahl unterschiedlicher Arten von Netzwerken bestehen. Zum Beispiel kann es sich um ein Weitverkehrsnetzwerk, ein lokales Netzwerk, ein Nahfeldkommunikationsnetzwerk, ein zellulares Kommunikationsnetzwerk oder ein beliebiges aus einer Vielzahl anderer Netzwerke oder Kombinationen von Netzwerken handeln.
Es ist veranschaulicht, dass ein Remote-Benutzer 118 mit dem Remote-System 114 interagiert, um Mitteilungen von der Arbeitsmaschine 102 über das Kommunikationssystem 112 zu empfangen oder Mitteilungen an die Arbeitsmaschine 102 zu senden. Beispielsweise, aber nicht ausschließlich, kann der Remote-Benutzer 118 Kommunikationen, wie etwa Benachrichtigungen, Anfragen nach Unterstützung usw., von der Arbeitsmaschine 102 auf einer mobilen Vorrichtung empfangen.
1 zeigt auch, dass die Arbeitsmaschine 102 einen oder mehrere Prozessoren 122, einen oder mehrere Sensoren 124, ein Objekterkennungssystem 126, einen Datenspeicher 128 beinhaltet und auch andere Elemente 130 beinhalten kann. Die Sensoren 124 können abhängig von der Art der Arbeitsmaschine 102 eine Vielzahl von Sensoren umfassen. Beispielsweise können die Sensoren 124 Objekterkennungssensor(en) 132, Materialsensoren 134, Positions-/Routensensoren 136, Geschwindigkeitssensoren 138, Bildsensoren an der Arbeitsstelle 140 und auch andere Sensoren 142 beinhalten.
Die Materialsensoren 134 sind konfiguriert, um Material zu erfassen, das von der Arbeitsmaschine 102 bewegt, verarbeitet oder anderweitig bearbeitet wird. Die Geschwindigkeitssensoren 138 sind konfiguriert, um ein Signal auszugeben, das eine Geschwindigkeit der Arbeitsmaschine 102 anzeigt.
Die Positions-/Routensensoren 136 sind konfiguriert, um eine Position der Arbeitsmaschine 102 und eine entsprechende Route (z. B. Kurs) der Arbeitsmaschine 102 zu identifizieren, wenn sie die Arbeitsstelle überquert. Die Sensoren 136 beinhalten Sensoren, die konfiguriert sind, um Signale zu erzeugen, die einen Winkel oder Wenderadius der Maschine 102 angeben. Dazu gehören unter anderem Lenkwinkelsensoren, Gelenkwinkelsensoren, Raddrehzahlsensoren, Differentialantriebssignale, Gyroskope, um nur einige zu nennen.
Bildsensoren an der Arbeitsstelle 140 sind konfiguriert, um Bilder der Arbeitsstelle zu erhalten, die verarbeitet werden können, um Objekte oder Bedingungen der Arbeitsstelle zu identifizieren. Beispiele für Bildsensor(en) 140 sind unter anderem eine Kamera (z. B. eine monokulare Kamera, Stereokamera usw.), die Standbilder, eine Zeitreihe von Bildern und/oder eine Videoübertragung eines Bereichs einer Arbeitsstelle erhalten. Beispielsweise beinhaltet das Sichtfeld (SF) der Kamera einen Bereich der Arbeitsstelle, der sich hinter der Maschine 102 befindet und der ansonsten für den Bediener 108 möglicherweise nicht sichtbar ist, während er sich in der Fahrerkabine oder Kabine der Maschine 102 befindet.
Objekterkennungssensoren 132 können Sender und Empfänger (oder Transceiver) für elektromagnetische Strahlung (EMR) 162 beinhalten. Beispiele für EMR-Sender/Empfänger beinhalten Hochfrequenzvorrichtungen (RF) 164 (wie etwa RADAR), LIDAR-Vorrichtungen 166 und können auch andere Vorrichtungen 168 beinhalten. Objekterkennungssensoren 132 können auch Sonarvorrichtungen 170 und auch andere Vorrichtungen 172 beinhalten.
Der Veranschaulichung halber, aber nicht einschränkend, werden Beispiele im Folgenden im Kontext des RADARS erörtert. Selbstverständlich können auch andere Arten von Erkennungssensoren in diesen Beispielen verwendet werden.
Das Steuersystem 104 kann eine Einstellungssteuerlogik 144, eine Routensteuerlogik 146, eine Leistungssteuerlogik 148, eine Anzeigegeneratorlogik 149 und andere Elemente 150 beinhalten. Die steuerbaren Teilsysteme 106 können ein Antriebs-Teilsystem 152, ein Lenkungs-Teilsystem 154, ein Materialhandhabungs-Teilsystem 155, ein oder mehrere verschiedene Stellglieder 156, die verwendet werden können, um Maschineneinstellungen, Maschinenkonfigurationen usw. zu ändern, ein Leistungsnutzungs-Teilsystem 158 und eine Vielzahl anderer Systeme 160 beinhalten, von denen einige im Folgenden beschrieben werden. In einem Beispiel beinhalten steuerbare Teilsysteme 106 Mechanismen der Bedienerschnittstelle 110, wie etwa Anzeigevorrichtungen, Audioausgabevorrichtungen, Mechanismen für eine haptische Rückmeldung sowie Eingabemechanismen. Beispiele werden nachstehend detailliert erörtert.
Die Einstellungssteuerlogik 144 kann eines oder mehrere der Teilsysteme 106 steuern, um Maschineneinstellungen auf Grundlage von Objekten, Bedingungen und/oder Eigenschaften der Arbeitsstelle zu ändern. Beispielsweise kann die Einstellungssteuerlogik 144 Stellglieder 156 betätigen, die den Betrieb des Materialhandhabungs-Teilsystems 155, des Antriebs-Teilsystems 152 und/oder des Lenkungs-Teilsystems 154 ändern.
Die Routensteuerlogik 146 kann das Lenkungs-Teilsystem 154 steuern. Beispielsweise, aber nicht einschränkend, wenn ein Objekt durch das Objekterkennungssystem 126 erkannt wird, kann die Routensteuerlogik 146 das Antriebs-Teilsystem 152 und/oder Lenkungs-Teilsystem 154 steuern, um das erkannte Objekt zu vermeiden.
Die Leistungssteuerlogik 148 erzeugt Steuersignale, um das Leistungsnutzungs-Teilsystem 158 zu steuern. Beispielsweise kann sie Leistung verschiedenen Teilsystemen zuweisen, im Allgemeinen die Leistungsnutzung erhöhen oder die Leistungsnutzung verringern usw. Dies sind nur Beispiele, und eine Vielzahl anderer Steuersysteme kann auch verwendet werden, um andere steuerbare Teilsysteme auf verschiedene Arten zu steuern.
Die Anzeigegeneratorlogik 149 erzeugt veranschaulichend ein Steuersignal, um eine Anzeigevorrichtung zu steuern, um eine Anzeige der Benutzerschnittstelle für den Bediener 108 zu erzeugen. Die Anzeige kann eine interaktive Anzeige mit Benutzereingabemechanismen zur Interaktion mit dem Bediener 108 sein.
Das Objekterkennungssystem 126 ist konfiguriert, um Signale von den Objekterkennungssensoren 132 zu empfangen und auf Grundlage dieser Signale Objekte in der Nähe der Maschine 102 auf der Arbeitsstelle zu erkennen, wie etwa in einem hinteren Pfad der Maschine 102. Das Objekterkennungssystem 126 kann daher den Bediener 108 dabei unterstützen, Objekte beim Rückwärtsfahren zu vermeiden. Bevor auf das Objekterkennungssystem 126 näher eingegangen wird, wird ein Beispiel einer mobilen Arbeitsmaschine in Bezug auf 2 dargestellt.
Wie oben angemerkt, können mobile Arbeitsmaschinen eine Vielzahl von verschiedenen Formen annehmen. 2 ist eine bildliche Darstellung, die ein Beispiel für eine mobile Arbeitsmaschine 200 in Form eines geländegängigen Baufahrzeugs mit einem Objekterkennungssystem 201 (z. B. System 126) und einem Steuersystem 202 (z. B. 104) zeigt. Während die Maschine 200 veranschaulichend einen Radlader umfasst, kann auch eine große Vielfalt anderer mobiler Arbeitsmaschinen verwendet werden. Dies kann andere Baumaschinen (z. B. Planierraupen, Motorgrader usw.), landwirtschaftliche Maschinen (z. B. Traktor, Mähdrescher usw.) umfassen, um nur einige zu nennen.
Die Maschine 200 beinhaltet eine Kabine 214 mit einer Anzeigevorrichtung 215, Bodeneingriffselement(e) 228 (z. B. Räder), Motor(en) 204, Geschwindigkeitssensor(en) 206, einem Rahmen 216 und einer Auslegerbaugruppe 218. Die Auslegerbaugruppe 218 beinhaltet einen Ausleger 222, einen Auslegerzylinder 224, eine Schaufel 220 und einen Schaufelzylinder 226. Der Ausleger 222 ist schwenkbar an den Rahmen 216 gekoppelt und kann durch Ausfahren oder Einfahren des Auslegerzylinders 224 angehoben und abgesenkt werden. Die Schaufel 220 ist schwenkbar an den Ausleger 222 gekoppelt und kann durch ein Ausfahren oder Einfahren des Schaufelzylinders 226 bewegt werden. Während des Betriebs kann die mobile Maschine 200 von einem Bediener in der Kabine 214 gesteuert werden, dabei kann die mobile Maschine 200 eine Arbeitsstelle überqueren. In einem Beispiel ist jeder der Motoren 204 veranschaulichend an das Rad/die Räder 228 der mobilen Maschine 200 gekoppelt und konfiguriert, diese anzutreiben. Der/die Drehzahlsensor(en) 206 ist/sind veranschaulichend an jeden der Motoren 204 gekoppelt, um eine Motorbetriebsdrehzahl zu erkennen.
Im veranschaulichten Beispiel umfasst die Maschine 200 einen Gelenkkörper, wobei ein vorderer Abschnitt 229 an einem Drehgelenk 233 schwenkbar mit einem hinteren Abschnitt 231 verbunden ist. Ein Gelenksensor kann verwendet werden, um den Gelenkwinkel an dem Drehgelenk 233 zu bestimmen, der verwendet werden kann, um den Pfad der Maschine 200 zu bestimmen. In einem anderen Beispiel, in dem der Körper der Maschine 200 nicht gelenkig ist, ist der Winkel der vorderen und/oder hinteren Räder 228 relativ zum Rahmen drehbar.
Das Objekterkennungssystem 201 erkennt Objekte, die sich innerhalb eines Bereichs der Maschine 200 befinden. In dem veranschaulichten Beispiel empfängt das System 201 Signale von Objekterkennungssensor(en) 205 und von Bildsensor(en) 207 (z. B. einer monokularen Kamera), die veranschaulichend an einem hinteren Ende 209 der Maschine 200 angebracht sind. Die Komponenten des Systems 201 und/oder des Systems 202 kommunizieren in einem Beispiel über ein CAN-Netzwerk der Maschine 200.
Objekterkennungssensor(en) 205 sind konfiguriert, um ein Erkennungssignal von dem hinteren Ende 209 der Maschine 200 zu senden und Reflexionen des Erkennungssignals zu empfangen, um ein oder mehrere Objekte hinter der Maschine 200 zu erkennen. In einem Beispiel umfasst das Erkennungssignal elektromagnetische Strahlung, die an die Rückseite der Maschine 200 übertragen wird. Dies kann beispielsweise Hochfrequenzsignale (RF) einschließen. Einige besondere Beispiele sind Radar und LORAN, um nur einige zu nennen.
In anderen Beispielen verwenden Objekterkennungssensoren 205 Sonar, Ultraschall sowie Licht (z. B. LIDAR), um Objekte abzubilden. Beispielhafte LIDAR-Systeme verwenden ultraviolettes Licht, sichtbares Licht und/oder nahes Infrarotlicht, um Objekte abzubilden.
Selbstverständlich können auch andere Arten von Objektdetektoren verwendet werden. In jedem Fall erzeugt das Objekterkennungssystem 201 Ausgaben, die Objekte anzeigen, die von dem Steuersystem 202 verwendet werden können, um den Betrieb der Maschine 200 zu steuern.
Einige Arbeitsmaschinen verwenden eine Rückfahrkamera, die eine Rückansicht von der Maschine zum Bediener anzeigt, zusammen mit einem Radarsystem, das akustische Anzeigen auf das Vorhandensein eines Objekts hinter der Maschine liefert. Ein solches System deckt optisch den Bereich direkt hinter der Maschine ab, der vom Bediener mit Spiegeln nicht gesehen werden kann. Für den Bediener ist es jedoch oft schwierig, zu bestimmen, welche Objekte relevant sind (z. B. tatsächliche Hindernisse gegenüber Nichthindernissen oder Fehlalarm-Objekterkennungen), und es gibt keinen Hinweis darauf, wo sich die Objekte tatsächlich um die Maschine herum befinden (z. B. ob sie sich im Maschinenpfad befinden). Beispielsweise haben einige Radarsysteme eine große Reichweite, neigen aber dazu, Fehlalarme zu erzeugen, d. h. eine Warnung, wenn kein Objekt vorhanden ist. Oft liegt dies entweder an einer Mehrpfad-Reflexion oder einer Bodenreflexion. Daher kann es für den Bediener schwierig sein, echte Warnungen von falschen Warnungen zu unterscheiden. Außerdem können einige Radarsysteme Objekte in einem weiten Abstand hinter der Maschine erkennen, können jedoch Objekte, die sich in der Nähe des Sensors (d. h. nahe dem hinteren Ende 209 der Maschine 200) befinden, nicht erkennen.
Ferner können einige Maschinensysteme, die eine CAN-Kommunikation nutzen, eine begrenzte Bandbreite aufweisen, um über den CAN-Bus zu kommunizieren. Somit kann ein Signal, das von einem Radarobjekterkennungssystem empfangen wird, begrenzte Informationen in Bezug auf das verfolgte Objekt beinhalten, wodurch Informationen von geringer Qualität bereitgestellt werden. Dementsprechend ist das System nicht in der Lage, Größeninformationen oder eine Bereichs-/Winkelauflösung zu bestimmen, was die Wahrscheinlichkeit von Fehlalarm-Erkennungen erhöht.
3 veranschaulicht ein Beispiel für ein Objekterkennungssystem 300. Das System 300 ist konfiguriert, um Objekterkennungsinformationen, die von Objekterkennungssensoren (wie etwa Sensoren 132) empfangen werden, mit einer Sichterkennung zu kombinieren, die Bilder verwendet, die von Bildsensoren auf der Maschine, oder die anderweitig damit verbunden sind, erfasst werden. Dementsprechend nutzt das System 300 die Bilder als Sensor, um Objekte und ihre jeweiligen Positionen relativ zur Arbeitsmaschine zu erkennen, anstatt dem Bediener lediglich die Möglichkeit bereitzustellen, hinter die Maschine zu sehen. Außerdem können die durch das Objekterkennungssystem 300 erkannten Objekte mit den durch die Bildsensoren erfassten Bildern verschmolzen werden, um dem Bediener eine Angabe darüber bereitzustellen, wo sich die erkannten Objekte in den Bildframes befinden. Dadurch kann der Bediener schnell feststellen, ob ein erkanntes Objekt ein Fehlalarm, ein echtes Objekt, das dem Bediener bereits bekannt ist, oder ein echtes Objekt, das dem Bediener nicht bekannt war, ist. Außerdem ermöglicht das System 300 einen breiteren Erkennungsbereich für die Objekterkennung, ohne die Erkennung von Fehlalarm-Ergebnissen signifikant zu erhöhen.
Der Veranschaulichung halber, aber nicht einschränkend, wird das Objekterkennungssystem 300 im Kontext der mobilen Arbeitsmaschine 102 beschrieben, die in 1 verwendet werden kann.
Das System 300 beinhaltet eine Auslösungslogik 302, die konfiguriert ist, um die Objekterkennung, die durch das System 300 durchgeführt wird, auszulösen und zu steuern. Dies kann zum Beispiel als Reaktion darauf erfolgen, dass eine Modusauswahl 304 bestimmt, dass die Maschine 102 in einen bestimmten Modus eingetreten ist, für den das System 300 ausgelöst werden soll. Dies kann beispielsweise als Reaktion auf das Bestimmen erfolgen, dass die Maschine 102 durch Erfassen von Bedienereingaben und/oder Maschineneinstellungen rückwärts gefahren wird oder für das Rückwärtsfahren vorbereitet wird usw.
Die Sensorsteuerlogik 306 ist konfiguriert, um Objekterkennungssensoren 132 und Bildsensoren 140 zu steuern. Die Logik 306 steuert Sensoren 132, um Erkennungssignale zu übertragen und entsprechende Reflexionen des Erkennungssignals zu empfangen, das von der Objekterkennungslogik 308 verwendet wird, um das Vorhandensein von Objekten auf der Arbeitsstelle zu erkennen. Die Logik 306 steuert die Sensoren 140, um Bilder der Arbeitsstelle zu erhalten.
Die Objektpositionsbestimmungslogik 310 ist konfiguriert, um eine Position des (der) durch die Logik 308 erkannten Objekts (Objekte) zu bestimmen. Die Objekt/Bildkorrelationslogik 312 ist konfiguriert, um die Objektposition, die durch die Logik 310 bestimmt wird, mit einem Teil eines Bildes zu korrelieren, das durch den Bildsensor 140 erfasst wird.
Das Sichterkennungssystem 313 ist konfiguriert, um eine Sichterkennung der Bilder durchzuführen, um die durch die Logik 308 erkannten Objekte auszuwerten. Beispielsweise beinhaltet das System 313 eine Bildverarbeitungslogik 314, die konfiguriert ist, um eine Bildverarbeitung an dem Bild durchzuführen, und die Objektbewertungslogik 316 ist konfiguriert, um das Objekt auf Grundlage der Bildverarbeitung, die durch die Logik 314 durchgeführt wird, zu bewerten. Dies kann unter anderem die Objektgrößenerkennung 318, die Objektformerkennung 320, die Objektklassifizierung, die von einem Objektklassifizierer 322 durchgeführt wird, die Fehlalarmbestimmung 324 und auch andere Elemente 326 beinhalten.
Die Pfadbestimmungslogik 328 ist konfiguriert, um einen Pfad der Maschine 102 zu bestimmen, und die Steuersignalgeneratorlogik 330 ist konfiguriert, um Steuersignale entweder allein oder in Verbindung mit dem Steuersystem 104 zu erzeugen. Das System 300 weist einen oder mehrere Prozessoren 332 auf und kann auch andere Elemente 334 beinhalten.
4 veranschaulicht ein Ablaufdiagramm 400 eines beispielhaften Vorgangs des Objekterkennungssystems 300. Der Veranschaulichung halber, aber nicht einschränkend, wird 4 im Kontext der mobilen Arbeitsmaschine 102 beschrieben.
Bei Block 402 löst die Auslösungslogik 302 die Objekterkennung aus. Dies kann als Reaktion auf eine manuelle Eingabe durch den Bediener 108 erfolgen, wie etwa das Betätigen eines Eingabemechanismus durch den Bediener 108. Dies wird durch Block 404 dargestellt. Alternativ oder zusätzlich kann das Objekterkennungssystem automatisch ausgelöst werden, wie etwa als Reaktion auf die Erkennung, dass die Maschine 102 in einen vorbestimmten Betriebsmodus eingetreten ist, wie etwa in den Rückwärtsgang geschaltet. Dies wird durch Block 406 dargestellt. Selbstverständlich kann das Objekterkennungssystem auch auf andere Weise ausgelöst werden. Dies wird durch Block 408 dargestellt.
Bei Block 410 steuert die Sensorsteuerlogik 306 einen Sender, um ein Erkennungssignal zu übertragen. Im veranschaulichten Beispiel beinhaltet dies einen Radarsender, der ein Radarsignal sendet, dargestellt durch Block 412. Alternativ oder zusätzlich kann das Erkennungssignal eine LIDAR-Vorrichtung 414 umfassen und kann auch andere Arten von Erkennungssignalen umfassen. Dies wird durch Block 416 dargestellt.
Bei Block 418 empfängt ein Empfänger Reflexionen des bei Block 410 gesendeten Erkennungssignals. Bei Block 420 erhält die Objekterkennungslogik 308 auf Grundlage der empfangenen Reflexionen Hinweise auf ein oder mehrere Objekte (die z. B. mögliche Hindernisse auf der Arbeitsstelle darstellen). Jedes dieser Objekte kann mit einer eindeutigen Objektkennung versehen werden. Dies wird durch Block 422 dargestellt. Die eindeutige Objektkennung kann von dem System 300 zur nachfolgenden Verarbeitung des erkannten Objekts verwendet werden.
Bei Block 424 wird eine Position jedes Objekts in Bezug auf die Maschine 102 bestimmt. Dazu können Objekte gehören, die aktuell mithilfe des Radarsignals erkannt werden. Dies wird durch Block 426 dargestellt. Es kann auch die Position von zuvor mit dem Radarsignal erkannten Objekten bestimmt werden. Dies wird durch Block 428 dargestellt. Der Veranschaulichung halber kann es sein, dass die Objekterkennungslogik 308 ein bestimmtes Objekt zu einem ersten Zeitpunkt erkennt, aber wenn die Maschine die Arbeitsstelle durchläuft, erkennt das System 300 dieses bestimmte Objekt nicht mehr im Radarsignal. Wie nachstehend ausführlicher erörtert, können diese Objekte immer noch durch das System 300 verfolgt werden.
Das Bestimmen der Position jedes Objekts kann das Identifizieren der Position des Objekts auf einer Bodenebene umfassen, d. h. das Bestimmen seiner ungefähren Position auf Bodenniveau der Arbeitsstelle. Dies wird durch Block 430 dargestellt.
Bei der Bestimmung der Position jedes Objekts kann Block 424 einen Abstand von der Sensormontagestelle an der Arbeitsmaschine 102 verwenden, d. h. einen geschätzten Abstand des Objekts von dem Radarsensor. Dies wird durch Block 432 dargestellt. Alternativ oder zusätzlich kann das Bestimmen der Position bei Block 424 das Bestimmen eines Winkels beinhalten, dass die erkannte Reflexion relativ zu einer Ausrichtung des an der Maschine 102 angebrachten Sensors empfangen wird. Dies wird durch Block 434 dargestellt.
Bei Block 436 wird ein/werden Bild(er) der Arbeitsstelle von dem/den Bildsensor(en) 140 empfangen. Wie oben angemerkt, ist ein Beispiel für den Bildsensor 140 eine monokulare Kamera. Das/die bei Block 436 empfangene(n) Bild(er) kann/können eine Zeitreihe von Bildern oder ein Video umfassen. Dies wird durch Block 438 dargestellt. Selbstverständlich kann das Bild auch auf andere Weise empfangen werden. Dies wird durch Block 440 dargestellt.
Bei Block 442 wird die Position jedes Objekts, die bei Block 424 bestimmt wird, mit einem Teil des Bildes korreliert, das bei Block 436 empfangen wird. Diese Korrelation bezieht sich beispielsweise auf das Sichtfeld des Bildsensors. Dies wird durch Block 444 dargestellt. Zum Beispiel verwendet Block 442 den Winkel und/oder die Entfernung, die an den Blöcken 432 und 434 bestimmt werden, um einen Bereich des Sichtfelds des Bildsensors zu identifizieren, der dem erkannten Objekt entspricht.
Bei Block 446 wird die Bildverarbeitung an dem Teil des Bildes durchgeführt, der mit jedem Objekt von Block 442 korreliert ist. Bei Block 448 wird jedes der erkannten Objekte auf Grundlage der Bildverarbeitung, die bei Block 446 durchgeführt wird, bewertet. Dies kann unter anderem das Bestimmen einer Objektgröße (Block 450), das Bestimmen einer Objektform (Block 452) und/oder das Anwenden eines Bildklassifizierers zum Erkennen eines Objekttyps (Block 454) beinhalten. Zum Beispiel kann die Bildklassifizierung bestimmen, dass das in dem Teil des Bildes dargestellte Objekt eine Person, eine andere Maschine oder eine andere Art von Objekt ist. Diese dienen natürlich nur als Beispiel.
Außerdem kann die Fehlalarm-Bestimmungslogik 324 bei Block 448 eine Wahrscheinlichkeit bestimmen, dass das erkannte Objekt ein Fehlalarm-Objekt ist. Dies wird durch Block 456 dargestellt. In einem Beispiel beinhaltet dies das Erzeugen einer Metrik oder Bewertung, die indikativ für eine Wahrscheinlichkeit ist, dass der Teil des Bildes ein tatsächliches Objekt auf der Arbeitsstelle darstellt, und dann das Vergleichen dieser Metrik oder Bewertung mit einem Schwellenwert. Basierend auf dem Vergleich bestimmt die Logik 324, dass das aus dem Radarsignal erkannte Objekt wahrscheinlich ein Fehlalarm ist. Selbstverständlich kann die Bewertung auch auf andere Weise erfolgen. Dies wird durch Block 458 dargestellt.
Bei Block 460 wird ein Steuersignal erzeugt, um die Maschine 102 auf der Grundlage der bei Block 448 durchgeführten Bewertung des Objekts/der Objekte zu steuern. Die Maschine 102 kann auf mehrere verschiedene Arten gesteuert werden. In einem Beispiel werden ein oder mehrere steuerbare Teilsysteme 106 von der Steuersignalgeneratorlogik 330 und/oder dem Steuersystem 104 gesteuert. Dies wird durch Block 462 dargestellt. Alternativ oder zusätzlich können der/die Bedienerschnittstellenmechanismus/-mechanismen gesteuert werden, um visuelle, akustische, haptische oder andere Arten von Ausgaben an den Bediener 108 wiederzugeben, die indikativ für die erkannten Objekte sind. Dies wird durch Block 464 dargestellt.
In einem Beispiel werden der/die Objekterkennungssensor(en) gesteuert. Dies wird durch Block 465 dargestellt. Beispielsweise können Einstellungen des Radarsenders eingestellt werden. In einem weiteren Beispiel, in dem ein LIDAR (oder ein anderer ähnlicher Sender) verwendet wird, kann das Steuersignal den Sender steuern, um den Strahl in Richtung eines Bereichs der Arbeitsstelle zu richten oder zu lenken, um einen weiteren Scan (z. B. mit höherer Genauigkeit) durchzuführen, um mögliche Objekte zu identifizieren.
Selbstverständlich kann die Maschine 104 auch auf andere Weise gesteuert werden. Dies wird durch Block 466 dargestellt. Bei Block 468 kehrt der Vorgang zu Block 410 zurück, wenn der Vorgang des Objekterkennungssystems 300 fortgesetzt wird.
5A und 5B (gemeinsam als 5 bezeichnet) veranschaulichen ein Ablaufdiagramm 500 eines beispielhaften Vorgangs des Systems 300 zum Bewerten von Objekten unter Verwendung einer Bildverarbeitung. Der Veranschaulichung halber, aber nicht einschränkend, wird 5 im Zusammenhang mit der mobilen Arbeitsmaschine 102 beschrieben.
Bei Block 502 wird ein Satz von Objekten, die von der Objekterkennungslogik 308 unter Verwendung von Objekterkennungssensor(en) 132 (z. B. Radar) erkannt wurden, identifiziert. Im veranschaulichten Beispiel beinhaltet dies die Objekte und ihre jeweiligen Positionen von Block 424 in 4. Wie oben angemerkt, können die Objekte jene Objekte beinhalten, die aktuell durch Objekterkennungssensoren 132 erkannt werden (Block 504), sowie Objekte, die zuvor erkannt wurden (Block 506), aber möglicherweise nicht aktuell erkannt werden.
Bei Block 508 wird eines der Objekte aus dem Satz zur Verarbeitung ausgewählt. Block 510 bestimmt, ob das ausgewählte Objekt bereits von der Bildverarbeitungslogik 314 verfolgt wird. Wenn dies nicht der Fall ist, identifiziert Block 512 den Ort des Objekts (wie von der Objekterkennungslogik 308 erkannt) und erzeugt ein Fenster in dem Bild mit einer nominalen Fenstergröße. Die nominale Fenstergröße ist beispielhaft eine erste, vordefinierte Größe, um mit der Sichtverfolgung des Objekts zu beginnen.
Bei Block 514 führt die Bildverarbeitungslogik 314 eine adaptive Schwellenwertbildung mit Blob-Segmentierung durch, um Objekte innerhalb des Fensters vom Hintergrund zu trennen. Die Schwellenwertbildung wird verwendet, um das Bild zu segmentieren, indem alle Pixel, deren Intensitätswerte über einem Schwellenwert liegen, auf einen Vordergrundwert und alle übrigen Pixel auf einen Hintergrundwert gesetzt werden. Bei adaptiver Schwellenwertbildung wird der Schwellenwert dynamisch über das Bild geändert, wodurch Änderungen der Beleuchtungsbedingungen in dem Bild (z. B. verursacht durch Beleuchtungsgradienten oder Schatten) berücksichtigt werden können.
In einem Beispiel analysiert die semantische Bildsegmentierung den Teil des Bildes innerhalb des Fensters, um Pixel oder Pixelgruppen einer Klassenetikettierung zuzuordnen. Die Klassenetikettierung kann verwendet werden, um zu bestimmen, ob die Pixel ein Objekt oder einen Nicht-Objektbereich der Arbeitsstelle darstellen.
Unter erneuter Bezugnahme auf Block 510 verwendet die Logik 314, wenn das Objekt bereits durch die Bildverarbeitungslogik 314 verfolgt wird, eine beliebige Änderung der Position des Objekts, wie durch die Objekterkennungslogik 308 erkannt und durch die Positionsbestimmungslogik 312 bestimmt, um das zuvor identifizierte Fenster für das Objekt innerhalb des Bildes zu bewegen.
Bei Block 518 kann ein Puffer von Pixeln um das Fenster herum hinzugefügt werden, um die Blob-Segmentierung bei Block 514 zu unterstützen. Bei Block 520 bestimmt die Bildverarbeitungslogik 314, ob ein geschlossener Blob (z. B. eine Gruppe von Pixeln, die eine bestimmte Objektklasse darstellen) identifiziert ist. Wenn ein geschlossener Blob nicht identifiziert wird, kann dies ein Anzeichen dafür sein, dass sich ein Teil des Objekts außerhalb des aktuellen Fensters erstreckt. Bei Block 522 erhöht die Bildverarbeitungslogik 314 die Fenstergröße. Wenn bei Block 524 eine maximale Fenstergröße (die vorbestimmt oder anderweitig bestimmt werden kann) erreicht wird, wird das Objekt bei Block 526 durch die Fehlalarm-Bestimmungslogik 324 als möglicher Fehlalarm markiert.
Wenn bei Block 520 ein geschlossener Blob identifiziert wird, werden die Fenstergröße und die Position des Objekts bei Block 528 protokolliert. Bei Block 530 werden die Blöcke 508/530 für beliebige zusätzliche Objekte wiederholt. Bei Block 532 wird der Satz von Blobs oder Objekten identifiziert, die von der Bildverarbeitungslogik 314 verfolgt werden. Eines der Objekte in dem Satz wird bei Block 534 ausgewählt, und Block 536 verfolgt visuell die Bewegung dieses Objekts in den Bildframes. Beispielsweise bestimmt Block 536 eine Positionsdifferenz des Objekts zwischen aufeinanderfolgenden Bildframes. Dies kann die Verwendung von Sensorinformationen bezüglich der Maschinenbewegung beinhalten, um vorherzusagen, wie sich das Objekt wahrscheinlich zwischen den Einzelbildern (Frames) bewegen wird. Dies wird durch Block 538 dargestellt.
Bei Block 540 wird ein Fenster für den Blob bestimmt. In einem Beispiel ist dies ähnlich dem vorstehend beschriebenen Prozess in Bezug auf die Blöcke 510-530. Bei Block 542 wird das Fenster um den Blob an den Bildobjektklassifizierer 322 weitergeleitet, um eine Bildklassifizierung durchzuführen. Dies kann das Erkennen eines Objekttyps beinhalten, der innerhalb des Fensters im Bild dargestellt wird.
Bei Block 544 wird die tatsächliche Größe des Objekts auf Grundlage der Größe der Pixel geschätzt, die das Objekt in dem Fenster darstellen. In einem Beispiel, wenn der Blob in einem vorherigen Einzelbild verfolgt wurde, wird eine vorherige Größenschätzung und/oder vorherige Klassifizierung verwendet, um die aktuelle Schätzung der Objektgröße und/oder Klassifizierung zu verfeinern. Dies wird durch Block 536 dargestellt. In einem Beispiel kann das Objekt bei Block 548 als mehrdeutig gekennzeichnet werden, wenn die Differenz in der Schätzung zwischen dem aktuellen Einzelbild und dem vorherigen Einzelbild einen Schwellenwert überschreitet. Block 550 bestimmt, ob sich weitere Objekte in dem Satz befinden.
6 ist ein Flussdiagramm 600, das einen beispielhaften Vorgang der Pfadbestimmungslogik 328 und der Steuersignalgeneratorlogik 330 bei der Erzeugung von Steuersignalen zum Steuern einer Anzeigevorrichtung an der Maschine 102 veranschaulicht oder anderweitig damit verbunden ist. Der Veranschaulichung halber, aber nicht einschränkend, wird 6 im Kontext der mobilen Arbeitsmaschine 102 beschrieben.
Bei Block 602 werden Sensorsignale von den Sensoren 124 empfangen. Dies kann Signale beinhalten, die Raddrehzahl (604), Lenkwinkel (606), Gelenkwinkel (608), Differentialantriebsdrehzahl (610), ein Gyroskop (612) und auch andere Signale (614) anzeigen.
Unter Bezugnahme auf das in 2 gezeigte Beilspiel zeigt der Lenkwinkel 606 einen Winkel der Vorder- und/oder Hinterräder in Bezug auf den Rahmen der Maschine 200 an. Der Gelenkwinkel 608 gibt den Gelenkwinkel zwischen dem vorderen Abschnitt 228 und dem hinteren Abschnitt 231 an.
Die Differentialantriebsdrehzahl 610 gibt eine Differenz zwischen den Antriebsdrehzahlen von Traktionselementen auf gegenüberliegenden Seiten der Maschine an. Beispielsweise gibt bei Kompaktladern die Differentialantriebsdrehzahl eine Richtungs- und/oder Geschwindigkeitsdifferenz der Räder oder Raupenketten auf der linken Maschinenseite von der rechten Maschinenseite an. Der Mittelwert der beiden Geschwindigkeiten ergibt eine Vorwärts- oder Rückwärtsgeschwindigkeit. Der Krümmungsradius des Pfads der Maschine kann basierend auf der Geschwindigkeit oder Bodengeschwindigkeit der Räder oder Raupenketten der Maschine und den Grad/Sekunde, in der die Maschine um die Kurve fährt, bestimmt werden.
In jedem Fall wird auf Grundlage der Sensorsignale bei Block 616 ein Pfad der Maschine bestimmt. Bei Block 618 wird dem Bediener 108 ein Bild (wie etwa eine Zeitreihe von Bildern oder Video) unter Verwendung einer Anzeigevorrichtung an der Maschine 102 angezeigt oder in anderer Weise dieser zugeordnet. Bei Block 620 wird eine visuelle Anzeige des Pfads, der bei Block 616 bestimmt wird, angezeigt.
Bei Block 622 wird ein Satz erkannter Objekte identifiziert. Beispielsweise beinhalten diese Objekte die Objekte, die unter Verwendung von Radarsignalen erkannt werden, die von den Sensoren 132 übertragen werden.
Bei Block 624 wird für jedes der erkannten Objekte eine visuelle Anzeige des Objekts auf dem angezeigten Bild angezeigt. Dies kann auf mehrere Arten erfolgen. Beispielsweise kann ein Ort des Objekts in dem Bild identifiziert werden. Dies wird durch Block 626 dargestellt. Alternativ oder zusätzlich kann ein Umriss des Objekts auf dem Bild angezeigt werden. Dies wird durch Block 628 dargestellt.
Die visuelle Anzeige kann auch eine Größe des Objekts angeben (Block 630) und/oder ein Etikett beinhalten, das die Objektklassifizierung angibt (Block 632). Beispielsweise kann ein Etikett auf der Anzeige in der Nähe des Objekts angezeigt werden, das die Art des Objekts angibt, wie etwa eine Person, eine andere Maschine usw.
Außerdem kann die visuelle Anzeige eine Anzeige beinhalten, ob das Objekt ein vermuteter Fehlalarm ist. Dies wird durch Block 634 dargestellt. Wenn zum Beispiel die Wahrscheinlichkeit, dass das erkannte Objekt ein tatsächliches Objekt auf der Arbeitsstelle ist, unter einem Schwellenwert liegt, kann die Anzeige modifiziert werden, um dies anzuzeigen, wie etwa durch Farbcodierung des Bereichs auf der Anzeige oder anderweitiges Anzeigen einer Anzeige, dass das Objekt ein Fehlalarm sein kann. Auf diese Weise kann der Bediener den Bereich der Arbeitsstelle visuell inspizieren, um zu bestätigen, ob ein Objekt vorhanden ist. Selbstverständlich kann die visuelle Anzeige auch auf andere Weise angezeigt werden. Dies wird durch Block 636 dargestellt.
Bei Block 638 bestimmt das System 300, ob eines der Objekte eine Grenze aufweist, die sich mit dem in Block 616 bestimmten Pfad der Maschine überlappt (oder innerhalb eines Schwellenabstands liegt). Wenn dies der Fall ist, wird die Überlappung bei Block 640 angegeben. Dies kann das Ändern einer visuellen Anzeige des Pfads bei Block 642, das Ändern einer visuellen Anzeige des überlappenden Objekts bei Block 644, das Wiedergeben einer hörbaren Warnung bei Block 646 oder anderer Anzeigen (Block 648) beinhalten.
Beispielhafte Benutzerschnittstellenanzeigen sind in den 7-9 dargestellt. Der Veranschaulichung halber, aber nicht einschränkend, werden die 7-9 im Zusammenhang mit der mobilen Arbeitsmaschine 102 beschrieben.
7 zeigt eine beispielhafte Benutzerschnittstellenanzeige 650, die ein Bild einer Arbeitsstelle 652 und einen visuellen Pfadindikator 654 anzeigt, der den projizierten Pfad der Maschine 102 auf der Arbeitsstelle 652 darstellt. Das Sichtfeld des Bildsensors 140 liegt hinter der Arbeitsmaschine 102. In 7 wurden keine Objekte auf der Arbeitsstelle erkannt oder Objekte, die möglicherweise erkannt wurden, befinden sich außerhalb eines Schwellenerkennungsbereichs. In jedem Fall zeigt die Anzeige 650 an, dass der Pfad frei von Objekten ist, zum Beispiel durch Anzeigen des visuellen Pfadindikators 654 in einem ersten Zustand (d. h. frei, keine Schattierung oder Hervorhebung).
8 zeigt die Benutzerschnittstellenanzeige 650 mit einem nachfolgenden Bildframe, der durch den Bildsensor 140 erhalten wird, nachdem der Bediener 108 begonnen hat, die Arbeitsmaschine 102 während des Drehens zurückzusetzen. Auf Grundlage empfangener Sensorsignale (z. B. empfangen bei Block 602) bestimmt das System 126 den neuen projizierten Pfad, der durch Modifizieren des visuellen Pfadindikators 654 dargestellt wird. Hier hat das System 126 ein oder mehrere Objekte 656 und 660 auf der Arbeitsstelle erkannt und visuelle Objektindikatoren 658 und 662, die den erkannten Objekten entsprechen, auf der Anzeige hinzugefügt. Veranschaulichend erhöhen die Indikatoren 658 und 662 eine Wahrnehmbarkeit der erkannten Objekte 656 und 660. Die Indikatoren 658 und 662 können eine Vielzahl von Anzeigeeigenschaften aufweisen. Beispielsweise können die Indikatoren 658 und 662 auf dem Anzeigebildschirm blinken, eine bestimmte Farbe (z. B. Gelb) aufweisen und/oder eine bestimmte Form aufweisen (z. B. einen Kreis, einen Umriss der Grenze des Objekts 656 usw.). Auch kann die Anzeigecharakteristik basierend auf der Bewertung der Objekterkennung, die durch das Sichterkennungssystem durchgeführt wird, variieren. Wenn zum Beispiel der Radarsensor ein Objekt erkannt hat, das Sichterkennungssystem aber kein Objekt an diesem Ort erkannt hat (oder anderweitig eine Metrik mit niedriger Wahrscheinlichkeit erzeugt hat), kann ein visueller Objektindikator mit einer ausgewählten Anzeigecharakteristik (z. B. Grün) bereitgestellt werden, um anzuzeigen, dass der erkannte Bereich des Bildes wahrscheinlich ein Fehlalarm ist.
Die Anzeige 650 kann auch modifiziert werden, um die Position der erkannten Objekte 656 und 660 relativ zum Pfad anzugeben. In 8 bestimmt das System 126, dass keines der Objekte 656 oder 660 den projizierten Pfad überlappt. Dementsprechend kann der visuelle Pfadindikator 654 modifiziert werden, um dies anzugeben, wie etwa durch Ändern einer Farbe (z. B. Gelb) des visuellen Pfadindikators 654. Alternativ oder zusätzlich kann dem Bildschirm eine Warnanzeige 664 (z. B. ein durchgehendes oder blinkendes gelbes Dreieck) hinzugefügt werden.
9 zeigt die Benutzerschnittstellenanzeige 650 mit einem nachfolgenden Bildframe, der durch den Bildsensor 140 erhalten wird, nachdem der Bediener 108 die Arbeitsmaschine 102 auf der Arbeitsstelle weiter zurückgesetzt hat. An diesem Punkt bestimmt das System 126, dass mindestens eines der Objekte 656 den projizierten Pfad der Maschine 102 überlappt. Als Reaktion auf die Bestimmung wird die Anzeige 650 weiter modifiziert, um die Überlappung anzugeben. Beispielsweise wird eine Warnstufe durch Ändern einer Anzeigecharakteristik des visuellen Pfadindikators 654 erhöht. Dies kann das Ändern der Farbe (z. B. in Rot) beinhalten, wodurch die Anzeige 654 blinkt, um nur einige zu nennen. Alternativ oder zusätzlich kann eine andere Warnanzeige 666 (z. B. ein rotes Stoppschild) angezeigt werden. Ferner kann, wie oben angemerkt, ein Symbol, eine Textbeschriftung oder eine andere Kennung auf Grundlage einer Bildklassifizierung hinzugefügt werden. Beispielsweise kann eine beschreibende Textbezeichnung hinzugefügt werden, um den Indikator 658 für ein nahegelegenes Objekt anzuzeigen 650.
Eine akustische Warnung kann auch auf Grundlage einer erkannten Entfernung zu dem Objekt 656 erzeugt werden und sich in der Lautstärke (oder anderweitig) ändern (d. h. der akustische Alarm wird lauter, wenn sich die Maschine 102 dem Objekt 656 nähert). Ferner können, wie oben angemerkt, die Lenk- und/oder Antriebsteilsysteme automatisch gesteuert werden, um Kontakt mit Objekt 656 zu vermeiden (z. B. durch automatisches Abbremsen der Räder, Anhalten des Motors, Schalten von Gängen usw.).
In der vorliegenden Erläuterung wurden Prozessoren und Server erwähnt. In einer Ausführungsform umfassen die Prozessoren und Server Computerprozessoren mit zugehörigem Speicher und Zeitsteuerungsschaltungen, die nicht separat gezeigt sind. Sie sind funktionale Teile der Systeme oder Geräte, zu denen sie gehören und durch die sie aktiviert werden, und erleichtern die Funktionalität der anderen Komponenten oder Elemente in diesen Systemen.
Es ist zu beachten, dass die vorstehende Erläuterung eine Vielzahl unterschiedlicher Systeme, Komponenten und/oder Logiken beschrieben hat. Es versteht sich, dass solche Systeme, Komponenten und/oder Logik aus Hardwareelementen (wie etwa Prozessoren und zugehörigem Speicher oder anderen Verarbeitungskomponenten, von denen einige im Folgenden beschrieben werden) bestehen können, die die mit diesen Systemen, Komponenten und/oder Logik verbundenen Funktionen ausführen. Darüber hinaus können die Systeme, Komponenten und/oder Logiken aus Software bestehen, die in einen Speicher geladen werden und anschließend von einem Prozessor oder Server oder einer anderen Rechnerkomponente ausgeführt werden, wie unten beschrieben. Die Systeme, Komponenten und/oder Logiken können auch aus verschiedenen Kombinationen von Hardware, Software, Firmware usw. bestehen, von denen einige Beispiele nachfolgend beschrieben werden. Dies sind nur einige Beispiele für unterschiedliche Strukturen, die zur Bildung der oben beschriebenen Systeme, Komponenten und/oder Logik verwendet werden können. Es können auch andere Strukturen verwendet werden.
Außerdem wurden eine Reihe von Anzeigen der Benutzerschnittstelle erörtert. Sie können mehrere verschiedene Formen annehmen und können mehrere verschiedene benutzergesteuerte Eingabemechanismen darauf aufweisen. Beispielsweise können die vom Benutzer aktivierbaren Eingabemechanismen Textfelder, Kontrollkästchen, Symbole, Links, Dropdown-Menüs, Suchfelder usw. sein. Sie können auch auf unterschiedlichste Weise betätigt werden. Sie können beispielsweise mit einer Point-and-Click-Vorrichtung (z. B. Trackball oder Maus) betätigt werden. Sie können über Hardwaretasten, Schalter, einen Joystick oder eine Tastatur, Daumenschalter oder Daumenpads usw. betätigt werden. Sie können auch über eine virtuelle Tastatur oder andere virtuelle Aktuatoren betätigt werden. Wenn der Bildschirm, auf dem sie angezeigt werden, ein berührungsempfindlicher Bildschirm ist, können sie außerdem mit Berührungsgesten betätigt werden. Wenn das Gerät, das sie anzeigt, über Spracherkennungskomponenten verfügt, können sie auch über Sprachbefehle gesteuert werden.
Eine Reihe von Datenspeichern wurde ebenfalls erörtert. Es wird darauf hingewiesen, dass sie jeweils in mehrere Datenspeicher unterteilt werden können. Alle können lokal für die auf sie zugreifenden Systeme sein, alle können entfernt sein, oder einige können lokal sein, während andere entfernt sind. Alle diese Konfigurationen sind hierin vorgesehen.
Außerdem zeigen die Figuren eine Reihe von Blöcken mit Funktionen, die jedem Block zugeordnet sind. Es wird darauf hingewiesen, dass weniger Blöcke verwendet werden können, so dass die Funktionalität von weniger Komponenten übernommen wird. Außerdem können mehr Blöcke verwendet werden, wobei die Funktionalität auf mehrere Komponenten verteilt ist.
10 ist ein Blockdiagramm eines Beispiels der Arbeitsmaschinenarchitektur 100, dargestellt in 1, wobei die Arbeitsmaschine 102 mit Elementen in einer Remote-Serverarchitektur 700 kommuniziert. In einem Beispiel kann die Remote-Serverarchitektur 700 Rechen-, Software-, Datenzugriffs- und Speicherdienste bereitstellen, die keine Kenntnisse des Endbenutzers zum physischen Standort oder zu den Konfiguration des Systems erfordern, das die Dienste bereitstellt. In verschiedenen Beispielen können Remote-Server die Dienste über ein Weitverkehrsnetzwerk, wie etwa das Internet, unter Verwendung geeigneter Protokolle bereitstellen. So können beispielsweise Remote-Serveranwendungen über ein Weitverkehrsnetzwerk bereitstellen und über einen Webbrowser oder eine andere Computerkomponente darauf zugreifen. Software oder Komponenten, die in 1 gezeigt sind, sowie die zugehörigen Daten können auf Servern an einem Remote-Standort gespeichert werden. Die Computerressourcen in einer Remote-Serverumgebung können an einem Remote-Standort des Rechenzentrums konsolidiert oder verteilt werden. Remote-Server-Infrastrukturen können Dienste über gemeinsam genutzte Rechenzentren bereitstellen, obwohl sie für den Benutzer als ein einziger Zugangspunkt erscheinen. Somit können die hierin beschriebenen Komponenten und Funktionen von einem Remote-Server an einem Remote-Standort über eine Remote-ServerArchitektur bereitgestellt werden. Alternativ können sie von einem herkömmlichen Server bereitgestellt werden, oder sie können direkt auf Endgeräten oder auf andere Weise installiert werden.
In dem in 10 dargestellten Beispiel sind einige Elemente den in 1 gezeigten ähnlich und sie sind ähnlich nummeriert. 10 zeigt insbesondere, dass sich das System 126 und der Datenspeicher 128 an einem Remote-Serverstandort 702 befinden können. Daher greift die Arbeitsmaschine 102 über den entfernten Server-Standort 702 auf diese Systeme zu.
10 veranschaulicht darüber hinaus ein weiteres Beispiel für eine Remote-Serverarchitektur. 10 zeigt, dass auch in Betracht gezogen wird, dass einige Elemente von 1 an dem Remote-Serverstandort 702 angeordnet sind, während andere dies nicht sind. So kann beispielsweise der Datenspeicher 128 an einem von Standort 702 getrennten Standort angeordnet sein und es kann über den Remote-Server an Standort 702 darauf zugegriffen werden. Alternativ oder zusätzlich kann das System 126 an von Standort 702 getrennten Standort(en) angeordnet sein und es kann über den Remote-Server an Standort 702 darauf zugegriffen werden.
Unabhängig davon, wo sie sich befinden, kann direkt auf sie von der Arbeitsmaschine 102 über ein Netzwerk (entweder ein Weitverkehrsnetzwerk oder ein lokales Netzwerk) zugegriffen werden, können sie an einem entfernten Standort von einem Dienst gehostet werden, oder können sie als Dienst bereitgestellt oder von einem Verbindungsdienst zugegriffen werden, der sich an einem entfernten Standort befindet. Außerdem können die Daten an nahezu jedem Ort gespeichert und zeitweise von Interessenten abgerufen oder an diese weitergeleitet werden. So können beispielsweise physikalische Träger anstelle oder zusätzlich zu elektromagnetischen Strahlungsträgern verwendet werden. In einem solchen Beispiel, in dem die Netzabdeckung schlecht oder nicht vorhanden ist, kann eine andere mobile Maschine (beispielsweise ein Tankwagen) über ein automatisches System zur Informationserfassung verfügen. Wenn sich die Arbeitsmaschine zum Betanken in die Nähe des Tankwagens begibt, erfasst das System automatisch die Informationen von der Maschine oder überträgt Informationen über jede Art von drahtloser Ad-hoc-Verbindung an die Maschine. Die gesammelten Informationen können dann an das Hauptnetz weitergeleitet werden, wenn der Tankwagen einen Ort erreicht, an dem es eine Mobilfunkabdeckung (oder eine andere drahtlose Abdeckung) gibt. So kann beispielsweise der Tankwagen in einen überdachten Standort einfahren, wenn er zum Betanken anderer Maschinen fährt oder wenn er sich an einem Haupttanklager befindet. Alle diese Architekturen werden hierin betrachtet. Darüber hinaus können die Informationen auf der Arbeitsmaschine gespeichert werden, bis die Arbeitsmaschine einen abgedeckten Standort erreicht. Die Arbeitsmaschine selbst kann dann die Informationen an/von dem Hauptnetzwerk senden und empfangen.
Es wird auch darauf hingewiesen, dass die Elemente von 1, oder Teile davon, auf einer Vielzahl von unterschiedlichen Geräten angeordnet werden können. Einige dieser Geräte beinhalten Server, Desktop-Computer, Laptops, Tablet-Computer oder andere mobile Geräte, wie etwa Palmtop-Computer, Mobiltelefone, Smartphones, Multimedia-Player, persönliche digitale Assistenten usw.
11 ist ein vereinfachtes Blockdiagramm eines veranschaulichenden Beispiels eines tragbaren oder mobilen Rechnergeräts, das als Handgerät 16 eines Benutzers oder Kunden verwendet werden kann, in dem das vorliegende System (oder Teile davon) eingesetzt werden kann. So kann beispielsweise ein mobiles Gerät in der Fahrerkabine der Arbeitsmaschine 102 oder als Remote-System 114 eingesetzt werden. 12-13 sind Beispiele für tragbare oder mobile Geräte.
11 stellt ein allgemeines Blockdiagramm der Komponenten eines Endgeräts 16 bereit, das einige der in 1 gezeigten Komponenten ausführen kann, die mit ihnen interagieren, oder beides. In dem Gerät 16 wird eine Kommunikationsverbindung 13 bereitgestellt, die es dem Handgerät ermöglicht, mit anderen Computergeräten zu kommunizieren, und die in einigen Ausführungsformen einen Kanal zum automatischen Empfangen von Informationen bereitstellt, wie zum Beispiel durch Scannen. Beispiele für die Kommunikationsverbindung 13 umfassen das Ermöglichen der Kommunikation durch ein oder mehrere Kommunikationsprotokolle, wie zum Beispiel drahtlose Dienste, die zum Bereitstellen eines zellularen Zugangs zu einem Netzwerk verwendet werden, sowie Protokolle, die lokale drahtlose Verbindungen zu Netzwerken bereitstellen.
In anderen Beispielen können Anwendungen auf einer entfernbaren „Secure Digital“-(SD-)Karte empfangen werden, die mit einer Schnittstelle 15 verbunden ist. Die Schnittstelle 15 und die Kommunikationsverbindungen 13 kommunizieren mit einem Prozessor 17 (der auch die Prozessoren oder Server aus den vorherigen FIG. verkörpern kann) über einen Bus 19, der ebenfalls mit dem Speicher 21 und den Ein-/Ausgabekomponenten (E/A) 23 sowie dem Taktgeber 25 und dem Ortungssystem 27 verbunden ist.
E/A-Komponenten 23 sind in einem Beispiel vorgesehen, um Ein- und Ausgabeoperationen zu erleichtern. E/A-Komponenten 23 für verschiedene Ausführungsformen der Geräte 16 können Eingabekomponenten, wie etwa Tasten, Tastsensoren, optische Sensoren, Mikrofone, Touchscreens, Näherungssensoren, Beschleunigungssensoren, Ausrichtungssensoren, und Ausgabekomponenten, wie etwa ein Anzeigegerät, ein Lautsprecher und/oder ein Druckeranschluss beinhalten. Es können auch andere E/A-Komponenten 23 verwendet werden.
Der Taktgeber 25 umfasst veranschaulichend eine Echtzeituhrkomponente, die eine Uhrzeit und ein Datum ausgibt. Dieser kann auch, veranschaulichend, Timing-Funktionen für Prozessor 17 bereitstellen.
Das Ortungssystem 27 beinhaltet veranschaulichend eine Komponente, die eine aktuelle geografische Position des Endgeräts 16 ausgibt. Dies kann beispielsweise einen globalen Positionierungssystem-(GPS-)Empfänger, ein LORAN-System, ein Koppelnavigationssystem, ein zellulares Triangulationssystems oder ein anderes Positionierungssystems beinhalten. Es kann beispielsweise auch eine Karten- oder Navigationssoftware beinhalten, die gewünschte Karten, Navigationsrouten und andere geografische Funktionen generiert.
Der Speicher 21 speichert das Betriebssystem 29, die Netzwerkeinstellungen 31, die Anwendungen 33, die Anwendungskonfigurationseinstellungen 35, den Datenspeicher 37, die Kommunikationstreiber 39 und die Kommunikationskonfigurationseinstellungen 41. Der Speicher 21 kann alle Arten von greifbaren flüchtigen und nichtflüchtigen computerlesbaren Speichergeräte beinhalten. Er kann auch Computerspeichermedien beinhalten (siehe unten). Der Speicher 21 speichert computerlesbare Anweisungen, die, wenn sie von Prozessor 17 ausgeführt werden, den Prozessor veranlassen, computerimplementierte Schritte oder Funktionen gemäß den Anweisungen auszuführen. Der Prozessor 17 kann von anderen Komponenten aktiviert werden, um auch deren Funktionalität zu verbessern.
12 zeigt ein Beispiel, bei dem das Gerät 16 ein Tablet-Computer 750 ist. In 12 wird der Computer 750 mit dem Bildschirm der Benutzerschnittstelle 752 gezeigt. Der Bildschirm 752 kann ein Touchscreen oder eine stiftfähige Schnittstelle sein, die Eingaben von einem Stift oder Stylus empfängt. Es kann auch eine virtuelle Tastatur auf dem Bildschirm verwendet werden. Natürlich kann es auch über einen geeigneten Befestigungsmechanismus, wie etwa eine drahtlose Verbindung oder einen USB-Anschluss, an eine Tastatur oder ein anderes Benutzereingabegerät angeschlossen werden. Der Computer 750 kann veranschaulichend auch Spracheingaben empfangen.
13 zeigt, dass das Gerät ein Smartphone 71 sein kann. Das Smartphone 71 verfügt über ein berührungsempfindliches Display 73, das Symbole oder Grafiken oder andere Benutzereingabemechanismen 75 anzeigt. Die Mechanismen 75 können von einem Benutzer verwendet werden, um Anwendungen auszuführen, Anrufe zu tätigen, Datenübertragungsvorgänge durchzuführen usw. Im Allgemeinen ist das Smartphone 71 auf einem mobilen Betriebssystem aufgebaut und bietet eine fortschrittlichere Rechenleistung und Konnektivität als ein Funktionstelefon.
Es ist zu beachten, dass andere Formen des Endgeräts 16 möglich sind.
14 ist ein Beispiel für eine Rechnerumgebung, in der Elemente von 1, oder Teile davon, (zum Beispiel) eingesetzt werden können. Unter Bezugnahme auf 14 beinhaltet ein Beispielsystem zur Implementierung einiger Ausführungsformen ein Rechengerät in Form eines Computers 810. Die Komponenten des Computers 810 können, ohne hierauf beschränkt zu sein, unter anderem eine Verarbeitungseinheit 820 (die Prozessoren oder Server aus den vorstehenden FIGUREN beinhalten kann), einen Systemspeicher 830 und einen Systembus 821 umfassen, die verschiedene Systemkomponenten einschließlich des Systemspeichers mit der Verarbeitungseinheit 820 koppeln. Der Systembus 821 kann eine von mehreren Arten von Busstrukturen sein, einschließlich eines Speicherbusses oder einer Speichersteuerung, eines Peripheriebusses und eines lokalen Busses mit einer Vielzahl von Busarchitekturen. Speicher und Programme, die in Bezug auf 1 beschrieben sind, können in den entsprechenden Teilen von 14.
Computer 810 beinhaltet typischerweise mehrere computerlesbare Medien. Computerlesbare Medien können alle verfügbaren Medien sein, auf die der Computer 810 zugreifen kann, und umfassen sowohl flüchtige als auch nichtflüchtige Medien, Wechselmedien und nicht entfernbare Medien. Computerlesbare Medien können beispielsweise Computerspeichermedien und Kommunikationsmedien umfassen. Computerspeichermedien unterscheiden sich von einem modulierten Datensignal oder einer Trägerwelle und beinhalten diese nicht. Dazu gehören Hardware-Speichermedien mit flüchtigen und nichtflüchtigen, entfernbaren und nicht entfernbaren Medien, die in einem beliebigen Verfahren oder einer Technologie für die Speicherung von Informationen, wie etwa computerlesbaren Befehlen, Datenstrukturen, Programmmodulen oder anderen Daten, implementiert sind. Rechenspeichermedien umfassen, aber sie sind nicht beschränkt auf RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologie, CD-ROM, Digitalversatile-Disks (DVD) oder andere optische Plattenspeicher, Magnetkassetten, -bänder, -plattenspeicher oder andere magnetische Speichergeräte oder jedes andere Medium, das verwendet werden kann, um die gewünschte Information zu speichern, auf die über den Computer 810 zugegriffen werden kann. Kommunikationsmedien können computerlesbare Anweisungen, Datenstrukturen, Programmmodule oder andere Daten in einem Transportmechanismus enthalten und umfassen alle Informationslieferungsmedien. Der Begriff „angepasstes Datensignal“ bezeichnet ein Signal, für das ein oder mehrere seiner Merkmale so festgelegt oder geändert sind, dass Informationen in dem Signal codiert sind.
Der Systemspeicher 830 beinhaltet Computerspeichermedien in Form von flüchtigen und/oder nichtflüchtigen Speichern, wie etwa Festspeicher (ROM, Read Only Memory) 831 und Arbeitsspeicher (RAM, Random Access Memory) 832. Ein grundlegendes Ein-/Ausgabesystem 833 (BIOS), das die grundlegenden Programme enthält, die helfen, Informationen zwischen den Elementen innerhalb des Computers 810 zu übertragen, wie etwa beim Starten, wird typischerweise im ROM 831 gespeichert. RAM 832 enthält typischerweise Daten- und/oder Programmmodule, die für die Verarbeitungseinheit 820 unmittelbar zugänglich sind und/oder derzeit betrieben werden. Beispielsweise und nicht einschränkend zeigt 14 das Betriebssystem 834, die Anwendungsprogramme 835, weitere Programmmodule 836 und Programmdaten 837.
Der Computer 810 kann auch andere entfernbare/nicht-entfernbare flüchtige/nicht-flüchtige Computerspeichermedien beinhalten. Beispielsweise veranschaulicht 14 ein Festplattenlaufwerk 841, das von nicht entfernbaren, nicht-flüchtigen magnetischen Medien, einem optischen Plattenlaufwerk 855 und einer nicht-flüchtigen optischen Platte 856 liest oder darauf schreibt. Das Festplattenlaufwerk 841 ist typischerweise über eine nichtentfernbare Speicherschnittstelle, wie etwa die Schnittstelle 840, mit dem Systembus 821 verbunden, und das optische Plattenlaufwerk 855 ist typischerweise über eine entfernbare Speicherschnittstelle, wie etwa die Schnittstelle 850, mit dem Systembus 821 verbunden.
Alternativ oder zusätzlich kann die hierin beschriebene Funktionalität mindestens teilweise durch eine oder mehrere Hardware-Logikkomponenten ausgeführt werden. Zu den veranschaulichenden Arten von Hardware-Logikkomponenten, die verwendet werden können, gehören beispielsweise feldprogrammierbare Gate-Arrays (FPGAs), Applikations-spezifische integrierte Schaltungen (z. B. ASICs), Applikations-spezifische Standardprodukte (z. B. ASSPs), System-on-a-Chip-Systeme (SOCs), „Complex Programmable Logic Devices“ (CPLDs) usw.
Die Laufwerke und die dazugehörigen Computerspeichermedien, die vorstehend erläutert und in 14 veranschaulicht sind, bieten eine Speicherung von computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen und anderen Daten für den Computer 810. In 14 wird beispielsweise das Festplattenlaufwerk 841 als speicherndes Betriebssystem 844, Anwendungsprogramme 845, andere Programmmodule 846 und Programmdaten 847 dargestellt. Es ist zu beachten, dass diese Komponenten entweder gleich oder verschieden vom Betriebssystem 834, den Anwendungsprogrammen 835, anderen Programmmodulen 836 und den Programmdaten 837 sein können.
Ein Benutzer kann Befehle und Informationen in den Computer 810 über Eingabegeräte, wie etwa eine Tastatur 862, ein Mikrofon 863 und ein Zeigegerät 861, wie etwa eine Maus, einen Trackball oder ein Touchpad, eingeben. Andere Eingabegeräte (nicht dargestellt) können einen Joystick, ein Gamepad, eine Satellitenschüssel, einen Scanner oder dergleichen beinhalten. Diese und andere Eingabegeräte sind oft über eine Benutzereingabeschnittstelle 860 mit der Verarbeitungseinheit 820 verbunden, die mit dem Systembus gekoppelt ist, aber auch über andere Schnittstellen- und Busstrukturen verbunden sein kann. Eine optische Anzeige 891 oder eine andere Art von Anzeigegerät ist ebenfalls über eine Schnittstelle, wie etwa eine Videoschnittstelle 890, mit dem Systembus 821 verbunden. Zusätzlich zum Monitor können Computer auch andere periphere Ausgabegeräte, wie etwa die Lautsprecher 897 und den Drucker 896 beinhalten, die über eine Ausgabeperipherieschnittstelle 895 verbunden werden können.
Der Computer 810 wird in einer Netzwerkumgebung über logische Verbindungen (wie etwa LAN, WAN oder CAN) zu einem oder mehreren Remote-Computern, wie etwa einem Remote-Computer 880, betrieben.
Bei Verwendung in einer LAN-Netzwerkumgebung ist der Computer 810 über eine Netzwerkschnittstelle oder einen Adapter 870 mit dem LAN 871 verbunden. Bei Verwendung in einer WAN-Netzwerkumgebung beinhaltet der Computer 810 typischerweise ein Modem 872 oder andere Mittel zum Aufbauen einer Kommunikation über das WAN 873, wie etwa das Internet. In einer vernetzten Umgebung können Programmmodule auf einer externen Speichervorrichtung gespeichert werden. 14 veranschaulicht zum Beispiel, dass sich Remote-Anwendungsprogramme 885 auf dem Remote-Computer 880 befinden können.
Es sollte auch angemerkt werden, dass die verschiedenen hier beschriebenen Beispiele auf verschiedene Weise kombiniert werden können. Das heißt, Teile eines oder mehrerer Beispiele können mit Teilen eines oder mehrerer anderer Beispiele kombiniert werden. All dies wird hierin betrachtet.
Beispiel 1 ist ein Verfahren zum Steuern einer Arbeitsmaschine auf einer Arbeitsstelle, wobei das Verfahren Folgendes umfasst:

Empfangen einer Angabe eines Objekts, das auf der Arbeitsstelle erkannt wurde;
Bestimmen einer Position des Objekts relativ zu der mobilen Arbeitsmaschine;
Empfangen eines Bildes der Arbeitsstelle;
Korrelieren der bestimmten Position des Objekts mit einem Teil des Bildes;
Bewerten des Objekts durch Durchführen einer Bildverarbeitung des Teils des Bildes; und
Erzeugen eines Steuersignals, das die Arbeitsmaschine auf Grundlage der Bewertung steuert.

Beispiel 2 ist das Verfahren eines beliebigen oder aller vorhergehenden Beispiele, wobei das Empfangen der Anzeige des Objekts Folgendes umfasst:

Senden eines Erkennungssignals;
Empfangen von Reflexionen des Erkennungssignals; und
Erkennen des Objekts basierend auf den empfangenen Reflexionen.

Beispiel 3 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei das Bewerten des Objekts das Bestimmen einer Wahrscheinlichkeit umfasst, dass die Erkennung des Objekts einen Fehlalarm der Erkennung umfasst.
Beispiel 4 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei das Erkennungssignal ein Hochfrequenz-Signal (RF) umfasst.
Beispiel 5 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei das RF-Signal ein Radarsignal umfasst.
Beispiel 6 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei die bestimmte Position des Objekts mit einem Teil des Bildes auf Grundlage einer Montagestelle der Kamera an der mobilen Arbeitsmaschine und eines Sichtfeldes der Kamera korreliert ist.
Beispiel 7 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei das Empfangen eines Bildes das Empfangen einer Zeitreihe von Bildern von einer Kamera umfasst, und ferner das visuelle Verfolgen einer Position des Objekts in einer Vielzahl von nachfolgend erfassten Bildern in der Zeitreihe umfasst.
Beispiel 8 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei das Steuersignal eine Anzeigevorrichtung steuert, die der mobilen Arbeitsmaschine zugeordnet ist, um das Bild mit einer visuellen Angabe einer Position des Objekts auf dem Bild anzuzeigen.
Beispiel 9 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei das Bewerten des Objekts das Bestimmen einer Objektgröße und/oder Objektform und ferner das Erzeugen des Steuersignals auf Grundlage einer Objektgröße und/oder Objektform umfasst.
Beispiel 10 ist das Verfahren eines oder aller vorhergehenden Beispiele, wobei das Durchführen der Bildverarbeitung das Anwenden eines Bildklassifizierers auf den Teil des Bildes umfasst, um einen Objekttyp des Objekts zu bestimmen.
Beispiel 11 ist das Verfahren eines oder aller vorhergehenden Beispiele und umfasst ferner:

Bestimmen eines projizierten Pfads der mobilen Arbeitsmaschine;
Bestimmen, dass sich mindestens ein Teil des erkannten Objekts in dem projizierten Pfad befindet; und
Erzeugen des Steuersignals auf Grundlage der Bestimmung

Beispiel 12 ist eine mobile Arbeitsmaschine, umfassend
einen Objekterkennungssensor, der konfiguriert ist, um ein Signal zu erzeugen, das ein
Objekt anzeigt, das auf einer Arbeitsstelle erkannt wurde;
Objektpositionsbestimmungslogik, die konfiguriert ist, um eine Position des Objekts
relativ zu der mobilen Arbeitsmaschine zu bestimmen;
Bildkorrelationslogik, die konfiguriert ist, um ein Bild der Arbeitsstelle zu empfangen
und die bestimmte Position des Objekts mit einem Teil des Bildes zu korrelieren;
Bildverarbeitungslogik, die dazu konfiguriert ist, eine Bildverarbeitung an dem Teil des
Bildes durchzuführen;
Objektbewertungslogik, die konfiguriert ist, um das Objekt auf Grundlage der
Bildverarbeitung des Teils des Bildes zu bewerten; und
Steuersignalgeneratorlogik, die konfiguriert ist, um ein Steuersignal zu erzeugen, das die mobile Arbeitsmaschine auf Grundlage der Bewertung steuert.
Beispiel 13 ist die mobile Arbeitsmaschine eines beliebigen oder aller vorhergehenden Beispiele, wobei der Objekterkennungssensor konfiguriert ist, um:

ein Erkennungssignal zu senden;
Reflexionen des Erkennungssignals zu empfangen; und
das Signal basierend auf den empfangenen Reflexionen zu generieren.

Beispiel 14 ist die mobile Arbeitsmaschine eines beliebigen oder aller vorhergehenden Beispiele, wobei das Erkennungssignal ein Radarsignal umfasst.
Beispiel 15 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei die Bildkorrelationslogik dazu konfiguriert ist, die bestimmte Position des Objekts mit dem Teil des Bildes auf der Grundlage einer Montagestelle der Kamera an der mobilen Arbeitsmaschine und eines Sichtfeldes der Kamera zu korrelieren.
Beispiel 16 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele und umfasst ferner einen Bildgebungssensor, der konfiguriert ist, um eine Zeitreihe von Bildern der Arbeitsstelle zu erzeugen, und die Bildkorrelationslogik ist konfiguriert, um eine Position des Objekts in einer Vielzahl von nachfolgend erfassten Bildern in der Zeitreihe visuell zu verfolgen.
Beispiel 17 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele, wobei das Steuersignal eine Anzeigevorrichtung steuert, die der mobilen Arbeitsmaschine zugeordnet ist, um das Bild mit einer visuellen Anzeige einer Position des Objekts auf dem Bild anzuzeigen.
Beispiel 18 ist die mobile Arbeitsmaschine eines oder aller vorhergehenden Beispiele und umfasst ferner:

Pfadbestimmungslogik, die konfiguriert ist, um einen projizierten Pfad der mobilen
Arbeitsmaschine zu bestimmen; und
Steuersignalgeneratorlogik, die konfiguriert ist, um zu bestimmen, dass sich mindestens ein Teil des erkannten Objekts in dem projizierten Pfad befindet, und das Steuersignal auf Grundlage der Bestimmung zu erzeugen.

Beispiel 19 ist eine mobile Arbeitsmaschine, umfassend:

einen Sender, der konfiguriert ist, um ein Radarsignal zu übertragen;
einen Empfänger, der dazu konfiguriert ist, Reflexionen des Radarsignals zu empfangen und ein Objekterkennungssignal zu erzeugen, das ein auf einer Arbeitsstelle erkanntes Objekt auf Grundlage der empfangenen Reflexionen angibt;
ein Objekterkennungssystem, das konfiguriert ist, um:
- eine Position des Objekts relativ zur mobilen Arbeitsmaschine zu bestimmen;
- ein Bild der Arbeitsstelle zu empfangen;
- die bestimmte Position des Objekts mit einem Teil des Bildes zu korrelieren;
- das Objekt durch Durchführen einer Bildverarbeitung des Teils des Bildes zu bewerten; und
- ein Steuersystem, das konfiguriert ist, um ein Steuersignal zu erzeugen, das die mobile Arbeitsmaschine auf Grundlage der Bewertung steuert.

Beispiel 20 ist die mobile Arbeitsmaschine eines beliebigen oder aller vorhergehenden Beispiele, wobei das Objekterkennungssystem konfiguriert ist, um:

einen prognostizierten Pfad der mobilen Arbeitsmaschine zu bestimmen; und
zu bestimmen, dass sich mindestens ein Teil des erkannten Objekts im projizierten Pfad befindet, und
das Steuersignal steuert eine Anzeigevorrichtung, die der mobilen Arbeitsmaschine zugeordnet ist, um das Bild mit visuellen Anzeigen des projizierten Pfads und der Position des Objekts anzuzeigen.

Obwohl der Gegenstand in einer für strukturelle Merkmale und/oder methodische Handlungen spezifischen Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht unbedingt auf die vorstehend beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr sind die oben beschriebenen besonderen Merkmale und Handlungen als beispielhafte Formen der Implementierung der Ansprüche offenbart.

Claims

Verfahren zum Steuern einer mobilen Arbeitsmaschine auf einer Arbeitsstelle, wobei das Verfahren Folgendes umfasst: Empfangen einer Angabe eines Objekts, das auf der Arbeitsstelle erkannt wurde; Bestimmen einer Position des Objekts relativ zu der mobilen Arbeitsmaschine; Empfangen eines Bildes der Arbeitsstelle; Korrelieren der bestimmten Position des Objekts mit einem Teil des Bildes; Bewerten des Objekts durch Durchführen einer Bildverarbeitung des Teils des Bildes; und Erzeugen eines Steuersignals, das die Arbeitsmaschine auf Grundlage der Bewertung steuert.
Verfahren nach Anspruch 1, wobei das Empfangen der Anzeige des Objektes Folgendes umfasst: Senden eines Erkennungssignals; Empfangen von Reflexionen des Erkennungssignals; und Erkennen des Objekts basierend auf den empfangenen Reflexionen.
Verfahren nach Anspruch 2, wobei das Bewerten des Objekts das Bestimmen einer Wahrscheinlichkeit umfasst, dass die Erkennung des Objekts einen Fehlalarm der Erkennung umfasst.
Verfahren nach Anspruch 2 oder 3, wobei das Erkennungssignal ein Hochfrequenzsignal (RF) umfasst.
Verfahren nach Anspruch 4, wobei das RF-Signal ein Radarsignal umfasst.
Verfahren nach einem der Ansprüche 1 bis 5, wobei die bestimmte Position des Objekts mit einem Teil des Bildes auf der Grundlage einer Montagestelle der Kamera an der mobilen Arbeitsmaschine und eines Sichtfelds der Kamera korreliert ist.
Verfahren nach einem der Ansprüche 1 bis 6, wobei das Empfangen eines Bildes das Empfangen einer Zeitreihe von Bildern von einer Kamera und ferner das visuelle Verfolgen einer Position des Objekts in einer Vielzahl von nachfolgend erfassten Bildern in der Zeitreihe umfasst.
Verfahren nach einem der Ansprüche 1 bis 7, wobei das Steuersignal eine Anzeigevorrichtung steuert, die der mobilen Arbeitsmaschine zugeordnet ist, um das Bild mit einer visuellen Anzeige einer Position des Objekts auf dem Bild anzuzeigen.
Verfahren nach einem der Ansprüche 1 bis 8, wobei das Bewerten des Objekts das Bestimmen einer Objektgröße und/oder Objektform und ferner das Erzeugen des Steuersignals basierend auf einer Objektgröße und/oder Objektform umfasst.
Verfahren nach einem der Ansprüche 1 bis 9, wobei das Durchführen der Bildverarbeitung das Anwenden eines Bildklassifizierers auf den Teil des Bildes umfasst, um einen Objekttyp des Objekts zu bestimmen.
Verfahren nach einem der Ansprüche 1 bis 10 und ferner umfassend: Bestimmen eines projizierten Pfads der mobilen Arbeitsmaschine; Bestimmen, dass sich mindestens ein Teil des erkannten Objekts in dem projizierten Pfad befindet; und Erzeugen des Steuersignals auf Grundlage der Bestimmung.
Mobile Arbeitsmaschine, umfassend: einen Objekterkennungssensor, der konfiguriert ist, um ein Signal zu erzeugen, das ein Objekt anzeigt, das auf einer Arbeitsstelle erkannt wurde; Objektpositionsbestimmungslogik, die konfiguriert ist, um eine Position des Objekts relativ zu der mobilen Arbeitsmaschine zu bestimmen; Bildkorrelationslogik, die konfiguriert ist, um ein Bild der Arbeitsstelle zu empfangen und die bestimmte Position des Objekts mit einem Teil des Bildes zu korrelieren; Bildverarbeitungslogik, die dazu konfiguriert ist, eine Bildverarbeitung an dem Teil des Bildes durchzuführen; Objektbewertungslogik, die konfiguriert ist, um das Objekt auf Grundlage der Bildverarbeitung des Teils des Bildes zu bewerten; und Steuersignalgeneratorlogik, die konfiguriert ist, um ein Steuersignal zu erzeugen, das die mobile Arbeitsmaschine auf Grundlage der Bewertung steuert.
Mobile Arbeitsmaschine nach Anspruch 12, wobei der Objekterkennungssensor konfiguriert ist, um: ein Erkennungssignal zu senden; Reflexionen des Erkennungssignals zu empfangen; und das Signal basierend auf den empfangenen Reflexionen zu generieren.
Mobile Arbeitsmaschine nach Anspruch 13, wobei das Erkennungssignal ein Radarsignal umfasst.
Mobile Arbeitsmaschine nach einem der Ansprüche 12 bis 14, wobei die Bildkorrelationslogik konfiguriert ist, um die bestimmte Position des Objekts mit dem Teil des Bildes auf Grundlage einer Montagestelle der Kamera an der mobilen Arbeitsmaschine und eines Sichtfeldes der Kamera zu korrelieren.
Mobile Arbeitsmaschine nach einem der Ansprüche 12 bis 15 und ferner umfassend einen Bildsensor, der konfiguriert ist, um eine Zeitreihe von Bildern der Arbeitsstelle zu erzeugen, wobei die Bildkorrelationslogik konfiguriert ist, um eine Position des Objekts in einer Vielzahl von nachfolgend erfassten Bildern in der Zeitreihe visuell zu verfolgen.
Mobile Arbeitsmaschine nach einem der Ansprüche 12 bis 16, wobei das Steuersignal eine Anzeigevorrichtung steuert, die der mobilen Arbeitsmaschine zugeordnet ist, um das Bild mit einer visuellen Anzeige einer Position des Objekts auf dem Bild anzuzeigen.
Mobile Arbeitsmaschine nach einem der Ansprüche 12 bis 17 und ferner umfassend: Pfadbestimmungslogik, die konfiguriert ist, um einen projizierten Pfad der mobilen Arbeitsmaschine zu bestimmen; und Steuersignalgeneratorlogik, die konfiguriert ist, um zu bestimmen, dass sich mindestens ein Teil des erkannten Objekts in dem projizierten Pfad befindet, und das Steuersignal auf Grundlage der Bestimmung zu erzeugen.
Mobile Arbeitsmaschine, umfassend: einen Sender, der konfiguriert ist, um ein Radarsignal zu übertragen; einen Empfänger, der dazu konfiguriert ist, Reflexionen des Radarsignals zu empfangen und ein Objekterkennungssignal zu erzeugen, das ein auf einer Arbeitsstelle erkanntes Objekt auf Grundlage der empfangenen Reflexionen angibt; ein Objekterkennungssystem, das konfiguriert ist, um: eine Position des Objekts relativ zur mobilen Arbeitsmaschine zu bestimmen; ein Bild der Arbeitsstelle zu empfangen; die bestimmte Position des Objekts mit einem Teil des Bildes zu korrelieren; das Objekt durch Durchführen einer Bildverarbeitung des Teils des Bildes zu bewerten; und ein Steuersystem, das konfiguriert ist, um ein Steuersignal zu erzeugen, das die mobile Arbeitsmaschine auf Grundlage der Bewertung steuert.
Mobile Arbeitsmaschine nach Anspruch 19, wobei das Objekterkennungssystem konfiguriert ist, um: einen prognostizierten Pfad der mobilen Arbeitsmaschine zu bestimmen; und zu bestimmen, dass sich mindestens ein Teil des erkannten Objekts im projizierten Pfad befindet, und das Steuersignal steuert eine Anzeigevorrichtung, die der mobilen Arbeitsmaschine zugeordnet ist, um das Bild mit visuellen Anzeigen des projizierten Pfads und der Position des Objekts anzuzeigen.