DE112020003003T5

DE112020003003T5 - Ausschluss einer Komponente einer Arbeitsmaschine aus einem Videorahmen beruhend auf Bewegungsinformationen

Info

Publication number: DE112020003003T5
Application number: DE112020003003.2T
Authority: DE
Inventors: Peter Petrany; Jacob C. Maley; Vamsi PANNALA; Robert Scott McFARLAND
Original assignee: Caterpillar Inc
Current assignee: Caterpillar Inc
Priority date: 2019-07-22
Filing date: 2020-07-10
Publication date: 2022-03-10
Also published as: US20210027072A1; WO2021015960A1; CN114127809A; AU2020318839A1; US10949685B2

Abstract

Eine Steuervorrichtung kann eine Vielzahl von Videorahmen verarbeiten, um eine scheinbare Bewegung jedes Pixels von einem oder mehreren Pixeln oder jeder Gruppe von Pixeln von einer oder mehreren Gruppen von Pixeln jedes Videorahmens der Vielzahl von Videorahmen zu bestimmen. Die Steuervorrichtung kann aus der Vielzahl der verarbeiteten Videorahmen ein oder mehrere verarbeitete Videorahmen auswählen, die einer Zeitdauer entsprechen, und kann einen zusammengesetzten Videorahmen beruhend auf dem einen oder den mehreren verarbeiteten Videorahmen erzeugen. Die Steuervorrichtung kann eine Videorahmenmaske beruhend auf dem zusammengesetzten Videorahmen erzeugen und zusätzliche Videodaten erhalten, die mindestens einen zusätzlichen Videorahmen umfassen. Die Steuervorrichtung kann veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird, und kann veranlassen, dass der mindestens eine zusätzliche Videorahmen unter Verwendung einer Objekterkennungstechnik verarbeitet wird.

Description

Technischer Bereich
Die vorliegende Offenbarung betrifft im Allgemeinen die Verarbeitung von Videodaten und eine Steuervorrichtung zur Verarbeitung von Videodaten, um eine Komponente einer Arbeitsmaschine aus einem Videorahmen beruhend auf Bewegungsinformationen auszuschließen.
Hintergrund
In einer Vielzahl von Arbeitsbranchen (z. B. Baugewerbe, Materialtransport, Bergbau, Transportwesen usw.) können Objekte in der Nähe oder innerhalb des Weges von Arbeitsmaschinen auf einer Baustelle den Arbeitsbetrieb der Arbeitsmaschinen stören. Darüber hinaus können solche Objekte Schäden an der Arbeitsmaschine oder anderen auf der Baustelle arbeitenden Arbeitsmaschinen verursachen, wenn die Objekte mit der Arbeitsmaschine in Berührung kommen. Dementsprechend wird häufig eine Objekterkennung eingesetzt, um sicherzustellen, dass das Vorhandensein von Objekten in der Nähe einer Arbeitsmaschine auf einer Baustelle, auf der die Arbeitsmaschine in Betrieb ist, dem Bediener der Arbeitsmaschine bekannt ist.
Ein Versuch, die Umgebung einer Arbeitsmaschine zu überwachen, wird in der US-Patentanmeldung Nr. 2018/0209122 offenbart, die von Sumitomo Heavy Industries, Ltd. am 19. März 2018 eingereicht wurde („die Veröffentlichung '122”). Insbesondere offenbart die Veröffentlichung '122 eine Steuervorrichtung, die Ausgaben einer Bilderfassungsvorrichtung empfängt und Softwareprogramme ausführt, um einem Extraktionsteil und einem Identifikationsteil der Steuervorrichtung zu entsprechen. Gemäß der Veröffentlichung '122 extrahiert der Extraktionsteil ein Zielbild für das Identifikationsverfahren, bei dem es sich um ein Teilbild (z. B. ein Teil eines aufgenommenen Bildes) handelt, das einer nachfolgenden Bildverarbeitung unterzogen werden soll. Wie in der Veröffentlichung '122 offenbart, maskiert der Extraktionsteil für das Identifikationsverfahren ungeeignete Bereiche (z. B. einen Bereich, in dem ein Körper einer Schaufel der Arbeitsmaschine erfasst wird) eines Zielbildbereichs des Zielbildes, um ein normalisiertes Bild des Zielbildes zu erzeugen. Gemäß der Veröffentlichung '122 verhindert der Extraktionsteil somit durch Maskierung des Bildes eines für die Identifikation ungeeigneten Bereichs, dass ein Bild des für das Identifikationsverfahren ungeeigneten Bereichs ein Identifikationsverfahren durch das Identifikationsteil beeinträchtigt. Gemäß der Veröffentlichung '122 wird es dadurch dem Identifikationsteil ermöglicht, zu identifizieren, ob es sich um ein Personenbild handelt, und zwar durch Verwendung eines anderen Bereichs als eines maskierten Bereichs in einem normalisierten Bild, ohne von dem Bild eines für das Identifikationsverfahren ungeeigneten Bereichs beeinträchtigt zu werden.
Die Steuervorrichtung der Veröffentlichung '122 kann zwar einen für die Identifikation ungeeigneten Bereich eines Zielbildes maskieren, doch wird in der Veröffentlichung '122 nicht offenbart, wie die Steuervorrichtung den für die Identifikation ungeeigneten Bereich identifiziert. Darüber hinaus bezieht sich die Veröffentlichung '122 auf die Identifikation von Bereichen, die mit einem sich bewegenden Arbeitsgerät (z. B. einer Schaufel) der Arbeitsmaschine in einem Strom von Zielbildern verbunden sind.
Die Steuervorrichtung der vorliegenden Offenbarung löst eines oder mehrere der oben genannten Probleme und/oder andere Probleme der Technik.
Zusammenfassung
Gemäß einigen Ausführungsformen kann ein Verfahren Folgendes umfassen: Erhalten von Videodaten, die eine Vielzahl von Videorahmen enthalten, durch eine Vorrichtung, Verarbeiten der Vielzahl von Videorahmen durch die Vorrichtung, um eine scheinbare Bewegung jedes Pixels von einem oder mehreren Pixeln oder jeder Gruppe von Pixeln von einer oder mehreren Gruppen von Pixeln jedes Videorahmens der Vielzahl von Videorahmen zu bestimmen; Auswählen eines oder mehrerer verarbeiteter Videorahmen aus der Vielzahl von verarbeiteten Videorahmen, die einer Zeitdauer entsprechen, durch die Vorrichtung; Erzeugen eines zusammengesetzten Videorahmens beruhend auf dem einen oder den mehreren verarbeiteten Videorahmen durch die Vorrichtung, Erzeugen einer Videorahmenmaske durch die Vorrichtung beruhend auf dem zusammengesetzten Videorahmen; Erhalten zusätzlicher Videodaten durch die Vorrichtung, die mindestens einen zusätzlichen Videorahmen umfassen; Veranlassen, durch die Vorrichtung, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird; und Veranlassen, durch die Vorrichtung, dass der mindestens eine zusätzliche Videorahmen unter Verwendung einer Obj ekterkennungs-Bildverarbeitungstechnik und beruhend auf dem Veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird, verarbeitet wird.
Gemäß einigen Ausführungsformen kann eine Vorrichtung einen oder mehrere Speicher umfassen; und einen oder mehrere Prozessoren, die kommunikativ mit dem einen oder den mehreren Speichern gekoppelt sind und konfiguriert sind, um: einen oder mehrere Prozessoren, die kommunikativ mit dem einen oder den mehreren Speichern gekoppelt sind, um: Videodaten zu erhalten, die eine Vielzahl von Videorahmen umfassen; die Vielzahl von Videorahmen zu verarbeiten, um eine scheinbare Bewegung jedes Pixels von einem oder mehreren Pixeln oder jeder Gruppe von Pixeln von einer oder mehreren Gruppen von Pixeln jedes Videorahmens der Vielzahl von Videorahmen zu bestimmen; einen oder mehrere verarbeitete Videorahmen aus der Vielzahl von verarbeiteten Videorahmen auszuwählen, die einer Zeitdauer entsprechen; einen zusammengesetzten Videorahmen beruhend auf dem einen oder den mehreren verarbeiteten Videorahmen zu erzeugen; mindestens einen Bereich des zusammengesetzten Videorahmens zu bestimmen, der mindestens einer Komponente einer Arbeitsmaschine zugeordnet ist; eine Videorahmenmaske beruhend auf dem zusammengesetzten Videorahmen und dem mindestens einen Bereich des zusammengesetzten Videorahmens zu erzeugen; zusätzliche Videodaten zu erhalten, die mindestens einen zusätzlichen Videorahmen umfassen; zu veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird; und zu veranlassen, dass der mindestens eine zusätzliche Videorahmen unter Verwendung einer Objekterkennungs-Bildverarbeitungstechnik und beruhend auf dem Veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird, verarbeitet wird.
Gemäß einigen Ausführungsformen kann eine Arbeitsmaschine Folgendes umfassen: ein Arbeitsgerät; eine Kameravorrichtung und eine Steuervorrichtung, um: Videodaten zu erhalten, die eine Vielzahl von Videorahmen von der Kameravorrichtung umfassen; die Vielzahl von Videorahmen zu verarbeiten, um eine scheinbare Bewegung jedes Pixels von einem oder mehreren Pixeln oder jeder Gruppe von Pixeln von einer oder mehreren Gruppen von Pixeln jedes Videorahmens der Vielzahl von Videorahmen zu bestimmen; einen oder mehrere verarbeitete Videorahmen aus der Vielzahl von verarbeiteten Videorahmen auszuwählen, die einer Zeitdauer entsprechen; einen zusammengesetzten Videorahmen beruhend auf dem einen oder den mehreren verarbeiteten Videorahmen zu erzeugen; eine oder mehrere Steueranweisungen oder Sensordaten zu erhalten, die die Bewegung des Arbeitsgeräts oder der Arbeitsmaschine betreffen; eine Videorahmenmaske beruhend auf dem zusammengesetzten Videorahmen und der einen oder den mehreren Steueranweisungen oder den Sensordaten zu erzeugen; zusätzliche Videodaten zu erhalten, die mindestens einen zusätzlichen Videorahmen von der Kameravorrichtung umfassen; zu veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird; und um zu veranlassen, dass der mindestens eine zusätzliche Videorahmen unter Verwendung einer Objekterkennungs-Bildverarbeitungstechnik und beruhend auf dem Veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird, verarbeitet wird.
Figurenliste

1 ist eine Darstellung einer beispielhaften Arbeitsmaschine, die hierin beschrieben wird.
2 ist ein Flussdiagramm, das ein Verfahren zum Ausschluss einer Komponente einer Arbeitsmaschine aus einem Videorahmen beruhend auf Bewegungsinformationen, wie hierin beschrieben, grafisch veranschaulicht.
3 ist eine Darstellung von beispielhaften Videorahmen.
4 ist eine Darstellung von beispielhaften Komponenten einer oder mehrerer Vorrichtungen aus der 1.
5 ist ein Flussdiagramm eines beispielhaften Verfahrens zum Ausschluss einer Komponente einer Arbeitsmaschine aus einem Videorahmen beruhend auf Bewegungsinformationen, wie hierin beschrieben.

Ausführliche Beschreibung
Die 1 ist eine Darstellung einer hierin beschriebenen beispielhaften Arbeitsmaschine 100. Die Arbeitsmaschine 100 kann eine beliebige Maschine umfassen, die in einem Industriezweig wie dem Bergbau, dem Baugewerbe, der Landwirtschaft und/oder dergleichen eingesetzt wird. Die Arbeitsmaschine 100 kann beispielsweise eine Erdbewegungsmaschine wie eine Planierraupe, ein Lader, ein Bagger, eine Aushubmaschine, ein Motorgrader oder eine beliebige andere Erdbewegungsmaschine sein. Die Arbeitsmaschine 100 kann eine Baustelle durchqueren, um Material unter einer Arbeitsfläche 102 zu bearbeiten (z. B. transportieren, kultivieren, graben, aufreißen und/oder ähnliches). Die Arbeitsmaschine 100 kann eine Energiequelle 104, die zur Erzeugung mechanischer Leistung konfiguriert ist, eine Zugvorrichtung 106, mindestens ein Arbeitsgerät 108 (z. B. mindestens ein Materialeingriffselement, wie z. B. ein Aufreißer) und eine Bedienerstation 110 zur Aufnahme von Bedienelementen umfassen. Die Arbeitsmaschine 100 kann zusätzlich einen Rahmen 112 umfassen, der konfiguriert ist, um eine oder mehrere Komponenten der Arbeitsmaschine 100 zu tragen.
Die Energiequelle 104 kann eine beliebige Art von Verbrennungsmotor sein, z. B. ein Dieselmotor, ein Benzinmotor oder ein mit gasförmigem Kraftstoff betriebener Motor. Ferner kann die Energiequelle 104 eine nicht motorgetriebene Energieerzeugungsvorrichtung sein, wie z. B. eine Brennstoffzelle, eine Batterie, ein Motor oder eine andere Art von Energiequelle. Die Energiequelle 104 kann als Reaktion auf eine oder mehrere Eingaben eine variable Leistungsabgabe, die an das Arbeitsgerät 108 und die Zugvorrichtung 106 gerichtet ist, erzeugen.
Die Zugvorrichtung 106 kann Raupen umfassen, die sich auf jeder Seite der Arbeitsmaschine 100 befinden (nur eine Seite ist dargestellt) und von einem oder mehreren Kettenrädern 114 angetrieben werden. Die Kettenräder 114 können betriebsfähig mit der Energiequelle 104 verbunden sein, um von dieser Energie zu erhalten und die Zugvorrichtung 106 anzutreiben. Durch die Bewegung der Zugvorrichtung 106 kann die Arbeitsmaschine 100 in Bezug auf die Arbeitsfläche 102 angetrieben werden. Die Zugvorrichtung 106 kann zusätzlich oder alternativ Räder, Riemen oder andere Zugvorrichtungen umfassen, die lenkbar oder nicht lenkbar sein können. Die Zugvorrichtung 106 kann hydraulisch, mechanisch, elektronisch oder auf eine beliebige andere geeignete Weise betätigt werden.
Das Arbeitsgerät 108 kann konfiguriert sein, um sich relativ zum Rahmen 112 zu heben, zu senken und zu neigen. Wenn das Arbeitsgerät 108 beispielsweise ein Aufreißer ist, kann das Arbeitsgerät 108 einen Schaft 116 umfassen, der von einem Befestigungselement 118 gehalten wird. Der Schaft 116 kann in die Arbeitsfläche 102 eindringen, um das Material unter der Arbeitsfläche 102 zu stören oder aufzubrechen (z. B. aufzureißen), und er kann sich relativ zu dem Befestigungselement 118 bewegen. Das Befestigungselement 118 kann über ein Verbindungssystem mit dem Rahmen 112 verbunden sein, wobei mindestens ein Arbeitsgeräte-Aktuator ein Element in dem Verbindungssystem bildet, und/oder auf eine beliebige andere geeignete Weise. Beispielsweise kann ein erster hydraulischer Aktuator 120 zum Heben und Senken des Arbeitsgeräts 108 und ein zweiter hydraulischer Aktuator 122 zum Neigen des Arbeitsgeräts 108 verbunden sein. Das Arbeitsgerät 108 kann alternativ einen Pflug, eine Zinke, einen Grubber und/oder ähnliches umfassen.
Die hydraulischen Aktuatoren 120 und 122 können jeweils eine Kolben-ZylinderAnordnung, einen Hydraulikmotor und/oder eine andere bekannte hydraulische Vorrichtung mit einer oder mehreren Flüssigkeitskammern enthalten. Die Bewegung des hydraulischen Aktuators 120 kann dazu beitragen, das Arbeitsgerät 108 in Bezug auf den Rahmen 112 und die Arbeitsfläche 102 zu bewegen, z. B. nach unten zur Arbeitsfläche 102 hin und nach oben von ihr weg. Eine Erweiterung des hydraulischen Aktuators 120 kann mit einer Position des Arbeitsgeräts 108 in Bezug auf die Arbeitsfläche 102 korrelieren. In ähnlicher Weise kann eine Verlängerung des hydraulischen Aktuators 122 mit einer Ausrichtung des Arbeitsgeräts 108 in Bezug auf den Rahmen 112 und/oder die Arbeitsfläche 102 korrelieren, z. B. Verkleinern oder Vergrößern des Winkels des Arbeitsgeräts 108 in Bezug auf die Arbeitsfläche 102.
Die Bedienerstation 110 kann eine Steuerschnittstelle für einen Bediener der Arbeitsmaschine 100 vorsehen. Die Bedienerstation 110 kann beispielsweise ein Beschleunigungspedal 124, eine Gerätesteuerung 126 und/oder eine Ausgabevorrichtung 128 umfassen. Auch wenn dies nicht dargestellt ist, kann die Bedienerstation 110 zusätzlich andere Steuervorrichtungen umfassen, wie z. B. eine Maschinenrichtungssteuerung, ein Verlangsamungspedal und/oder eine beliebige andere ähnliche Steuervorrichtung. Das Beschleunigungspedal 124 kann die Menge an mechanischer Leistung bestimmen, die der Zugvorrichtung 106 zugeführt wird, um die Zugvorrichtung 106 zu bewegen.
Die Arbeitsgerätesteuerung 126 kann es einem Bediener der Arbeitsmaschine 100 ermöglichen, das Arbeitsgerät 108 zu bedienen. Insbesondere kann die Arbeitsgerätesteuerung 126 eine Menge oder einen Druck der Flüssigkeit steuern, die den hydraulischen Aktuatoren 120 und 122 zugeführt bzw. aus ihnen abgeleitet wird. Somit kann es die Arbeitsgerätesteuerung 126 dem Bediener ermöglichen, eine Höhe des Schafts 116 über oder unter der Arbeitsfläche 102 einzustellen und einen Winkel des Schafts 116 relativ zur Arbeitsfläche 102 einzustellen. Die Arbeitsgerätesteuerung 126 kann es dem Bediener auch ermöglichen, den Winkel des Schafts 116 relativ zur Arbeitsfläche 102 zu ändern, während sich der Schaft 116 über oder unter der Arbeitsfläche 102 befindet.
Die Ausgabevorrichtung 128 kann eine Audioausgabevorrichtung, eine Vibrationsausgabevorrichtung, eine visuelle Anzeige und/oder dergleichen umfassen. Die Audioausgabevorrichtung kann eine beliebige Audiovorrichtung sein, die in der Lage ist, einem Bediener der Arbeitsmaschine 100 ein hörbares Signal zu liefern, wie z. B. ein Lautsprecher. Die visuelle Anzeige kann ein Bildschirm oder eine andere visuelle Vorrichtung sein, die konfiguriert sein kann, um dem Bediener visuelle Reize oder visuelle Informationen jeglicher Art zu liefern. Während die visuelle Anzeige in der 1 innerhalb der Arbeitsmaschine 100 dargestellt ist, kann sich die visuelle Anzeige außerhalb der Arbeitsmaschine 100 (z. B. an einer entfernten Bedienerstation) oder an einem beliebigen Ort befinden, der vom Bediener oder einem anderen Benutzer gesehen werden kann. Ferner kann die Vibrationsausgabevorrichtung eine beliebige vibrierende und/oder haptische Vorrichtung sein, die konfiguriert ist, um den Bediener durch eine oder mehrere Vibrationen zu warnen.
Die Arbeitsmaschine 100 kann eine oder mehrere Erfassungsvorrichtungen 130 (einzeln als „Erfassungsvorrichtung 130“ und zusammen als „Erfassungsvorrichtungen 130“ bezeichnet), eine Steuervorrichtung 132 und/oder einen oder mehrere Sensoren 134 (in der 1 nicht dargestellt, einzeln als „Sensor 134“ und zusammen als „Sensoren 134“ bezeichnet) umfassen. Die Erfassungsvorrichtung 130 kann mit der Arbeitsmaschine 100 betriebsfähig verbunden sein, indem die Erfassungsvorrichtung 130 beispielsweise an der Arbeitsmaschine 100 montiert oder anderweitig befestigt wird. Die Erfassungsvorrichtung 130 muss jedoch nicht an der Arbeitsmaschine 100 befestigt sein und kann relativ zur Arbeitsmaschine 100 in jeder Weise positioniert werden, in der die Erfassungsvorrichtung 130 im Betrieb Erfassungsdaten erhalten kann, die mit einer Zone in der Nähe der Arbeitsmaschine 100 verbunden sind. Die Erfassungsvorrichtung 130 kann eine Kameravorrichtung, eine Radarvorrichtung, eine Lichtdetektions- und Entfernungsmessungsvorrichtung (Lidarvorrichtung), eine Sonarvorrichtung und/oder dergleichen umfassen.
Die Sensoren 134 können betriebsfähig mit der Arbeitsmaschine 100 und/oder einer Komponente der Arbeitsmaschine 100 verbunden sein, indem die Sensoren 134 beispielsweise an der Arbeitsmaschine 100 und/oder der Komponente der Arbeitsmaschine 100 montiert oder anderweitig befestigt werden. In einem Beispiel können die Sensoren 134 eine GPS-Vorrichtung (Global Positioning System), eine inertiale Messeinheit (Inertial Measurement Unit, IMU) und/oder dergleichen umfassen und Sensordaten in Bezug auf einen Standort, eine Richtung, eine Position, eine Ausrichtung, eine Beschleunigung, eine spezifische Kraft und/oder dergleichen der Maschine 100 und/oder der Komponente der Arbeitsmaschine 100 erhalten. In einem weiteren Beispiel können die Sensoren 134 mit einem oder mehreren Kettenrädern 114 und/oder der Zugvorrichtung 106 verbunden sein und Sensordaten bezüglich der Geschwindigkeit der Zugvorrichtung oder der Kettenräder, den Schlupf der Zugvorrichtung oder der Kettenräder und/oder dergleichen erfassen. In einem anderen Beispiel können die Sensoren 134 mit dem Arbeitsgerät 108 verbunden sein und Sensordaten bezüglich einer Höhe, eines Winkels, eines Drehmoments, einer Last und/oder dergleichen des Arbeitsgeräts 108 erhalten.
Die Erfassungsvorrichtung 130 kann konfiguriert sein, um die Erfassungsdaten beispielsweise an die Steuervorrichtung 132 zu übertragen; die Erfassungsvorrichtung 130 ist jedoch nicht darauf beschränkt, die Erfassungsdaten nur an die Steuervorrichtung 132 zu übertragen, sondern kann die Erfassungsdaten zusätzlich oder alternativ an eine beliebige zusätzliche oder alternative Steuervorrichtung übertragen (z. B. in der Arbeitsmaschine 100 enthalten, in Bezug auf die Arbeitsmaschine 100 entfernt angeordnet und/oder dergleichen). In einigen Ausführungsformen kann die Erfassungsvorrichtung 130 die Steuervorrichtung 132 umfassen oder die Steuervorrichtung 132 kann die Erfassungsvorrichtung 130 umfassen. In ähnlicher Weise können die Sensoren 134 konfiguriert sein, um die Sensordaten an die Steuervorrichtung 132 oder eine beliebige zusätzliche oder alternative Steuervorrichtung zu übertragen.
Die Steuervorrichtung 132 kann konfiguriert sein, um die Erfassungsdaten und/oder die Sensordaten zu verarbeiten. Die Steuervorrichtung 132 kann in Hardware, Firmware oder einer Kombination aus Hardware und Software implementiert sein. Weitere Funktionen der Steuervorrichtung 132 werden hier in Bezug auf die 2 beschrieben.
Die in der 1 gezeigte Anzahl und Anordnung der Komponenten ist ein Beispiel. In der Praxis kann die Arbeitsmaschine 100 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als die in der 1 gezeigten umfassen. Ein Satz von Komponenten (z. B. eine oder mehrere Komponenten) der Arbeitsmaschine 100 kann eine oder mehrere Funktionen ausführen, die so beschrieben werden, dass sie von einem anderen Satz von Komponenten der Arbeitsmaschine 100 ausgeführt werden.
Die 2 ist ein Flussdiagramm, das ein Verfahren 200 zum Ausschluss einer Komponente einer Arbeitsmaschine aus einem Videorahmen beruhend auf Bewegungsinformationen, wie hierin beschrieben, grafisch veranschaulicht. In einigen Ausführungsformen können ein oder mehrere Betriebe der 2 von der Steuervorrichtung 132 allein oder in Kombination mit einer anderen Vorrichtung, wie z. B. der Ausgabevorrichtung 128, der Erfassungsvorrichtung 130 und/oder dergleichen, durchgeführt werden.
In Verbindung mit der Referenznummer 210 kann die Steuervorrichtung 132 Erfassungsdaten von der Erfassungsvorrichtung 130 erhalten. Die Erfassungsdaten können Daten sein, die mit einem Typ der Erfassungsvorrichtung 130 verbunden sind. Handelt es sich bei der Erfassungsvorrichtung 130 beispielsweise um eine Kameravorrichtung, können die Erfassungsdaten Videodaten sein. In ähnlicher Weise können die Erfassungsdaten Radardaten, Lidardaten, Sonardaten und/oder dergleichen sein, wenn die Erfassungsvorrichtung 130 eine Radarvorrichtung, eine Lidarvorrichtung, eine Sonarvorrichtung und/oder dergleichen ist. Die Erfassungsdaten können ein oder mehrere Erfassungselemente (auch als Rahmen bezeichnet) umfassen. Beispielsweise können die Videodaten eine Vielzahl von Videorahmen umfassen (z.B. wird ein einzelner Videorahmen 215 in Verbindung mit der Referenznummer 210 gezeigt), die Radardaten können eine Vielzahl von Radarrahmen umfassen, die Lidardaten können eine Vielzahl von Lidarrahmen umfassen, die Sonardaten können eine Vielzahl von Sonarrahmen umfassen und/oder dergleichen. Während sich einige der hierin beschriebenen Ausführungsformen auf Betriebe beziehen, die mit Videodaten und Videorahmen verbunden sind, werden auch Ausführungsformen in Betracht gezogen, die sich auf ähnliche Betriebe beziehen, die mit anderen Arten von Erfassungsdaten und/oder Erfassungselementen verbunden sind.
In Verbindung mit der Referenznummer 220 kann die Steuervorrichtung 132 einen oder mehrere Videorahmen (z. B. dargestellt als ein oder mehrere verarbeitete Videorahmen 225) der Vielzahl von Videorahmen verarbeiten. Die Steuervorrichtung 132 kann einen Videorahmen verarbeiten, um eine scheinbare Bewegung jedes Pixels von einem oder mehreren Pixeln des Videorahmens und/oder eine scheinbare Bewegung jeder Gruppe von Pixeln von einem oder mehreren Pixeln des Videorahmens zu bestimmen. Die scheinbare Bewegung eines Pixels kann ein Ausmaß und/oder eine Richtung der Bewegung des Pixels im Vergleich zu einem entsprechenden Pixel in einem anderen Videorahmen umfassen. Das Ausmaß kann ein Unterschied in der Position des Pixels und einer Position des entsprechenden Pixels sein (z. B. gemessen unter Verwendung horizontaler Koordinaten und/oder vertikaler Koordinaten des Pixels und des entsprechenden Pixels) und die Richtung kann die Position des Pixels relativ zur Position des entsprechenden Pixels sein (z. B. gemessen in Grad). In ähnlicher Weise kann die scheinbare Bewegung einer Gruppe von Pixeln ein Ausmaß und/oder eine Richtung der Bewegung der Gruppe von Pixeln im Vergleich zu einer entsprechenden Gruppe von Pixeln in einem anderen Videorahmen umfassen. Das Ausmaß kann ein Unterschied in der Position der Gruppe von Pixeln und einer Position der entsprechenden Gruppe von Pixeln sein und die Richtung kann die Position der Gruppe von Pixeln relativ zur Position der entsprechenden Gruppe von Pixeln sein.
Beispielsweise kann die Steuervorrichtung 132 einen ersten Videorahmen und einen zweiten Videorahmen (z. B. benachbarte Videorahmen) des einen oder der mehreren Videorahmen vergleichen, um eine scheinbare Bewegung von mindestens einem Pixel, mindestens einer Gruppe von Pixeln und/oder dergleichen im zweiten Videorahmen zu bestimmen. Die Steuervorrichtung 132 kann das mindestens eine Pixel, die mindestens eine Gruppe von Pixeln und/oder dergleichen in dem zweiten Videorahmen identifizieren und nach einem entsprechenden mindestens einen Pixel, einer entsprechenden mindestens einen Gruppe von Pixeln und/oder dergleichen in dem ersten Videorahmen suchen (z. B. durch Suchen nach Pixeln, Gruppen von Pixeln und/oder dergleichen in dem ersten Videorahmen, die mit einem oder mehreren ähnlichen Parametern (z. B. einem Pixelfarbwert, einem Pixelluminanzwert, einem Pixelgruppenfarbwert, einem Pixelgruppenluminanzwert und/oder dergleichen) wie das mindestens eine Pixel, die mindestens eine Gruppe von Pixeln und/oder dergleichen in dem zweiten Videorahmen verbunden sind). Die Steuervorrichtung 132 kann eine Position des mindestens einen Pixels, der mindestens einen Gruppe von Pixeln und/oder dergleichen in dem zweiten Videorahmen mit einer Position des entsprechenden mindestens einen Pixels, der entsprechenden mindestens einen Gruppe von Pixeln und/oder dergleichen in dem ersten Videorahmen vergleichen, um die scheinbare Bewegung (z. B. das Ausmaß und/oder die Richtung der Bewegung) des mindestens einen Pixels, der mindestens einen Gruppe von Pixeln und/oder dergleichen in dem zweiten Videorahmen zu bestimmen.
In einigen Ausführungsformen kann die Steuervorrichtung 132 einen Videorahmen unter Verwendung eines optischen Flussbildverarbeitungsverfahrens verarbeiten, wie z. B. eines dichten optischen Flussbildverarbeitungsverfahrens (z. B. eines Lucas-Kanade-Bildverarbeitungsverfahrens), eines groben optischen Flussbildverarbeitungsverfahrens (z. B. eines Black-Jepson-Bildverarbeitungsverfahrens) und/oder dergleichen, um eine scheinbare Bewegung eines oder mehrerer Pixel (z. B. eine scheinbare Bewegung eines Pixels, eine scheinbare Bewegung einer Gruppe von Pixeln und/oder dergleichen) des Videorahmens zu bestimmen. Bei der Verwendung eines optischen Flussbildverarbeitungsverfahrens wird die scheinbare Bewegung eines Pixels, einer Gruppe von Pixeln und/oder dergleichen auch als Flusskomponente des Pixels, der Gruppe von Pixeln und/oder dergleichen bezeichnet.
Nach der Bestimmung der scheinbaren Bewegung eines Pixels, einer Gruppe von Pixeln und/oder dergleichen eines Videorahmens kann die Steuervorrichtung 132 veranlassen, dass sich ein Parameter, wie z. B. ein Pixelfarbwert, ein Pixelluminanzwert, ein Pixelgruppenfarbwert, ein Pixelgruppenluminanzwert und/oder dergleichen, der mit dem Pixel, der Gruppe von Pixeln und/oder dergleichen verbunden ist, ändert. Beispielsweise kann die Steuervorrichtung 132 veranlassen, dass sich der Pixelfarbwert des mindestens einen Pixels zu einem Wert ändert, der das Ausmaß und/oder die Richtung der Bewegung des mindestens einen Pixels darstellt (z. B. kann ein dunkles Grün eine große, nach links gerichtete Bewegung anzeigen; ein helles Grün kann eine geringe, nach links gerichtete Bewegung anzeigen; ein helles Rot kann eine geringe, nach rechts gerichtete Bewegung anzeigen; ein dunkles Rot kann eine große, nach rechts gerichtete Bewegung anzeigen; und/oder Ähnliches).
In einigen Ausführungsformen kann die Steuervorrichtung 132 einen oder mehrere der verarbeiteten Videorahmen auswählen. Beispielsweise kann die Steuervorrichtung 132 einen oder mehrere verarbeitete Videorahmen auswählen, die einer Zeitdauer entsprechen (z. B. wurden die einen oder mehreren verarbeiteten Videorahmen nacheinander während einer Zeitdauer von einer Sekunde, einer Zeitdauer von zehn Sekunden, einer Zeitdauer von einer Minute und/oder dergleichen erzeugt).
In Verbindung mit der Referenznummer 230 kann die Steuervorrichtung 132 einen zusammengesetzten Videorahmen (z. B. dargestellt als zusammengesetzter Videorahmen 235) beruhend auf dem ausgewählten einen oder den ausgewählten mehreren verarbeiteten Videorahmen (z. B. dem einen oder den mehreren verarbeiteten Videorahmen, die der Zeitdauer entsprechen) erzeugen. Um ein Pixel, eine Gruppe von Pixeln und/oder dergleichen des zusammengesetzten Videorahmens zu erzeugen, kann die Steuervorrichtung 132 ein jeweiliges entsprechendes Pixel, eine jeweilige entsprechende Gruppe von Pixeln und/oder dergleichen in jedem verarbeiteten Videorahmen des ausgewählten einen oder der ausgewählten mehreren verarbeiteten Videorahmen identifizieren (z. B. wo jedes entsprechende Pixel, jede entsprechende Gruppe von Pixeln und/oder dergleichen die gleiche jeweilige Position in jedem verarbeiteten Videorahmen wie eine Position des Pixels, der Gruppe von Pixeln und/oder dergleichen des zusammengesetzten Videorahmens hat). Die Steuervorrichtung 132 kann einen jeweiligen Parameterwert (z. B. einen Pixelfarbwert, einen Pixelluminanzwert, einen Pixelgruppenfarbwert, einen Pixelgruppenluminanzwert und/oder dergleichen) jedes entsprechenden Pixels, jeder Gruppe von Pixeln und/oder dergleichen identifizieren und einen Durchschnittswert der jeweiligen Parameterwerte bestimmen. Die Steuervorrichtung 132 kann veranlassen, dass der Parameterwert des Pixels, der Gruppe von Pixeln und/oder dergleichen des zusammengesetzten Videos einen Wert hat, der dem Durchschnittswert entspricht. Dementsprechend zeigt jedes Pixel, jede Gruppe von Pixeln und/oder dergleichen des zusammengesetzten Videorahmens eine durchschnittliche scheinbare Bewegung (z. B. ein durchschnittliches Ausmaß und eine durchschnittliche Richtung der Bewegung) der entsprechenden Pixel, der entsprechenden Gruppen von Pixeln und/oder dergleichen in dem einen oder den mehreren verarbeiteten Videorahmen an. Auf diese Weise kann der zusammengesetzte Videorahmen eine Bewegung (z. B. eine durchschnittliche scheinbare Bewegung) anzeigen, die mit dem einen oder den mehreren verarbeiteten Videorahmen für die Zeitdauer verbunden ist.
In Verbindung mit der Referenznummer 240 kann die Steuervorrichtung 132 mindestens einen Bereich (z. B. dargestellt als ein oder mehrere Bereiche 245 in der 2) des zusammengesetzten Videorahmens bestimmen. Der mindestens eine Bereich kann mit einer fehlenden Bewegung verbunden sein (z. B. hat ein entsprechender Parameter jedes Pixels, jeder Gruppe von Pixeln und/oder dergleichen des mindestens einen Bereichs einen Wert, der eine geringe bis keine scheinbare Bewegung anzeigt). Dementsprechend kann der mindestens eine Bereich der mindestens einen Komponente der Arbeitsmaschine 100 zugeordnet werden, wenn mindestens eine Komponente der Arbeitsmaschine 100, wie z. B. das Arbeitsgerät 108, der Rahmen 112 und/oder dergleichen, in Bezug auf die Umgebung in dem einen oder den mehreren verarbeiteten Videorahmen, die verwendet werden, um den zusammengesetzten Videorahmen zu erzeugen, unbeweglich zu sein scheint. Um den mindestens einen Bereich des zusammengesetzten Videorahmens zu bestimmen, kann die Steuervorrichtung 132 mindestens ein Pixel, mindestens eine Gruppe von Pixeln und/oder dergleichen des zusammengesetzten Videorahmens identifizieren, das/die einen Parameterwert, wie beispielsweise einen Pixelfarbwert, eine Pixelgruppenfarbe und/oder dergleichen, innerhalb eines bestimmten Bereichs, wie beispielsweise eines bestimmten Farbbereichs (z. B. eines Farbwertbereichs, der geringe bis keine scheinbare Bewegung des Pixels, der Gruppe von Pixeln und/oder dergleichen anzeigt) hat, und kann den mindestens einen Bereich des zusammengesetzten Videorahmens beruhend auf dem Parameterwert des mindestens einen Pixels, der mindestens einen Gruppe von Pixeln und/oder dergleichen bestimmen.
Zusätzlich oder alternativ dazu kann die Steuervorrichtung 132 Informationen über die Bewegung der Arbeitsmaschine 100 erhalten (z. B. eine oder mehrere Steueranweisungen, die von dem Beschleunigungspedal 124 und/oder einem Verlangsamungspedal erzeugt werden und die Bewegung der Arbeitsmaschine 100 betreffen, wie z. B. eine Geschwindigkeit oder Beschleunigung der Arbeitsmaschine 100; eine oder mehrere Steueranweisungen, die von einer Maschinenrichtungssteuerung erzeugt werden und die Bewegung der Arbeitsmaschine 100 betreffen, wie z. B. eine Drehrichtung der Arbeitsmaschine 100; Sensordaten, die von den Sensoren 134 erhalten werden und die Bewegung der Arbeitsmaschine 100 betreffen, wie z. B. ein Standort, eine Richtung, eine Position, eine Ausrichtung, eine Beschleunigung, eine spezifische Kraft und/oder dergleichen der Maschine 100 und/oder dergleichen). Darüber hinaus kann die Steuervorrichtung 132 Informationen über die Bewegung mindestens einer Komponente der Arbeitsmaschine erhalten (z. B. eine oder mehrere Steueranweisungen, die von der Arbeitsgerätesteuerung 126 erzeugt werden und die Bewegung des Arbeitsgeräts 108 betreffen, wie z.B. eine Änderung der Höhe oder des Winkels des Arbeitsgeräts 108; eine oder mehrere Steueranweisungen, die von dem Beschleunigungspedal 124 und/oder einem Verlangsamungspedal erzeugt werden und die Bewegung der Zugvorrichtung 106 betreffen, wie z. B. eine Geschwindigkeit oder Beschleunigung der Zugvorrichtung 106; Sensordaten, die von den Sensoren 134 erhalten werden und die Bewegung eines oder mehrerer Kettenräder 114 und/oder der Zugvorrichtung 106 betreffen, wie z. B. die Geschwindigkeit der Zugvorrichtung oder der Kettenräder und/oder der Schlupf der Zugvorrichtung oder der Kettenräder; Sensordaten, die von den Sensoren 134 erhalten werden und die Bewegung des Arbeitsgeräts 108 betreffen, wie z. B. eine Änderung der Höhe, eines Winkels, eines Drehmoments, einer Last und/oder dergleichen des Arbeitsgeräts 108; und/oder dergleichen). In einigen Ausführungsformen kann die Steuervorrichtung 132 den mindestens einen Bereich des zusammengesetzten Videorahmens beruhend auf Informationen über die Bewegung der Arbeitsmaschine 100, Informationen über die Bewegung der mindestens einen Komponente und/oder dergleichen bestimmen. Der mindestens eine Bereich des zusammengesetzten Videorahmens kann ein oder mehrere Pixel, eine oder mehrere Gruppen von Pixeln und/oder dergleichen umfassen, die jeweils eine scheinbare Bewegung (z. B. ein Ausmaß und/oder eine Richtung der Bewegung) anzeigen, die den Informationen über die Bewegung der Arbeitsmaschine 100, den Informationen über die Bewegung der mindestens einen Komponente und/oder dergleichen entspricht.
Zum Beispiel kann die Steuervorrichtung 132 ein Ausmaß und eine Richtung der Bewegung der mindestens einen Komponente (z. B. wird das Arbeitsgerät 108 bei einer bestimmten Geschwindigkeit angehoben oder abgesenkt) beruhend auf Informationen über die Bewegung der mindestens einen Komponente bestimmen. Die Steuervorrichtung 132 kann den mindestens einen Bereich des zusammengesetzten Videorahmens bestimmen, indem sie einen oder mehrere Bereiche des zusammengesetzten Videorahmens identifiziert, die entsprechende Pixel, entsprechende Gruppen von Pixeln und/oder dergleichen aufweisen, die eine scheinbare Bewegung (z. B. ein Ausmaß und/oder eine Richtung der Bewegung) anzeigen, die dem Ausmaß und der Richtung der Bewegung der mindestens einen Komponente entspricht (z. B. zeigen die Pixel, die Gruppen von Pixeln und/oder dergleichen ein Ausmaß und eine Richtung der Bewegung an, die mit dem Anheben oder Absenken des Arbeitsgeräts 108 bei der bestimmten Geschwindigkeit korrelieren). Als weiteres Beispiel kann die Steuervorrichtung 132 ein Ausmaß und eine Richtung der Bewegung der Arbeitsmaschine 100 (z. B. eine Richtung und Geschwindigkeit der Fahrt der Arbeitsmaschine 100) beruhend auf Informationen über die Bewegung der Arbeitsmaschine 100 bestimmen und kann ein Ausmaß und eine Richtung der Bewegung der mindestens einen Komponente (z. B. eine Richtung und Geschwindigkeit der Zugvorrichtung 106) beruhend auf Informationen über die Bewegung der mindestens einen Komponente bestimmen. Die Steuervorrichtung 132 kann den mindestens einen Bereich des zusammengesetzten Videorahmens bestimmen, indem sie einen oder mehrere Bereiche des zusammengesetzten Videorahmens identifiziert, die entsprechende Pixel, entsprechende Gruppen von Pixeln und/oder dergleichen aufweisen, die eine scheinbare Bewegung (z. B. ein Ausmaß und/oder eine Richtung der Bewegung) anzeigen, die dem Ausmaß und der Richtung der Bewegung der mindestens einen Komponente entspricht (z. B. zeigen die Pixel, die Gruppen von Pixeln und/oder dergleichen ein Ausmaß und eine Richtung der Bewegung an, die mit der Richtung und Geschwindigkeit der Zugvorrichtung 106 korrelieren) und/oder nicht dem Ausmaß und der Richtung der Bewegung der Arbeitsmaschine 100 entsprechen (z. B. zeigen die Pixel, die Gruppen von Pixeln und/oder dergleichen ein Ausmaß und eine Richtung der Bewegung an, die nicht mit der Richtung und Geschwindigkeit der Arbeitsmaschine 100 korrelieren). Weitere Beispiele für die Bestimmung des mindestens einen Bereichs durch die Steuervorrichtung 132 werden hierin in Bezug auf die 3 beschrieben.
In Verbindung mit der Referenznummer 250 kann die Steuervorrichtung 132 eine Videorahmenmaske (z. B. in der 2 als Videorahmenmaske 255 dargestellt) beruhend auf dem zusammengesetzten Videorahmen, dem mindestens einen Bereich des zusammengesetzten Videorahmens, den Informationen bezüglich der Bewegung der Arbeitsmaschine 100, den Informationen bezüglich der Bewegung der mindestens einen Komponente und/oder dergleichen erzeugen. Um die Videorahmenmaske zu erzeugen, kann die Steuervorrichtung 132 einen Videorahmen erzeugen, der eine Vielzahl von Pixeln umfasst, und veranlassen, dass für jedes Pixel, jede Gruppe von Pixeln und/oder dergleichen der Vielzahl von Pixeln, die dem mindestens einen Bereich des zusammengesetzten Videorahmens entsprechen, ein Parameter des Pixels, der Gruppe von Pixeln und/oder dergleichen einem bestimmten Wert zugeordnet wird. Beispielsweise kann die Steuervorrichtung 132 veranlassen, dass ein Pixelfarbwert des Pixels einer bestimmten Farbe, wie z. B. Schwarz, zugeordnet wird. Als weiteres Beispiel kann die Steuervorrichtung 132 veranlassen, dass ein Pixelluminanzwert des Pixels einer bestimmten Luminanzmenge, wie z. B. dem Fehlen von Luminanz, zugeordnet wird.
In einigen Ausführungsformen kann die Steuervorrichtung 132 bei der Erzeugung der Videorahmenmaske Abschnitte des zusammengesetzten Videorahmens ignorieren. Zum Beispiel kann die Steuervorrichtung 132 einen Abschnitt des zusammengesetzten Videorahmens ignorieren, der mit einem oberen Abschnitt des zusammengesetzten Videorahmens verbunden ist (z. B. ignoriert Pixel, Pixelgruppen und/oder dergleichen, die mit dem Himmel verbunden sind). Dementsprechend kann die Steuervorrichtung 132 in einigen Ausführungsformen zum Erzeugen der Videorahmenmaske einen Videorahmen erzeugen, der eine Vielzahl von Pixeln umfasst, und für jedes Pixel, jede Gruppe von Pixeln und/oder dergleichen der Vielzahl von Pixeln, die dem mindestens einen Bereich des zusammengesetzten Videorahmens entsprechen und nicht einem ignorierten Abschnitt des zusammengesetzten Videorahmens entsprechen, veranlassen, dass ein Parameter des Pixels einem bestimmten Wert zugeordnet wird, und zwar in ähnlicher Weise wie hierin beschrieben.
In Verbindung mit der Referenznummer 260 kann die Steuervorrichtung 132 zusätzliche Videodaten von der Erfassungsvorrichtung 130 erhalten. Die zusätzlichen Videodaten können mindestens einen zusätzlichen Videorahmen umfassen (in der 2 als zusätzlicher Videorahmen 265 dargestellt), der ein oder mehrere Pixel umfasst. Die Steuervorrichtung 132 kann veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird (z. B. Kombinieren des mindestens einen zusätzlichen Videorahmens und der Videorahmenmaske).
Um die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen anzuwenden, kann die Steuervorrichtung 132 mindestens ein Pixel, mindestens eine Gruppe von Pixeln und/oder dergleichen des mindestens einen zusätzlichen Videorahmens identifizieren, das/die mindestens einem Pixel, der Gruppe von Pixeln und/oder dergleichen der Videorahmenmaske entspricht (z. B. hat das mindestens eine Pixel, die mindestens eine Gruppe von Pixeln und/oder dergleichen des mindestens einen zusätzlichen Videorahmens eine Position in dem mindestens einen zusätzlichen Videorahmen, die die gleiche ist wie eine Position des mindestens einen Pixels, der mindestens einen Gruppe von Pixeln und/oder dergleichen der Videorahmenmaske in der Videorahmenmaske). Die Steuervorrichtung 132 kann veranlassen, dass sich ein Parameterwert, der dem mindestens einen Pixel, der mindestens einen Gruppe von Pixeln und/oder dergleichen des mindestens einen zusätzlichen Videorahmens zugeordnet ist, ändert. Beispielsweise kann die Steuervorrichtung 132 veranlassen, dass ein Luminanzwert des mindestens einen Pixels, der mindestens einen Gruppe von Pixeln und/oder dergleichen einen bestimmten Wert hat (z. B. ein Luminanzwert, der einer bestimmten Luminanzmenge, wie z. B. einem Fehlen von Luminanz, zugeordnet wird). Als weiteres Beispiel kann die Steuervorrichtung 132 veranlassen, dass ein Farbwert des mindestens einen Pixels, der mindestens einen Gruppe von Pixeln und/oder dergleichen einen bestimmten Wert hat (z. B. ein Farbwert, der einer bestimmten Farbe, wie z. B. Schwarz, zugeordnet wird).
In einem weiteren Beispiel kann die Steuervorrichtung 132 veranlassen, dass mindestens ein Bereich des mindestens einen zusätzlichen Videorahmens, der der Videorahmenmaske entspricht, eine bestimmte Farbe hat, z. B. Schwarz, und/oder dass ein oder mehrere Ränder des mindestens einen Bereichs unscharf werden (beispielsweise veranlassen, dass der eine oder die mehreren Ränder von Schwarz zu Grau abgestuft werden).
In einigen Ausführungsformen kann die Steuervorrichtung 132 nach der Anwendung der Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen veranlassen, dass der mindestens eine zusätzliche Videorahmen unter Verwendung einer Objekterkennungs-Bildverarbeitungstechnik verarbeitet wird (z. B. beruhend auf der Veranlassung, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird). Beispielsweise kann die Steuervorrichtung 132 den mindestens einen zusätzlichen Videorahmen unter Verwendung einer Objekterkennungs-Bildverarbeitungstechnik (z. B. einer Viola-Jones-Objekterkennungstechnik, einer skaleninvarianten Merkmalstransformationstechnik und/oder dergleichen) verarbeiten, um ein Objekt (z. B. eine andere Arbeitsmaschine, ein anderes Fahrzeug, eine Person, ein Gebäude und/oder dergleichen) zu erkennen. Die Steuervorrichtung 132 kann (z. B. beruhend auf Informationen über die Bewegung der Arbeitsmaschine 100, Informationen über die Bewegung der mindestens einen Komponente und/oder dergleichen) bestimmen, ob sich das Objekt in einer Bewegungsbahn der Arbeitsmaschine 100 oder der Komponente (z. B. des Arbeitsgeräts 108) befindet.
Die Steuervorrichtung 132 kann beruhend auf der Bestimmung, dass sich das Objekt in der Bewegungsbahn der Arbeitsmaschine 100 oder der Komponente befindet, veranlassen, dass über die Ausgabevorrichtung 128 eine Warnung ausgegeben wird. Beispielsweise kann die Steuervorrichtung 132 ein Warnsignal oder eine Nachricht an die Ausgabevorrichtung 128 senden, das/die die Ausgabevorrichtung 128 dazu veranlasst, ein akustisches Warnsignal über die Audioausgabevorrichtung der Ausgabevorrichtung 128 auszugeben, ein visuelles Warnsignal über die visuelle Anzeige der Ausgabevorrichtung 128 anzuzeigen, ein Vibrationswarnsignal über die Vibrationsausgabevorrichtung der Ausgabevorrichtung 128 zu erzeugen und/oder dergleichen. Das akustische Warnsignal, das visuelle Warnsignal, das Vibrationswarnsignal und/oder dergleichen kann den Bediener der Arbeitsmaschine warnen, die Bewegungsbahn der Arbeitsmaschine 100 und/oder der Komponente zu ändern, um eine Kollision mit dem Objekt zu vermeiden.
Zusätzlich oder alternativ dazu kann die Steuervorrichtung 132 beruhend auf der Bestimmung, dass sich das Objekt in der Bewegungsbahn der Arbeitsmaschine 100 oder der Komponente befindet, eine Änderung der Bewegung der Arbeitsmaschine 100, der Bewegung der Komponente und/oder dergleichen veranlassen. Beispielsweise kann die Steuervorrichtung 132 ein Steuersignal an das Beschleunigungspedal 124 senden, um die an die Zugvorrichtung 106 abgegebene Menge der mechanischen Leistung zu ändern, wodurch sich die Bewegungsbahn der Arbeitsmaschine und/oder der Zugvorrichtung 106 ändern kann. Als weiteres Beispiel kann die Steuervorrichtung 132 ein Steuersignal an die Arbeitsgerätesteuerung 126 senden, um die Höhe des Drucks der Flüssigkeit zu ändern, die den hydraulischen Aktuatoren 120 und 122 zugeführt bzw. aus diesen abgelassen wird, wodurch sich die Bewegungsbahn des Arbeitsgeräts 108 ändern kann. Dementsprechend kann die Steuervorrichtung 132 ein oder mehrere Steuersignale an andere Steuerungen senden, wie z. B. eine Maschinenrichtungssteuerung, ein Verlangsamungspedal und/oder dergleichen, um den Weg der Arbeitsmaschine 100 und/oder der Komponente der Arbeitsmaschine 100 zu ändern.
Obwohl die 2 beispielhafte Blöcke des Verfahrens 200 zeigt, kann das Verfahren 200 in einigen Ausführungsformen zusätzliche Blöcke, weniger Blöcke, andere Blöcke oder anders angeordnete Blöcke als die in der 2 dargestellten umfassen. Zusätzlich oder alternativ dazu können zwei oder mehrere der Blöcke des Verfahrens 200 parallel ausgeführt werden.
Wie bereits erwähnt, ist die 2 als Beispiel vorgesehen. Andere Beispiele können von dem, was in Verbindung mit der 2 beschrieben wird, abweichen.
Die 3 ist eine Darstellung 300 von beispielhaften Videorahmen, die von der Erfassungsvorrichtung 130 erfasst und von der Steuervorrichtung 132 verarbeitet werden können. In diesen Beispielen ist die Erfassungsvorrichtung 130 an der Rückseite der Arbeitsmaschine 100 angebracht und nimmt Videorahmen auf, die das Arbeitsgerät 108 und die Umgebung zeigen.
Wie im Videorahmen 310 gezeigt, kann sich die Arbeitsmaschine 100 in eine Vorwärtsrichtung bewegen (z. B. durch Pfeile angezeigt, die mit der Umgebung verbunden sind und nach oben zeigen) und das Arbeitsgerät 108 kann sich möglicherweise nicht bewegen (z. B. durch Punkte angezeigt). In diesem Fall kann der Bediener das Beschleunigungspedal 124 betätigen, aber nicht die Steuerung 126 einsetzen. In ähnlicher Weise wie hierin beschrieben, kann die Steuervorrichtung 132 einen zusammengesetzten Videorahmen beruhend auf dem beispielhaften Videorahmen 310 und anderen ähnlichen Videorahmen, die einer Zeitdauer entsprechen, erzeugen. Die Steuervorrichtung 132 kann mindestens einen Bereich des zusammengesetzten Videorahmens bestimmen, der mit einer fehlenden Bewegung verbunden ist (z. B. mindestens einen Bereich, der mit den Punkten verbunden ist) und eine Maske beruhend auf dem mindestens einen Bereich erzeugen.
Wie in dem beispielhaften Videorahmen 320 gezeigt, kann sich die Arbeitsmaschine 100 in eine Vorwärtsrichtung bewegen (z. B. durch Pfeile angezeigt, die mit der Umgebung verbunden sind und nach oben zeigen) und das Arbeitsgerät 108 kann sich nach unten bewegen (z. B. durch Pfeile angezeigt, die mit dem Arbeitsgerät 108 verbunden sind und nach unten zeigen). In diesem Fall kann der Bediener gleichzeitig das Beschleunigungspedal 124 und die Arbeitsgerätesteuerung 126 betätigen. In ähnlicher Weise wie hierin beschrieben, kann die Steuervorrichtung 132 einen zusammengesetzten Videorahmen beruhend auf dem beispielhaften Videorahmen 320 und anderen ähnlichen Videorahmen, die einer Zeitdauer entsprechen, erzeugen. Die Steuervorrichtung 132 kann mindestens einen Bereich des zusammengesetzten Videorahmens bestimmen, der mit Informationen über die Bewegung des Arbeitsgeräts 108 verbunden ist (z. B. mindestens einen Bereich, der mit den nach unten zeigenden Pfeilen verbunden ist) und/oder nicht mit Informationen über die Bewegung der Arbeitsmaschine 100 verbunden ist (z. B. mindestens einen Bereich, der nicht mit den nach oben zeigenden Pfeilen verbunden ist). Die Steuervorrichtung 132 kann eine Maske beruhend auf dem mindestens einen Bereich erzeugen.
Wie im beispielhaften Videorahmen 330 gezeigt, kann sich die Arbeitsmaschine 100 in eine Vorwärtsrichtung bewegen (z. B. angezeigt durch kleinere Pfeile, die mit der Umgebung verbunden sind und nach oben zeigen) und das Arbeitsgerät 108 kann sich nach oben bewegen (z. B. angezeigt durch größere Pfeile, die mit dem Arbeitsgerät 108 verbunden sind und nach oben zeigen). In diesem Fall kann der Bediener gleichzeitig das Beschleunigungspedal 124 und die Arbeitsgerätesteuerung 126 betätigen. Wie dargestellt, zeigen die größeren Pfeile ein größeres Ausmaß einer scheinbaren Bewegung an (z. B. in Verbindung mit dem Arbeitsgerät 108) als das Ausmaß der scheinbaren Bewegung, die durch die kleineren Pfeile angezeigt wird (z. B. in Verbindung mit der Umgebung). In ähnlicher Weise wie hierin beschrieben, kann die Steuervorrichtung 132 einen zusammengesetzten Videorahmen beruhend auf dem beispielhaften Videorahmen 330 und anderen ähnlichen Videorahmen, die einer Zeitdauer entsprechen, erzeugen. Die Steuervorrichtung 132 kann mindestens einen Bereich des zusammengesetzten Videorahmens bestimmen, der mit Informationen über die Bewegung des Arbeitsgeräts 108 verbunden ist (z. B. mindestens einen Bereich, der mit den größeren Pfeilen verbunden ist) und/oder nicht mit Informationen über die Bewegung der Arbeitsmaschine 100 verbunden ist (z. B. mindestens einen Bereich, der nicht mit den kleineren Pfeilen verbunden ist). Die Steuervorrichtung 132 kann eine Maske beruhend auf dem mindestens einen Bereich erzeugen.
Wie im beispielhaften Videorahmen 340 gezeigt, kann die Arbeitsmaschine 100 stillstehen (z. B. durch Punkte in Verbindung mit der Umgebung angezeigt) und das Arbeitsgerät 108 kann sich nach unten bewegen (z. B. durch Pfeile in Verbindung mit dem Arbeitsgerät 108 angezeigt, die nach unten zeigen). In diesem Fall kann der Bediener die Arbeitsgerätesteuerung 126 betätigen, nicht aber das Beschleunigungspedal 124. In ähnlicher Weise wie hierin beschrieben, kann die Steuervorrichtung 132 einen zusammengesetzten Videorahmen beruhend auf dem beispielhaften Videorahmen 340 und anderen ähnlichen Videorahmen, die einer Zeitdauer entsprechen, erzeugen. Die Steuervorrichtung 132 kann mindestens einen Bereich des zusammengesetzten Videorahmens bestimmen, der mit Informationen über die Bewegung des Arbeitsgeräts 108 verbunden ist (z. B. mindestens einen Bereich, der mit den nach unten zeigenden Pfeilen verbunden ist) und/oder nicht mit Informationen über die Bewegung der Arbeitsmaschine 100 verbunden ist (z. B. mindestens einen Bereich, der nicht mit den Punkten verbunden ist). Die Steuervorrichtung 132 kann eine Maske beruhend auf dem mindestens einen Bereich erzeugen.
Dementsprechend kann die Steuervorrichtung 132 in Bezug auf die beispielhaften Videorahmen 310, 320, 330 und 340 eine Maske erzeugen, die verwendet werden kann, um das Arbeitsgerät 108 aus weiteren Videorahmen auszuschließen, und zwar beruhend auf Bewegungsinformationen bezüglich der Bewegung der Arbeitsmaschine 100, den Informationen bezüglich der Bewegung des Arbeitsgeräts 108 und/oder dergleichen.
Wie bereits erwähnt, ist die 3 als Beispiel vorgesehen. Andere Beispiele können von dem, was in Verbindung mit der 3 beschrieben wird, abweichen.
Die 4 ist eine Darstellung von beispielhaften Komponenten einer Vorrichtung 400. Die Vorrichtung 400 kann der Ausgabevorrichtung 128, der Erfassungsvorrichtung 130 und/oder der Steuervorrichtung 132 entsprechen. In einigen Ausführungsformen können die Ausgabevorrichtung 128, die Erfassungsvorrichtung 130 und/oder die Steuervorrichtung eine oder mehrere Vorrichtungen 400 und/oder eine oder mehrere Komponenten der Vorrichtung 400 umfassen. Wie in der 4 dargestellt, kann die Vorrichtung 400 einen Bus 410, einen Prozessor 420, einen Speicher 430, eine Speicherkomponente 440, eine Eingabekomponente 450, eine Ausgabekomponente 460 und eine Kommunikationsschnittstelle 470 umfassen.
Der Bus 410 umfasst eine Komponente, die die Kommunikation zwischen den Komponenten der Vorrichtung 400 ermöglicht. Der Prozessor 420 ist in Hardware, Firmware und/oder einer Kombination aus Hardware und Software implementiert. Der Prozessor 420 ist eine Zentralverarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), eine beschleunigte Verarbeitungseinheit (APU), ein Mikroprozessor, ein Mikrocontroller, ein digitaler Signalprozessor (DSP), ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) oder eine andere Art von Verarbeitungskomponente. Der Prozessor 420 umfasst einen oder mehrere Prozessoren, die so programmiert werden können, dass sie eine Funktion ausführen. Der Speicher 430 umfasst einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM) und/oder eine andere Art von dynamischer oder statischer Speichervorrichtung (z. B. einen Flash-Speicher, einen magnetischen Speicher und/oder einen optischen Speicher), der Informationen und/oder Anweisungen zur Verwendung durch den Prozessor 420 speichert.
Die Speicherkomponente 440 speichert Informationen und/oder Software im Zusammenhang mit dem Betrieb und der Verwendung der Vorrichtung 400. Die Speicherkomponente 440 kann beispielsweise eine Festplatte (z. B. eine Magnetplatte, eine optische Platte, eine magnetooptische Platte und/oder eine Festkörperplatte), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband und/oder eine andere Art von nichtflüchtigem computerlesbarem Medium zusammen mit einem entsprechenden Laufwerk umfassen.
Die Eingabekomponente 450 umfasst eine Komponente, die es der Vorrichtung 400 ermöglicht, Informationen zu empfangen, z. B. über eine Benutzereingabe (z. B. ein Touchscreen-Display, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter und/oder ein Mikrofon). Die Eingabekomponente 450 kann einen Sensor zum Erfassen von Informationen umfassen (z. B. eine GPS-Komponente (Global Positioning System), einen Beschleunigungsmesser, ein Gyroskop und/oder einen Aktuator). Die Ausgabekomponente 460 umfasst eine Komponente, die Ausgabeinformationen von der Vorrichtung 400 bereitstellt (z. B. eine Anzeige, einen Lautsprecher und/oder eine oder mehrere Leuchtdioden (LEDs)).
Die Kommunikationsschnittstelle 470 umfasst eine transceiverähnliche Komponente (z. B. einen Transceiver und/oder einen separaten Empfänger und Sender), die es der Vorrichtung 400 ermöglicht, mit anderen Vorrichtungen zu kommunizieren, wie z. B. über eine kabelgebundene Verbindung, eine kabellose Verbindung oder eine Kombination aus kabelgebundenen und kabellosen Verbindungen. Die Kommunikationsschnittstelle 470 kann es der Vorrichtung 400 ermöglichen, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. Die Kommunikationsschnittstelle 470 kann beispielsweise eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxial-Schnittstelle, eine Infrarot-Schnittstelle, eine Radiofrequenz (RF)-Schnittstelle, eine Universal Serial Bus (USB)-Schnittstelle, eine WLAN-Schnittstelle, eine Mobilfunknetzwerkschnittstelle oder dergleichen umfassen.
Die Vorrichtung 400 kann ein oder mehrere hierin beschriebene Verfahren durchführen. Die Vorrichtung 400 kann diese Verfahren beruhend auf einem Prozessor 420 durchführen, der Softwareanweisungen ausführt, die durch ein nichtflüchtiges computerlesbares Medium, wie z. B. einen Speicher 430 und/oder eine Speicherkomponente 440, gespeichert sind. Ein computerlesbares Medium wird hierin als nichtflüchtige Speichervorrichtung definiert. Eine Speichervorrichtung umfasst Speicherplatz innerhalb einer einzelnen physischen Speichervorrichtung oder eines über mehrfache physische Speichervorrichtungen verteilten Speicherplatzes.
Softwareanweisungen können über die Kommunikationsschnittstelle 470 von einem anderen computerlesbaren Medium oder von einer anderen Vorrichtung in den Speicher 430 und/oder die Speicherkomponente 440 eingelesen werden. Bei der Ausführung können die im Speicher 430 und/oder in der Speicherkomponente 440 gespeicherten Softwareanweisungen den Prozessor 420 dazu veranlassen, ein oder mehrere der hierin beschriebenen Verfahren durchzuführen. Festverdrahtete Schaltungen können anstelle von oder in Kombination mit Softwareanweisungen zum Durchführen eines oder mehrerer hierin beschriebener Verfahren verwendet werden. Somit sind die hierin beschriebenen Ausführungsformen nicht auf eine bestimmte Kombination von Hardware-Schaltungsanordnungen und Software beschränkt.
Die in der 4 gezeigte Anzahl und Anordnung der Komponenten sind als Beispiel bereitgestellt. In der Praxis kann die Vorrichtung 400 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als die in der 4 gezeigten umfassen. Ein Satz von Komponenten (z. B. eine oder mehrere Komponenten) der Vorrichtung 400 kann eine oder mehrere Funktionen ausführen, die so beschrieben werden, dass sie von einem anderen Satz von Komponenten der Vorrichtung 400 ausgeführt werden.
Die 5 ist ein Flussdiagramm eines beispielhaften Verfahrens 500 zum Ausschluss einer Komponente einer Arbeitsmaschine aus einem Videorahmen beruhend auf Bewegungsinformationen. In einigen Ausführungsformen können ein oder mehrere Verfahrensblöcke der 5 von einer Steuervorrichtung (z. B. Steuervorrichtung 132) ausgeführt werden. In einigen Ausführungsformen können ein oder mehrere Verfahrensblöcke der 5 von einer anderen Vorrichtung oder einer Gruppe von Vorrichtungen durchgeführt werden, die von der Steuervorrichtung getrennt sind oder diese einschließen, wie z. B. eine Erfassungsvorrichtung (z. B. Erfassungsvorrichtung 130), eine Ausgabevorrichtung (z. B. Ausgabevorrichtung 128) und/oder dergleichen.
Wie in der 5 gezeigt, kann das Verfahren 500 das Erhalten von Videodaten umfassen, die eine Vielzahl von Videorahmen umfassen (Block 510). Beispielsweise kann die Steuervorrichtung (z. B. unter Verwendung des Prozessors 420, des Speichers 430, der Speicherkomponente 440, der Eingabekomponente 450, der Ausgabekomponente 460, der Kommunikationsschnittstelle 470 und/oder dergleichen) Videodaten erhalten, die eine Vielzahl von Videorahmen umfassen, wie oben beschrieben.
Wie in der 5 ferner gezeigt, kann das Verfahren 500 die Verarbeitung der Vielzahl von Videorahmen umfassen, um eine scheinbare Bewegung jedes Pixels von einem oder mehreren Pixeln oder jeder Gruppe von Pixeln von einer oder mehreren Gruppen von Pixeln jedes Videorahmens der Vielzahl von Videorahmen zu bestimmen (Block 520). Beispielsweise kann die Steuervorrichtung (z. B. unter Verwendung von Prozessor 420, Speicher 430, Speicherkomponente 440, Eingabekomponente 450, Ausgabekomponente 460, Kommunikationsschnittstelle 470 und/oder dergleichen) die Vielzahl von Videorahmen verarbeiten, um eine scheinbare Bewegung jedes Pixels von einem oder mehreren Pixeln oder jeder Gruppe von Pixeln von einer oder mehreren Gruppen von Pixeln jedes Videorahmens der Vielzahl von Videorahmen zu bestimmen, wie oben beschrieben.
Wie in der 5 ferner dargestellt, kann das Verfahren 500 die Auswahl eines oder mehrerer verarbeiteter Videorahmen aus der Vielzahl der verarbeiteten Videorahmen umfassen, die einer Zeitdauer entsprechen (Block 530). Beispielsweise kann die Steuervorrichtung (z. B. unter Verwendung des Prozessors 420, des Speichers 430, der Speicherkomponente 440, der Eingabekomponente 450, der Ausgabekomponente 460, der Kommunikationsschnittstelle 470 und/oder dergleichen) ein oder mehrere verarbeitete Videorahmen aus der Vielzahl der verarbeiteten Videorahmen auswählen, die einer Zeitdauer entsprechen, wie oben beschrieben.
Wie in der 5 ferner dargestellt, kann das Verfahren 500 die Erzeugung eines zusammengesetzten Videorahmens beruhend auf dem einen oder den mehreren verarbeiteten Videorahmen umfassen (Block 540). Beispielsweise kann die Steuervorrichtung (z. B. unter Verwendung des Prozessors 420, des Speichers 430, der Speicherkomponente 440, der Eingabekomponente 450, der Ausgabekomponente 460, der Kommunikationsschnittstelle 470 und/oder dergleichen) einen zusammengesetzten Videorahmen beruhend auf dem einen oder den mehreren verarbeiteten Videorahmen erzeugen, wie oben beschrieben.
Wie in der 5 ferner dargestellt, kann das Verfahren 500 die Erzeugung einer Videorahmenmaske beruhend auf dem zusammengesetzten Videorahmen umfassen (Block 550). Beispielsweise kann die Steuervorrichtung (z. B. unter Verwendung des Prozessors 420, des Speichers 430, der Speicherkomponente 440, der Eingabekomponente 450, der Ausgabekomponente 460, der Kommunikationsschnittstelle 470 und/oder dergleichen) eine Videorahmenmaske beruhend auf dem zusammengesetzten Videorahmen erzeugen, wie oben beschrieben.
Wie in der 5 ferner dargestellt, kann das Verfahren 500 das Erhalten zusätzlicher Videodaten umfassen, die mindestens einen zusätzlichen Videorahmen umfassen (Block 560). Beispielsweise kann die Steuervorrichtung (z. B. unter Verwendung des Prozessors 420, des Speichers 430, der Speicherkomponente 440, der Eingabekomponente 450, der Ausgabekomponente 460, der Kommunikationsschnittstelle 470 und/oder dergleichen) zusätzliche Videodaten erhalten, die mindestens einen zusätzlichen Videorahmen umfassen, wie oben beschrieben.
Wie in der 5 ferner gezeigt, kann das Verfahren 500 das Veranlassen umfassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird (Block 570). Beispielsweise kann die Steuervorrichtung (z. B. unter Verwendung des Prozessors 420, des Speichers 430, der Speicherkomponente 440, der Eingabekomponente 450, der Ausgabekomponente 460, der Kommunikationsschnittstelle 470 und/oder dergleichen) veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird, wie oben beschrieben.
Wie in der 5 ferner gezeigt, kann das Verfahren 500 das Veranlassen umfassen, dass der mindestens eine zusätzliche Videorahmen unter Verwendung einer Objekterkennungs-Bildverarbeitungstechnik und beruhend auf dem Veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird (Block 580), verarbeitet wird. Beispielsweise kann die Steuervorrichtung (z. B. unter Verwendung des Prozessors 420, des Speichers 430, der Speicherkomponente 440, der Eingabekomponente 450, der Ausgabekomponente 460, der Kommunikationsschnittstelle 470 und/oder dergleichen) veranlassen, dass der mindestens eine zusätzliche Videorahmen unter Verwendung einer Objekterkennungs-Bildverarbeitungstechnik und beruhend auf dem Veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird, verarbeitet wird, wie oben beschrieben.
Das Verfahren 500 kann zusätzliche Ausführungsformen umfassen, wie z. B. eine beliebige einzelne Ausführungsform oder eine beliebige Kombination von Ausführungsformen, die in Verbindung mit einem oder mehreren anderen hierin beschriebenen Verfahren beschrieben werden.
Obwohl die 5 beispielhafte Blöcke des Verfahrens 500 zeigt, kann das Verfahren 500 in einigen Ausführungsformen zusätzliche Blöcke, weniger Blöcke, andere Blöcke oder anders angeordnete Blöcke als die in der 5 dargestellten umfassen. Zusätzlich oder alternativ dazu können zwei oder mehrere der Blöcke des Verfahrens 500 parallel ausgeführt werden.
Gewerbliche Anwendbarkeit
Eine Steuervorrichtung einer Arbeitsmaschine kann eine Objekterkennungs-Verarbeitungstechnik verwenden, um Nicht-Arbeitsmaschinen-Objekte in einem oder mehreren Bildern (z. B. einem Strom von Videorahmen, die mit Videodaten verbunden sind) zu erkennen und einem Bediener der Arbeitsmaschine eine Warnung beruhend auf der Erkennung eines Nicht-Arbeitsmaschinen-Objekts zu geben. In einigen Fällen kann das eine oder können die mehreren Bilder jedoch einen oder mehrere Bereiche umfassen, die mit einer Komponente der Arbeitsmaschine verbunden sind, z. B. mit einem Arbeitsgerät der Arbeitsmaschine. In diesen Fällen können der eine oder die mehreren Bereiche die Fähigkeit der Steuervorrichtung beeinträchtigen, unter Verwendung der Objekterkennungs-Verarbeitungstechniken Nicht-Arbeitsmaschinen-Objekte präzise zu erkennen.
Beispielsweise kann die Steuervorrichtung die Komponente fälschlicherweise als Nicht-Arbeitsmaschinen-Objekt identifizieren. Dies kann dazu führen, dass dem Bediener eine falsch positive Warnung angezeigt wird. Ein weiteres Beispiel ist, dass die Steuervorrichtung ein Nicht-Arbeitsmaschinen-Objekt, das sich in unmittelbarer Nähe der Komponente in dem einem oder den mehreren Bildern befindet, nicht identifizieren kann. Dies kann dazu führen, dass dem Bediener keine Warnung angezeigt wird, obwohl eine Warnung angezeigt werden sollte. Die Anzeige von falsch-positiven Warnungen und/oder die Nichtanzeige relevanter Warnungen für den Bediener kann die Fähigkeit des Bedieners beeinträchtigen, die Arbeitsmaschine effektiv zu bedienen. Dies kann dazu führen, dass der Bediener die Arbeitsmaschine so bedient, dass die Arbeitsmaschine und/oder die Komponente mit einem Nicht-Arbeitsmaschinen-Objekt kollidiert, wodurch die Arbeitsmaschine, andere Arbeitsmaschinen, andere Fahrzeuge und/oder anderes Eigentum beschädigt werden können.
Dementsprechend stellen einige hierin beschriebene Ausführungsformen eine Steuervorrichtung bereit, die eine Vielzahl von Videorahmen verarbeitet, die in Videodaten umfasst sind, um eine scheinbare Bewegung jedes Pixels von einem oder mehreren Pixeln oder jeder Gruppe von Pixeln von einer oder mehreren Gruppen von Pixeln jedes Videorahmens der Vielzahl von Videorahmen zu bestimmen. Die Steuervorrichtung kann aus der Vielzahl der verarbeiteten Videorahmen einen oder mehrere verarbeitete Videorahmen auswählen, die einer Zeitdauer entsprechen, und kann einen zusammengesetzten Videorahmen beruhend auf dem einen oder den mehreren verarbeiteten Videorahmen erzeugen. Die Steuervorrichtung kann eine Videorahmenmaske beruhend auf dem zusammengesetzten Videorahmen erzeugen und zusätzliche Videodaten erhalten, die mindestens einen zusätzlichen Videorahmen umfassen. Die Steuervorrichtung kann veranlassen, dass die Videorahmenmaske auf den mindestens einen zusätzlichen Videorahmen angewendet wird, und kann veranlassen, dass der mindestens eine zusätzliche Videorahmen unter Verwendung einer Objekterkennungs-Bildverarbeitungstechnik verarbeitet wird.
Auf diese Weise schließt die Steuervorrichtung beruhend auf Bewegungsinformationen eine Komponente einer Arbeitsmaschine aus einem Videorahmen aus. Dies kann die Genauigkeit und/oder Zuverlässigkeit der Steuervorrichtung bei der Erkennung eines Nicht-Arbeitsmaschinen-Objekts unter Verwendung einer Objekterkennungs-Bildverarbeitungstechnik aufgrund des Ausschlusses der Komponente aus dem Videobild verbessern. Dies kann es der Steuervorrichtung ermöglichen, dem Bediener der Arbeitsmaschine relevante und/oder rechtzeitige Warnungen über Nicht-Arbeitsmaschinen-Objekte zu geben, was den Bediener dazu veranlassen kann, die Arbeitsmaschine so zu bedienen, dass die Arbeitsmaschine und/oder die Komponente eine Kollision mit den Nicht-Arbeitsmaschinen-Objekten vermeidet. Zusätzlich oder alternativ dazu kann dies die Steuervorrichtung in die Lage versetzen, eine Bewegungsbahn der Arbeitsmaschine und/oder der Komponente automatisch zu steuern, was dazu führen kann, dass die Arbeitsmaschine und/oder die Komponente eine Kollision mit den Nicht-Arbeitsmaschinen-Objekten vermeidet. Dies kann die Wahrscheinlichkeit verringern, dass die Arbeitsmaschine, andere Arbeitsmaschinen, andere Fahrzeuge, anderes Eigentum und/oder dergleichen beschädigt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2018/0209122 [0003]

Claims

Verfahren, umfassend: Erhalten von Videodaten, die eine Vielzahl von Videorahmen (215) umfassen, durch eine Vorrichtung (132); Verarbeiten der Vielzahl von Videorahmen (215) durch die Vorrichtung (132), um die jeweilige Bewegung zu bestimmen, die mit jedem Videorahmen der Vielzahl von Videorahmen verbunden ist, Auswählen eines oder mehrerer verarbeiteter Videorahmen (225) aus der Vielzahl von verarbeiteten Videorahmen, die einer Zeitdauer entsprechen, durch die Vorrichtung (132); Erzeugen eines zusammengesetzten Videorahmens (235) durch die Vorrichtung (132), der eine Bewegung anzeigt, die mit dem einen oder den mehreren verarbeiteten Videorahmen (225) verbunden ist, Erzeugen einer Videorahmenmaske (255) durch die Vorrichtung (132) beruhend auf dem zusammengesetzten Videorahmen (235); Erhalten von zusätzlichen Videodaten, die mindestens einen zusätzlichen Videorahmen (265) umfassen, durch die Vorrichtung (132); Veranlassen, durch die Vorrichtung (132), dass die Videorahmenmaske (255) auf den mindestens einen zusätzlichen Videorahmen (265) angewendet wird; und Veranlassen, durch die Vorrichtung (132), der Verarbeitung des mindestens einen zusätzlichen Videorahmens (265) unter Verwendung einer Objekterkennungs-Bildverarbeitungstechnik und beruhend auf dem Veranlassen, dass die Videorahmenmaske (255) auf den mindestens einen zusätzlichen Videorahmen (265) angewendet wird.
Verfahren nach Anspruch 1, wobei das Verarbeiten der Vielzahl von Videorahmen (215) zum Bestimmen der jeweiligen Bewegung, die mit jedem Videorahmen der Vielzahl von Videorahmen verbunden ist, Folgendes umfasst: Verarbeiten der Vielzahl von Videorahmen (215) unter Verwendung eines optischen Flussbildverarbeitungsverfahrens.
Verfahren nach einem der Ansprüche 1 bis 2, wobei das Erzeugen des zusammengesetzten Videorahmens (235), der eine mit dem einen oder den mehreren verarbeiteten Videorahmen (225) verbundene Bewegung anzeigt, Folgendes umfasst: Erzeugen des zusammengesetzten Videorahmens (235) durch Bestimmen einer durchschnittlichen Bewegung, die mit dem einen oder den mehreren verarbeiteten Videorahmen (225) verbunden ist.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das Erzeugen der Videorahmenmaske (255) Folgendes umfasst: Bestimmen von mindestens einem Bereich des zusammengesetzten Videorahmens, der mit einer fehlenden Bewegung verbunden ist; und Erzeugen der Videorahmenmaske (255) beruhend auf dem mindestens einen Bereich.
Verfahren nach einem der Ansprüche 1 bis 4, wobei der zusammengesetzte Videorahmen (235) mit einer Arbeitsmaschine (100) verbunden ist, wobei das Erzeugen der Videorahmenmaske (255) Folgendes umfasst: Erhalten von Informationen über die Bewegung der Arbeitsmaschine (100); und Erzeugen der Videorahmenmaske beruhend auf der Bewegung der Arbeitsmaschine (100).
Vorrichtung (132), umfassend: einen oder mehrere Speicher; und einen oder mehrere Prozessoren, die kommunikativ mit dem einen oder den mehreren Speichern gekoppelt sind, um: Videodaten zu erhalten, die eine Vielzahl von Videorahmen (215) umfassen; die Vielzahl von Videorahmen (215) zu verarbeiten, um die jeweilige Bewegung zu bestimmen, die mit jedem Videorahmen der Vielzahl von Videorahmen verbunden ist, einen oder mehrere verarbeitete Videorahmen (225) aus der Vielzahl der verarbeiteten Videorahmen, die einer Zeitdauer entsprechen, auszuwählen; einen zusammengesetzten Videorahmen (235) zu erzeugen, der die mit dem einen oder den mehreren verarbeiteten Videorahmen (225) verbundene Bewegung anzeigt; mindestens einen Bereich des zusammengesetzten Videorahmens zu bestimmen, der mit mindestens einer Komponente (106, 108, 112) einer Arbeitsmaschine (100) verbunden ist; eine Videorahmenmaske (255) beruhend auf dem zusammengesetzten Videorahmen (235) und dem mindestens einen Bereich des zusammengesetzten Videorahmens (235) zu erzeugen; zusätzliche Videodaten erhalten, die mindestens einen zusätzlichen Videorahmen (265) umfassen; zu veranlassen, dass die Videorahmenmaske (255) auf den mindestens einen zusätzlichen Videorahmen (265) angewendet wird; und zu veranlassen, dass der mindestens eine zusätzliche Videorahmen (265) unter Verwendung einer Objekterkennungs-Bildverarbeitungstechnik und beruhend auf dem Veranlassen, dass die Videorahmenmaske (255) auf den mindestens einen zusätzlichen Videorahmen (265) angewendet wird, verarbeitet wird.
Vorrichtung (132) nach Anspruch 6, wobei der eine oder die mehreren Prozessoren, wenn sie veranlassen, dass die Videorahmenmaske (255) auf den mindestens einen zusätzlichen Videorahmen (265) angewendet wird, dazu dienen: zu veranlassen, dass für jedes Pixel einer Vielzahl von Pixeln, die in dem mindestens einen zusätzlichen Videorahmen (265) umfasst sind, ein dem Pixel zugeordneter Parameter einen bestimmten Wert hat.
Vorrichtung (132) nach einem der Ansprüche 6 bis 7, wobei der eine oder die mehreren Prozessoren, wenn sie den mindestens einen Bereich des zusammengesetzten Videorahmens (235) bestimmen, dazu dienen: Informationen über die Bewegung der mindestens einen Komponente (106, 108, 112) der Arbeitsmaschine (100) zu erhalten; und den mindestens einen Bereich des zusammengesetzten Videorahmens (235) beruhend auf den Informationen über die Bewegung der mindestens einen Komponente (106, 108, 112) zu bestimmen.
Vorrichtung (132) nach einem der Ansprüche 6 bis 8, wobei der eine oder die mehreren Prozessoren, wenn sie den mindestens einen Bereich des zusammengesetzten Videorahmens (235) bestimmen, dazu dienen: eine oder mehrere Steueranweisungen hinsichtlich der Bewegung eines Arbeitsgeräts (108) oder der Arbeitsmaschine (100) zu erhalten; beruhend auf der einen oder den mehreren Steueranweisungen ein Ausmaß und eine Richtung der mit dem Arbeitsgerät (108) verbundenen Bewegung zu bestimmen; und den mindestens einen Bereich des zusammengesetzten Videorahmens (235) zu bestimmen, der dem Ausmaß und der Richtung der mit dem Arbeitsgerät (108) verbundenen Bewegung entspricht.
Vorrichtung (132) nach einem der Ansprüche 6 bis 9, wobei der eine oder die mehreren Prozessoren, wenn sie veranlassen, dass der mindestens eine zusätzliche Videorahmen (265) unter Verwendung der Objekterkennungs-Bildverarbeitungstechnik verarbeitet wird, dazu dienen: den mindestens einen zusätzlichen Videorahmen (265) unter Verwendung der Objekterkennungs-Bildverarbeitungstechnik zu verarbeiten, um ein Objekt zu erkennen; zu bestimmen, ob sich das Objekt in einer Bewegungsbahn der Arbeitsmaschine (100) oder des Arbeitsgeräts (108) befindet; und beruhend auf der Bestimmung, dass sich das Objekt in der Bewegungsbahn der Arbeitsmaschine (100) oder des Arbeitsgeräts (108) befindet, die Anzeige einer Warnung auf einem Display der Arbeitsmaschine (100) zu veranlassen.