DE102018123216A1 - Arbeitsgerät-Sichtsystem - Google Patents

Arbeitsgerät-Sichtsystem Download PDF

Info

Publication number
DE102018123216A1
DE102018123216A1 DE102018123216.0A DE102018123216A DE102018123216A1 DE 102018123216 A1 DE102018123216 A1 DE 102018123216A1 DE 102018123216 A DE102018123216 A DE 102018123216A DE 102018123216 A1 DE102018123216 A1 DE 102018123216A1
Authority
DE
Germany
Prior art keywords
implement
control unit
work
electronic control
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018123216.0A
Other languages
English (en)
Inventor
Joe E. Forcash
Michael Hoffelder
Robert C. McCall
Lawrence A. Mianzo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar Inc
Original Assignee
Caterpillar Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar Inc filed Critical Caterpillar Inc
Publication of DE102018123216A1 publication Critical patent/DE102018123216A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00Indexing codes relating to the type of vehicle
    • B60W2300/17Construction vehicles, e.g. graders, excavators
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/34Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with bucket-arms, i.e. a pair of arms, e.g. manufacturing processes, form, geometry, material of bucket-arms directly pivoted on the frames of tractors or self-propelled machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • General Factory Administration (AREA)
  • Manipulator (AREA)

Abstract

Ein Arbeitsgerät-Sichtsystem (200) umfasst einen Sensor (110) und eine mit dem Sensor (110) gekoppelte elektronische Steuereinheit (126), wobei die elektronische Steuereinheit (126) so konfiguriert ist, dass sie die Position des Arbeitsgeräts (104) in einem ersten Zeitintervall erfasst (600), die Position des Arbeitsgeräts (104) in einem zweiten Zeitintervall erfasst (602) und anhand eines Teils der erfassten Daten des im zweiten Zeitintervall aufgenommenen Arbeitsgeräts (104) ein Vergrößern und Zentrieren durchführt, wenn sich die Position des Arbeitsgeräts bezüglich des Sensors zwischen dem ersten Zeitintervall und dem zweiten Zeitintervall geändert hat (604).

Description

  • Technisches Gebiet
  • Die vorliegende Offenbarung betrifft Maschinen, wie etwa Erdbau-, Bergbau-, Baumaschinen und dergleichen, die Arbeitsgeräte verwenden, um Gegenstände zu bewegen oder mit Material zu hantieren. Im engeren Sinne betrifft die vorliegende Offenbarung solche Maschinen, die ein Arbeitsgerät-Sichtsystem verwenden, das es dem Bediener einer solchen Maschine ermöglicht, das Arbeitsgerät ungehindert und im Zentrum eines Einzelbildes von einer Kamera oder einem anderen Sensor zu sehen, während sich das Arbeitsgerät bewegt.
  • Hintergrund
  • Im Erdbau, Baugewerbe, Bergbau und ähnlichen Gewerben werden routinemäßig Maschinen eingesetzt. Diese Maschinen werden für unterschiedliche Zwecke benutzt, und deshalb verwenden sie viele verschiedene Arbeitsgeräte. Ein Radlader, beispielsweise, kann für Erdbewegungen eine Ladeschaufel und zur Aufnahme von Paletten eine Gabel verwenden. In einigen Fällen kann sich das Arbeitsgerät während des Einsatzes an einer Position befinden, an der die Sicht, die ein Maschinenführer bzw. Bediener von der Kabine aus auf das Arbeitsgerät hat, versperrt ist. Dies kann den Umgang mit dem Arbeitsgerät erschweren.
  • Um dieses Problem zu beheben, können Sensoren wie etwa Kameras und dergleichen eingesetzt werden, die aus einer anderen Perspektive eine Sicht ermöglichen, die ungehindert ist. Die Kamera kann ein Bild an die Kabine der Maschine senden, das vom Bediener beobachtet werden kann, während das Arbeitsgerät bewegt wird. Dies kann dem Bediener helfen, das Arbeitsgerät effektiver einzusetzen.
  • Solche Kameras oder andere Sensoren sind jedoch in der Regel bezüglich des Arbeitsgeräts an einer Position fixiert. Während sich das Arbeitsgerät bewegt, ändert sich zwangsläufig die von der Kamera aufgenommene Ansicht des Arbeitsgeräts. Dies kann dazu führen, dass das Arbeitsgerät einen Rand der von der Kamera aufgenommenen Ansicht erreicht. Unter diesen Umständen kann es wünschenswert sein, das Arbeitsgerät zu vergrößern; doch dies kann das Problem nicht vollständig lösen, denn das Vergrößern der Ansicht bedeutet normalerweise, dass das Zentrum der Ansicht größer wird, und wenn sich das Arbeitsgerät nicht in der Nähe der Mitte der Ansicht befindet, wird das Arbeitsgerät allmählich außer Sicht geraten, sodass die Kamera oder ein anderer Sensor den Bediener nicht dabei unterstützen kann, die Bewegung des Arbeitsgeräts zu überwachen.
  • Von daher ist es wünschenswert, ein Arbeitsgerät-Sichtsystem zu entwickeln, das die Bewegung eines Arbeitsgeräts derart kompensiert, dass der Bediener die Bewegung des Arbeitsgeräts nach wie vor zufriedenstellend sehen oder anderweitig überwachen kann.
  • Kurzdarstellung der Offenbarung
  • Ein Verfahren zur Überwachung der Bewegung eines Arbeitsgeräts einer Maschine unter Verwendung einer Arbeitsgerätesicht gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst ein Erfassen von Daten, die mit dem Bild eines Arbeitsgeräts in Zusammenhang stehen, ein Auswählen einer Vorlage eines Bildes eines Arbeitsgeräts und ein Anzeigen des erfassten Bildes des Arbeitsgeräts nach einem Modifizieren des erfassten Bildes des Arbeitsgeräts durch mindestens Vergrößern anhand eines Teils der erfassten Daten des Bildes, wenn die erfassten Daten des Bildes eines Arbeitsgeräts mit der Vorlage eines Bildes eines Arbeitsgeräts übereinstimmen.
  • Ein Arbeitsgerät-Sichtsystem zur Überwachung der Bewegung eines Arbeitsgeräts gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst einen Sensor und eine mit dem Sensor gekoppelte elektronische Steuereinheit, wobei die elektronische Steuereinheit so konfiguriert ist, dass sie die Position des Arbeitsgeräts in einem ersten Zeitintervall erfasst, die Position des Arbeitsgeräts in einem zweiten Zeitintervall erfasst und anhand eines Teils der erfassten Daten des im zweiten Zeitintervall aufgenommenen Arbeitsgeräts ein Vergrößern und Zentrieren durchführt, wenn sich die Position des Arbeitsgeräts bezüglich des Sensors zwischen dem ersten Zeitintervall und dem zweiten Zeitintervall geändert hat.
  • Eine elektronische Steuereinheit einer Maschine gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst einen Speicher mit ausführbaren Anweisungen zur Erkennung eines Arbeitsgeräts und einen Prozessor, der mit dem Speicher gekoppelt und so konfiguriert ist, dass er die ausführbaren Anweisungen ausführt, wobei die ausführbaren Anweisungen, wenn sie vom Prozessor ausgeführt werden, den Prozessor dazu veranlassen, Daten hinsichtlich eines an der Maschine angebrachten Arbeitsgeräts zu erfassen, die erfassten Daten mit einer Datenvorlage des Arbeitsgeräts zu vergleichen und, wenn mindestens ein Teil der erfassten Daten mit der Datenvorlage des Arbeitsgeräts übereinstimmt, die erfassten Daten zu modifizieren, indem anhand eines Teils der erfassten Daten mindestens ein Vergrößern erfolgt.
  • Figurenliste
  • Die beigefügte Zeichnung, die in die Darstellung aufgenommen ist und einen Bestandteil davon bildet, veranschaulicht mehrere Ausführungsformen der Offenbarung und dient zusammen mit der Beschreibung zur Erläuterung der Grundsätze der Offenbarung. In der Zeichnung
    • - ist 1 eine perspektivische Ansicht einer Maschine, die ein Arbeitsgerät-Sichtsystem mit einer Kamera nutzt, die gemäß einer Ausführungsform der vorliegenden Offenbarung ein weites Sehfeld aufweist.
    • - ist 2 ein Einzelbild aus Sicht der Kamera von 1, welches das Arbeitsgerät in Form einer Gabelhubvorrichtung beim Bewegen einer Palette zeigt. Die Bewegung der Gabelhubvorrichtung bringt die Gabelhubvorrichtung langsam aus dem Zentrum der Kamerasicht. Auch ein Vergrößern in der Mitte des Einzelbildes bringt die Gabelhubvorrichtung näher und näher an den Rand des Einzelbildes, wie in 2 gezeigt.
    • - ist 3 ein Einzelbild aus Sicht der Kamera von 1, das dem Einzelbild von 2 ähnlich ist, nur dass die Ansicht so eingestellt worden ist, dass sich die Gabelhubvorrichtung im Zentrum der von der Kamera aufgenommenen Ansicht befindet.
    • - ist 4 ein Einzelbild aus Sicht der Kamera von 1, wobei das Sichtsystem einen Algorithmus anwendet, der das Arbeitsgerät (wie etwa Gabeln) und den Schnellwechsler identifiziert und einen Rahmen um dieses Bild zeichnet.
    • - ist 5 ein Einzelbild aus der Sicht der Kamera von 1 ähnlich dem Einzelbild von 4, nur dass der Rest des Bildes von 4, der sich außerhalb des Rahmens befand, entfernt oder abgeschnitten worden ist. Das resultierende Einzelbild von 5 ist leicht verzerrt.
    • - enthält 6 ein schematisches Blockdiagramm des Arbeitsgerät-Sichtsystems der Maschine von 1 gemäß einer Ausführungsform der vorliegenden Offenbarung.
    • - sind 7 und 8 Ablaufpläne, die einen Startalgorithmus zum Laden von Vorlagenbildern und einen Hauptalgorithmus zum Zentrieren, Zuschneiden und Entzerren der von der Kamera aufgenommenen Ansicht der Umgebung des Arbeitsgeräts darstellen.
    • - enthält 9 ein schematisches Blockdiagramm, das veranschaulicht, wie die elektronische Steuereinheit des Arbeitsgerät-Sichtsystems von 6 konfiguriert werden kann.
    • - enthält 10 ein schematisches Blockdiagramm, das darstellt, wie ein Prozessor einen Satz ausführbarer Anweisungen ausführt, der von dem Arbeitsgerät-Sichtsystem von 6 verwendet werden kann.
  • Ausführliche Beschreibung
  • Es wird nun ausführlich auf Ausführungsformen der Offenbarung eingegangen, wofür Beispiele in der beigefügten Zeichnung veranschaulicht sind. Soweit möglich werden zur Bezeichnung gleicher oder ähnlicher Teile überall in der Zeichnung gleiche Bezugszeichen verwendet. In einigen Fällen wird in dieser Beschreibung eine Bezugszahl angegeben, während die Zeichnung die Bezugszahl, gefolgt von einem Buchstaben, beispielsweise 100a, 100b oder einem Hochstrich, beispielsweise 100', 100" usw., zeigt. Es versteht sich jedoch, dass die Verwendung von Buchstaben oder Hochstrichen unmittelbar nach einer Bezugszahl angibt, dass diese Teile in ähnlicher Weise ausgebildet sind und eine ähnliche Funktion haben, wie dies oftmals bei einer Spiegelung der Geometrie an einer Symmetrieebene der Fall ist. Um die Erläuterung in dieser Beschreibung einfach zu halten, sind hier Buchstaben oder Hochstriche häufig weggelassen, können jedoch in der Zeichnung dargestellt sein, um ein wiederholtes Auftreten von im Rahmen dieser Beschreibung erörterten Merkmalen bzw. Teilen anzugeben, die eine ähnliche oder gleiche Funktion oder Geometrie haben.
  • Ein Verfahren zur Bereitstellung eines Arbeitsgerät-Sichtsystems, das Arbeitsgerät-Sichtsystem an sich und eine elektronische Steuereinheit, die dafür konfiguriert ist, das Verfahren zu implementieren oder mit dem Arbeitsgerät-Sichtsystem verwendet zu werden, können in verschiedenen Ausführungsformen bereitgestellt werden und werden nun beschrieben.
  • 1 veranschaulicht ein Arbeitsgerät-Sichtsystem 200, das an einer Ausrüstung 100 verwendet wird, gemäß einer Ausführungsform der vorliegenden Offenbarung. Die Ausrüstung 100 umfasst eine Maschine 102 und ein Arbeitsgerät 104 in einer beispielhaften Arbeitsumgebung. Es versteht sich, dass das Arbeitsgerät-Sichtsystem 200 mehrere Maschinen und mehrere Arbeitsgeräte umfassen kann und die Maschine 102 und das Arbeitsgerät 104 in 1 lediglich als Beispiel dienen und nicht als einschränkend aufzufassen sind. Überdies kann das Arbeitsgerät-Sichtsystem 200 zusätzliche Komponenten umfassen, darunter, jedoch nicht beschränkt auf, eine Basisstation in Kommunikation mit der Maschine 102, ein Satellitensystem in Kommunikation mit der Maschine 102, ein unbemanntes Fluggerät in Kommunikation mit der Maschine 102 und dergleichen, um die Erkennung und Überwachung der Bewegung des Arbeitsgeräts 104 bezüglich der Maschine 102 zu unterstützen.
  • Die Maschine 102 kann eine bewegliche Maschine oder eine stationäre Maschine mit beweglichen Teilen sein. Insofern kann der Ausdruck „beweglich“ auf eine Bewegung der Maschine 102 oder eines Teils davon entlang der Achsen eines kartesischen Koordinatensystems und/oder entlang von Winkel-, Zylinder- oder Spiralkoordinaten und/oder Kombinationen davon verweisen. Eine solche Bewegung der Maschine 102 kann kontinuierlich oder zu bestimmten Zeitpunkten erfolgen. Beispielsweise kann die Maschine 102 und/oder ein Teil der Maschine 102 eine Linearbewegung, eine Winkelbewegung oder dies beides ausführen. Solche Linear- und Winkelbewegungen können u. a. Beschleunigung, Drehung um eine Achse oder dies beides sein. Nur als Beispiele und nicht als Einschränkung: Die Maschine 102 kann ein Bagger, ein Deckenfertiger, ein Bulldozer, ein Kompaktlader (SSL), ein für unterschiedliche Gelände tauglicher Lader (MTL), ein Kompakt-Raupenlader (CTL), ein Kompakt-Radlader (CWL), eine Erntemaschine; eine Mähmaschine, ein Bohrer, ein Hammerkopf, ein Schiff, ein Boot, eine Lokomotive, ein Automobil, eine Zugmaschine oder eine andere Maschine sein, an der sich das Arbeitsgerät 104 anbringen lässt.
  • In dem in 1 gezeigten Beispiel ist die Maschine 102 ein großer Radlader und umfasst ein Maschinenbauteil 108, einen Sensor 110, eine Bedienerkabine 112, ein Fahrgestell 114, Reifen 116 und eine Haube 118. Das Maschinenbauteil 108 lässt sich an das Arbeitsgerät 104 anschließen, nämlich an einer Anschlusskupplung 106 des Arbeitsgeräts 104. Die Bedienerkabine 112 enthält, neben anderen Komponenten, ein Lenksystem 124 zum Steuern der Maschine 102 in verschiedene Raumrichtungen und eine Ausgabevorrichtung 140. Die Bedienerkabine 112 kann derart bemessen sein, dass sie für einen menschlichen Bediener geeignet ist. Alternativ kann die Maschine 102 von einer Basisstation aus ferngesteuert werden, wobei in diesem Fall die Bedienerkabine 112 kleiner sein kann. Das Lenksystem 124 kann ein Lenkrad oder ein Joystick oder ein anderer Steuermechanismus sein, um eine Bewegung der Maschine 102 oder von Teilen der Maschine zu steuern. Ferner kann die Bedienerkabine 112 mit Hebeln, Knöpfen, Drehreglern, Anzeigen, Alarmvorrichtungen usw. ausgestattet sein, um die Bedienung der Maschine 102 zu erleichtern.
  • Unter der Haube 118 ist die Maschine 102 mit einer elektronischen Steuereinheit 126 und einem Maschinensteuerungssystem 130 ausgestattet. Die Maschine 102 kann weitere Komponenten (z. B. als Teil des Fahrgestells 114) umfassen, wie etwa Getriebesysteme, Kraftmaschine(n), Motoren, Stromversorgungssystem(e), Hydrauliksystem(e), Aufhängungssysteme, Kühlsysteme, Kraftstoffsysteme, Abgasanlagen, Bodeneingriffselemente, Verankerungssysteme, Antriebssysteme, Kommunikationssysteme einschließlich Antennen, Satellitennavigationssysteme (GPS) und dergleichen (nicht abgebildet), die mit dem Maschinensteuerungssystem 130 gekoppelt sind.
  • Nur als Beispiele und nicht als Einschränkung: Das Maschinenbauteil 108 kann ein Baggerarm mit Hydraulikzylindern und mechanischen Gestängen sein, obwohl zum Anbringen des Arbeitsgeräts 104 an der Maschine 102 andere Arten von Mechanikbauteilen benutzt werden können. Die mechanischen Gestänge können Befestigungsbauteile aufweisen, die mit der Anschlusskupplung 106 kompatibel sind. Das Maschinenbauteil 108 kann ausfahrbar, ausziehbar, zusammenziehbar, drehbar, radial oder axial verschiebbar oder anderweitig durch die Maschine 102 verfahrbar sein, um das Arbeitsgerät 104 anzukuppeln. Beispielsweise können Höhe und Neigung des Maschinenbauteils 108 verstellbar sein, um das Anschließen an die Anschlusskupplung 106 zu erleichtern. Nach dem Anbringen an das Arbeitsgerät 104 kann das Maschinenbauteil 108 so eingerichtet werden, dass es von der Maschine 102 die erforderliche Leistung erhält, um unter Verwendung des Arbeitsgeräts 104 auf der beispielhaften Baustelle verschiedene Arbeiten (z. B. Erdarbeiten) auszuführen.
  • Bei einer Ausführungsform dieser Offenbarung kann der Sensor 110 eine Kamera sein, die auf, in oder über der Bedienerkabine 112 positioniert ist (nicht in 1 gezeigt). Alternativ kann der Sensor 110 eine Kamera sein, die am Maschinenteil 108 positioniert ist, z. B. an einem Gelenk 120 in der Nähe des hinteren Endes des Maschinenbauteils 108, wie in 1 gezeigt (auch in der Nähe der Mittelebene der Maschine in einer Richtung senkrecht zur Ansicht von 1 positioniert), obwohl der Sensor 110 an anderen Stellen an der Maschine 102 positioniert sein kann. Nur als Beispiele und nicht als Einschränkung: Der Sensor 110 kann eine monokulare Kamera, eine Stereokamera, eine Infrarotkamera, eine regelmäßige Anordnung von einem oder mehreren Kameratypen, ein optoakustischer Sensor, ein Radar, ein lasergestützter Bildgebungssensor o. Ä. oder Kombinationen davon sein, wobei er dafür eingerichtet ist, das Erkennen, Erfassen, Verfolgen und Installieren des Arbeitsgeräts 104 zu unterstützen. Bei der in 1 gezeigten Ausführungsform wird eine Kamera mit weitem Sehfeld 502 benutzt, die ein Signal sendet, sodass an der Ausgabevorrichtung 132 ein Bild angezeigt wird.
  • Das Arbeitsgerät 104 lässt sich mittels der Anschlusskupplung 106 an der Maschine 102, beispielsweise an einem Gestänge an einem Endabschnitt des Maschinenbauteils 108, anbringen. Nur als Beispiele und nicht als Einschränkung: Das Arbeitsgerät 104 kann eine Ladeschaufel zum Bewegen von Erde (wie in 1 gezeigt), eine Gabel zum Heben von Paletten (wie in 2 bis 5 gezeigt), ein Erntevorsatz, ein Bohrkopf, ein Hammerkopf, ein Verdichtungskopf oder irgendein anderer Typ von Anbaugerät sein, der an der Maschine 102 anbringbar ist. Diesbezüglich kann die Maschine 102 dafür eingerichtet sein, dass sie nicht nur an einem Typ von Arbeitsgerät 104 anbringbar ist, sondern auch an anderen Typen von Arbeitsgeräten 104 sowie an mehreren Arbeitsgeräten gleichzeitig.
  • Weiterhin zu 1: In Abhängigkeit vom Typ des Arbeitsgeräts 104, das benutzt wird, kann die Maschine 102 so eingerichtet werden, dass sie in einem für den Typ des Arbeitsgeräts 104 spezifischen Ausgabemodus arbeitet. Ein Ausgabemodus der Maschine 102 wird durch entsprechende elektrische und mechanische Parameter für den Betrieb des Arbeitsgeräts 104 beim Anbringen an das Maschinenteil 108 festgelegt. Beispielsweise unterscheidet sich ein Ausgabemodus für eine Ladeschaufel von einem Ausgabemodus für eine Gabel im Hinblick auf die an das Arbeitsgerät 104 abgegebene Leistung. Wenn von einem Bediener händisch ein falscher Ausgabemodus ausgewählt worden ist oder wenn kein Ausgabemodus ausgewählt ist, wenn das Arbeitsgerät 104 am Maschinenbauteil 108 angebracht ist, kann die Maschine 102 die Arbeiten, für die sie eingesetzt wurde, möglicherweise nicht ordnungsgemäß ausführen oder nicht ausführen.
  • Des Weiteren, in Abhängigkeit vom Typ des Arbeitsgeräts 104 kann es sich bei der Anschlusskupplung 106 um einen Befestigungsbolzen, eine Verriegelung, einen Haken, ein Kugelgelenk oder andere Arten von Befestigungsbauteilen, die ein Koppeln des Arbeitsgeräts 104 mit dem Maschinenteil 108 der Maschine 102 ermöglichen, handeln. Unter einem Aspekt kann das Arbeitsgerät 104 stationär sein. Unter einem anderen Aspekt kann das Arbeitsgerät 104 zur Maschine 102 hin beweglich oder verfahrbar sein. Beispielsweise kann eine andere Maschine (nicht gezeigt) verwendet werden, um das Arbeitsgerät 104 auf eine Bewegung der Maschine 102 und/oder des Maschinenbauteils 108 abzustimmen. Wie im Folgenden näher erläutert wird, kann unter Verwendung einer Eingabevorrichtung, wie etwa den schon beschriebenen Bedienelementen oder einer Mensch-Maschine-Schnittstelle (MMS) oder einer grafischen Benutzeroberfläche (GBO), auch der Typ des verwendeten Arbeitsgeräts ausgewählt werden, wodurch bei dem Arbeitsgerät-Sichtsystem verändert wird, wohin oder wie es „blicken“ soll, während die Bewegung des Arbeitsgeräts bezüglich der Maschine überwacht wird.
  • Bei einigen Ausführungsformen der vorliegenden Offenbarung kann das Maschinensteuerungssystem 130 verschiedene hydraulische Antriebssysteme und Stromversorgungssysteme umfassen, die von der elektronischen Steuereinheit 126 basierend auf von der elektronischen Steuereinheit 126 an das Maschinensteuerungssystem 130 ausgegebenen Signalen gesteuert werden. Das Maschinensteuerungssystem 130 kann das Lenksystem 124, das dafür eingerichtet ist, eine Bewegung der Maschine 102 und/oder des Maschinenbauteils 108 zu lenken, umfassen oder damit gekoppelt sein. Unter einem anderen Aspekt kann sich das Maschinensteuerungssystem 130 oder ein Teil davon fern von der Maschine 102 befinden, z. B. in einer von der Maschine 102 räumlich getrennten Basisstation. In diesem Szenario kann das Maschinensteuerungssystem 130 eine direkte oder indirekte Kommunikationsverbindung mit der elektronischen Steuereinheit 126 haben, um die Maschine 102 beim Installieren des Arbeitsgeräts 104 zu steuern. Bei anderen Ausführungsformen kann auf verschiedene Wirkverbindungen zwischen dem Maschinensteuerungssystem und dem Lenksystem verzichtet werden.
  • Nun zu 2: Da das Arbeitsgerät 104 in Form einer Gabelhubvorrichtung 104' eine Palette 134 bewegt, ändert sich die Position der Gabelhubvorrichtung 104' bezüglich der Maschine 102 und der Kamera. Wie zu sehen ist, befindet sich die Gabelhubvorrichtung 104' nun fast außerhalb des Rahmens des Bildes, das die Kamera an die Ausgabevorrichtung in der Kabine der Maschine oder fern davon einem Bediener in einer Basis liefert. Dies nutzt dem Bediener wenig, da die Objekte durch das Arbeitsgerät 104 bewegt werden und es schwer zu erkennen ist, wie gut das Arbeitsgerät verwendet wird. Wie in 3 veranschaulicht, kann das Arbeitsgerät-Sichtsystem 200 die Bewegung der Gabelhubvorrichtung 104' kompensieren, indem es einen Algorithmus verwendet, der die Position der Gabelhubvorrichtung 104' oder eines anderen Arbeitsgeräts verfolgt und das Arbeitsgerät in dem Rahmen der von der Kamera aufgenommenen Ansicht zentriert hält, unabhängig davon, wo sich die Gabelhubvorrichtung 104' oder ein anderes Arbeitsgerät 104 bezüglich der Kamera befindet.
  • Anhand von 4 und 5 lässt sich besser verstehen, wie bei einer Ausführungsform des Arbeitsgerät-Sichtsystems 200 der vorliegenden Offenbarung ein Verfolgen der Bewegung eines Arbeitsgeräts 104 erfolgt, wobei es vergrößert bzw. gezoomt und in der von der Kamera oder einem anderen Sensor aufgenommenen Ansicht zentriert bleibt. Der Algorithmus bestimmt einen rechtwinkligen Rand 201 oder eine andere Art von Rand um das Arbeitsgerät 104 herum, indem er eine geeignete Arbeitsgerätvorlage o. Ä. mit dem tatsächlich verwendeten Arbeitsgerät abgleicht. Dann wird der übrige Teil 203 des Bildes außerhalb des Randes 201 abgeschnitten, und das Bild wird vergrößert, sodass sich das in 5 gezeigte Bild ergibt. Zu diesem Zeitpunkt kann das Bild verzerrt sein. Daher beseitigt der Algorithmus bei einigen Ausführungsformen die Verzerrung, so dass dem Bediener via die Ausgabevorrichtung ein klareres Bild angezeigt wird.
  • Mit Bezug auf 6: Es ist ein schematisches Blockdiagramm des Arbeitsgerät-Sichtsystems 200 mit der Maschine 102, die die elektronische Steuereinheit 126 umfasst, gemäß einer Ausführungsform der vorliegenden Offenbarung dargestellt. Die elektronische Steuereinheit 126 ist mit dem Sensor 110, dem Maschinensteuerungssystem 130, der Ausgabevorrichtung 140 und dem Lenksystem 124 sowie weiteren Komponenten der Maschine 102 (nicht gezeigt) gekoppelt.
  • In manchen Fällen weist der Sensor 110 ein Sehfeld 502 auf, in welches das Arbeitsgerät 104 und/oder die Anschlusskupplung 106 fallen. Während der Bewegung des Arbeitsgeräts 104 und/oder der Anschlusskupplung 106 kann, wie erörtert, die Sicht auf das Arbeitsgerät 104 und/oder die Anschlusskupplung 106 suboptimal sein (z. B. in Randnähe der Ansicht oder zu weit weg, um deutlich gesehen zu werden). Dies kann verhindern, dass der Sensor 110 ein vollständiges Bild von dem Arbeitsgerät 104 und/oder der Anschlusskupplung 106 gewinnt oder eine Ansicht bereitgestellt wird, die für den Bediener bei der Verwendung des Arbeitsgeräts 104 hilfreich ist. Bei herkömmlichen Systemen können solche Änderungen der Sicht auf das Arbeitsgerät die Verwendung des Arbeitsgeräts verlangsamen oder die Befestigung des Arbeitsgeräts 104 an der Maschinenkomponente 108 erschweren.
  • Um dieses Problem anzugehen, kann die elektronische Steuereinheit 126 an ihrem Eingabe-Ausgabe-Port 504 kontinuierlich ein Eingabesignal 518 vom Sensor 110 empfangen und kann das Signal 518 verarbeiten, um die vom Sensor 110 bereitgestellten Daten oder Ansichten so anzupassen, dass das Arbeitsgerät 104 und/oder die Kupplung 106 für den Bediener ausreichend klar sind.
  • Bei einigen Ausführungsformen der vorliegenden Offenbarung umfasst die elektronische Steuereinheit 126 den Eingabe-Ausgabe-Port 504, einen Prozessor 506 und den Speicher 508, die beispielsweise über einen internen Bus (nicht gezeigt) miteinander gekoppelt sind. Die elektronische Steuereinheit 126 kann zusätzliche Komponenten enthalten, die einem Durchschnittsfachmann bekannt sind; diese Komponenten sind in 6 nicht im Detail dargestellt. Beispielsweise kann die elektronische Steuereinheit 126 eine programmierbare Logikschaltung (SPS), eine Zeitgeber-/Taktgeberschaltung, Kühlkörper, optische Anzeigen (z. B. Leuchtdioden), Impedanzanpassungsschaltungen, interne Busse, Co-Prozessoren oder Überwachungsprozessoren, Batterien und Netzteile, Leistungssteller-Chips, Transceiver, Funkmodule, Satellitenkommunikationsverarbeitungsmodule und eingebettete Systeme auf verschiedenen integrierten Chips umfassen. Bei einer Ausführungsform kann die elektronische Steuereinheit 126 von einer Kraftmaschinensteuereinheit (nicht gezeigt) getrennt sein. Alternativ kann die elektronische Steuereinheit 126 mit der Kraftmaschinensteuereinheit integriert sein oder Platz und Verarbeitungsressourcen gemeinsam mit ihr nutzen.
  • Bei dem Eingabe-Ausgabe-Port 504 kann es sich um einen einzelnen Port oder eine Ansammlung von Ports handeln. Der Eingabe-Ausgabe-Port 504 ist dafür eingerichtet, unterschiedliche Eingaben und Daten von anderen Teilen der Maschine 102 zu senden und zu empfangen sowie solche Eingaben und Daten an den Prozessor 506 weiterzuleiten. Unter einem Aspekt kann es sich bei dem Eingabe-Ausgabe-Port 504 um zwei separate Ports handeln, wovon einer für den Empfang verschiedener Eingabesignale von verschiedenen Teilen der Maschine 102 (z. B. vom Sensor 110 usw.) und der andere für die Ausgabe von Signalen an die Anzeige (z. B. an die Ausgabevorrichtung 132) oder an die Steuerung der Maschine 102 (z. B. an das Maschinensteuerungssystem 130) eingerichtet ist. Alternativ können die Funktionalitäten der Eingabe und Ausgabe in einen einzigen Port integriert sein, in 6 als Eingabe-Ausgabe-Port 504 dargestellt.
  • Unter einem Aspekt ist der Prozessor 506 eine Hardwarevorrichtung wie etwa ein integrierter Schaltkreis (IC), der derart hergestellt ist, dass verschiedene Merkmale und Funktionalitäten der hier erörterten Ausführungsformen implementiert sind. Nur als Beispiel und nicht als Einschränkung: Der Prozessor 506 kann unter Verwendung einer komplementären Metall-Oxid-Halbleiter- (CMOS)-Fertigungstechnologie hergestellt sein. In einer Ausführungsform kann der Prozessor 506 als anwendungsspezifische integrierte Schaltung (ASIC), frei programmierbares Verknüpfungsfeld (FPGA), System-ona-Chip (SOC) o. Ä. implementiert sein. In einer anderen Ausführungsform kann der Prozessor 506 Komponenten wie Gehäuse, Ein- und Ausgangsanschlüsse, Kühlkörper, Signalvorverarbeitungsschaltungen, Eingabevorrichtungen, Ausgabevorrichtungen, Prozessorspeicherkomponenten, Kühlsysteme, Stromversorgungssysteme und dergleichen umfassen, die nicht in 6 gezeigt sind. In einer besonderen Ausführungsform kann der Prozessor 506 dafür konfiguriert sein, durch Abarbeiten von ausführbaren Anweisungen 510 aus dem Speicher 508 verschiedene Teile eines Verfahrens 800, in 7 und 8 veranschaulicht, auszuführen. In noch einer weiteren Ausführungsform kann der Prozessor 506 mehrere Prozessoren umfassen, die beispielsweise als Verarbeitungsarray angeordnet sind.
  • Der Speicher 508 kann als nichtflüchtiges computerlesbares Medium implementiert sein. Nur als Beispiel, der Speicher 508 kann eine Speichervorrichtung auf Halbleiterbasis sein, darunter Direktzugriffsspeicher (RAM), Nur-Lese-Speicher (ROM), dynamisches RAM, programmierbares ROM, elektrisch löschbares programmierbares ROM (EEPROM), statisches RAM, Flash-Speicher, Kombinationen davon oder andere Arten von Speichervorrichtungen, die einem Durchschnittsfachmann bekannt sind, ohne darauf beschränkt zu sein. In einer Ausführungsform ist der Speicher 508 über einen Kommunikations- und Signalbus direkt an den Prozessor 506 gekoppelt. In einer Ausführungsform kann der Speicher 508 aus einem nichtflüchtigen, computerlesbaren Speichermedium, in dem sich die ausführbaren Anweisungen 510 befinden, bestehen oder unter Verwendung eines solchen implementiert sein. Wenn die ausführbaren Anweisungen 510 vom Prozessor 506 ausgeführt werden, veranlassen sie den Prozessor 506, die Merkmale und Funktionalitäten der verschiedenen Aspekte dieser Offenbarung zu realisieren, wie etwa jene, die unter Bezugnahme auf 7 bis 10 erörtert wurden. Solche nichtflüchtigen computerlesbaren Speichermedien können Halbleiterspeicher, optische Speicher, magnetische Speicher, mono- oder bistabile Schaltungen (Flip-Flops usw.) und dergleichen oder Kombinationen davon umfassen. Ein solches nichtflüchtiges computerlesbares Speichermedium schließt Signale, die transitorisch sind, aus.
  • Die ausführbaren Anweisungen 510 können vom Prozessor 506 unter Verwendung von High-Level- oder Low-Level-Compilern und Programmiersprachen (z. B. C++) ausgeführt werden. Bei einer Ausführungsform können die ausführbaren Anweisungen 510 von einer Basisstation ferngesteuert ausgeführt werden, und die Ergebnisse einer solchen Ausführung werden dem Prozessor 506 zur Steuerung des Arbeitsgerät-Sichtsystems zur Verfügung gestellt. Diesbezüglich versteht sich, dass der konkrete Speicherort der ausführbaren Anweisungen 510 im Speicher 508 nur als Beispiel und nicht als Einschränkung dient.
  • Bei einigen Ausführungsformen enthält der Speicher 508 eine Datenbank 512 oder ist mit einer solchen gekoppelt. Die Datenbank 512 enthält Bilder mehrerer Arbeitsgeräte, darunter des Arbeitsgeräts 104. Solche Bilder werden als Bibliothek von Bilddateien und computergestützten Modellen in der Datenbank 512 gespeichert. Solche Modelle oder Vorlagenbilder können dreidimensionale und zweidimensionale Ansichten der mehreren Arbeitsgeräte, die an der Maschine 102 anbringbar sind, einschließlich des Arbeitsgeräts 104, umfassen. Auch kann jedes Bild oder Modell in der Datenbank 512 ein Bild der jeweiligen Anschlusskupplungen der Arbeitsgeräte enthalten. Beispielsweise kann ein Bild des Arbeitsgeräts 104 in der Datenbank 512 ein Bild der Anschlusskupplung 106 enthalten. Solche Bilddateien können in einem Standardformat (z. B. JPEG) vorliegen, was einem Durchschnittsfachmann bekannt ist. Die Datenbank 512 kann außerdem verschiedene numerische Parameter im Zusammenhang mit einer oder mehreren Abmessungen des Arbeitsgeräts 104 und der Anschlusskupplung 106 sowie andere Identifikationsinformationen im Zusammenhang mit dem Arbeitsgerät 104 und der Anschlusskupplung 106 enthalten.
  • Bei einer Ausführungsform kann der Prozessor 506 imstande sein, auf der Grundlage der in der Datenbank 512 gespeicherten numerischen Parameter des Arbeitsgeräts 104 und der Anschlusskupplung 106 ein Bild des Arbeitsgeräts 104 und der Anschlusskupplung 106 zu erzeugen. Solche Bilder und Informationen können ständig, d. h. vor, während und nach der Bewegung des Arbeitsgeräts 104 und/oder der Anschlusskupplung 106 im Sehfeld 502 des Sensors 110, vom Prozessor 506 abrufbar sein.
  • Es versteht sich, dass die von einer Kamera aufgenommenen dreidimensionalen und zweidimensionalen Ansichten zwei Anschauungsbeispiele für die Maschine 102 im Betrieb sind, wie sie an der Ausgabevorrichtung 132 ausgegeben werden; die Ausgabevorrichtung 132 kann jedoch kontinuierlich eine Vielzahl dreidimensionaler Szenen anhand von Einzelbildern, die vom Prozessor 506 der Ausgabevorrichtung 132 auf der Grundlage der Eingabesignale (einschließlich des Eingabesignals 518) vom Sensor 110 bereitgestellt werden, wie vom Prozessor modifiziert anzeigen. Unter einem Aspekt können die Bilder auf einer Anzeigevorrichtung eines fernen Bedieners der Maschine 102 in einer entfernten Basisstation (nicht gezeigt) als Echtzeit-Video der Arbeitsszene bereitgestellt werden, in der die Maschine 102 und das Arbeitsgerät 104 eingesetzt werden. Eine solche Einzelbild-für-Einzelbild-Darstellung der Arbeitsumgebung der Maschine 102 kann, wenn sie zur Erkennung und Überwachung der Bewegung des Arbeitsgeräts 104 verwendet wird, in einem Simulationsformat vorliegen oder kann als Simulation verwendet werden, um Bediener der Maschine 102 im Installieren des Arbeitsgeräts 104 zu schulen. Bei anderen Anwendungen kann sich die Ausgabevorrichtung 132 in der Kabine 112 der Maschine 102 befinden, wie in 1 gezeigt, wobei der Bediener sehen kann, wie sich das Arbeitsgerät 104 bewegt oder auf andere Weise einen Gegenstand, Arbeitsmaterial usw. handhabt.
  • Gewerbliche Anwendbarkeit
  • In der Praxis können ein Arbeitsgerät-Sichtsystem, eine elektronische Steuereinheit oder ein Verfahren gemäß einer hier beschriebenen, gezeigten oder erörterten Ausführungsform verkauft, gekauft, hergestellt, wiederaufgearbeitet, nachgerüstet, zusammengestellt oder auf andere Weise in einem Aftermarket- oder OEM-Kontext bezogen werden. Ebenso kann eine Maschine, die ein solches Arbeitsgerät-Sichtsystem, eine elektronische Steuereinheit oder ein Verfahren gemäß einer hier beschriebenen Ausführungsform verwendet, bereitgestellt werden, wenn die Maschine neu ist oder wenn die Maschine mit einer dieser Ausführungsformen nachgerüstet wird.
  • Zurück zu 6, während gleichzeitig 9 betrachtet wird: Ein Arbeitsgerät-Sichtsystem 200 zur Überwachung der Bewegung eines Arbeitsgeräts 104 kann wie folgt bereitgestellt werden. Das Arbeitsgerät-Sichtsystem 200 kann einen Sensor 110 und eine mit dem Sensor 110 gekoppelte elektronische Steuereinheit 126 umfassen, wobei die elektronische Steuereinheit 126 so konfiguriert wird, dass sie die Position des Arbeitsgeräts in einem ersten Zeitintervall erfasst (siehe Block 600 in 9) und die Position des Arbeitsgeräts in einem zweiten Zeitintervall erfasst (siehe Block 602) und anhand eines Teils der erfassten Daten des im zweiten Zeitintervall aufgenommenen Arbeitsgeräts ein Vergrößern und Zentrieren durchführt, wenn sich die Position des Arbeitsgeräts bezüglich des Sensors zwischen dem ersten Zeitintervall und dem zweiten Zeitintervall geändert hat (siehe Block 604).
  • Bei vielen Ausführungsformen kann überdies die elektronische Steuereinheit so konfiguriert werden, dass sie eine Datenvorlage des Arbeitsgeräts speichert (siehe Block 606). Bei solchen Ausführungsformen wird die elektronische Steuereinheit überdies so konfiguriert, dass sie die Datenvorlage des Arbeitsgeräts mit den erfassten Daten des Arbeitsgeräts abgleicht (siehe Block 608). Bei besonderen Ausführungsformen wird die elektronische Steuereinheit überdies so konfiguriert, dass sie eine Datenbank mit Datenvorlagen für verschiedene Arbeitsgeräte speichert und die erfassten Daten des Arbeitsgeräts mit einer oder mehreren Datenvorlagen vergleicht (siehe Block 610).
  • Bei vielen Ausführungsformen ist der Sensor 110 eine Kamera mit weitem Sehfeld 502 und die erfassten Daten sind Bilder des Arbeitsgeräts 104, die von der Kamera aufgenommen wurden (siehe 6).
  • Bei einigen Ausführungsformen wird die elektronische Steuereinheit überdies so konfiguriert, dass sie ein erfasstes Bild des Arbeitsgeräts zuschneidet und das zugeschnittene erfasste Bild des Arbeitsgeräts zentriert (siehe Block 612 in 9). Des Weiteren kann das Arbeitsgerät-Sichtsystem 200 eine Ausgabevorrichtung 132 umfassen, die mit der elektronischen Steuereinheit 126 kommuniziert (siehe 6), und die elektronische Steuereinheit 126 kann ferner so konfiguriert werden, dass sie ein Signal an die Ausgabevorrichtung 132 sendet, die ein Bild des Arbeitsgeräts 104 anzeigt.
  • Bei vielen Ausführungsformen wird die elektronische Steuereinheit überdies so konfiguriert, dass sie unabhängig von der Position des Arbeitsgeräts bezüglich der Kamera fortlaufend ein aktualisiertes Bild des Arbeitsgeräts ausgibt (siehe Block 614 in 9).
  • Das Arbeitsgerät-Sichtsystem 200 kann in einigen Ausführungsformen ferner eine Eingabevorrichtung 136 umfassen, die mit der elektronischen Steuereinheit 126 kommuniziert, und die Eingabevorrichtung kann so konfiguriert werden, dass sie ein Signal an die elektronische Steuereinheit sendet, um die Funktionsweise des Arbeitsgerät-Sichtsystems 200 zu beeinflussen.
  • Bei bestimmten Ausführungsformen, wie bei Betrachtung von 6 und 10 verstanden wird, kann eine elektronische Steuereinheit 126 einer Maschine einen Speicher 508 mit ausführbaren Anweisungen 510 zur Erkennung eines Arbeitsgeräts 104 und einen Prozessor 506, der mit dem Speicher 508 gekoppelt und so konfiguriert ist, dass er die ausführbaren Anweisungen 510 ausführt, umfassen, und die ausführbaren Anweisungen 510 können, wenn sie vom Prozessor 506 ausgeführt werden, den Prozessor 506 dazu veranlassen: Daten hinsichtlich eines an der Maschine angebrachten Arbeitsgeräts zu erfassen, die erfassten Daten mit einer Datenvorlage des Arbeitsgeräts zu vergleichen und, wenn mindestens ein Teil der erfassten Daten mit der Datenvorlage des Arbeitsgeräts übereinstimmt, die erfassten Daten zu modifizieren, indem anhand eines Teils der erfassten Daten mindestens ein Vergrößern erfolgt (siehe Block 700 in 10). In vielen Fällen handelt es sich bei den erfassten Daten um ein Bild des Arbeitsgeräts, das von einer Kamera aufgenommen wurde, die Datenvorlage ist eine Bildvorlage des Arbeitsgeräts und das Modifizieren der erfassten Daten umfasst ein Vergrößern und Zentrieren anhand des Teils des Bildes des Arbeitsgeräts, der mit der Bildvorlage des Arbeitsgeräts übereinstimmt, und ein Zuschneiden des restlichen Bildes des Arbeitsgeräts, das von der Kamera aufgenommen wurde (siehe Block 702).
  • Mit dem Schwergewicht auf 7 und 8 kann nun das Verfahren 800 für ein Arbeitsgerät-Sichtsystem zur Überwachung der Bewegung eines Arbeitsgeräts einer Maschine gemäß einer Ausführungsform der vorliegenden Offenbarung wie folgt beschrieben werden. Das Verfahren 800 kann ein Erfassen von Daten, die mit dem Bild eines Arbeitsgeräts in Zusammenhang stehen (Schritt 802), ein Auswählen einer Vorlage eines Bildes eines Arbeitsgeräts (Schritt 804), und, wenn die erfassten Daten des Bildes eines Arbeitsgeräts mit der Vorlage eines Bildes eines Arbeitsgeräts übereinstimmen, ein Anzeigen des erfassten Bildes des Arbeitsgeräts nach einem Modifizieren des erfassten Bildes des Arbeitsgeräts (Schritt 806) umfassen.
  • Bei einigen Ausführungsformen umfasst das Modifizieren des erfassten Bildes des Arbeitsgeräts überdies ein Zuschneiden und Zentrieren des erfassten Bildes des Arbeitsgeräts, wenn das erfasste Bild des Arbeitsgeräts mit dem Vorlagenbild eines Arbeitsgeräts übereinstimmt (Schritt 808).
  • Wenn, bei anderen Ausführungsformen, die erfassten Daten des Bildes des Arbeitsgeräts nicht mit der Vorlage übereinstimmen, dann wird für einen weiteren Vergleich manuell eine neue Vorlage ausgewählt (Schritt 810). In einigen Fällen umfasst das Verfahren ferner, die Verzerrungen des erfassten Bildes des Arbeitsgeräts zu beseitigen (Schritt 812).
  • In bestimmten Ausführungsformen umfasst das Verfahren ferner ein Laden von Zuschnittparametern und Nachschlagetabellen mit Bildvorlagen in das Arbeitsgerät-Sichtsystem (Schritt 814).
  • In noch weiteren Ausführungsformen umfasst das Verfahren außerdem ein automatisches Erkennen des Arbeitsgerätetyps durch Vergleichen des erfassten Bildes mit einem geladenen gespeicherten Vorlagenbild (Schritt 816). In einigen Fällen umfasst das Verfahren überdies, die Verzerrungen des erfassten Bildes zu beseitigen, bevor das erfasste Bild mit der geladenen gespeicherten Vorlage des Arbeitsgeräts korreliert wird (Schritt 818).
  • Bei einigen Ausführungsformen ist das erfasste Bild ein unteres Bild, und es wird ein weiteres, oberes Bild in das Arbeitsgerät-Sichtsystem eingegeben (Schritt 820). In einem solchen Fall kann das Verfahren ferner ein Beseitigen von Verzerrungen und Zuschneiden des oberen Bildes und dann ein Anzeigen des oberen Bildes umfassen (Schritt 822).
  • Es versteht sich, dass die vorangehende Beschreibung Beispiele für die offenbarte Baugruppe und Technik angibt. Es wird jedoch in Erwägung gezogen, dass andere Implementierungen der Offenbarung im Detail von den vorangehenden Beispielen abweichen können. Sämtliche Bezugnahmen auf die Offenbarung oder Beispiele daraus sollen nur als Verweis auf das spezielle Beispiel, das gerade an dieser Stelle erörtert wird, dienen, wobei nicht beabsichtigt ist, dem Schutzbereich der Offenbarung im Allgemeinen Beschränkungen aufzuerlegen. Alle Sprachverwendungen zur Unterscheidung und Abgrenzung mit Bezug auf bestimmte Merkmale sind vorgesehen, um eine fehlende Präferenz für diese Merkmale anzugeben, jedoch nicht, um solche vollständig aus dem Schutzbereich der Offenbarung auszuschließen, sofern nichts anderes angegeben ist.
  • Angaben von Bereichen von Werten sollen hier lediglich als kurzschriftliches Verfahren dienen, um sich jeweils auf jeden einzelnen Wert zu beziehen, der in den Bereich fällt, sofern hier nicht anderes angegeben ist, und jeder einzelne Wert ist Bestandteil der Beschreibung, als wenn er hier einzeln aufgeführt worden wäre.
  • Für den Fachmann ist es offensichtlich, dass verschiedene Abwandlungen und Veränderungen an den Ausführungsformen der Vorrichtung und den Montageverfahren, wie hier erörtert, vorgenommen werden können, ohne vom Schutzbereich der Erfindung oder Erfindungsgedanken abzukommen. Weitere Ausführungsformen aus dieser Offenbarung werden dem Fachmann beim Bedenken der Beschreibung und bei der Umsetzung der verschiedenen hier offenbarten Ausführungsformen offensichtlich werden. Beispielsweise können Ausstattungselemente anders ausgeführt sein und funktionieren, als hier beschrieben, und bestimmte Schritte eines Verfahrens können weggelassen werden, in einer Reihenfolge ausgeführt werden, die anders ist, als hier konkret angegeben, oder in einigen Fällen gleichzeitig oder in Teilschritten ausgeführt werden. Außerdem können an bestimmten Aspekten oder Merkmalen verschiedener Ausführungsformen Veränderungen und Abwandlungen vorgenommen werden, um weitere Ausführungsformen und Merkmale zu schaffen, und Aspekte verschiedener Ausführungsformen können hinzugefügt werden oder durch andere Merkmale oder Aspekte anderer Ausführungsformen ersetzt werden, um noch weitere Ausführungsformen bereitzustellen.
  • Dementsprechend umfasst diese Offenbarung sämtliche Abwandlungen und Entsprechungen des in den beigefügten Ansprüchen genannten Sachgegenstandes, wie nach geltendem Recht möglich. Außerdem umfasst die Offenbarung jede Kombination der oben beschriebenen Elemente in all ihren möglichen Varianten, sofern hier nichts anderes angegeben ist oder klar im Widerspruch zum Kontext steht.

Claims (10)

  1. Arbeitsgerät-Sichtsystem (200) zur Überwachung der Bewegung eines Arbeitsgeräts (104), wobei das System (200) umfasst: einen Sensor (110); und eine elektronische Steuereinheit (126), die mit dem Sensor (110) gekoppelt ist, wobei die elektronische Steuereinheit (126) so konfiguriert ist, dass sie die Position des Arbeitsgeräts (104) in einem ersten Zeitintervall (600) erfasst; die Position des Arbeitsgeräts (104) in einem zweiten Zeitintervall (602) erfasst; und anhand eines Teils der erfassten Daten des im zweiten Zeitintervall aufgenommenen Arbeitsgeräts (104) ein Vergrößern und Zentrieren durchführt, wenn sich die Position des Arbeitsgeräts (104) bezüglich des Sensors zwischen dem ersten Zeitintervall und dem zweiten Zeitintervall geändert hat (604).
  2. Arbeitsgerät-Sichtsystem (200) nach Anspruch 1, wobei die elektronische Steuereinheit (126) überdies so konfiguriert ist, dass sie eine Datenvorlage des Arbeitsgeräts (606) speichert.
  3. Arbeitsgerät-Sichtsystem (200) nach Anspruch 2, wobei die elektronische Steuereinheit überdies so konfiguriert ist, dass sie die Datenvorlage des Arbeitsgeräts (104) mit den erfassten Daten des Arbeitsgeräts (608) abgleicht.
  4. Arbeitsgerät-Sichtsystem (200) nach Anspruch 3, wobei der Sensor (110) eine Kamera mit weitem Sehfeld ist und die erfassten Daten Bilder des Arbeitsgeräts (104) sind, die von der Kamera (702) aufgenommen wurden.
  5. Arbeitsgerät-Sichtsystem (200) nach Anspruch 4, wobei die elektronische Steuereinheit (126) überdies so konfiguriert ist, dass sie ein erfasstes Bild des Arbeitsgeräts (104) zuschneidet und das zugeschnittene erfasste Bild des Arbeitsgeräts (612) zentriert.
  6. Arbeitsgerät-Sichtsystem (200) nach Anspruch 5, überdies eine Ausgabevorrichtung (132) umfassend, die mit der elektronischen Steuereinheit (126) kommuniziert, wobei die elektronische Steuereinheit (126) überdies so konfiguriert ist, dass sie ein Signal an die Ausgabevorrichtung (132) sendet, die ein Bild des Arbeitsgeräts (104) anzeigt, und dass sie unabhängig von der Position des Arbeitsgeräts (104) bezüglich der Kamera (614) fortlaufend ein aktualisiertes Bild des Arbeitsgeräts ausgibt.
  7. Arbeitsgerät-Sichtsystem (200) nach Anspruch 3, wobei die elektronische Steuereinheit (126) überdies so konfiguriert ist, dass sie eine Datenbank (512) mit Datenvorlagen für verschiedene Arbeitsgeräte speichert und die erfassten Daten des Arbeitsgeräts (104) mit einer oder mehreren Datenvorlagen (610) vergleicht.
  8. Arbeitsgerät-Sichtsystem (200) nach Anspruch 1, überdies eine Eingabevorrichtung (136) umfassend, die mit der elektronischen Steuereinheit (126) kommuniziert, wobei die Eingabevorrichtung (136) so konfiguriert ist, dass sie ein Signal an die elektronische Steuereinheit (126) sendet, um die Funktionsweise des Arbeitsgerät-Sichtsystems (200) zu beeinflussen.
  9. Elektronische Steuereinheit (126) einer Maschine (102), umfassend: einen Speicher (508) mit ausführbaren Anweisungen (510) zum Erkennen eines Arbeitsgeräts (104); und einen Prozessor (506), der mit dem Speicher (508) gekoppelt und so konfiguriert ist, dass er die ausführbaren Anweisungen (510) ausführt, wobei die ausführbaren Anweisungen (510), wenn sie vom Prozessor (506) ausgeführt werden, den Prozessor (506) dazu veranlassen: Daten hinsichtlich eines an der Maschine (102) angebrachten Arbeitsgeräts (104) zu erfassen; die erfassten Daten mit einer Datenvorlage des Arbeitsgeräts (104) zu vergleichen; und, wenn mindestens ein Teil der erfassten Daten mit der Datenvorlage des Arbeitsgeräts (104) übereinstimmt, die erfassten Daten zu modifizieren, indem anhand eines Teils der erfassten Daten mindestens ein Vergrößern erfolgt (700).
  10. Elektronische Steuereinheit (126) nach Anspruch 9, wobei die erfassten Daten ein Bild des Arbeitsgeräts (104) sind, das von einer Kamera (110) aufgenommen wurde, die Datenvorlage eine Bildvorlage des Arbeitsgeräts (104) ist und das Modifizieren der erfassten Daten ein Vergrößern und Zentrieren anhand des Teils des Bildes des Arbeitsgeräts (104), der mit der Bildvorlage des Arbeitsgeräts übereinstimmt, und ein Zuschneiden des restlichen Bildes des Arbeitsgeräts, das von der Kamera aufgenommen wurde, (702) umfasst.
DE102018123216.0A 2017-09-22 2018-09-20 Arbeitsgerät-Sichtsystem Pending DE102018123216A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/712,352 2017-09-22
US15/712,352 US10519631B2 (en) 2017-09-22 2017-09-22 Work tool vision system

Publications (1)

Publication Number Publication Date
DE102018123216A1 true DE102018123216A1 (de) 2019-03-28

Family

ID=65638901

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018123216.0A Pending DE102018123216A1 (de) 2017-09-22 2018-09-20 Arbeitsgerät-Sichtsystem

Country Status (2)

Country Link
US (1) US10519631B2 (de)
DE (1) DE102018123216A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11718972B2 (en) 2020-06-03 2023-08-08 Deere & Company Image-based attachment identification and position detection

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6754594B2 (ja) * 2016-03-23 2020-09-16 株式会社小松製作所 モータグレーダ
JP7114907B2 (ja) * 2018-01-19 2022-08-09 コベルコ建機株式会社 先端アタッチメント判別装置
US11807157B2 (en) * 2020-06-30 2023-11-07 Deere & Company Method of controlling an agricultural vehicle lighting system and system thereof
JP7472746B2 (ja) * 2020-09-30 2024-04-23 コベルコ建機株式会社 作業支援装置
US20220138478A1 (en) * 2020-11-03 2022-05-05 Joy Global Surface Mining Inc Self mining machine system with automated camera control for obstacle tracking
KR20220102765A (ko) * 2021-01-14 2022-07-21 현대두산인프라코어(주) 건설기계의 제어 시스템 및 방법
US11508073B2 (en) * 2021-04-09 2022-11-22 Caterpillar Inc. Method for determining angle of tips of ripper shanks in dozer machines
US11680387B1 (en) 2022-04-21 2023-06-20 Deere & Company Work vehicle having multi-purpose camera for selective monitoring of an area of interest
US20230339402A1 (en) * 2022-04-21 2023-10-26 Deere & Company Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle
EP4361355A1 (de) * 2022-10-24 2024-05-01 Leica Geosystems Technology A/S Visuelle lokalisierung und merkmalserkennung für ein geräteverfolgungssystem einer arbeitsmaschine

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH675620A5 (de) * 1987-03-31 1990-10-15 Sika Robotics Ag
US6681043B1 (en) * 1999-08-16 2004-01-20 University Of Washington Interactive video object processing environment which visually distinguishes segmented video object
US6525746B1 (en) * 1999-08-16 2003-02-25 University Of Washington Interactive video object processing environment having zoom window
US6633309B2 (en) * 1999-08-16 2003-10-14 University Of Washington Interactive video object processing environment having concurrently active subordinate windows
EP1361190B1 (de) 2001-02-16 2010-04-14 Kabushiki Kaisha Toyoda Jidoshokki Kamerahebevorrichtung und lasthandhabungstragvorrichtung eines hubwagens und hubwagen
DE10203732A1 (de) * 2002-01-30 2003-08-21 Wirtgen Gmbh Baumaschine
JP4332028B2 (ja) 2003-12-25 2009-09-16 キャタピラージャパン株式会社 表示器制御システム
US20060098729A1 (en) * 2004-11-09 2006-05-11 Lien-Chieh Shen Smart image processing CCTV camera device and method for operating same
US9736346B2 (en) * 2006-05-09 2017-08-15 Stereo Display, Inc Imaging system improving image resolution of the system with low resolution image sensor
EP2215825A4 (de) 2007-10-30 2012-08-08 Paceco Corp Verfahren und vorrichtung zum betreiben mindestens einer kamera aus einer positionsschätzung eines containers zur schätzung seines containercodes
KR100952482B1 (ko) 2008-06-30 2010-04-13 인하대학교 산학협력단 회전식 다중 배율 렌즈를 이용한 3차원 지반형상 이미지구현 시스템 및 이를 이용한 토공량 산출방법
JP5227139B2 (ja) 2008-11-12 2013-07-03 株式会社トプコン 建設機械
US8237771B2 (en) * 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
US9139977B2 (en) 2010-01-12 2015-09-22 Topcon Positioning Systems, Inc. System and method for orienting an implement on a vehicle
US9143843B2 (en) * 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
US9477380B2 (en) * 2013-03-15 2016-10-25 Afzal Amijee Systems and methods for creating and sharing nonlinear slide-based mutlimedia presentations and visual discussions comprising complex story paths and dynamic slide objects
EP3021178B1 (de) 2014-11-14 2020-02-19 Caterpillar Inc. System mit Radarvorrichtung zur Unterstützung eines Benutzers einer Maschine mit einem Körper und einem Werkzeug
US20190049988A1 (en) * 2016-03-16 2019-02-14 Domino's Pizza Enterprises Limited Autonomous Food Delivery Vehicle
CN110226137A (zh) * 2016-11-25 2019-09-10 格罗弗治公司 借助图像跟踪进行制造
US10775796B2 (en) * 2017-01-10 2020-09-15 Cnh Industrial America Llc Aerial vehicle systems and methods
US10907326B2 (en) * 2017-08-11 2021-02-02 Deere & Company Vision system for monitoring a work tool of a work vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11718972B2 (en) 2020-06-03 2023-08-08 Deere & Company Image-based attachment identification and position detection

Also Published As

Publication number Publication date
US20190093320A1 (en) 2019-03-28
US10519631B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
DE102018123216A1 (de) Arbeitsgerät-Sichtsystem
EP3299996B1 (de) Landwirtschaftliche arbeitsmaschinen mit bildverarbeitungssystem
EP3135822B1 (de) Selbstfahrende baumaschine und verfahren zur anzeige der umgebung einer selbstfahrenden baumaschine
DE102018218155A1 (de) Baustellen-überwachungssystem und verfahren
DE112020000310T5 (de) Bildverarbeitungssystem, Bildverarbeitungsverfahren, Verfahren zur Erzeugung eines gelernten Modells und Datensatz zum Lernen
DE112019003159T5 (de) Bildverarbeitungssystem, anzeigevorrichtung, bildverarbeitungsverfahren, verfahren zur erzeugung eines trainierten modells und datensatz zum lernen
DE102017127248B4 (de) Bildbearbeitungsvorrichtung und Bildbearbeitungsverfahren
DE102014013155A1 (de) Bildanzeigesystem
DE112015006349T5 (de) Arbeitsfahrzeug
DE102020211905A1 (de) Zusammengesetzte panorama-sichtsysteme für ein arbeitsfahrzeug
DE112015000108T5 (de) Korrektursystem einer Bildaufnahmevorrichtung, Arbeitsmaschine und Korrekturverfahren einer Bildaufnahmevorrichtung
DE102019212452A1 (de) Interferenzvermeidungsvorrichtung und Robotersystem
DE112015006343T5 (de) Verfahren zum Erzeugen von Bilddaten
DE102012221572A1 (de) Autonomes Fortbewegungsgerät
DE102021108424A1 (de) Verbessertes sichtsystem für arbeitsmaschinen
DE112015006347T5 (de) Bildaufnahmevorrichtung
DE112016000689T5 (de) Kameraparametereinstellvorrichtung
DE112017000244T5 (de) Endgerät-vorrichtung, steuerungs-vorrichtung, vorrichtung zum integrieren von daten, arbeitsfahrzeug, bildaufnahme-system, bildaufnahme-verfahren
DE102018200060B4 (de) Verfahren zum Betreiben einer mobilen Arbeitsmaschine und mobile Arbeitsmaschine
DE102020206190A1 (de) System und verfahren für die konfiguration einer arbeitsstätten warnzone.
DE102021201728A1 (de) System und verfahren zur übermittlung des vorhandenseins von nahegelegenen objekten in einem arbeitsbereich
DE102017220005A1 (de) Verfahren und Anzeigegerät zum Führen einer Arbeitsmaschine
DE102017130118A1 (de) Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
DE112020003003T5 (de) Ausschluss einer Komponente einer Arbeitsmaschine aus einem Videorahmen beruhend auf Bewegungsinformationen
US20160150189A1 (en) Image processing system and method

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: KRAMER BARSKE SCHMIDTCHEN PATENTANWAELTE PARTG, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005232000

Ipc: H04N0023600000