DE102018200232A1 - Method for operating a work machine and work machine - Google Patents

Method for operating a work machine and work machine Download PDF

Info

Publication number
DE102018200232A1
DE102018200232A1 DE102018200232.0A DE102018200232A DE102018200232A1 DE 102018200232 A1 DE102018200232 A1 DE 102018200232A1 DE 102018200232 A DE102018200232 A DE 102018200232A DE 102018200232 A1 DE102018200232 A1 DE 102018200232A1
Authority
DE
Germany
Prior art keywords
machine
tool
working
operator
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018200232.0A
Other languages
German (de)
Inventor
Darno Alexander Ketterer
Andrew Allen
Kai Liu
Kai Bohne
Udo Schulz
Achim Brenk
Heiko Kleineder
Jens Koenig
Elmar Staudacher
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102018200232.0A priority Critical patent/DE102018200232A1/en
Publication of DE102018200232A1 publication Critical patent/DE102018200232A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Betrieb einer Arbeitsmaschine (300) mit mindestens einem Arbeitswerkzeug (318) sowie eine entsprechend eingerichtete Arbeitsmaschine, wobei folgende Schritte vorgesehen sind:
- Erfassen (200) wenigstens einer Bewegungstrajektorie des mindestens einen Arbeitswerkzeugs (318) und/oder der Arbeitsmaschine (300) in einem laufenden Arbeitsprozess mit einem erfahrenen Bediener;
- Analysieren (205) der erfassten wenigstens einen Bewegungstrajektorie auf der Grundlage wenigstens eines vorgebbaren Bewegungsmerkmals;
- Lernen (235) des wenigstens einen vorgebbaren Bewegungsmerkmals für den erfahrenen Bediener;
- Vergleichen (245) des wenigstens einen erlernten Bewegungsmerkmals mit einem entsprechenden Bewegungsmerkmal eines weniger erfahrenen Bedieners;
- Assistieren (240) des weniger erfahrenen Bedieners auf der Grundlage der Ergebnisse des Vergleichs (245).

Figure DE102018200232A1_0000
The present invention relates to a method for operating a working machine (300) with at least one working tool (318) and a correspondingly equipped working machine, wherein the following steps are provided:
- detecting (200) at least one movement trajectory of the at least one work tool (318) and / or the work machine (300) in an ongoing work process with an experienced operator;
- analyzing (205) the detected at least one motion trajectory based on at least one predeterminable motion feature;
- learning (235) the at least one predeterminable motion feature for the experienced operator;
- comparing (245) the at least one learned motion feature with a corresponding motion feature of a less experienced operator;
Assisting (240) the less experienced operator based on the results of the comparison (245).
Figure DE102018200232A1_0000

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Arbeitsmaschine und eine Arbeitsmaschine, gemäß den Oberbegriffen der jeweiligen unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung sind auch ein Computerprogramm, ein maschinenlesbarer Datenträger zur Speicherung des Computerprogramms und ein elektronisches Steuergerät, mittels derer das erfindungsgemäße Verfahren durchführbar ist.The invention relates to a method for operating a work machine and a work machine, according to the preambles of the respective independent claims. The present invention also relates to a computer program, a machine-readable data carrier for storing the computer program and an electronic control unit, by means of which the method according to the invention can be carried out.

Stand der TechnikState of the art

Aus DE10 2005 019 820 A1 geht ein Betriebsverfahren für Arbeitsmaschinen mit mindestens einem Arbeitswerkzeug hervor, bei dem wenigstes eine Betriebscharakteristik der Arbeitsmaschine, die eine Anwendung des Arbeitswerkzeuges der Arbeitsmaschine anzeigt, erfasst wird. Basierend auf der erfassten Betriebscharakteristik wird der Betrieb der Arbeitsmaschine an eine neue Anwendung des Arbeitswerkzeuges angepasst.Out DE10 2005 019 820 A1 discloses an operating method for work machines having at least one work tool, wherein at least one operating characteristic of the work machine indicating an application of the working tool of the work machine is detected. Based on the detected operating characteristic, the operation of the work machine is adapted to a new application of the work tool.

Bei den so gewonnenen Betriebsdaten der Arbeitsmaschine kann es sich um den hydraulischen Druck, den hydraulischen Fluss, die Arbeitswerkzeugposition oder irgendwelche anderen Informationen handeln, welche für die Bestimmung einer gerade ausgeführten Anwendung, des Ausbildungs- bzw. Erfahrungsniveaus des Bedieners oder bei der Anwendung des jeweils verwendeten Werkzeuges geeignet sind. Diese Daten können gewonnen werden, wenn die Arbeitsmaschine und das jeweilige Arbeitswerkzeug die jeweilige Anwendung ausführen. Das Erfahrungsniveau des Bedieners kann auch basierend auf gemessenen Daten von Strömungsmitteldrucksensoren, von Strömungsmittelflusssensoren und Werkzeugpositionssensoren ermittelt werden. The operational data of the work machine thus obtained may be the hydraulic pressure, the hydraulic flow, the working tool position, or any other information necessary for determining an application being executed, the level of training or experience of the operator used tool are suitable. This data can be obtained when the work machine and the respective work tool are executing the respective application. The level of experience of the operator may also be determined based on measured data from fluid pressure sensors, fluid flow sensors, and tool position sensors.

Das Erfahrungsniveau des Bedieners kann auch durch Erzeugung einer Erfahrungsniveausignatur identifiziert werden, wobei die so erzeugte Erfahrungsniveausignatur mit anderen bekannten Erfahrungsniveausignaturen verglichen wird, um ggf. eine Übereinstimmung festzustellen. Die Arbeitsmaschine kann dann, basierend sowohl auf der identifizierten Anwendung als auch dem ermittelten Erfahrungsniveau des jeweiligen Bedieners, in einen geeigneten Betriebsmodus umgeschaltet werden. Dadurch kann der Wirkungsgrad beim Einsatz hier betroffener Arbeitswerkzeuge maximiert werden.The level of experience of the operator may also be identified by generating an experience level signature, comparing the experience level signature thus generated with other known experience level signatures to determine if appropriate a match. The work machine can then be switched to a suitable operating mode based on both the identified application and the determined experience level of the respective operator. As a result, the efficiency when using here affected tools can be maximized.

Offenbarung der ErfindungDisclosure of the invention

Der Erfindung liegt der Gedanke zugrunde, das Steuerverhalten erfahrener Bediener zu lernen und das so gelernte Wissen zur Assistenz unerfahrener Bediener einzusetzen. Dabei liegt die Erkenntnis zugrunde, dass eine optimale gleichzeitige Bewegung einer bevorzugt fahrbaren bzw. verfahrbaren Arbeitsmaschine bei mehrachsigen Bewegungen von Werkzeugen, insbesondere in unstrukturierten Umgebungen, nur langjährig erfahrenen bzw. geübten Bedienern ohne erforderliche Korrektureingriffe gelingt. Der ungeübte Bediener neigt dabei eher zum sequentiellen Steuern der Bewegung der Arbeitsmaschine und von Werkzeugen und muss diese wiederholt positionieren bzw. er über- oder untersteuert die Werkzeuge während des Arbeitsvorganges.The invention is based on the idea to learn the control behavior of experienced operators and to use the knowledge thus learned to assist inexperienced operators. This is based on the finding that an optimal simultaneous movement of a preferably mobile or movable machine in multi-axis movements of tools, especially in unstructured environments, only long-standing experienced or experienced operators succeed without any necessary corrective interventions. The inexperienced operator is more likely to sequentially control the movement of the work machine and tools, and must reposition them repeatedly, or oversteer or understeer the tools during the work process.

Hinzu kommt, dass ein ungeübter bzw. unerfahrener Bediener meist überfordert ist, gleichzeitig auf die statische und dynamische Stabilität der Arbeitsmaschine zu achten, Kollisionen mit Hindernissen zu vermeiden und die Arbeitsmaschine in einem optimalen Betriebspunkt zu halten bzw. entlang optimaler Bewegungstrajektorien zu bewegen.In addition, an inexperienced or inexperienced operator is usually overwhelmed at the same time to pay attention to the static and dynamic stability of the machine, to avoid collisions with obstacles and to keep the machine at an optimal operating point or to move along optimal Bewegungsstrajektorien.

Das vorgeschlagene Verfahren zum Betreiben einer Arbeitsmaschine mit mindestens einem Arbeitswerkzeug sieht insbesondere folgende Schritte vor:

  • - Erfassen wenigstens einer Bewegungstrajektorie des mindestens einen Arbeitswerkzeugs und/oder der Arbeitsmaschine in einem laufenden Arbeitsprozess mit einem erfahrenen Bediener;
  • - Analysieren der erfassten wenigstens einen Bewegungstrajektorie auf der Grundlage wenigstens eines vorgebbaren Bewegungsmerkmals;
  • - Lernen des wenigstens einen vorgebbaren Bewegungsmerkmals für den erfahrenen Bediener;
  • - Vergleichen des wenigstens einen erlernten Bewegungsmerkmals mit einem entsprechenden Bewegungsmerkmal eines weniger erfahrenen Bedieners;
  • - Assistieren des weniger erfahrenen Bedieners auf der Grundlage der Ergebnisse des Vergleichs.
The proposed method for operating a work machine with at least one work tool provides in particular the following steps:
  • Detecting at least one movement trajectory of the at least one working tool and / or the working machine in a running working process with an experienced operator;
  • - analyzing the detected at least one movement trajectory on the basis of at least one predetermined movement feature;
  • - learning the at least one predetermined movement feature for the experienced operator;
  • Comparing the at least one learned motion feature with a corresponding motion feature of a less experienced operator;
  • Assist the less experienced operator based on the results of the comparison.

Gemäß dem vorgeschlagenen Verfahren erfolgt eine Analyse von bevorzugt räumlichen (3D) Bewegungstrajektorien wenigstens eines Werkzeugs und/oder der Bewegung der vorliegenden Arbeitsmaschine in einem laufenden Arbeitsprozess. Dabei können empirisch vorgebbare Bewegungsmerkmale, z.B. Geschwindigkeiten, Beschleunigungen, Positionen usw, gesteuert durch erfahrene Bediener, arbeitsprozessspezifisch und werkzeug- und/oder maschinenspezifisch gelernt werden. Das heißt, mit anderen Worten, die Bewegungsmerkmale können für verschiedende Arbeitsprozesse, Werkzeuge und/oder Maschinen gelernt beziehungsweise die jeweiligen Bewegungsmerkmale aufgezeichnet und analysiert werden, wenn ein erfahrener Bediener die Maschine bedient. Die so gelernten Merkmale können mit entsprechenden, bereits analysierten Merkmalen eines aktuellen und weniger erfahrenen Bedieners verglichen werden und geeignete Hinweise an den weniger erfahrenen Bediener zur Optimierung der räumlichen Bewegungstrajektorien von Werkzeugen und fahrbaren Arbeitsmaschinen im Arbeitsprozess ausgegeben werden. Die Ausgabe der Hinweise kann mittels eines visuellen Steuerungsassistenten, z.B. auf einem Anzeigegerät (Display), angezeigt werden.According to the proposed method, there is an analysis of preferably spatial (3D) movement trajectories of at least one tool and / or the movement of the present work machine in a running work process. In this case, empirically predeterminable movement characteristics, eg speeds, accelerations, positions, etc., can be learned, controlled by experienced operators, specific to the work process and tool and / or machine specific. In other words, the movement characteristics can be learned for various work processes, tools and / or machines or the respective movement characteristics can be recorded and analyzed, if an experienced operator has the Machine operated. The features thus learned can be compared with corresponding, already analyzed features of a current and less experienced operator and appropriate hints are given to the less experienced operator to optimize the spatial motion trajectories of tools and mobile work machines in the work process. The output of the notes can be displayed by means of a visual control assistant, eg on a display device (display).

Alternativ oder zusätzlich können auch einzelne, gelernte Merkmale eines erfahrenen Bedieners vom unerfahrenen Bediener übernommen werden und damit einzelne Bewegungen vorgesteuert und/oder limitiert und/oder vom Steuerungssystem vollständig übernommen werden.Alternatively or additionally, individual, learned features of an experienced operator can be taken over by the inexperienced operator, and thus individual movements can be precontrolled and / or limited and / or completely taken over by the control system.

Der Vorteil des vorgeschlagenen Verfahrens liegt in einem genaueren, schnelleren, sichereren und verbrauchsoptimalen Fahren und Führen von Werkzeugen und fahrbaren Arbeitsmaschinen. Zudem kann einem weniger erfahrenen bzw. weniger geübten Bediener eine optimale Steuerung einer Arbeitsmaschine für einen jeweiligen Arbeitsprozess antrainiert bzw. angelernt werden.The advantage of the proposed method lies in a more accurate, faster, safer and more fuel-efficient driving and guiding of tools and mobile machines. In addition, an optimal control of a work machine for a particular work process can be trained or trained to a less experienced or less experienced operator.

Zur Erfassung einer genannten räumlichen Bewegungstrajektorie können an sich bekannte, bereits bei Baumaschinen eingesetzte direkte Mess- und Positionierungssysteme bzw. Positionssysteme zum Einsatz kommen. So können bekannte Mess- und Positionssysteme für Baumaschinen, bei denen mittels Neigungs- und/oder Winkelsensoren und/oder Gyro- und/oder Beschleunigungssensoren z.B. an einem Baggerarm und einer Schaufel deren Position relativ zu einer Baggerkabine und/oder absolut zur Umgebung bzw. zum Gelände bestimmt werden können, zum Einsatz kommen. Alternativ oder zusätzlich kommen auch GNSS-Systeme („Global Navigation Satellite Systems“) in Betracht, welche eine absolute Positionsbestimmung eines Werkzeugs und/oder der Maschine, und zwar relativ zur Umgebung bzw. zum umgebenden Gelände, ermöglichen.For detecting a spatial movement trajectory known per se, already used in construction machines direct measurement and positioning systems or position systems can be used. Thus, known measuring and position systems for construction machines, in which by means of inclination and / or angle sensors and / or gyro and / or acceleration sensors, e.g. on an excavator arm and a blade whose position relative to an excavator cabin and / or can be determined absolutely to the environment or to the terrain, are used. Alternatively or additionally, GNSS systems ("Global Navigation Satellite Systems") come into consideration, which allow an absolute position determination of a tool and / or the machine, relative to the environment or to the surrounding terrain.

Auch können an sich bekannte Messvorrichtungen, welche den Weg von an z.B. einem Baggerarm angeordneten Stellzylindern eines Werkzeugs mittels induktiver, magnetischer oder ohmscher Messprinzipien bestimmen, zum Einsatz kommen. So kann über die damit bekannten geometrischen Daten von Baggerarm und Schaufel auf die zur Position einer Schneidkante der Schaufelzähne, relativ zur Arbeitsmaschine, geschlossen werden.Also, measuring devices known per se which provide the route from e.g. Determine an excavator arranged adjusting cylinders of a tool by means of inductive, magnetic or ohmic measuring principles are used. Thus it can be closed on the known geometric data of excavator arm and blade on the position of a cutting edge of the bucket teeth, relative to the working machine.

Alternativ oder zusätzlich kommen an sich bekannte LIDAR- („Light Detection And Ranging“) Messsysteme in Betracht, welche ein optisches Messverfahren zur Ortung und Messung der Entfernung von Objekten im Raum bereitstellen. Beim LIDAR-Verfahren werden Ultraviolett-, Infrarot-, oder Strahlen aus dem Bereich des sichtbaren Lichts verwendet. Als Messverfahren kommen z.B. eine „Time of Flight“-Messung in Betracht, bei der ein oder mehrere Lichtpulse ausgesendet und an einem vorhandenen Objekt reflektiert werden, wobei die Zeit bis zum Empfang des reflektierten Signals erfasst wird.Alternatively or additionally, known LIDAR ("Light Detection And Ranging") measuring systems can be considered, which provide an optical measuring method for locating and measuring the distance of objects in the room. The LIDAR method uses ultraviolet, infrared, or visible light rays. As a measurement method, e.g. a "time of flight" measurement in which one or more light pulses are emitted and reflected on an existing object, wherein the time is detected until the reception of the reflected signal.

Alternativ oder zusätzlich können zum Erfassen der räumlichen Bewegungstrajektorie bzw. zum Lernen des Steuerverhaltens eines erfahrenen Bedieners an sich bekannte Verfahren zur Blickrichtungserkennung von Personen eingesetzt werden, z.B. Verfahren zur Blickrichtungserkennung von Personen mittels einer Kamera. Dazu muss vorab eine sogenannte Personalisierung, d.h. eine Gesichtserkennung und ein Einlernen der Blickrichtung der Person erfolgen, wobei typische Gesichtsmerkmale erfasst und erkannt werden. Die zu lernende Person muss dazu ein Symbol/Punkt auf einem Anzeigegerät mit ihrem Blick fixieren, der dann über die Anzeigefläche des Anzeigegerätes mehrmals verschoben wird. Letztlich muss dieser Einlernvorgang für jede Person auf der jeweiligen Maschine einmalig erfolgen. Im Betrieb der Maschine erkennt die Kamera die spezifische Person und kann aufgrund der personalisierten Lerndaten die Blickrichtung millimetergenau einer Position auf dem Anzeigegerät zuordnen. Die Kamera (z.B. eine Infrarotkamera) und das Anzeigegerät sind zueinander definiert positioniert.Alternatively or additionally, for detecting the spatial movement trajectory or for learning the control behavior of an experienced operator, known methods for viewing the gaze direction of persons can be used, e.g. Method for detecting the direction of sight of persons by means of a camera. For this purpose, a so-called personalization, i. Face recognition and learning of the line of sight of the person take place, whereby typical facial features are detected and recognized. The person to be trained has to fix a symbol / point on a display device with their eyes, which is then moved over the display surface of the display device several times. Ultimately, this learning process must be done once for each person on the respective machine. During operation of the machine, the camera recognizes the specific person and, due to the personalized learning data, can associate the viewing direction with millimeter precision to a position on the display device. The camera (e.g., an infrared camera) and the display are positioned defined to each other.

Alternativ oder zusätzlich können auch an sich bekannte Verfahren und Messsysteme im Bereich der Stereoskopie eingesetzt werden, bei denen zwei oder mehrere Bilder der gleichen Arbeitsszenerie von verschiedenen Kamerapositionen aus aufgenommen werden. Aus der Lage eines bestimmten Szenepunktes in den mindestens zwei Bildern lässt sich seine räumliche Position mit Kenntnis der intrinsischen und extrinsischen Kalibrierungsparameter der Kamera bestimmen.Alternatively or additionally, methods and measuring systems known per se in the field of stereoscopy can also be used, in which two or more images of the same working scene are taken from different camera positions. From the location of a particular scene point in the at least two images can be determined its spatial position with knowledge of the intrinsic and extrinsic calibration parameters of the camera.

Alternativ oder zusätzlich können räumliche (3D) Fahrbahnoberflächenprofile erstellt werden, mittels derer direkt und sehr genau eine räumliche Oberflächenprofilkarte des Bodens im Sichtfeld der Kamera erstellt werden kann. Damit lassen sich in Off-Road-Anwendungen „Fahrtunnel“ bzw. „geeignete Pfade“ dem Fahrer empfehlen oder die Trajektorie bei aktueller Lenkwinkelposition prädizieren und mittels der an sich bekannten Methode der „augmented reality“ auf einem Anzeigegerät anzeigen, z.B. mittels einer in dem Bild schwarz dargestellten Fahrspur. Dadurch lässt sich auch im Echtzeitbetrieb, z.B. vor schlecht passierbaren Bereichen, warnen. Um ein horizontales Bild der 3D Fahrbahnoberfläche zu erhalten, muss zudem die Eigenbewegung der Arbeitsmaschine berücksichtigt werden.Alternatively or additionally, spatial (3D) road surface profiles can be created by means of which a spatial surface profile map of the ground in the field of view of the camera can be created directly and very accurately. Thus, in off-road applications, "driving tunnels" or "suitable paths" can be recommended to the driver or predicted the trajectory at the current steering angle position and displayed on a display device by means of the known "augmented reality" method. by means of a lane black in the picture. This also allows real-time operation, e.g. warn of bad passable areas. In order to obtain a horizontal image of the 3D road surface, also the proper movement of the working machine must be considered.

Mit dem vorgeschlagenen Verfahren können auch Arbeitsprozesse optimiert werden, um die Sicherheit von Personen zu erhöhen und einen verschleißreduzierten und ressourcenschonenden Einsatz von Arbeitsmaschinen und Werkzeugen sowie eine wirkungsvolle Kollisionsvermeidung zu erreichen. With the proposed method, work processes can also be optimized in order to increase the safety of persons and to achieve a wear-reduced and resource-saving use of machines and tools as well as an effective collision avoidance.

Die Erfindung kann insbesondere bei mit wenigstens einem Werkzeug ausgestatteten Baumaschinen oder Landmaschinen zur Anwendung kommen.The invention can be used in particular in construction machines or agricultural machines equipped with at least one tool.

Das erfindungsgemäße Computerprogramm ist eingerichtet, jeden Schritt des Verfahrens durchzuführen, insbesondere wenn es auf einem Rechengerät oder einem Steuergerät abläuft. Es ermöglicht die Implementierung des erfindungsgemäßen Verfahrens in einem elektronischen Steuergerät, ohne an diesem bauliche Veränderungen vornehmen zu müssen. Hierzu ist der maschinenlesbare Datenträger vorgesehen, auf welchem das erfindungsgemäße Computerprogramm gespeichert ist. Durch Aufspielen des erfindungsgemäßen Computerprogramms auf ein elektronisches Steuergerät wird das erfindungsgemäße elektronische Steuergerät erhalten, welches eingerichtet ist, um eine hier betroffene Arbeitsmaschine mittels des erfindungsgemäßen Verfahrens zu steuern.The computer program according to the invention is set up to carry out each step of the method, in particular if it runs on a computing device or a control device. It allows the implementation of the method according to the invention in an electronic control unit, without having to make structural changes to this. For this purpose, the machine-readable data carrier is provided on which the computer program according to the invention is stored. By loading the computer program according to the invention onto an electronic control unit, the electronic control unit according to the invention is obtained, which is set up to control a working machine affected here by means of the method according to the invention.

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen.Further advantages and embodiments of the invention will become apparent from the description and the accompanying drawings.

Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It is understood that the features mentioned above and those yet to be explained below can be used not only in the particular combination indicated, but also in other combinations or in isolation, without departing from the scope of the present invention.

Figurenlistelist of figures

  • 1 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens anhand eines Flussdiagramms. 1 shows an embodiment of the method according to the invention with reference to a flowchart.
  • 2 zeigt eine zur Anwendung des erfindungsgebmäßen Verfahrens eingerichtete, schematisch dargestellte Arbeitsmaschine. 2 shows a set up for the application of erfindungsgebmäßen method, schematically illustrated work machine.

Beschreibung von AusführungsbeispielenDescription of exemplary embodiments

Dem in 1 gezeigten Verfahren zum Betreiben einer fahrbaren Arbeitsmaschine, z.B. eines Schaufelbaggers, liegt zunächst die Annahme zugrunde, dass ein erfahrener Bediener der Arbeitsmaschine die Statik und Dynamik, z.B. die Trägheit, die Reaktionszeiten, vorliegende Anschläge eines Werkzeuges sowie die Leistungsfähigkeit bzw. die Leistungsgrenzen, die Kippneigungen, das Schwingverhalten, usw. der Maschine kennt. Bei der Steuerung der Maschine berücksichtigt er diese Kenntnisse vorausschauend bzw. vorsteuernd. Bei dem Verfahren werden das Steuerverhalten des erfahrenen Bedieners arbeitssequenzabhängig, und zwar zusammen mit den sensorisch erfassten Bewegungstrajektorien bzw. der jeweiligen Bewegungskinematik der Maschine sowie des jeweiligen Werkzeugs bzw. der jeweiligen Werkzeuge, aufgezeichnet 200 und nach empirisch vorgebbaren Kriterien analysiert 205. Diese Kriterien 210 dienen dabei als Indikator für die Erfahrenheit bzw. den Erfahrungsstand des jeweiligen Bedieners.The in 1 shown method for operating a mobile work machine, such as a shovel, is based initially on the assumption that an experienced operator of the machine, the static and dynamics, eg inertia, the reaction times, present attacks a tool and the performance or the performance limits, the tipping tendencies , the vibration behavior, etc. of the machine knows. When controlling the machine, he takes this knowledge into account with foresight or feedforward. In the method, the control behavior of the experienced operator is recorded depending on the working sequence, together with the sensory movement trajectories or the respective motion kinematics of the machine and of the respective tool or tools 200 and analyzed according to empirically definable criteria 205 , These criteria 210 serve as an indicator for the level of experience or the level of experience of the respective operator.

Aus der so erfassten Bewegungskinematik der Arbeitsmaschine sowie der Werkzeuge kann das vorgeschlagene Verfahren auf einzelne Bewegungsvorgänge des (gesamten) Arbeitsprozesses schließen 215. Dabei können auch z.B. mittels GPS erfasste, globale Positionsdaten der Maschine in einer ebenfalls sensorisch erfassten Umgebung zugrunde gelegt werden. So können bestimmte Arbeitsabläufe bzw. Arbeitssequenzen erkannt werden, z.B. ein Ausheben von Erdreich bis zu seinem Abladen auf einem Transportfahrzeug. Diese Erkennung beruht insbesondere auf folgenden, mittels geeigneter Sensoren erfasster 220 und mittels eines Computers ausgewerteter Daten 225, und zwar zur Erzeugung von Bewegungstrajektorien für die Maschine und/oder die Werkzeuge:

  • - Das Umfeld wird mittels Umfeld-Sensoren wie z.B. Kamera und/oder LIDAR (= „Light Detection And Ranging“) und/oder Radar usw. erfasst, wodurch insbesondere auch die Bodenoberflächenstruktur und darauf befindliche, im Vorfeld bereits klassifizierte Objekte erkannt werden können. Aus dem erfassten Umfeld wird mittels maschinellen Sehens und Objektklassifikation erkannt, dass es sich z.B. um eine Baugrube handelt, die ausgehoben wird. Bei der erkannten Baugrube wird zudem erkannt, dass diese systematisch bzw. schrittweise größer bzw. tiefer wird und und dass eine Arbeitsmaschine bzw. ein entsprechendes Fahrzeug vorhanden ist, welches zunehmend mit Abraum beladen wird;
  • - Die Fahrzeugposition bzw. -ausrichtung wird mittels GNSS, RTK (Echtzeitkinematik), Beschleunigungssensoren sowie eines Gyrosensors bestimmt;
  • - Die Bewegungen der Werkzeuge werden direkt z.B. mittels Weg- und/oder Winkel- und/oder Beschleunigungs- usw. Sensoren und/oder indirekt mittels Kamera und/oder LIDAR usw. gemessen.
From the movement kinematics of the working machine and the tools thus detected, the proposed method can conclude individual movement processes of the (entire) working process 215 , In this case, it is also possible to use, for example, global position data of the machine recorded by means of GPS in an environment which is also sensory. Thus, certain work processes or work sequences can be detected, for example, excavation of soil until its unloading on a transport vehicle. This recognition is based in particular on the following, detected by means of suitable sensors 220 and data evaluated by a computer 225 for generating motion trajectories for the machine and / or the tools:
  • - The environment is detected by means of environment sensors such as camera and / or LIDAR (= "Light Detection And Ranging") and / or radar, etc., which in particular the ground surface structure and located thereon, previously classified objects can be detected. By means of machine vision and object classification, it is recognized from the recorded environment that it is, for example, an excavation that is excavated. In the recognized excavation is also recognized that this systematically or gradually larger or deeper and and that a work machine or a corresponding vehicle is present, which is increasingly loaded with overburden;
  • The vehicle position or orientation is determined by means of GNSS, RTK (real-time kinematics), acceleration sensors and a gyro sensor;
  • The movements of the tools are measured directly, for example by means of displacement and / or angle and / or acceleration, etc. sensors and / or indirectly by means of camera and / or LIDAR etc.

Aus den Fahrzeug- und Werkzeugbewegungen ist in einem vorliegend angenommenen Arbeitsszenario erkennbar, dass es sich um ein Aufnehmen und Abladen von Erde bzw. Abraum auf ein Fahrzeug handelt, d.h. die Bewegungsmuster von Bagger, Baggerarm und Schaufel lassen das Aufnehmen, Heben, Schwenken, Ablassen und Abladen erkennen. Aus den erkannten Bewegungen wird eine dynamische Karte erstellt 230, in der die Positionen und Bewegungen der Maschine und der Werkzeuge als räumliche Bewegungstrajektorien abgebildet werden. Dabei können auch Daten bezüglich der globalen 3D-Position sowie der Bewegung der Arbeitskante des Werkzeugs und/oder des TCP (Tool Center Point) in der globalen 3D-Umgebung in der dynamischen Karte abgebildet werden.It can be seen from the vehicle and tool movements in a presently assumed working scenario that it is a picking up and unloading of earth or overburden onto a vehicle This means that the movement patterns of the excavator, excavator arm and bucket indicate picking, lifting, panning, discharging and unloading. From the detected movements, a dynamic map is created 230 in which the positions and movements of the machine and the tools are depicted as spatial movement trajectories. It is also possible to map data relating to the global 3D position as well as the movement of the working edge of the tool and / or the TCP (Tool Center Point) in the global 3D environment in the dynamic map.

Die zur Erkennung der Arbeitssequenzen oder auch Teilen davon erforderlichen Merkmale bzw. Bewegungsmuster können im Voraus (d.h. „offline“) mittels einer Modellrechnung 235 gelernt werden. Zur Laufzeit des Systems (d.h. „online“) wird das so gelernte Modell mit oben genannten aktuellen Daten gespeist, so dass mittels des Modells dann die zugehörige Arbeitssequenz oder Teile davon als Ergebnis an den weniger erfahrenen Bediener ausgegeben werden 240.The features or movement patterns required for the recognition of the working sequences or even parts thereof can be determined in advance (ie "offline") by means of a model calculation 235 be learned. At runtime of the system (ie, "online"), the model thus learned is fed with the above-mentioned actual data, so that by means of the model, the associated operating sequence or parts thereof are output as a result to the less experienced operator 240.

Anhand eines oder mehrerer der folgenden Kriterien können die Fähigkeiten eines jeweiligen Bedieners ermittelt werden:

  • - Kriterium „Trajektorie“: Anhand der Art und Weise der Steuerung kann erkannt werden, ob der Bediener in der Lage ist, beliebige 3D-Trajektorien von Fahrzeug und/oder Werkzeugen zu bedienen. So bedient z.B. ein unerfahrener Bediener die Joysticks eines Baggers nur auf der NNord-Süd bzw. West-Ost-Achse, d.h. sozusagen nur eindimensional, wohingegen ein erfahrener Bediener die möglichen Stellbereiche, z.B. durch Nord-West, Nord-Ost, usw., d.h. mehrere Bewegungen gleichzeitig gesteuert in mehreren Raumrichtungen überlagert. Ist eine sich wiederholende gesamte Arbeitssequenz, z.B. vom Aufnehmen bis zum Abladen bekannt, dann kann eine theoretische Kraftstoffverbrauchs- und/oder Zeit- und/oder Weg- optimale Trajektorie berechnet werden. Die so berechnete Trajektorie kann mit einer tatsächlich vorliegenden Trajektorie verglichen werden, um daraus die Differenz von Kraftstoffverbrauch, Zeitaufwand, Weg, usw. zu ermitteln.
  • - Kriterium „Zielführung“: Hierbei kann bestimmt werden, wieviele Iterationen, Zwischenhalte, Umwege, usw. erforderlich sind, um das Werkzeug in die Zielposition zu steuern. Jede erkannte Iteration bzw. Korrektur kann dabei einen Zähler erhöhen. So steuert ein erfahrener Bediener auf Anhieb mit einer bezüglich der Form der Trajektorie und Geschwindigkeit des Werkzeugs kontinuierlichen und gleichförmigen Trajektorie das Werkzeug zum Werkstück. Einen unerfahrener Bediener erkennt man an der ungleichmäßigen Form der Trajektorie sowie an Arbeitsvorgängen wie das Zwischenhalten, Umkehrungen, Bewegungswiederholungen, Umkreisungen in Ziel-Nähe usw.
  • - Kriterium „Arbeitsvorgang“: Hierbei kann erkannt werden, wie effizient das Werkzeug eingesetzt wird. So kann z.B. bestimmt werden, ob die Baggerschaufel mit einem Aufnahmevorgang voll beladen wird oder nicht bzw. der Bediener den Aufnahmevorgang wiederholt usw.
  • - Kriterium „Präzision“: Liegen die Zieldaten für das Werkstück vor, z.B. die Maße der Baugrube, so kann erkannt werden, wie genau der Bediener gearbeitet hat. Die Vorgabe kann anhand von 3D-Lokalisierungsdaten (GNSS) des Werkstücks erfolgen. Die Messung erfolgt entweder am Werkstück selbst, z.B. mittels Kamera und/oder LIDAR, oder durch die Summe der Bewegungsräume des Werkzeugs, z.B. der Position der Werkzeugschneidkante der Baggerschaufel. Die Zieldaten können über ein BIM („Building Information Modeling“ = Baustellenplanung) oder vor Ort in Geräte vorgegeben werden. Die Bewertung kann auch eine Ebenheit einer Baugrube bewerten oder auch ein Unterschreiten und/oder Überschreiten von Zieldaten. So muss eine zu tiefe Baugrube wieder aufgefüllt und verfestigt werden oder es wird mehr Baumaterial benötigt.
  • - Kriterium „Stabilität“: Hierbei kann bestimmt werden, wie nahe der Bediener die Maschine an die Stabilitätsgrenzen führt bzw. diese überschreitet. Diese Grenzen können eine zulässige Arbeitslast des Werkzeugs und/oder zulässige Neigung des Fahrzeugs auch auf unebenen Untergründen usw. sein. Gleichfalls können abrupte Bewegungen, Stopps, Beschleunigungen usw. zu einer Instabilität führen.
  • - Kriterium „Sicherheit“: Hierbei kann mittels maschinellem Sehen erkannter Objekte (z.B. Personen, Fahrzeuge usw.) erkannt werden, wie oft der Bediener das eigene Fahrzeug und/oder Werkzeug auf Kollisionskurs und/oder kritischen Bremswegen von Fahrzeug- und/oder Werkzeugbewegungen gebracht hat oder es gar zu Ausweichbewegungen der Objekte gekommen ist. Kollisionen können ebenfalls damit erkannt werden.
  • - Kriterium „Dynamik bzw. Geschwindigkeit“: Neben der Geschwindigkeit der Bewegungen von Fahrzeug und Werkzeugen wird hierbei auch das Beschleunigungsverhalten mit betrachtet. So ist es für den genauen und schnellen Arbeitsprozess vorteilhaft, die Beschleunigung vor der Zielerreichung zu reduzieren, um z.B. ein Überschwingen der Werkzeuge bzgl. der Zielposition zu vermeiden. Zudem würde ein ungebremstes Bewegen der Werkzeuge in die Anschläge zu höherem Verschleiß und (hydraulischem) Energieverbrauch führen. D.h. für die Bewertung des Bedieners spielt nicht nur die Geschwindigkeit entlang einer optimalen Bewegungstrajektorie ein Rolle, sondern auch, ob es zu Überschwingen und/oder Anschlägen kommt. D.h. das Optimum der Geschwindigkeit ist die maximale Geschwindigkeit bzw. Geschwindigkeitsverlauf über der optimalen Trajektorie bzw. Zeit von Start zum Ziel, die nicht zu einem Überschwingen oder Fahren in die Anschläge führt. Ein erfahrener Bediener kennt die Verzögerungen und die Trägheit seines Fahrzeugs und/oder Werkzeuge. Aufgrund seiner Erfahrungen mit unterschiedlichen Lasten kann er zukünftige Bewegungen abschätzen und entsprechend vorsteuern (vorausschauende bzw. prädiktive Steuerung). So startet der erfahrene Bediener bei einer Schwenkbewegung des Baggers rechtzeitig den Auslauf, um ein Überschwingen des Baggerarms bzw. der Last zu vermeiden, oder er nimmt rechtzeitig die Vortriebsleistung weg, um ein Fahren des Baggerarms in die Anschlagspositionen zu vermeiden.
Based on one or more of the following criteria, the abilities of a respective operator can be determined:
  • - criterion "trajectory": Based on the type of control can be detected whether the operator is able to operate any 3D trajectories of vehicle and / or tools. For example, an inexperienced operator operates the joysticks of an excavator only on the north-south or west-east axis, ie, so to speak only one-dimensionally, whereas an experienced operator the possible parking areas, for example by north-west, north-east, etc., ie several movements simultaneously controlled superimposed in several spatial directions. If a repetitive overall operating sequence, eg from picking up to unloading, is known, then a theoretical fuel consumption and / or time and / or path-optimal trajectory can be calculated. The trajectory calculated in this way can be compared with an actual trajectory in order to determine the difference between fuel consumption, time required, travel, etc.
  • - "route guidance" criterion: Here it can be determined how many iterations, intermediate stops, detours, etc. are required to steer the tool to the destination position. Each detected iteration or correction can increase a counter. Thus, an experienced operator immediately controls the tool to the workpiece with a trajectory that is continuous and uniform with respect to the shape of the trajectory and speed of the tool. An inexperienced operator can be recognized by the non-uniform shape of the trajectory as well as by operations such as stopping, reversals, repetition of motion, orbits around the target, etc.
  • - Criterion "work process": It can be seen how efficiently the tool is used. For example, it can be determined whether or not the bucket is fully loaded with a picking operation, or the operator repeats picking, etc.
  • - Criterion "Precision": If the target data for the workpiece is available, eg the dimensions of the excavation, it can be recognized how exactly the operator worked. The default can be based on 3D localization data (GNSS) of the workpiece. The measurement takes place either on the workpiece itself, for example by means of a camera and / or LIDAR, or by the sum of the movement spaces of the tool, for example the position of the tool cutting edge of the excavator bucket. The target data can be specified via a BIM ("Building Information Modeling") or on site in devices. The evaluation can also evaluate a flatness of a pit or a falling below and / or exceeding of target data. For example, a pit that is too deep must be refilled and consolidated, or more building material is required.
  • - "Stability" criterion: This can be used to determine how close the operator approaches or exceeds the stability limits. These limits may be an allowable workload of the tool and / or allowable inclination of the vehicle even on uneven ground, etc. Likewise, abrupt movements, stops, accelerations, etc. can lead to instability.
  • - "Safety" criterion: It can be detected by machine vision of recognized objects (eg persons, vehicles, etc.) how often the operator has brought his own vehicle and / or tool on collision course and / or critical braking distances of vehicle and / or tool movements has or even evasive movements of the objects has come. Collisions can also be detected.
  • - Criterion "dynamics or speed": In addition to the speed of the movements of the vehicle and tools, the acceleration behavior is also considered. So it is advantageous for the accurate and fast work process to reduce the acceleration before reaching the target, for example, to avoid overshooting the tools with respect to the target position. In addition, an unrestrained movement of the tools would be in the attacks lead to higher wear and (hydraulic) energy consumption. That is, for the evaluation of the operator not only the speed along an optimal movement trajectory plays a role, but also whether it comes to overshoot and / or attacks. That is, the optimum of the speed is the maximum speed or speed course over the optimal trajectory or time from start to finish, which does not lead to an overshoot or drive in the stops. An experienced operator knows the delays and inertia of his vehicle and / or tools. Due to his experience with different loads, he can estimate future movements and control them accordingly (predictive or predictive control). Thus, the experienced operator starts the spout in time with a pivoting movement of the excavator in order to avoid overshooting of the excavator arm or the load, or he takes off the propulsion power in good time, to avoid driving the excavator arm in the stop positions.

Durch einen Vergleich 245 der aus der genannten Modellrechnung 235 resultierenden Daten und den in der erstellten dynamischen Karte 230 tatsächlich vorliegenden Daten kann anhand der vorgenannten Kriterien die generelle Erfahrenheit eines vorliegenden Bedieners bei der Steuerung einer bestimmten Maschine bestimmt werden. Dabei müssen nicht alle denkbaren Arbeitsprozesse erfasst bzw. gemessen werden, da hierzu in der Regel nur ein, z.B. das oben genannte beispielhafte Arbeitsszenario, ausreichend ist.By comparison 245 the from the mentioned model calculation 235 resulting data and in the created dynamic map 230 actual data can be determined on the basis of the aforementioned criteria, the general experience of a present operator in the control of a particular machine. Not all imaginable work processes have to be recorded or measured, as usually only one, eg the above-mentioned exemplary work scenario, is sufficient.

Das beschriebene Verfahren eignet sich insbesondere zur Anwendung bei sich wiederholenden Arbeitssequenzen und Bewegungsabläufen. Die Anzahl der Bewegungsmöglichkeiten, z.B. eines Baggers bzgl. bestimmter Arbeitsvorgänge, ist durch die Abmessungen und die Kinematik der beweglichen Teile des Werkzeugs (Baggerarm und Schaufel) vorgegeben. Das beschriebene Modell zur Bewertung des Fahrers erkennt zur Laufzeit, um welchen Arbeitsprozess es sich handelt. Dann wird anhand der oben genannten Kriterien bestimmt, ob es aus bereits gelernten bzw. trainierten Modellen eines oder mehrerer erfahrener Bediener bessere Bewegungsmuster gibt. Diese besseren Muster können dann auf einem Anzeigegerät dem unerfahrenen Bediener angezeigt werden 250, und zwar die virtuelle und/oder vorausschauende Bewegung der Maschine und/oder der Werkzeuge und/oder die zugehörigen rechtzeitigen (prädiktiven) Steuerungsaktionen. Der gesamte Arbeitsprozess bzw. Arbeitsablauf kann dabei auch nur bezüglich einzelner Bestandteile assistiert werden, z.B. das rechtzeitige Abbremsen bzw. Auslaufen, um z.B. ein Überschwingen zu vermeiden. Beabsichtigt der Bediener, den Arbeitsprozess mehrmals hintereinander auszuführen oder einen/seinen vormaligen Arbeitsprozess bzw. Arbeitsschritt zu wiederholen, den er bzw. das System mittels der globalen dynamischen 3D-Karte aufgezeichnet hat, dann kann er diesen bei Erreichen des vormaligen Startpunktes im zu aktivierenden Automatikmodus abfahren/abarbeiten, wobei das System die entsprechenden Teile der Arbeitssequenz mit gelernten Steuerbefehlen des erfahrenen Bedieners automatisch korrigiert. Bei ausreichend vielen gelernten Bewegungsmustern erfahrener Bediener kann das Modell für jede mögliche Trajektorie eine Bewegungs- und/oder Steuerungsempfehlung ausgeben oder in einem Automatikmodus verbessernd eingreifen.The method described is particularly suitable for use in repetitive work sequences and sequences of motion. The number of movement possibilities, e.g. of an excavator with respect to certain operations, is determined by the dimensions and the kinematics of the moving parts of the tool (excavator arm and shovel). The described model for evaluating the driver recognizes at runtime, which work process is concerned. Then, based on the above criteria, it is determined whether there are better patterns of movement from already learned or trained models of one or more experienced operators. These better patterns may then be displayed on a display device to the inexperienced operator 250, namely the virtual and / or predictive movement of the machine and / or the tools and / or the associated timely (predictive) control actions. The entire work process or workflow can be assisted only with respect to individual components, e.g. timely deceleration, e.g. to avoid overshoot. If the operator intends to execute the work process several times in succession or to repeat a previous work process or work step which he or the system has recorded by means of the global dynamic 3D map, then the latter can reach the automatic start mode when the previous starting point has been reached shut down / execute, whereby the system automatically corrects the corresponding parts of the working sequence with learned control commands of the experienced operator. Given enough learned motion patterns of experienced operators, the model may issue a motion and / or control recommendation for each possible trajectory or intervene in an automatic mode to improve.

Das Verfahren erlaubt darüber hinaus auch eine Aufmerksamkeitserkennung. Insbesondere bei sich wiederholenden, monotonen Arbeitsvorgängen kann mit dem Bewertungsverfahren festgestellt werden, ob der Bediener entgegen seiner besten Arbeitssequenz sich aktuell (zunehmend) verschlechtert. Entsprechende Warnungen und/oder verbessernde Eingriffe ins System sind denkbar. Informationen an ein BIM-System usw können erfolgen, die Bediener spezifische Arbeitsleistung bewertet werden. Basierend darauf kann die Auswahl von Bedienern auf bestimmte Maschinen und Arbeitsprozesse erfolgen.The method also allows attention recognition. In particular, in repetitive, monotonous operations can be determined with the evaluation method, whether the operator against his best work sequence is currently (increasingly) deteriorated. Corresponding warnings and / or improving interventions in the system are conceivable. Information to a BIM system, etc. can be made to evaluate the operator specific work performance. Based on this, the selection of operators can be made to specific machines and work processes.

Mit einer Korrelationssuche, z.B. mittels der an sich bekannten Methode des „Data Mining“ oder der „Metadaten-Analyse“, kann aus den Bedienerspezifischen Bewegungsmustern ein Zusammenhang mit dem Verschleiß bzw. dem Ausfall von Maschinen und Werkzeugen und/oder deren Teile bzw. Teilen davon hergestellt werden. Zum einen kann dann erkannt werden, welche (häufigen) Bewegungsmuster und zugehörigen Steuerungsvorgänge den größten Anteil an der Alterung bzw. Schädigung von Fahrzeug- bzw. Maschinenteilen beitragen, und welche Bediener bei welchem Arbeitsprozess aufgrund eines spezifischen Bewegungsmusters oder Teilen davon den geringsten Verschleiß bzw. Schädigungen verursacht haben. Diese Bewegungsmuster könnten als Referenzmuster für einen erfahrenen Bediener herangezogen werden.With a correlation search, e.g. By means of the known method of "data mining" or the "metadata analysis", a connection with the wear or the failure of machines and tools and / or their parts or parts thereof can be produced from the operator-specific movement patterns. On the one hand, it can then be recognized which (frequent) movement patterns and associated control processes contribute the largest share to the aging or damage of vehicle or machine parts, and which operators in which work process due to a specific movement pattern or parts thereof have the least wear or tear. Caused damage. These motion patterns could be used as reference patterns for an experienced operator.

Verfügt die Maschine über eine Personenerkennung bzw. Personalisierung, z.B. über eine Gesichtserkennung, dann können bei zuvor gelernten Bewegungsmustern bzw. Bedienerverhalten die letzten Muster/Modelle ausgewählt und weiter gelernt werden. Ansonsten muss die Personalisierung anderweitig über die jeweilige Mensch-Maschine-Schnittstelle (HMI) erfolgen.If the machine has a person recognition or personalization, e.g. via a face recognition, the last patterns / models can be selected and further learned with previously learned movement patterns or user behavior. Otherwise, the personalization must otherwise take place via the respective human-machine interface (HMI).

Weiterhin kann mit der Kenntnis der Maschinenabhängigen Steuerungsfähigkeiten der Bediener wiederum die Baustellenplanung (BIM) optimiert werden. Dabei kann optimiert werden, wer, wann, auf welcher Maschine, welche Arbeitsprozesse, bei welchen typischen Arbeitszeiten für die jeweiligen Arbeitssequenzen, langsamer oder schneller war als eine vorgegebene Planung.Furthermore, with the knowledge of the machine-dependent control capabilities, the operator can again optimize the site planning (BIM) become. It can be optimized who, when, on which machine, which work processes, at which typical working hours for the respective work sequences, slower or faster than a predetermined planning.

Darüber hinaus können, neben den bisher genannten Sensorinformationen, auch Kraft- und/oder Momenten-Sensoren zum Einsatz kommen und in Bediener und/oder Maschinen- und/oder Werkzeug- und/oder prozessspezifischen Kraft- und/oder Momentverläufen abgebildet werden.In addition, in addition to the previously mentioned sensor information, also force and / or torque sensors can be used and mapped in the operator and / or machine and / or tool and / or process-specific force and / or torque curves.

Ein gemäß dem beschriebenen Verfahren optimierte Fahrroute bzw. Fahrtrajektorie kann von einer Maschine bzw. Fahrzeug zu einer anderen Maschine bzw. Fahrzeug übertragen werden. Dabei kann die Umgebung, d.h. z.B. die Neigung der Fahrbahn, als weitere Information in der dynamischen Karte berücksichtigt werden. Ändert sich die Umgebung, kann ein Werkzeugwechsel notwendig sein. Wann welches Werkzeug ein erfahrener Bediener verwendet, kann dabei ebenfalls gelernt und einem unerfahrenen Bediener bei gleichem bzw. ähnlichem Muster als Empfehlung mitgeteilt bzw. angezeigt werden.An optimized according to the described method travel route or Fahrtrajektorie can be transferred from one machine or vehicle to another machine or vehicle. The environment, i. e.g. the inclination of the roadway, to be considered as further information in the dynamic map. If the environment changes, a tool change may be necessary. When which tool an experienced operator uses, can also be learned and notified or displayed to a novice operator with the same or similar pattern as a recommendation.

Das beschriebene Verfahren kann in Form eines Steuerprogramms für ein elektronisches Steuergerät zur Steuerung einer hier betroffenen Arbeitsmaschine oder in Form einer oder mehrerer entsprechender elektronischer Steuereinheiten (ECUs) realisiert werden.The method described can be realized in the form of a control program for an electronic control unit for controlling a working machine involved here or in the form of one or more corresponding electronic control units (ECUs).

2 zeigt schematisch eine zur Ausführung des vorbeschriebenen Verfahrens eingerichtete Arbeitsmaschine 300 anhand eines Blockdiagramms. Die Maschine 300 umfasst in diesem Ausführungsbeispiel zur Ausführung des beschriebenen Verfahrens folgende Funktionskomponenten, und zwar eine Steuereinheit 305, eine Sensorik 310 mit mehreren Sensoren, z.B. einem Winkelsensor 312 (stellvertretend für ggf. weitere Sensoren), sowie eine Aktorik bzw. Motorik 315 mit mehreren Antriebskomponenten, z.B. (wiederum nur stellvertretend) einer Brennkraftmaschine 317 und einem Werkzeug 318. 2 schematically shows a set up for carrying out the method described above working machine 300 using a block diagram. The machine 300 In this embodiment, for carrying out the method described, the following functional components, namely a control unit, are included 305 , a sensor 310 with several sensors, eg an angle sensor 312 (Representative of possibly further sensors), as well as an actuator or motor 315 with several drive components, eg (again only representative) of an internal combustion engine 317 and a tool 318 ,

Die Sensorik 310 umfasst in dem vorliegenden Ausführungsbeispiel Neigungs- und Winkelsensoren, sowie an jeweiligen Stellzylindern des Werkzeugs angeordnete induktive oder magnetische Sensoren, mittels derer die Position des Werkzeugs relativ zu einer Maschinenführerkabine und absolut in Bezug auf die Umgebung bestimmt wird. Die Position bzw. Ausrichtung der Maschine wird vorliegend mittels eines Beschleunigungssensors und eines Gyrosensors ermittelt. Zusätzlich kann eine absolute Positionsbestimmung des Werkzeugs sowie der Maschine, relativ zum umgebenden Gelände, mittels eines eingangs genannten GNSS-Systems, eines genannten LIDAR-Systems und/oder eines optischen Kamerasystems erfolgen.The sensors 310 includes tilt and angle sensors in the present embodiment, as well as inductive or magnetic sensors arranged on respective positioning cylinders of the tool, by means of which the position of the tool relative to a machine operator's cab and absolutely relative to the environment is determined. The position or orientation of the machine is determined in the present case by means of an acceleration sensor and a gyro sensor. In addition, an absolute position determination of the tool and the machine, relative to the surrounding terrain, by means of a GNSS system mentioned above, a said LIDAR system and / or an optical camera system take place.

Die Steuereinheit 305 umfasst ein Trajektorie-Berechnungsmodul 320, welches auf der Grundlage der von der Sensorik 310 erfassten Daten die Bewegungstrajektorien der Maschine und des Werkzeugs berechnet. Die so berechneten Trajektorien dienen als Eingangsdaten einer Prozessoreinheit 325. The control unit 305 includes a trajectory calculation module 320 which is based on the sensor technology 310 collected data calculates the movement trajectories of the machine and the tool. The trajectories thus calculated serve as input data of a processor unit 325 ,

Die Prozessoreinheit 325 umfasst ein Modellberechnungsmodul 330, mittels dessen auf der Grundlage der genannten Eingangsdaten die für bestimmte Arbeitssequenzen oder auch Teile davon erforderlichen Merkmale bzw. Bewegungsmuster mittels einer genannten Modellrechnung gelernt werden und nachfolgend erkannt werden können. Mittels eines Vergleichermoduls 335 wird daraus, in der beschriebenen Weise, das Erfahrungsniveau eines vorliegenden Bedieners ermittelt. Das sich dabei ergebende Erfahrungsniveau wird in dem vorliegenden Ausführungsbeispiel mittels einer Ausgabeeinheit 340 zum einen an einem Anzeigegerät (Display) an den jeweiligen Bediener ausgegeben. Zusätzlich werden diese Daten einer Maschinen- bzw. Werkzeugsteuerung 345 zugeführt, mittels der die Aktorik 315 zum Betrieb der Maschine bzw. des Werkzeugs entsprechend dem vorliegenden Erfahrungsniveau angesteuert wird. Die Aktorik umfasst im vorliegenden Ausführungsbeispiel einen verbrennungsmotorischen Antrieb zur Bewegung der Maschine sowie einen hydraulischen Antrieb zur Bewegung des Werkzeugs, zum Betrieb eines Bremssystems der Maschine sowie zum Betrieb eines (Servo-)Lenksystems der Maschine.The processor unit 325 includes a model calculation module 330 , by means of which, on the basis of said input data, the features or movement patterns required for particular working sequences or even parts thereof can be learned by means of a model calculation and subsequently recognized. By means of a comparator module 335 From this, in the described manner, the level of experience of a given operator is determined. The resulting level of experience is in the present embodiment by means of an output unit 340 on the one hand to a display device (display) to the respective operator output. In addition, these data become a machine or tool control 345 fed by means of the actuators 315 is operated to operate the machine or the tool according to the present level of experience. The actuators in the present embodiment comprises an internal combustion engine drive for moving the machine and a hydraulic drive for moving the tool, for operating a braking system of the machine and for operating a (servo) steering system of the machine.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102005019820 A1 [0002]DE 102005019820 A1 [0002]

Claims (14)

Verfahren zum Betreiben einer Arbeitsmaschine (300) mit mindestens einem Arbeitswerkzeug (318), gekennzeichnet durch folgende Schritte: - Erfassen (200) wenigstens einer Bewegungstrajektorie des mindestens einen Arbeitswerkzeugs (318) und/oder der Arbeitsmaschine (300) in einem laufenden Arbeitsprozess mit einem erfahrenen Bediener; - Analysieren (205) der erfassten wenigstens einen Bewegungstrajektorie auf der Grundlage wenigstens eines vorgebbaren Bewegungsmerkmals; - Lernen (235) des wenigstens einen vorgebbaren Bewegungsmerkmals für den erfahrenen Bediener; - Vergleichen (245) des wenigstens einen erlernten Bewegungsmerkmals mit einem entsprechenden Bewegungsmerkmal eines weniger erfahrenen Bedieners; - Assistieren (240) des weniger erfahrenen Bedieners auf der Grundlage der Ergebnisse des Vergleichs (245).Method for operating a work machine (300) with at least one work tool (318), characterized by the following steps: - detecting (200) at least one movement trajectory of the at least one work tool (318) and / or the work machine (300) in a running work process with a experienced server; - analyzing (205) the detected at least one motion trajectory based on at least one predeterminable motion feature; - learning (235) the at least one predeterminable motion feature for the experienced operator; - comparing (245) the at least one learned motion feature with a corresponding motion feature of a less experienced operator; Assisting (240) the less experienced operator based on the results of the comparison (245). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass empirisch vorgebbare, von dem erfahrenen Bediener bestimmte Bewegungsmerkmale arbeitsprozessspezifisch und/oder werkzeugspezifisch und/oder maschinenspezifisch gelernt werden.Method according to Claim 1 , characterized in that empirically predeterminable movement characteristics determined by the experienced operator are learned in a process-specific and / or tool-specific and / or machine-specific manner. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Ergebnisse des Vergleichs an den weniger erfahrenen Bediener zur Optimierung der räumlichen Bewegung von Werkzeugen und/oder der Arbeitsmaschine im Arbeitsprozess ausgegeben werden (250).Method according to Claim 1 or 2 , characterized in that the results of the comparison are output to the less experienced operator for optimizing the spatial movement of tools and / or the work machine in the work process (250). Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine Ausgabe (250) von Hinweisen an den weniger erfahrenen Bediener mittels eines visuellen Steuerungsassistenten erfolgt.Method according to Claim 3 characterized in that an output (250) of indications to the less experienced operator is by means of a visual control assistant. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Hinweise an den weniger erfahrenen Bediener auf einem Anzeigegerät ausgegeben werden (250).Method according to Claim 4 , characterized in that the instructions are issued to the less experienced operator on a display device (250). Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Ergebnisse des Vergleichs (245) an den weniger erfahrenen Bediener durch Vorsteuern und/oder durch Limitieren einzelner Bewegungen ausgegeben werden.Method according to Claim 1 or 2 , characterized in that the results of the comparison (245) are output to the less experienced operator by pre-controlling and / or by limiting individual movements. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Ergebnisse des Vergleichs (245) von einem Steuerungssystem der Arbeitsmaschine (300) vollständig übernommen werden.Method according to Claim 1 or 2 , characterized in that the results of the comparison (245) are completely taken over by a control system of the work machine (300). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Bewegungstrajektorie des mindestens einen Arbeitswerkzeugs (318) und/oder der Arbeitsmaschine (300) mittels einer Sensorik (310) erfasst wirdMethod according to one of the preceding claims, characterized in that the at least one movement trajectory of the at least one working tool (318) and / or the working machine (300) is detected by means of a sensor system (310) Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Sensorik (310) einen oder mehrere der folgenden Sensoren umfasst: - Wenigstens einen an dem mindestens einen Arbeitswerkzeug (318) angeordneten Neigungs- und/oder Winkelsensor; - Beschleunigungssensor; - Gyrosensor; - Ein GNSS-System zur absoluten Positionsbestimmung des mindestens einen Arbeitswerkzeugs (318) und/oder der Arbeitsmaschine (300); - Eine induktive, magnetische oder ohmsche Messvorrichtung zur Ermittlung des Weges von an dem mindestens einen Arbeitswerkzeug (318) angeordneten Stellzylindern; - Ein LIDAR-Messsystem zur optischen Messung der räumlichen Entfernung des mindestens einen Arbeitswerkzeugs (318) und/oder der Arbeitsmaschine (300); - Einen Kamerasensor zur Blickrichtungserkennung eines Bedieners der Arbeitsmaschine (300); - Einen stereoskopischen Kamerasensor, bei dem aus mindestens zwei Bildern die räumliche Position des mindestens einen Arbeitswerkzeugs (318) und/oder der Arbeitsmaschine (300) ermittelbar ist; - Einen Kamerasensor zur Erstellung eines räumlichen Fahrbahnoberflächenprofils.Method according to Claim 8 , characterized in that the sensor system (310) comprises one or more of the following sensors: - at least one tilt and / or angle sensor arranged on the at least one working tool (318); - acceleration sensor; - gyrosensor; - A GNSS system for absolute positioning of the at least one working tool (318) and / or the working machine (300); - An inductive, magnetic or ohmic measuring device for determining the path of the at least one working tool (318) arranged adjusting cylinders; - A LIDAR measuring system for the optical measurement of the spatial distance of the at least one working tool (318) and / or the working machine (300); - A camera sensor for viewing direction detection of an operator of the work machine (300); - A stereoscopic camera sensor, in which the spatial position of the at least one working tool (318) and / or the working machine (300) can be determined from at least two images; - A camera sensor for creating a spatial road surface profile. Computerprogramm, welches eingerichtet ist, jeden Schritt eines Verfahrens gemäß einem der Ansprüche 1 bis 9 durchzuführen.Computer program, which is set up, each step of a method according to one of Claims 1 to 9 perform. Maschinenlesbarer Datenträger, auf welchem ein Computerprogramm gemäß Anspruch 10 gespeichert ist.Machine-readable data carrier on which a computer program according to Claim 10 is stored. Elektronisches Steuergerät (305), welches eingerichtet ist, eine Arbeitsmaschine (300) mittels eines Verfahrens gemäß einem der Ansprüche 1 bis 9 zu steuern.An electronic control unit (305) adapted to operate a work machine (300) by a method according to any one of Claims 1 to 9 to control. Arbeitsmaschine (300) mit mindestens einem Arbeitswerkzeug (318) und mit einer Sensorik (310) mit mindestens einem Sensor zur Erfassung wenigstens einer Bewegungstrajektorie des mindestens einen Arbeitswerkzeugs (318) und/oder der Arbeitsmaschine (300) in einem laufenden Arbeitsprozess, gekennzeichnet durch eine Steuereinheit (305), welche ein Trajektorie-Berechnungsmodul (320) sowie eine Prozessoreinheit (325) umfasst, welche mittels einer Modellrechnung Daten bezüglich des Erfahrungsniveaus eines vorliegenden Bedieners ermittelt.Working machine (300) with at least one working tool (318) and with a sensor system (310) with at least one sensor for detecting at least one movement trajectory of the at least one working tool (318) and / or the working machine (300) in a running working process, characterized by a Control unit (305), which comprises a trajectory calculation module (320) and a processor unit (325), which determines by means of a model calculation data relating to the experience level of a present operator. Arbeitsmaschine nach Anspruch 13, dadurch gekennzeichnet, dass die bezüglich des Erfahrungsniveaus des vorliegenden Bedieners ermittelten Daten einer Maschinen- bzw. Werkzeugsteuerung (345) zugeführt werden, mittels der eine Aktorik (315) der Arbeitsmaschine (300) entsprechend einem vorliegenden Erfahrungsniveau ansteuerbar ist.Working machine after Claim 13 , characterized in that the data determined with respect to the level of experience of the present operator of a machine or Tool control (345) are supplied, by means of an actuator (315) of the working machine (300) is controlled according to a present level of experience.
DE102018200232.0A 2018-01-09 2018-01-09 Method for operating a work machine and work machine Withdrawn DE102018200232A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018200232.0A DE102018200232A1 (en) 2018-01-09 2018-01-09 Method for operating a work machine and work machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018200232.0A DE102018200232A1 (en) 2018-01-09 2018-01-09 Method for operating a work machine and work machine

Publications (1)

Publication Number Publication Date
DE102018200232A1 true DE102018200232A1 (en) 2019-07-11

Family

ID=66995522

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018200232.0A Withdrawn DE102018200232A1 (en) 2018-01-09 2018-01-09 Method for operating a work machine and work machine

Country Status (1)

Country Link
DE (1) DE102018200232A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019207141A1 (en) * 2019-05-16 2020-11-19 Robert Bosch Gmbh Method for analyzing the use of a work machine
DE102021203337A1 (en) 2021-04-01 2022-10-06 Robert Bosch Gesellschaft mit beschränkter Haftung Control unit for a mobile working machine, mobile working machine therewith, and method for controlling the working machine
DE102022204001A1 (en) 2022-04-26 2023-10-26 Robert Bosch Gesellschaft mit beschränkter Haftung Method for evaluating and improving the driving style of an operator of a mobile machine

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05321296A (en) * 1992-05-27 1993-12-07 Shin Caterpillar Mitsubishi Ltd Excavation supporting device for power shovel
DE102005019820A1 (en) 2004-06-22 2006-01-12 Caterpillar Sarl Work machine operating system and operating method
US20150004574A1 (en) * 2013-06-27 2015-01-01 Caterpillar Inc. Prioritizing Method of Operator Coaching On Industrial Machines
US20160247332A1 (en) * 2015-02-25 2016-08-25 Hitachi, Ltd. Operation Support System and Working Machine Including Operation Support System
US20160289926A1 (en) * 2015-03-31 2016-10-06 Caterpillar Inc. Hydraulic System with Operator Skill Level Compensation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05321296A (en) * 1992-05-27 1993-12-07 Shin Caterpillar Mitsubishi Ltd Excavation supporting device for power shovel
DE102005019820A1 (en) 2004-06-22 2006-01-12 Caterpillar Sarl Work machine operating system and operating method
US20150004574A1 (en) * 2013-06-27 2015-01-01 Caterpillar Inc. Prioritizing Method of Operator Coaching On Industrial Machines
US20160247332A1 (en) * 2015-02-25 2016-08-25 Hitachi, Ltd. Operation Support System and Working Machine Including Operation Support System
US20160289926A1 (en) * 2015-03-31 2016-10-06 Caterpillar Inc. Hydraulic System with Operator Skill Level Compensation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019207141A1 (en) * 2019-05-16 2020-11-19 Robert Bosch Gmbh Method for analyzing the use of a work machine
DE102021203337A1 (en) 2021-04-01 2022-10-06 Robert Bosch Gesellschaft mit beschränkter Haftung Control unit for a mobile working machine, mobile working machine therewith, and method for controlling the working machine
DE102022204001A1 (en) 2022-04-26 2023-10-26 Robert Bosch Gesellschaft mit beschränkter Haftung Method for evaluating and improving the driving style of an operator of a mobile machine

Similar Documents

Publication Publication Date Title
DE102018108572B4 (en) LANE CHANGE ASSISTANT DEVICE FOR A VEHICLE
DE102016112859B4 (en) Navigation device for an autonomously driving vehicle
DE102014109936B4 (en) Interactive automated driving system
DE69317623T2 (en) Method and device for stepless vehicle control with automatic feedback after faults
DE102016220945A1 (en) Method and device for supporting a maneuvering process of a motor vehicle
EP3479183B2 (en) Method for operating a motor vehicle in a navigation environment and motor vehicle
DE102014015493B4 (en) Method for operating a motor vehicle and motor vehicle
DE102016113902A1 (en) Field-based torque control
EP2378383B1 (en) Method for operating a holonomic/omnidirectional industrial truck
DE102018116142A1 (en) DEVICE FOR AUTONOMOUS DRIVING
DE102014111122A1 (en) Method for the at least semi-autonomous maneuvering of a motor vehicle, driver assistance system and motor vehicle
DE102014011796A1 (en) Method and device for moving a vehicle to a destination position
DE102014216577A1 (en) Method and device for assisting a driver of a motor vehicle
DE102018200232A1 (en) Method for operating a work machine and work machine
DE102015209974A1 (en) Cross-longitudinal combined trajectory planning for a vehicle
DE102020129369A1 (en) IMPROVED VEHICLE OPERATION
DE102019115330A1 (en) Real-time safety path generation for highly automated vehicle fallback maneuvers
DE102020130669A1 (en) VEHICLE PARKING SYSTEM
DE112022001133T5 (en) Systems and methods for vehicle movement planning
DE102017104357A1 (en) METHOD, DEVICE AND COMPUTER READABLE STORAGE MEDIUM WITH MOTOR PLANT INSTRUCTIONS FOR A MOTOR VEHICLE
DE102019216147B3 (en) Method for determining the drivability of an area of a site for a vehicle
WO2019238328A1 (en) Method for visualising
WO2021233674A1 (en) Method for determining an initial position of a vehicle
DE102009020648A1 (en) Vehicle collision avoidance method, involves reconstructing actual position of vehicle based on vehicle condition information when position determining unit provides no information or inaccurate information of actual position of vehicle
DE102009005451B4 (en) Method for carrying out a test drive of a motor vehicle and motor vehicle therefor

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee