DE102020201394A1

DE102020201394A1 - Semi-automatic control of an excavator

Info

Publication number: DE102020201394A1
Application number: DE102020201394.2A
Authority: DE
Inventors: Gabriela Jager
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2020-02-05
Filing date: 2020-02-05
Publication date: 2021-08-05

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern des Arms eines Baggers (101); wobei Bagger (101) mindestens einen Umfeldsensor aufweist; mit den Schritten Erstellen eines Abbilds eines zu bearbeitenden Bereichs mittels des Umgebungssensors; Festlegen eines oder mehrerer Punkte (103, 205, 301) in dem Abbild; Transformieren der Punkte (103, 205, 301) in Umgebungskoordinaten; und Steuern des Auslegers derart, dass der Ausleger mit einem Anbaugerät (105, 201, 203) die Umgebungskoordinaten anfährt.The invention relates to a method for controlling the arm of an excavator (101); wherein the excavator (101) has at least one environment sensor; with the steps of creating an image of an area to be processed by means of the environment sensor; Defining one or more points (103, 205, 301) in the image; Transforming the points (103, 205, 301) into environmental coordinates; and controlling the boom in such a way that the boom approaches the environmental coordinates with an attachment (105, 201, 203).

Description

Die Erfindung betrifft ein Verfahren nach Anspruch 1, ein Steuergerät nach Anspruch 4, ein Computerprogramm nach Anspruch 5 und einen Bagger nach Anspruch 6.The invention relates to a method according to claim 1, a control device according to claim 4, a computer program according to claim 5 and an excavator according to claim 6.

Aus dem Stand der Technik sind Baggersteuerungen bekannt, bei denen ein Ausleger des Baggers indirekt gesteuert wird. Steuereingaben eines Bedieners werden dabei nicht direkt in Bewegungen des Auslegers umgesetzt, sondern mit vordefinierten, auf Plausibilität überprüften Steuerungsparametern überlagert. Beispielsweise lassen sich für Planieraufgaben eine Eintauchtiefe und ein Winkel der Baggerschaufel vorwählen.Excavator controls are known from the prior art in which a boom of the excavator is indirectly controlled. Control inputs from an operator are not converted directly into movements of the boom, but are overlaid with predefined control parameters that have been checked for plausibility. For example, an immersion depth and an angle of the excavator shovel can be preselected for leveling tasks.

Der Erfindung liegt die Aufgabe zugrunde, die Steuerung eines Baggers zu vereinfachen. Diese Aufgabe wird gelöst durch ein Verfahren nach Anspruch 1, ein Steuergerät nach Anspruch 4, ein Computerprogrammprodukt nach Anspruch 5 und einen Bagger nach Anspruch 6. Bevorzugte Weiterbildungen ergeben sich aus den Unteransprüchen, aus nachfolgender Beschreibung und aus den in den Figuren dargestellten Ausführungsbeispielen.The invention is based on the object of simplifying the control of an excavator. This object is achieved by a method according to claim 1, a control device according to claim 4, a computer program product according to claim 5 and an excavator according to claim 6. Preferred developments result from the subclaims, from the following description and from the exemplary embodiments shown in the figures.

Das erfindungsgemäße Verfahren dient zum Steuern des Arms eines Baggers. Ein Bagger ist eine Baumaschine mit einem Arm, der ausgebildet ist, ein Anbaugerät aufzunehmen. Der Ausleger besteht gewöhnlich aus einem vertikal verschwenkbaren Ausleger und einem horizontal verschwenkbaren Löffelstiel. Am Ende des Löffelstiels ist das Anbaugerät befestigt.The method according to the invention is used to control the arm of an excavator. An excavator is a construction machine with an arm that is configured to pick up an attachment. The boom usually consists of a vertically pivotable boom and a horizontally pivotable dipper stick. The attachment is attached to the end of the arm.

Als Anbaugeräte werden die Werkzeuge des Baggers bezeichnet. Zu den Anbaugeräten zählen etwa Löffel, Abbruchmeißel und Schrottschere.The excavator tools are called attachments. Attachments include spoons, demolition chisels and scrap shears.

Der Bagger weist mindestens einen Umfeldsensor auf. Ein Umfeldsensor ist ein Sensor, der mindestens einen Teil des Umfelds des Baggers erfasst. Mindestens ein Teil des Umfelds des Baggers liegt also im Erfassungsbereich des Sensors. Als Umfeldsensoren kommen etwa eine oder mehrere optische Kameras oder Lidarsensoren infrage.The excavator has at least one environment sensor. An environment sensor is a sensor that detects at least part of the environment of the excavator. At least part of the area around the excavator is therefore within the detection range of the sensor. One or more optical cameras or lidar sensors can be used as environmental sensors.

Der Umfeldsensor ist vorzugsweise derart an dem Bagger angebracht, dass der Arbeitsbereich des Baggers im Erfassungsbereich des Umfeldsensors liegt. Mit Arbeitsbereich wird ein Bereich bezeichnet, in welchem ein an dem Arm des Baggers angebrachtes Anbaugerät durch Verfahren des Arms verfahren positioniert werden kann.The environment sensor is preferably attached to the excavator in such a way that the working area of the excavator is in the detection range of the environment sensor. A work area is an area in which an attachment attached to the arm of the excavator can be positioned by moving the arm.

Das erfindungsgemäße Verfahren sieht vor, dass mittels des Umgebungssensors ein Abbild eines zu bearbeitenden Bereichs erstellt wird. Bei dem zu bearbeitenden Bereich handelt es sich um einen Bereich der Umgebung des Baggers, der von dem Bagger bzw. mittels dessen Anbaugerät bearbeitet werden soll.The method according to the invention provides that an image of an area to be processed is created by means of the environmental sensor. The area to be processed is an area of the surroundings of the excavator that is to be processed by the excavator or by means of its attachment.

Als Abbild wird bevorzugt ein dreidimensionales Modell, beispielsweise eine Punktwolke erstellt. Entsprechende Verfahren hierzu kann der Fachmann dem Stand der Technik entnehmen.A three-dimensional model, for example a point cloud, is preferably created as an image. Corresponding methods for this can be found in the prior art by the person skilled in the art.

Das Abbild enthält neben dem zu bearbeitenden Bereich weitere Teile der Umgebung, die nicht bearbeitet werden sollen. Daher muss der zu bearbeitende Bereich von den Bereichen, die nicht bearbeitet werden sollen, abgegrenzt werden. Hierzu werden in einem weiteren Schritt des erfindungsgemäßen Verfahrens ein oder mehrere Punkte in dem Abbild festgelegt. Die Punkte befinden sich in dem zu bearbeitenden Bereich und definieren Stellen, an denen eine Bearbeitung erfolgen soll.In addition to the area to be edited, the image contains other parts of the environment that should not be edited. Therefore, the area to be processed must be separated from the areas that are not to be processed. For this purpose, one or more points are defined in the image in a further step of the method according to the invention. The points are located in the area to be machined and define places where machining is to take place.

Die Festlegung der Punkte erfolgt bevorzugt händisch, das heißt durch Eingabe eines Bedieners. Bevorzugt wird das Abbild dem Bediener daher visualisiert. Der Bediener kennzeichnet die Punkte in der Visualisierung direkt oder kann einen Bereich kennzeichnen, in dem die Punkte anschließend von einem Algorithmus festgelegt werden. Auf Basis eines von dem Bediener markierten Bereichs können die Punkte etwa in Form sich kreuzender Linien eines Gitters festgelegt werden. Alternativ ist es möglich, die Punkte in dem markierten Bereich mittels eines analytischen Ansatzes oder künstlicher Intelligenz zu bestimmen.The points are preferably set manually, that is, by inputting an operator. The image is therefore preferably visualized for the operator. The operator marks the points directly in the visualization or can mark an area in which the points are then determined by an algorithm. On the basis of an area marked by the operator, the points can be defined, for example, in the form of intersecting lines of a grid. Alternatively, it is possible to determine the points in the marked area using an analytical approach or artificial intelligence.

Alternativ können die Punkte automatisch ermittelt werden. Beispielsweise lassen sich Bereiche mit Bodenniveau von der Bearbeitung ausschließen.Alternatively, the points can be determined automatically. For example, areas with floor level can be excluded from processing.

Die festgelegten Punkte werden in einem weiteren Verfahrensschritt in Umgebungskoordinaten transformiert. Dies bedeutet, dass für jeden Punkt Koordinaten in einem Bezugssystem der Umgebung bestimmt werden, die einen Punkt der Umgebung festlegen, der dem Punkt in dem Abbild entspricht. Bei dem Punkt der Umgebung handelt es sich um den Punkt, der mittels des Umgebungssensors auf den Punkt in dem Abbild abgebildet wurde. Die Transformierung der Punkte stellt also eine Umkehrabbildung der durch den Umgebungssensor vollzogenen Abbildung dar.The specified points are transformed into environmental coordinates in a further process step. This means that for each point coordinates are determined in a reference system of the environment, which define a point of the environment which corresponds to the point in the image. The point of the environment is the point that was mapped onto the point in the image by means of the environment sensor. The transformation of the points thus represents an inverse image of the image made by the environmental sensor.

Die Umgebungskoordinaten definieren einen Punkt in einem ortsfesten Bezugssystem. Das Bezugssystem ist relativ zu ortsfesten Gegenständen unbeweglich. Ortsfeste Gegenstände sind etwa Gegenstände, die bezüglich eines Untergrunds, auf dem der Bagger sich bewegt, unbeweglich sind. Auch der Untergrund selbst ist ortsfest.The environment coordinates define a point in a fixed reference system. The reference system is immobile relative to stationary objects. Fixed objects are, for example, objects that are immovable with respect to a surface on which the excavator is moving. The subsurface itself is also stationary.

Schließlich wird der Arm des Baggers derart gesteuert, dass der Arm mit dem Anbaugerät die in Umgebungskoordinaten transformierten Punkte anfährt. Der Arm wird also derart gesteuert, dass das Anbaugerät sukzessive verschiedene Positionen einnimmt, die jeweils einer Transformation eines der in dem Abbild festgelegten Punkte in Umgebungskoordinaten entspricht.Finally, the arm of the excavator is controlled in such a way that the arm with the attachment approaches the points transformed into environmental coordinates. The arm is therefore controlled in such a way that the attachment successively assumes different positions, each of which corresponds to a transformation of one of the points defined in the image into environmental coordinates.

Bei dem erfindungsgemäßen Verfahren handelt es sich um ein Steuerungsverfahren, bei dem sich die Eingabe des Bedieners auf die Festlegung von Punkte in einem Abbild der Umgebung bzw. auf eine Bestätigung der automatisch ermittelten Punkte reduziert. Die übrigen Verfahrensschritte werden automatisiert ausgeführt. Die Festlegung der Punkte entspricht einer Kennzeichnung der zu bearbeitenden Stellen. Daher gestaltet sich das Verfahren für den Bediener sehr einfach und intuitiv. Tiefer gehende Kenntnisse über die Kinematik des Baggers sind nicht erforderlich.The method according to the invention is a control method in which the operator's input is reduced to the definition of points in an image of the surroundings or to a confirmation of the automatically determined points. The remaining process steps are carried out automatically. The definition of the points corresponds to an identification of the places to be processed. The process is therefore very simple and intuitive for the operator. In-depth knowledge of the excavator's kinematics is not required.

In einer bevorzugten Weiterbildung werden mittels des Anbaugeräts an den durch die Umgebungskoordinaten festgelegten Positionen jeweils ein oder mehrere Bearbeitungsschritte durchgeführt. Wenn also der Arm des Baggers mit dem Anbaugerät einen der transformierten Punkte angefahren hat, führt er an der Stelle zunächst die Bearbeitungsschritte durch, bevor er die verbleibenden Punkte anfährt.In a preferred development, one or more processing steps are carried out by means of the attachment at the positions defined by the environmental coordinates. So if the arm of the excavator with the attachment has approached one of the transformed points, it first carries out the processing steps at that point before approaching the remaining points.

In einer darüber hinaus bevorzugten Weiterbildung wird das Abbild mittels eines Anzeigegeräts dargestellt. Durch die Darstellung mittels des Anzeigegeräts wird das Abbild dem Bediener visualisiert. Dies erleichtert dem Bediener die Festlegung der zu bearbeitenden Punkte bzw. des Bereichs, der die zu bearbeitenden Punkte enthält.In a further preferred development, the image is displayed by means of a display device. The image is visualized to the operator by means of the display device. This makes it easier for the operator to define the points to be processed or the area which contains the points to be processed.

Die automatisiert durchgeführten Schritte des erfindungsgemäßen Verfahrens sind bevorzugt computerimplementiert. Dies sind sämtliche Schritte mit Ausnahme des Schritts, in dem ein oder mehrere Punkte in dem Abbild festgelegt werden. Ein erfindungsgemäßes Steuergerät zur Durchführung des erfindungsgemäßen Verfahrens oder einer bevorzugten Weiterbildung ist entsprechend ausgebildet, diese Schritte auszuführen.The automatically performed steps of the method according to the invention are preferably computer-implemented. These are all steps with the exception of the step in which one or more points are defined in the image. A control device according to the invention for carrying out the method according to the invention or a preferred development is designed accordingly to carry out these steps.

Ein erfindungsgemäßes Computerprogramm lässt sich auf einem Steuergerät ausführen. Dabei veranlasst es das Steuergerät, das erfindungsgemäße Verfahren oder eine bevorzugte Weiterbildung auszuführen.A computer program according to the invention can be executed on a control device. In doing so, it causes the control unit to carry out the method according to the invention or a preferred development.

Ein erfindungsgemäßer Bagger weist den oben beschriebenen mindestens einen Umgebungssensor auf. Erfindungsgemäß ist er zudem mit dem erfindungsgemäßen Steuergerät ausgerüstet. Der Umgebungssensor ist signalleitend mit dem Steuergerät verbunden, sodass das Steuergerät ein Signal des Sensors als Eingabe erhält. Mittels dieses Signals erstellt das Steuergerät bei Ausführung des Verfahrens das Abbild des zu bearbeitenden Bereichs.An excavator according to the invention has the at least one environment sensor described above. According to the invention, it is also equipped with the control device according to the invention. The ambient sensor is connected to the control unit in a signal-conducting manner, so that the control unit receives a signal from the sensor as an input. Using this signal, the control unit creates the image of the area to be processed when the method is executed.

Bevorzugte Ausführungsbeispiele der Erfindung sind in den Figuren dargestellt. Übereinstimmende Bezugsziffern kennzeichnen gleiche oder funktionsgleiche Merkmale. Im Einzelnen zeigt:

1 einen Bagger mit Abbruchmeißel;
2 eine Schrottschere; und
3 einen Abbruchmeißel.

Preferred embodiments of the invention are shown in the figures. Corresponding reference numbers identify features that are the same or have the same function. In detail shows:

1 an excavator with a demolition bit;
2 a scrap shear; and
3 a demolition chisel.

Der in 1 dargestellte Bagger 101 wird mittels eines Gitters 103 gesteuert. Die Linien des Gitters 103 kennzeichnet mit ihren Schnittpunkten die Bereiche einer Straße, an denen der Bagger 101 seinen Abbruchmeißel 105 ansetzen soll.The in 1 illustrated excavator 101 is made by means of a grid 103 controlled. The lines of the grid 103 indicates with its intersection the areas of a road where the excavator 101 his demolition chisel 105 should start.

2 zeigt eine Schrottschere 201. Mit dieser soll eine Eisenbahnschiene 203 zerschnitten werden. Dazu ist die Eisenbahnschiene 203 in einem dreidimensionalen Modell mit Punkten 205 versehen. Die Punkte 205 geben an, an welchen Stellen die Schrottschere 201 ansetzen soll. 2 shows scrap shears 201 . This is supposed to be a railroad track 203 be cut up. To do this is the railroad track 203 in a three-dimensional model with points 205 Mistake. The points 205 indicate at which points the scrap shears 201 should start.

In 3 ist der zu bearbeitende Bereich analog zu 1 mit einem Gitter 301 markiert. Die Schnittpunkte des Gitters 301 kennzeichnen die mittels eines Abbruchmeißels 303 zu bearbeitenden Punkte einer Treppe 305. Mittels eines dreidimensionalen Modells werden Gitter 301 in verschiedenen Ebenen auf die Treppe 305 projiziert. Jede Ebene definiert dabei eine Iteration des Bearbeitungsverfahrens.In 3 the area to be processed is analogous to 1 with a grid 301 marked. The intersections of the grid 301 identify the points of a staircase to be machined by means of a demolition chisel 303 305 . Grids are created using a three-dimensional model 301 in different levels on the stairs 305 projected. Each level defines an iteration of the machining process.

BezugszeichenlisteList of reference symbols

101101: BaggerExcavator
103103: GitterGrid
105105: AbbruchmeißelDemolition chisel
201201: SchrottschereScrap shears
203203: EisenbahnschieneRailroad track
205205: PunktPoint
301301: GitterGrid
203203: AbbruchmeißelDemolition chisel
305305: Treppestairs

Claims

A method of controlling the arm of an excavator (101); wherein the excavator (101) has at least one environment sensor; with the steps - Creating an image of an area to be processed by means of the environment sensor; - Establishing one or more points (103, 205, 301) in the image; - transforming the points (103, 205, 301) into environment coordinates; and - controlling the boom in such a way that the boom with an attachment (105, 201, 203) approaches the transformed into environmental coordinates.

Procedure according to Claim 1 ; characterized in that one or more processing steps are carried out in each case by means of the attachment (105, 201, 203) at the positions defined by the environmental coordinates.

Method according to one of the preceding claims; characterized in that the image is displayed by means of a display device.

Control device which is designed to carry out a method according to one of the preceding claims.

Computer program for execution on a control device; characterized in that the execution of the computer program product causes the control device to carry out a method according to one of the preceding method steps.

Excavator with at least one environmental sensor; characterized by a control unit according to Claim 4 wherein the environmental sensor is connected to the control unit in a signal-conducting manner.