DE102014209371A1 - System for controlling a work machine with a boom - Google Patents

System for controlling a work machine with a boom Download PDF

Info

Publication number
DE102014209371A1
DE102014209371A1 DE102014209371.6A DE102014209371A DE102014209371A1 DE 102014209371 A1 DE102014209371 A1 DE 102014209371A1 DE 102014209371 A DE102014209371 A DE 102014209371A DE 102014209371 A1 DE102014209371 A1 DE 102014209371A1
Authority
DE
Germany
Prior art keywords
boom
markers
camera
desired position
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102014209371.6A
Other languages
German (de)
Other versions
DE102014209371B4 (en
Inventor
Thorsten Kever
Steffen Bucher
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
IFM Electronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IFM Electronic GmbH filed Critical IFM Electronic GmbH
Priority to DE102014209371.6A priority Critical patent/DE102014209371B4/en
Publication of DE102014209371A1 publication Critical patent/DE102014209371A1/en
Application granted granted Critical
Publication of DE102014209371B4 publication Critical patent/DE102014209371B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39011Fixed camera detects deviation end effector from reference on workpiece, object

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Guiding Agricultural Machines (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

System und Verfahren zur Steuerung einer Arbeitsmaschine (100) mit einem Ausleger (150), mit einem Steuergerät und einer 3D-Kamera zur Erfassung der Position des Auslegers, wobei an mindestens einem Punkt des Auslegers (150) Marker (P1, P2, P3) angeordnet sind, und wobei die 3D-Kamera (100) und das Steuergerät zur Überwachung der Position der Marker (P1, P2, P3) ausgebildet sind.System and method for controlling a work machine (100) with a boom (150), with a control device and a 3D camera for detecting the position of the boom, with markers (P1, P2, P3) at at least one point on the boom (150) are arranged, and wherein the 3D camera (100) and the control device are designed to monitor the position of the markers (P1, P2, P3).

Description

Die Erfindung geht aus von einem System zur Steuerung einer Arbeitsmaschine mit einem Ausleger, sowohl von stationären oder mobilen Arbeitsmaschinen, mit Hilfe einer 3D- und insbesondere PMD-Kamera.The invention is based on a system for controlling a work machine with a boom, both of stationary or mobile machines, with the aid of a 3D and in particular PMD camera.

Mit 3D-Kamera sind insbesondere Lichtlaufzeitkameras mit umfasst, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Für ein solches System sind insbesondere PMD-Kameras bzw. entsprechende PMD-Kamerasysteme geeignet, wie sie beispielsweise den Anmeldungen EP 1 777 747 , US 6 587 186 und auch DE 197 04 496 bekannt sind. Derartige Systeme werden beispielsweise von der Anmelderin ‚ifm electronic gmbh’ als O3D-Kamera vertrieben. Ein PMD-Kamerasystem erlaubt insbesondere eine flexible Anordnung der aktiven Beleuchtung und dem PMD-Sensor, wobei Sensor und Beleuchtung sowohl gemeinsam in einem Gehäuse als auch separat angeordnet werden können. Nebst der PMD-Kamera können selbstverständlich auch vergleichbare Kamerasysteme als Lichtlaufzeitkamera eingesetzt werden, die im Wesentlichen darin übereinstimmen, das eine zu überwachende Szene mit einem modulierten Licht beleuchtet und das von der Szene reflektierte Licht von einem Lichtlaufzeitsensor, bestehend aus einer Vielzahl von Lichtlaufzeitpixel, erfasst wird, wobei vorzugsweise für jedes Lichtlaufzeitpixel, ausgehend von der Phasenlage des gesendeten und empfangenen Licht, eine Phasenverschiebung und somit ein Entfernungswert bestimmt wird.With a 3D camera, in particular, it is possible to include time-of-flight cameras which acquire transit time information from the phase shift of an emitted and received radiation. For such a system in particular PMD cameras or corresponding PMD camera systems are suitable, such as the applications EP 1 777 747 . US Pat. No. 6,587,186 and also DE 197 04 496 are known. Such systems are sold, for example, by the applicant, ifm electronic gmbh 'as O3D camera. In particular, a PMD camera system allows a flexible arrangement of the active illumination and the PMD sensor, wherein sensor and illumination can be arranged both together in a housing as well as separately. In addition to the PMD camera, it is of course also possible to use comparable camera systems as a time of flight camera, which essentially illuminate a scene to be monitored with a modulated light and detect the light reflected by the scene from a light transit time sensor consisting of a multiplicity of light transit time pixels , wherein preferably for each light transit time pixel, based on the phase position of the transmitted and received light, a phase shift and thus a distance value is determined.

Ferner ist aus der DE 10 2011 081 569 A1 eine Lichtlaufzeitkamera mit einer elektrischen Signalpfadüberwachung bekannt, bei der anhand von Treibersignalen mit denen die Beleuchtung des PMD-Kamerasystems betrieben wird, die Funktionsfähigkeit der Beleuchtung überprüft wird. Aus der DE 10 2010 038 591 A1 ist eine weitere Ausführung bekannt, bei der die Funktionsfähigkeit der Beleuchtung über einen Kontrollsensor erfasst wird. Derartige Ausgestaltungen erlauben es den Sicherheitslevel eines PMD-Kamerasystems zu verbessern.Furthermore, from the DE 10 2011 081 569 A1 a light transit time camera with an electrical signal path monitoring known in which based on driver signals with which the illumination of the PMD camera system is operated, the functionality of the lighting is checked. From the DE 10 2010 038 591 A1 Another embodiment is known in which the functionality of the illumination is detected by a control sensor. Such embodiments allow to improve the security level of a PMD camera system.

Aus der DE 10 2011 051 827 A1 ist ferner eine landwirtschaftliche Arbeitsmaschine bekannt, bei der über eine optische Kamera Eigenschaften des von der Arbeitsmaschine überfahrenden Bodens überwacht und Parameter der Arbeitsmaschine gesteuert werden.From the DE 10 2011 051 827 A1 Furthermore, an agricultural working machine is known, in which monitored via an optical camera properties of the machine running over the machine floor and parameters of the working machine are controlled.

Aufgabe der Erfindung ist es, die Erkennung von Positionen von Maschinenteilen einer Arbeitsmaschine zu verbessern.The object of the invention is to improve the recognition of positions of machine parts of a working machine.

Diese Aufgabe wird vorteilhaft durch ein System gemäß dem unabhängigen Anspruch gelöst.This object is advantageously achieved by a system according to the independent claim.

Vorteilhaft ist ein System zur Steuerung einer Arbeitsmaschine mit einem Ausleger vorgesehen, wobei das System ein Steuergerät und eine 3D-Kamera zur Erfassung der Position des Auslegers aufweist, wobei an mindestens einem Punkt des Auslegers Marker angeordnet sind, und wobei die 3D-Kamera und das Steuergerät zur Überwachung der Position der Marker ausgebildet sind. Ferner ist das Steuergerät derart ausgebildet, dass bei einer Abweichung der Position der am Ausleger angeordneten Marker von einer Soll-Position der Ausleger in die Soll-Position zurückgeführt wird.Advantageously, a system is provided for controlling a work machine with a boom, wherein the system comprises a control device and a 3D camera for detecting the position of the boom, wherein at least one point of the boom markers are arranged, and wherein the 3D camera and the Control unit for monitoring the position of the markers are formed. Furthermore, the control device is designed such that, in the event of a deviation of the position of the markers arranged on the delivery arm from a desired position, the delivery device is returned to the desired position.

Dieses Vorgehen hat den Vorteil, dass insbesondere über die Marker die Position des Auslegers sehr genau und präzise bestimmt werden kann und somit eine Regelung der Soll-Position sicher und zuverlässig erfolgen kann.This procedure has the advantage that the position of the boom can be determined very precisely and precisely, in particular via the markers, and thus a regulation of the desired position can be carried out safely and reliably.

Ferner ist es vorgesehen, zusätzlich zu den Markern am Ausleger externe Marker an Zusatzgeräten und/oder markanten Punkten anzubringen und zu überwachen. Durch dieses Vorgehen ist es vorteilhaft möglich, den Ausleger oder ggf. auch die Arbeitsmaschine selbst auch in Relation zu externen nicht mit der Arbeitsmaschine verbundenen Vorrichtungen zu positionieren.Furthermore, it is provided to attach and monitor external markers on additional devices and / or prominent points in addition to the markers on the boom. By this procedure, it is advantageously possible to position the boom or possibly even the work machine itself in relation to external not connected to the work machine devices.

Besonde rs nützlich ist es, die Soll-Position des Auslegers in Abhängigkeit eines Abstandes zum Boden und/oder von Bearbeitungsobjekten und/oder externer Marker zu bestimmen. Durch dieses Vorgehen wird sichergestellt, dass der Ausleger immer ein für die vorgesehene Bearbeitung ausreichenden Abstand zum Boden oder zu den zu bearbeitenden Objekten, Pflanzen etc. einhält.It is particularly useful to determine the desired position of the boom as a function of a distance to the ground and / or of processing objects and / or external markers. This procedure ensures that the boom always maintains a sufficient distance to the ground or to the objects, plants, etc., for the intended processing.

Vorteilhaft ist es auch, zusätzlich zur Erkennung der Marker eine Objekterkennung in der Umgebung des Auslegers durchzuführen.It is also advantageous to carry out object recognition in the vicinity of the cantilever in addition to the detection of the markers.

Durch dieses Vorgehen ist es möglich, ausgehend von der Objekterkennung Kollisionswahrscheinlichkeiten zu bestimmen und den Ausleger bei einer drohenden Kollision aus dem Kollisionsbereich herauszufahren und/oder die Arbeitsmaschine zu stoppen.As a result of this procedure, it is possible to determine collision probabilities on the basis of the object recognition and to move the boom out of the collision area in the event of an imminent collision and / or to stop the work machine.

In einer weiteren Ausgestaltung ist es vorgesehen, die Marker unterschiedlichen Sicherheits-Klassifizierungen zuzuordnen. Durch dieses Vorgehen ist es möglich, die Positionen bestimmter Auslegerbereiche der Arbeitsmaschine unterschiedlich zu gewichten. In a further embodiment, it is intended to assign the markers to different safety classifications. By doing so, it is possible to weight the positions of certain boom sections of the work machine differently.

Beispielsweise kann eine Endposition eines Auslegers einer höheren Sicherheitsklassifizierung zugeordnet werden als ein maschinennaher Bereich des Auslegers. Die Regelung der Soll-Position kann dann beispielsweise so ausgelegt sein, dass die Marker bzw. Positionen mit einer hohen Klassifizierung häufiger und/oder mit einer höheren Genauigkeit überwacht werden und/oder dass nur geringe Abweichungen zur Soll-Position toleriert werden.For example, an end position of a boom may have a higher safety classification be assigned as a machine-near area of the boom. The regulation of the desired position can then be designed, for example, such that the markers or positions with a high classification are monitored more frequently and / or with a higher accuracy and / or that only small deviations from the desired position are tolerated.

Ebenso vorteilhaft ist ein Verfahren zum Betreiben des vorgenannten Systems vorgesehen, bei dem auf einem Ausleger einer Arbeitsmaschine angeordnete Marker im Hinblick auf eine Soll-Position überwacht werden, und bei einer Abweichung von der Soll-Position der Ausleger so angesteuert wird, dass die Marker auf die Soll-Position zurückgeführt werden.Also advantageously, a method for operating the aforementioned system is provided, are monitored in the arranged on a boom of a working machine markers with respect to a desired position, and is driven at a deviation from the desired position of the boom so that the marker on the desired position are returned.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.The invention will be explained in more detail by means of embodiments with reference to the drawings.

Es zeigen Show it

1 eine Arbeitsmaschine mit einem seitlichen Ausleger und einer 3D-Kamera, 1 a work machine with a side boom and a 3D camera,

2 eine Arbeitsmaschine in Relation zu weiteren markierten Objekten. 2 a work machine in relation to other marked objects.

Erfindungsgemäß ist es vorgesehen die Erfassung der Maschinenteile zu verbessern, indem an verschiedenen Punkten der Maschinenteile und insbesondere an einem Ausleger der Maschine spezielle Marker angebracht werden. Diese Marker sind vorzugsweise als Retroreflektoren ausgebildet, es sind jedoch auch andere Ausgestaltungen denkbar, wesentlich ist hier, dass sich die Marker deutlich von der Umgebung unterscheiden und einfach verfolgt werden können.According to the invention, the detection of the machine parts is to be improved by attaching special markers to different points of the machine parts and in particular to a boom of the machine. These markers are preferably designed as retroreflectors, but other embodiments are conceivable, it is essential here that the markers differ significantly from the environment and can be easily tracked.

Die Marker können sowohl an beweglichen als auch an statischen Maschinenteilen oder auch an statischen Punkten in der Umgebung der Maschine angebracht werden. The markers can be attached to moving or static machine parts or to static points around the machine.

Dabei werden von der 3D-Kamera relevante Informationen wie beispielsweise Position im Raum, Geschwindigkeit und Bewegungsrichtung zu der relativen Lage und Dynamik erfasst. Mit Hilfe dieser Informationen können sowohl Automatisierungsaufgaben als auch Steuerungsaufgaben auf Maschinen sowohl in der Industrie als auch im Bereich mobiler Arbeitsmaschinen / Land- und Forstmaschinen durchgeführt werden.In the process, information relevant to the 3D camera, such as, for example, position in space, speed and direction of movement, is recorded relative to the position and dynamics. With the help of this information, both automation tasks and control tasks can be carried out on machines both in industry and in the field of mobile work machines / agricultural and forestry machines.

Es können mehrere Marker im Blickfeld der Kamera gleichzeitig erfasst werden. Auch können Marker in der Umgebung, beispielsweise am Boden oder an Wänden, oder auf anderen Maschinen, insbesondere Transportsystemen, erfasst werden. Neben einer Position können auch Bewegungen, insbesondere gleichförmige, translatorische Bewegungen, erfasst werden. Ebenso ist es möglich, auch ungewollte Bewegungen, zum Beispiel Durchbiegungen, niederfrequente Schwingungen etc., zu erfassen.Several markers in the field of view of the camera can be detected simultaneously. It is also possible to detect markers in the environment, for example on the floor or on walls, or on other machines, in particular transport systems. In addition to a position, movements, in particular uniform, translatory movements, can also be detected. It is also possible to detect unwanted movements, for example, deflections, low-frequency vibrations, etc.

Erfindungsgemäß ist est vorgesehen, spezielle Punkte an Maschinenteilen und oder in der Umgebung mit Markern, insbesondere Retroreflektoren zu kennzeichnen. Diese markierten Punkte werden durch eine 3D-Kamera erfasst und deren Bewegung und Position im Raum typischerweise relativ zur Kamera verfolgt. Eine Bildverarbeitung oder eine Auswerteeinheit, in der Kamera oder extern, ist typischerweise so ausgebildetet, dass die Objektverfolgung in Echtzeit durchgeführt werden kann.According to the invention est is provided to mark special points on machine parts and or in the environment with markers, in particular retroreflectors. These marked points are detected by a 3D camera and their movement and position in space are typically tracked relative to the camera. An image processing unit or an evaluation unit, in the camera or externally, is typically designed in such a way that the object tracking can be carried out in real time.

Über ein Steuergerät werden die erfassten Daten ausgewertet und geeignete Reaktionen eingeleitet. Typischerweise werden Steuerelement bzw. Aktuatoren angesteuert, um beispielsweise ungewollten Bewegungen oder Schwingungen entgegenzusteuern und dementsprechend zu unterdrücken. Auch können gelernte automatisierte Be- und Entladeprozesse gesteuert werden. Insbesondere kann über das Steuergerät und die 3D-Kamera ein Regelkreis aufgebaut werden, um insbesondere bewegliche Elemente einer Arbeitsmaschine auf eine Soll-Position im Raum oder in Relation zu anderen Objekten zu halten.A control unit evaluates the recorded data and initiates appropriate reactions. Typically, the control element or actuators are actuated in order, for example, to counteract unwanted movements or oscillations and to suppress them accordingly. Also learned automated loading and unloading processes can be controlled. In particular, a control circuit can be set up via the control unit and the 3D camera, in order in particular to hold movable elements of a work machine to a desired position in space or in relation to other objects.

1 zeigt eine Arbeitsmaschine 100, insbesondere mobile Arbeitsmaschine mit einem mehrgliedrigen Ausleger 150. Im dargestellten Fall ist an jedem Gelenkbereich des Auslegers 150 ein Marker P1, P2, P3, die insbesondere als Retroreflektoren ausgebildet sind, angeordnet. Die an der Arbeitsmaschine 100 angeordnete 3D-Kamera bzw. Lichtlaufzeitkamera 1 überwacht den Auslegerbereich und insbesondere die drei Marker P1, P2, P3. Die aktive Beleuchtung zur Aussendung eines modulierten Lichts in den Erfassungsbereich der 3D-Kamera ist vorzugweise im Gehäuse der 3D-Kamera integriert, kann jedoch auch separat angeordnet werden. 1 shows a work machine 100 , in particular mobile work machine with a multi-unit boom 150 , In the case illustrated is at each joint area of the boom 150 a marker P1, P2, P3, which are in particular designed as retroreflectors, arranged. The at the work machine 100 arranged 3D camera or light time camera 1 monitors the boom area and in particular the three markers P1, P2, P3. The active illumination for emitting a modulated light in the detection range of the 3D camera is preferably integrated in the housing of the 3D camera, but can also be arranged separately.

Der Arbeitsbereich des Auslegers 150 ist vorzugsweise in einem Steuergerät hinterlegt und wird von diesem überwacht. Verlassen die Raumpositionen der Marker P1, P2, P3 und somit die Raumposition des Auslegers einen tolerierten Bereich, so können über das Steuergerät verschiedene Fehlerreaktionen eingeleitet werden. Bevorzugt ist es vorgesehen, dass das Steuergerät aktiv in die Steuerung des Auslegers eingreift, um den Ausleger wieder in den tolerierten Bereich bzw. auf eine Soll-Position zu bringen. Bei zu großen Abweichungen kann es auch vorgesehen sein, dass die Arbeitsmaschine gestoppt wird, um eventuelle Beschädigungen zu vermeiden.The work area of the jib 150 is preferably stored in a control unit and is monitored by this. If the spatial positions of the markers P1, P2, P3 and thus the spatial position of the cantilever leave a tolerated range, various error responses can be initiated via the control unit. Preferably, it is provided that the control unit actively engages in the control of the boom in order to bring the boom back into the tolerated range or to a desired position. Too large deviations may also be provided that the machine is stopped in order to avoid possible damage.

Insbesondere kann es auch vorgesehen sein, den Ausleger im Hinblick auf dem Abstand zum Boden einzustellen. Vorteilhaft kann es zudem vorgesehen sein, zusätzlich zum Ausleger auch den Boden als Fläche zu erfassen und den Abstand des Auslegers im Hinblick auf den tatsächlich erfassten Bodens auszuregeln. Dies hat den Vorteil, dass der Ausleger nich nur in einer bestimmten Relation zu Arbeitsmaschine 100 ausgerichtet werden kann, sondern auch im Hinblick auf die erfasste Umfeldsituation. In particular, it may also be provided to adjust the boom with respect to the distance to the ground. Advantageously, it can also be provided, in addition to the boom, to detect the ground as a surface and to control the distance of the boom with respect to the actually detected soil. This has the advantage that the boom not only in a certain relation to work machine 100 can be aligned, but also with regard to the recorded environmental situation.

Dieses Vorgehen ist besonders für landwirtschaftliche Arbeismaschinen von Interesse, bei denen ein genauer Abstand zum Boden oder zu den zu bearbeitenden Pflanzen eingehalten werden muss. Beispielsweise kann der Ausleger einer solchen Arbeitsmaschine über das erfindungsgemäße System so gesteuert werden, dass der Abstand des Auslegers zu den Pfanzen im Wesentlichen konstant gehalten wird und das Profil der unterschiedlichen Wachstumshöhen nachgefahren wird.This procedure is of particular interest for agricultural work machines in which a precise distance to the ground or to the plants to be processed must be adhered to. For example, the boom of such a working machine can be controlled via the system according to the invention so that the distance of the boom to the plants is kept substantially constant and the profile of the different growth heights is traced.

Insbesondere kann es auch vorgesehen sein, das Markertracking mit eine Objekterfassung zu kombinieren, so dass beispielsweise auch potentielle Kollisionsobjekte im Auslegerbereich erfasst werden können.In particular, it can also be provided to combine the marker tracking with an object detection, so that, for example, potential collision objects in the boom area can also be detected.

Insbesondere kann bei Verwendung eines sicherheitsfähigem Lichtlaufzeitkamerasystem auch eine Überwachung eines Sicherheitsbereiches in den der markierte Maschinenteil / die markierte Maschine nicht eindringen darf erfolgen, bzw. können erlaubte Abläufe / Bewegungen überprüft werden.In particular, when using a safety-compliant time of flight camera system, it is also possible to monitor a safety area in which the marked machine part / machine can not penetrate, or it is possible to check permitted sequences / movements.

Zur Erhöhung der Sicherheit kann die Kamera auch mit ein Funktionsüberwachungssystem ausgestattet sein, wie es beispielsweise in den Anmeldungen DE 10 2011 081 569 A1 und DE 10 2010 038 591 A1 beschrieben ist.To increase security, the camera can also be equipped with a function monitoring system, as for example in the applications DE 10 2011 081 569 A1 and DE 10 2010 038 591 A1 is described.

2 zeigt eine Situation beispielsweise einer Erntemaschine mit einem Ausleger 150 zur Ausbringung des Ernteguts. Im dargestellten Beispiel wird die Erntemaschine an einem Übergabepunkt herangeführt. Zur Positionierung des Auslegers 150 und/oder der Arbeitsmaschine 100 bzw. Erntemaschine ist am Übergabepunkt eine Markierung P5 angeordnet. Ferner befindet sich auch am Güterwagen 180 ein weiterer Marker P4. Am Ausleger 150 sind in einem mittleren Bereich und am Endpunkt des Auslegers 150 weitere Marker P2, P1 angebracht. 2 shows a situation, for example, of a harvester with a boom 150 for spreading the crop. In the example shown, the harvester is brought to a transfer point. For positioning the boom 150 and / or the work machine 100 or harvesting machine, a marking P5 is arranged at the transfer point. Furthermore, there is also the freight car 180 another marker P4. On the boom 150 are in a middle range and at the end point of the boom 150 additional markers P2, P1 attached.

Die Steuerung der Erntemaschine kann vorteilhaft so ausgebildet sein, dass Erntemaschine und/oder Ausleger 150 für die Übergabe des Ernteguts optimal positioniert und ausgerichtet werden.The control of the harvesting machine can advantageously be designed such that the harvesting machine and / or boom 150 be optimally positioned and aligned for the transfer of the crop.

Das erfindungsgemäße Systems ist selbstverständlich nicht auf die dargestellten Anwendungen beschränkt, sondern auch in einem anderen und insbesondere Industrieumfeld anwendbar.Of course, the system according to the invention is not limited to the applications shown, but also applicable in a different and in particular industrial environment.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • EP 1777747 [0002] EP 1777747 [0002]
  • US 6587186 [0002] US 6587186 [0002]
  • DE 19704496 [0002] DE 19704496 [0002]
  • DE 102011081569 A1 [0003, 0032] DE 102011081569 A1 [0003, 0032]
  • DE 102010038591 A1 [0003, 0032] DE 102010038591 A1 [0003, 0032]
  • DE 102011051827 A1 [0004] DE 102011051827 A1 [0004]

Claims (7)

System zur Steuerung einer Arbeitsmaschine (100) mit einem Ausleger (150), wobei das System ein Steuergerät und eine 3D-Kamera zur Erfassung der Position des Auslegers (150) aufweist, wobei an mindestens einem Punkt des Auslegers (150) Marker (P1, P2, P3) angeordnet sind, und wobei die 3D-Kamera (100) und das Steuergerät zur Überwachung der Position der Marker (P1, P2, P3) ausgebildet sind, wobei das Steuergerät derart ausgebildet ist, dass bei einer Abweichung der Position der am Ausleger (150) angeordneten Marker (P1, P2, P3) von einer Soll-Position der Ausleger (150) in die Soll-Position zurückgeführt wird.System for controlling a working machine ( 100 ) with a boom ( 150 ), wherein the system includes a controller and a 3D camera for detecting the position of the cantilever ( 150 ), wherein at least one point of the cantilever ( 150 ) Markers (P1, P2, P3) are arranged, and wherein the 3D camera ( 100 ) and the control device for monitoring the position of the markers (P1, P2, P3) are formed, wherein the control device is designed such that in case of a deviation of the position of the boom ( 150 ) arranged markers (P1, P2, P3) from a desired position of the boom ( 150 ) is returned to the desired position. System nach Anspruch 1, beim dem zusätzlich zu den Markern (P1, P2) am Ausleger (150) externe Marker (P4, P5) an Zusatzgeräten (180) und/oder markanten Punkten angebracht und überwacht werden.System according to claim 1, wherein in addition to the markers (P1, P2) on the boom ( 150 ) external markers (P4, P5) on additional devices ( 180 ) and / or prominent points. System nach Anspruch 1 oder 2, bei dem die Soll-Position des Auslegers (150) in Abhängigkeit eines Abstandes zum Boden und/oder zu Bearbeitungsobjekten und/oder externer Marker (P4, P5) bestimmt wird.System according to claim 1 or 2, wherein the desired position of the boom ( 150 ) is determined as a function of a distance to the ground and / or to machining objects and / or external markers (P4, P5). System nach einem der vorhergehenden Ansprüchen, bei dem zusätzlich zur Erkennung der Marker (P1, .. P5) eine Objekterkennung in der Umgebung des Auslegers (150) erfolgt.System according to one of the preceding claims, in which, in addition to the recognition of the markers (P1, .. P5), an object recognition in the vicinity of the cantilever ( 150 ) he follows. System nach Anspruch 4, bei dem ausgehend von der Objekterkennung Kollisionswahrscheinlichkeiten bestimmt und der Ausleger (150) bei einer drohenden Kollision aus dem Kollisionsbereich herausgefahren wird und/oder die Arbeitsmaschine (100) gestoppt wird.A system according to claim 4, wherein, on the basis of the object recognition, collision probabilities are determined and the boom ( 150 ) is driven out of the collision area in the event of an imminent collision and / or the working machine ( 100 ) is stopped. System nach einem der vorhergehenden Ansprüchen, bei dem die Marker (P1, .. P5) unterschiedlichen Sicherheitsklassifizierungen zugeordnet sind.A system according to any one of the preceding claims, wherein the markers (P1, .. P5) are associated with different safety classifications. Verfahren zum Betreiben eines Systems nach einem der vorhergehenden Ansprüche, bei dem auf einem Ausleger (150) einer Arbeitsmaschine (100) angeordnete Marker (P1, P2, P3) im Hinblick auf eine Soll-Position überwacht werden, und bei einer Abweichung von der Soll-Position der Ausleger (150) so angesteuert wird, dass die Marker (P1, P2, P3) auf die Soll-Position zurückgeführt werden.Method for operating a system according to one of the preceding claims, in which on a boom ( 150 ) of a work machine ( 100 ) (P1, P2, P3) are monitored with respect to a desired position, and in a deviation from the desired position of the boom ( 150 ) is controlled so that the markers (P1, P2, P3) are returned to the desired position.
DE102014209371.6A 2013-05-17 2014-05-16 System for controlling a work machine with a boom Active DE102014209371B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014209371.6A DE102014209371B4 (en) 2013-05-17 2014-05-16 System for controlling a work machine with a boom

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013209259 2013-05-17
DE102013209259.8 2013-05-17
DE102014209371.6A DE102014209371B4 (en) 2013-05-17 2014-05-16 System for controlling a work machine with a boom

Publications (2)

Publication Number Publication Date
DE102014209371A1 true DE102014209371A1 (en) 2014-11-20
DE102014209371B4 DE102014209371B4 (en) 2018-11-15

Family

ID=51831572

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014209371.6A Active DE102014209371B4 (en) 2013-05-17 2014-05-16 System for controlling a work machine with a boom

Country Status (1)

Country Link
DE (1) DE102014209371B4 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105729457A (en) * 2016-05-04 2016-07-06 成都贝森伟任科技有限责任公司 Part capturing terminal
US10016898B2 (en) 2015-06-30 2018-07-10 Fanuc Corporation Robot system using a vision sensor
EP3289852B1 (en) 2016-08-29 2019-06-26 CLAAS Selbstfahrende Erntemaschinen GmbH Transport automobile
EP3552474A1 (en) 2018-04-09 2019-10-16 Deere & Company A system for controlling an operative parameter of a harvesting header
DE102018124595A1 (en) * 2018-10-05 2020-04-09 Carl Zeiss Industrielle Messtechnik Gmbh Device for detecting a position and location of a robot end effector
DE102020119453B4 (en) 2019-10-18 2022-06-09 Mujin, Inc. Method and control system for verifying and updating robot controller calibration information
DE102021002707A1 (en) 2021-05-25 2022-12-01 Vision Metrics GmbH Method and measuring device for determining the position of a movable machine part of a machine
US11590656B2 (en) 2019-03-29 2023-02-28 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1777747A1 (en) 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
DE102011081569A1 (en) 2010-11-29 2012-05-31 Robert Bosch Gmbh Device for dividing total airflow for operating exhaust gas burner utilized for burning particulate filter in exhaust system of diesel engine of motor car, has venturi tube with total- and inner air connections for division of total airflow
DE102011051827A1 (en) 2011-07-13 2013-01-17 Claas Selbstfahrende Erntemaschinen Gmbh Agricultural working machine e.g. corn harvester, has camera arranged in machine such that viewing direction of camera is vertically directed towards land, where machine is controlled and/or monitored based on properties of land

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3405909A1 (en) * 1984-02-18 1985-08-22 Licentia Patent-Verwaltungs-Gmbh, 6000 Frankfurt DEVICE FOR DETECTING, MEASURING ANALYSIS AND / OR REGULATING TECHNICAL PROCEDURES
JP2003117861A (en) * 2001-10-15 2003-04-23 Denso Corp Position correcting system of robot
DE102011081561B4 (en) * 2011-08-25 2024-06-13 pmdtechnologies ag Time-of-flight camera system with signal path monitoring
DE102011081563B4 (en) * 2011-08-25 2015-06-25 Ifm Electronic Gmbh Time of flight camera system with signal path monitoring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
US6587186B2 (en) 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1777747A1 (en) 2005-10-19 2007-04-25 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
DE102011081569A1 (en) 2010-11-29 2012-05-31 Robert Bosch Gmbh Device for dividing total airflow for operating exhaust gas burner utilized for burning particulate filter in exhaust system of diesel engine of motor car, has venturi tube with total- and inner air connections for division of total airflow
DE102011051827A1 (en) 2011-07-13 2013-01-17 Claas Selbstfahrende Erntemaschinen Gmbh Agricultural working machine e.g. corn harvester, has camera arranged in machine such that viewing direction of camera is vertically directed towards land, where machine is controlled and/or monitored based on properties of land

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10016898B2 (en) 2015-06-30 2018-07-10 Fanuc Corporation Robot system using a vision sensor
DE102016007719B4 (en) 2015-06-30 2019-02-14 Fanuc Corporation A robot system using a visual sensor
CN105729457A (en) * 2016-05-04 2016-07-06 成都贝森伟任科技有限责任公司 Part capturing terminal
EP3289852B1 (en) 2016-08-29 2019-06-26 CLAAS Selbstfahrende Erntemaschinen GmbH Transport automobile
EP3552474A1 (en) 2018-04-09 2019-10-16 Deere & Company A system for controlling an operative parameter of a harvesting header
US11483972B2 (en) 2018-04-09 2022-11-01 Deere & Company System for controlling an operative parameter of a harvesting header
DE102018124595B4 (en) 2018-10-05 2022-02-17 Carl Zeiss Industrielle Messtechnik Gmbh Device for detecting a position and attitude of an end effector of a robot
DE102018124595A1 (en) * 2018-10-05 2020-04-09 Carl Zeiss Industrielle Messtechnik Gmbh Device for detecting a position and location of a robot end effector
US11554494B2 (en) 2018-10-05 2023-01-17 Carl Zeiss Industrielle Messtechnik Gmbh Device for acquiring a position and orientation of an end effector of a robot
US11590656B2 (en) 2019-03-29 2023-02-28 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
DE102020119453B4 (en) 2019-10-18 2022-06-09 Mujin, Inc. Method and control system for verifying and updating robot controller calibration information
DE102021002707A1 (en) 2021-05-25 2022-12-01 Vision Metrics GmbH Method and measuring device for determining the position of a movable machine part of a machine
DE102021002707B4 (en) 2021-05-25 2023-06-01 Vision Metrics GmbH Method and measuring device for determining the position of a movable machine part of a machine

Also Published As

Publication number Publication date
DE102014209371B4 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
DE102014209371B4 (en) System for controlling a work machine with a boom
EP3260357B1 (en) Vehicle with shunting system
EP3342932B1 (en) Self-propelled milling machine, and method for unloading milled goods
EP3000762B1 (en) Method for automatic, optical determination of a target position for a container lifting device
EP1067399B1 (en) Method of visibility determination
DE102015109799A1 (en) Method for synchronizing two independent, self-propelled agricultural machines
DE102014216763A1 (en) Self-propelled milling machine, as well as method for unloading milled material
DE102015209879A1 (en) Weed control device
DE102006057610A1 (en) Image-supported docking method for load-based ranking, involves determining vehicle height, consulting difference to vehicle height for docking in target object for vehicle treble control, and determining space and height data with sensor
DE102009046107A1 (en) System and method for interaction between a person and a machine
DE102013011089A1 (en) Anti-collision system for an agricultural vehicle with automatic detection of the dimensions of a load
DE102016119605A1 (en) Calibration system and calibration method for calibrating the mechanical parameters of the wrist part of a robot
DE102005024882A1 (en) Truck
EP3234442B1 (en) Method for monitoring a coordinate measuring device
WO2020001963A1 (en) Method and system for ascertaining a relative position between a target object and a vehicle
DE102017112931A1 (en) Mobile means of transporting data collectors, data collection system and data collection procedures
EP3333116A1 (en) Method for automatic alignment of an industrial truck in a warehouse and system consisting of an industrial truck and a warehouse
DE102018101162B4 (en) Measuring system and method for extrinsic calibration
EP3414597B1 (en) Method and arrangement for the highly accurate positioning of a robot-guided interaction apparatus by means of radar
DE102015217314A1 (en) monitoring system
DE102015116736A1 (en) Method for sensor-based management
DE102014224884A1 (en) Method and system for monitoring logistics facilities
DE102019111317A1 (en) Autonomous agricultural work machine and method of operating it
DE102016222016B4 (en) Method for monitoring a robot and control unit
EP2670917B1 (en) Method for lifting a movable bridge element and bridge-moving vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: IFM ELECTRONIC GMBH, 45128 ESSEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: PMDTECHNOLOGIES AG, 57076 SIEGEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE

R020 Patent grant now final