DE102020209667A1

DE102020209667A1 - Control device, control arrangement and method for remote control of a work machine

Info

Publication number: DE102020209667A1
Application number: DE102020209667.8A
Authority: DE
Inventors: Udo Schulz; Stefan Engels
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-30
Filing date: 2020-07-30
Publication date: 2022-02-03

Abstract

Steuereinrichtung 2 zur Remotesteuerung einer Arbeitsmaschine 4 durch einen Benutzer 7, mit einem Steuerungseingabemodul 14, wobei das Steuerungseingabemodul 14 ausgebildet ist, die Arbeitsmaschine 4 zur Durchführung eines Arbeitsprozesses basierend auf einer Benutzereingabe anzusteuern, mit einem Pose-Bestimmungsmodul, wobei das Pose-Bestimmungsmodul ausgebildet ist, eine Relativ-Pose zwischen der Steuereinrichtung 2 und der Arbeitsmaschine 4 und Relative Orientierung zwischen Steuereinrichtung 2 und Arbeitsprozess zu bestimmen, mit einem Sichtprüfungsmodul oder durch Pose-Datenübermittlung durch die Maschine, wobei das Sichtprüfungsmodul ausgebildet ist, basierend auf der Relativ-Pose eine Einsehbarkeit des Arbeitsprozesses und/oder der Arbeitsmaschine durch den Benutzer 7 zu ermitteln, mit einem Sicherheitsprüfmodul, wobei das Sicherheitsprüfmodul ausgebildet ist, das Ansteuern des Arbeitsprozesses durch das Steuerungseingabemodul 14 bei Einsehbarkeit zuzulassen und/oder das Ansteuern des Arbeitsprozesses durch das Steuerungseingabemodul 14 bei fehlender und/oder zu geringer Einsehbarkeit zu unterdrücken.Control device 2 for remote control of a work machine 4 by a user 7, with a control input module 14, the control input module 14 being designed to control the work machine 4 to carry out a work process based on a user input, with a pose determination module, the pose determination module being designed to determine a relative pose between the control device 2 and the work machine 4 and the relative orientation between the control device 2 and the work process, with a visual inspection module or by pose data transmission by the machine, the visual inspection module being designed based on the relative pose of the work process and/or the work machine by the user 7, with a safety check module, the safety check module being designed to permit the control of the work process by the control input module 14 when visible and/or the control To suppress rn of the work process by the control input module 14 in the absence and / or insufficient visibility.

Description

Stand der TechnikState of the art

Die Erfindung betrifft eine Steuereinrichtung zur Remotesteuerung einer Arbeitsmaschine durch einen Benutzer mit den Merkmalen des Oberbegriffs nach Anspruch 1.The invention relates to a control device for remote control of a working machine by a user, having the features of the preamble according to claim 1.

Die Steuerung von Arbeitsmaschinen, beispielsweise von Kränen, Baumaschinen oder Prozessmaschinen, erfolgt durch einen Benutzer häufig beabstandet zueinander. Eine derartige Steuerung wird auch als Remotesteuerung bezeichnet. Die Steuerung der Arbeitsmaschine erfolgt beispielsweise durch eine Steuereinrichtung, die eine datentechnische Verbindung, beispielsweise Funk oder kabelgebunden, zur Arbeitsmaschine aufweist.Working machines, for example cranes, construction machines or process machines, are often controlled by a user at a distance from one another. Such a control is also referred to as a remote control. The working machine is controlled, for example, by a control device which has a data connection, for example radio or wired, to the working machine.

Die Druckschrift DE 10 2016 203 715 A1 , die wohl den nächstkommenden Stand der Technik bildet, beschreibt eine Anordnung zur Kontrolle des Freischaltens von Funktionen einer Arbeitsmaschine. Die Anordnung umfasst ein elektronisch lesbares Identifikationsmittel, eine Schnittstelle, einen Prozessor und wenigstens eine Einrichtung der Arbeitsmaschine, deren Funktion durch den Prozessor ein und/oder aushaltbar ist. Der Prozessor ist programmiert, dass Identifikationsmittel auszulesen und über die Bedienerschnittstelle eine Eingabe und/oder Auswahl einer gewünschten in einer abgespeicherten Berechtigungsdatenbank dem Identifikationsmittel zugeordneten Funktion der Einrichtung zu erhalten und die gewünschte Funktion für eine Zeitdauer freizuschalten.The pamphlet DE 10 2016 203 715 A1 , which probably forms the closest prior art, describes an arrangement for controlling the activation of functions of a working machine. The arrangement comprises an electronically readable identification means, an interface, a processor and at least one device of the work machine, the function of which can be activated and/or endured by the processor. The processor is programmed to read out the means of identification and, via the user interface, to receive an input and/or selection of a desired function of the device assigned to the means of identification in a stored authorization database and to enable the desired function for a period of time.

Offenbarung der ErfindungDisclosure of Invention

Die Erfindung betrifft eine Steuereinrichtung zur Remotesteuerung einer Arbeitsmaschine durch einen Benutzer mit den Merkmalen des Anspruchs 1. Ferner betrifft die Erfindung eine Steueranordnung mit den Merkmalen des Anspruchs 10, ein Verfahren, ein Computerprogramm und ein Speichermedium. Bevorzugte und/oder vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren.The invention relates to a control device for remote control of a working machine by a user, having the features of claim 1. The invention also relates to a control arrangement having the features of claim 10, a method, a computer program and a storage medium. Preferred and/or advantageous configurations of the invention result from the dependent claims, the description and the attached figures.

Es wird eine Steuereinrichtung zur Steuerung einer Arbeitsmaschine und/oder eines Arbeitsprozesses der Arbeitsmaschine vorgeschlagen. Die Steuereinrichtung ist für einen Benutzer, auch Bediener genannt, ausgebildet. Insbesondere ausgebildet, dass der Benutzer mittels der Steuereinrichtung die Arbeitsmaschine und/oder den Arbeitsprozess gezielt führt und/oder personifiziert ansteuern, einstellen und/oder regeln kann. Die Steuereinrichtung ist vorzugsweise eine tragbare Steuereinrichtung, beispielsweise eine Fernbedienung. Ferner kann die Steuereinrichtung als eine umhängbare Steuereinrichtung ausgebildet sein und/oder eine Steuereinrichtung zur Armauflage durch den Benutzer bilden. Die Steuereinrichtung ist beispielsweise datentechnisch koppelbar und/oder gekoppelt mit der Arbeitsmaschine. Beispielsweise kann die Kopplung von Arbeitsmaschine und Steuereinrichtung funkbasiert oder kabelgebunden ausgeführt sein. Insbesondere ist die Steuereinrichtung zur Echtzeitsteuerung der Arbeitsmaschine und/oder des Arbeitsprozesses der Arbeitsmaschine ausgebildet.A control device for controlling a working machine and/or a working process of the working machine is proposed. The control device is designed for a user, also referred to as an operator. In particular, designed so that the user can control, set and/or regulate the working machine and/or the working process in a targeted manner and/or personally by means of the control device. The controller is preferably a portable controller, such as a remote control. Furthermore, the control device can be embodied as a control device that can be carried around and/or form a control device for arm rests by the user. The control device can, for example, be coupled in terms of data technology and/or is coupled to the work machine. For example, the coupling of the work machine and the control device can be radio-based or wired. In particular, the control device is designed for real-time control of the work machine and/or the work process of the work machine.

Die Arbeitsmaschine ist beispielsweise als eine Baumaschine, beispielsweise als Kran oder Bagger, als landwirtschaftliches Gerät, beispielsweise als Traktor, oder als eine Produktionsmaschine, beispielsweise Fertigungs- und/oder Montagemaschine, ausgebildet. Insbesondere ist die Arbeitsmaschine ausgebildet, mindestens einen Arbeitsprozess auszuführen. Der Arbeitsprozess kann beispielsweise eine Bewegung, ein Fahren, eine Benutzung eines Werkzeugs, beispielsweise einer Schaufel, oder eine beliebige anderweitige kinematische Bewegung sein. Insbesondere ist die Arbeitsmaschine in einem Arbeitsbereich, auch Arbeitsumgebung genannt, angeordnet und/oder ausgebildet in diesem Bereich den Arbeitsprozess auszuführen. Der Arbeitsbereich und die Arbeitsumgebung kann beispielsweise auch als ein Sicherheitsbereich ausgebildet und/oder verstanden werden, in dem, beispielsweise während des Arbeitsprozesses, keine Personen sein dürfen.The work machine is designed, for example, as a construction machine, for example a crane or excavator, as an agricultural implement, for example a tractor, or as a production machine, for example a manufacturing and/or assembly machine. In particular, the work machine is designed to carry out at least one work process. The work process can be, for example, movement, driving, use of a tool, for example a shovel, or any other kinematic movement. In particular, the work machine is arranged and/or designed to carry out the work process in a work area, also known as the work environment. The work area and the work environment can also be designed and/or understood as a safety area, for example, in which no people are allowed to be, for example during the work process.

Die Steuereinrichtung weist ein Steuerungseingabemodul auf. Das Steuerungseingabemodul umfasst und/oder bildet beispielsweise ein Touchpad, eine Blickrichtungssteuerung zur Steuerungseingabe mittels Blickrichtungen des Benutzers, einen Joy-Stick, ein Tasteneingabemodul und/oder ein Spracheingabemodul. Insbesondere kann das Steuerungseingabemodul zur Videoteleoperation ausgebildet sein. Das Steuerungseingabemodul ist ausgebildet, durch eine Benutzereingabe die Arbeitsmaschine zur Durchführung eines Arbeitsprozesses anzusteuern und/oder Befehle, insbesondere Steuersignale, zur Ansteuerung zu generieren. Die Benutzereingabe erfolgt beispielsweise als alphanumerische, akustische oder optische Eingabe des Benutzers. Die Benutzereingabe kann beispielsweise ein Lenken, ein Heben, ein Senken eines Werkzeuges oder ein Verfahren der Arbeitsmaschine bilden und/oder beschreiben. Das Steuerungseingabemodul ist beispielsweise ausgebildet Steuersignale zur Ansteuerung der Arbeitsmaschine auszugeben. Insbesondere ist das Steuerungseingabemodul ausgebildet, nicht ungeprüft und/oder bedingungslos basierend auf der Benutzereingabe den Arbeitsprozess bzw. die Arbeitsmaschine anzusteuern, beispielsweise Steuersignale ungeprüft und/oder bedingungslos an die Arbeitsmaschine bereitzustellen. Beispielsweise soll dies nicht erfolgen, wenn der Benutzer ungenügend Sicht auf die Arbeitsmaschine und/oder den Arbeitsprozess hat.The controller has a control input module. The control input module includes and/or forms, for example, a touchpad, a line of sight control for control input by means of the line of sight of the user, a joystick, a key input module and/or a voice input module. In particular, the control input module can be designed for video teleoperation. The control input module is designed to use a user input to control the working machine to carry out a working process and/or to generate commands, in particular control signals, for control. The user input takes place, for example, as an alphanumeric, acoustic or visual input by the user. The user input can form and/or describe, for example, a steering, a lifting, a lowering of a tool or a movement of the working machine. The control input module is designed, for example, to output control signals for controlling the working machine. In particular, the control input module is designed not to control the work process or the work machine based on the user input unchecked and/or unconditionally, for example control signals to the work machine unchecked and/or unconditionally to provide. For example, this should not take place if the user has an insufficient view of the work machine and/or the work process.

Die Steuereinrichtung umfasst ein Pose-Bestimmungsmodul. Das Pose-Bestimmungsmodul kann insbesondere Teil des Steuerungseingabemoduls sein. Das Pose-Bestimmungsmodul ist ausgebildet, eine Relativ-Pose zwischen Steuereinrichtung und Arbeitsmaschine und/oder zwischen Benutzer und Arbeitsmaschine und/oder die Relativ-Orientierung zwischen Steuerungsmodul und/oder Arbeitsprozess zu bestimmen. Beispielsweise sind Pose-Bestimmungsmodul Sensordaten oder GNSS-Daten der Steuereinrichtung und/oder der Arbeitsmaschine bereitgestellt. Insbesondere ist die Relativ-Pose als eine relative Position und/oder Lage im dreidimensionalen Raum ausgebildet. The controller includes a pose determination module. In particular, the pose determination module can be part of the control input module. The pose determination module is designed to determine a relative pose between the control device and the working machine and/or between the user and the working machine and/or the relative orientation between the control module and/or the working process. For example, pose determination module sensor data or GNSS data of the control device and/or the work machine are provided. In particular, the relative pose is designed as a relative position and/or location in three-dimensional space.

Die Steuereinrichtung und insbesondere das Pose-Bestimmungsmodul kann als Sensoren beispielsweise einen Inertial-Sensor, ein Magnetometer, ein Odometer, einen optischen oder akustischen Sensor umfassen. Ferner kann die Arbeitsmaschine dergleichen Sensoren zur Bereitstellung der Sensordaten an das Pose-Bestimmungsmodul umfassen.The control device and in particular the pose determination module can include, for example, an inertial sensor, a magnetometer, an odometer, an optical or an acoustic sensor as sensors. Furthermore, the work machine can include such sensors for providing the sensor data to the pose determination module.

Die Steuereinrichtung weist ein Sichtprüfungsmodul auf. Dass Sichtprüfungsmodul ist ausgebildet, basierend auf der Relativ-Pose eine Einsehbarkeit des Arbeitsprozesses und/oder der Arbeitsmaschine durch den Benutzer zu ermitteln. Die Einsehbarkeit beschreibt beispielsweise, ob der Benutzer der Steuerungseinrichtung von seiner Position aus Blickkontakt, auch Sichtkontakt genannt, zur Arbeitsmaschine, der Arbeitsumgebung und/oder dem Arbeitsraum besitzt. Insbesondere kann die Einsehbarkeit ein Maß, beispielsweise zwischen 0 und 100 %, darstellen, inwieweit der Benutzer, basierend auf der bestimmten Relativ-Pose die Arbeitsmaschine bei der Durchführung des Arbeitsprozesses einsehen, beaufsichtigen und/oder sicherstellen kann, dass keine Personen oder Objekte in einem Gefahrenbereich sind. Insbesondere kann die Einsehbarkeit eine Ausrichtung des Benutzers umfassen und/oder beschreiben, beispielsweise die Ausrichtung des Blickwinkels des Benutzers zu der Arbeitsmaschine. Neben einer gestuften Beschreibung der Einsehbarkeit, kann auch eine digitale Einsehbarkeit ermittelt und/oder vorgesehen sein, beispielsweise einsehbar und nicht einsehbar.The control device has a visual inspection module. The visual inspection module is designed to determine whether the work process and/or the work machine can be seen by the user based on the relative pose. Visibility describes, for example, whether the user of the control device has visual contact, also called visual contact, from his position with the working machine, the working environment and/or the working space. In particular, visibility can represent a measure, for example between 0 and 100%, of the extent to which the user, based on the determined relative pose, can see, supervise and/or ensure that the work machine is being carried out during the work process and that no people or objects are in a are in danger. In particular, visibility can include and/or describe an orientation of the user, for example the orientation of the user's viewing angle to the work machine. In addition to a graded description of visibility, digital visibility can also be determined and/or provided, for example visible and non-visible.

Die Steuereinrichtung weist ein Sicherheitsprüfmodul auf. Das Sicherheitsprüfmodul ist beispielsweise zwischen Steuerungseingabemodul und Arbeitsmaschine bezüglich des datentechnisches Flusses und/oder der Steuersignale angeordnet. Beispielsweise ist das Sicherheitsprüfmodul ausgebildet, die von dem Steuerungseingabemodul bestimmten und/oder ermittelten Steuersignale zur Ansteuerung des Arbeitsprozesses an die Arbeitsmaschine weiterzugeben (zuzulassen) und/oder zurückzuhalten (unterdrücken). Das Sicherheitsprüfmodul ist ausgebildet, das Ansteuern des Arbeitsprozesses durch das Steuerungseingabemodul bei gegebener Einsehbarkeit zuzulassen, beispielsweise im digitalen Fall gegebener Einsehbarkeit oder bei gestufte Einsehbarkeit überschreiten eines Schwellenwerts, zum Beispiel einer Mindesteinsehbarkeit. Ferner ist das Sicherheitsprüfmodul ausgebildet, das Ansteuern des Arbeitsprozesses durch das Steuerungseingabemodul zu unterdrücken, zurückzuhalten und/oder nicht durchzuführen, wenn keine Einsehbarkeit gegeben ist oder das Maß der Einsehbarkeit zu gering ist, beispielsweise den Schwellwert der Mindesteinsehbarkeit unterschreitet. Das Sicherheitsprüfmodul ist beispielsweise als eine Art Stopp- und/oder Notaus-Modul ausgebildet. Insbesondere kann das Sicherheitsprüfmodul ausgebildet sein, eine laufende Ansteuerung des Arbeitsprozesses durch die Benutzereingabe in der Ausführung des Arbeitsprozesses und/oder der Ansteuerung zu unterbrechen, anzuhalten und/oder zu stoppen, beispielsweise wenn die Einsehbarkeit nichtmehr gegeben ist. Beispielsweise wird hierzu von dem Pose-Bestimmungsmodul, dem Sichtprüfungsmodul und dem Sicherheitsprüfmodul zyklisch und/oder wiederkehrend die Relativ-Pose bestimmt, die Einsehbarkeit bestimmt und/oder so über das Zulassen oder Unterdrücken der Ansteuerung entschieden.The control device has a security check module. The safety check module is arranged, for example, between the control input module and the working machine with regard to the data flow and/or the control signals. For example, the safety check module is designed to pass on (allow) and/or withhold (suppress) the control signals determined and/or ascertained by the control input module for controlling the working process to the working machine. The security check module is designed to allow the work process to be controlled by the control input module if visibility is given, for example if visibility is given digitally or if visibility exceeds a threshold value, for example a minimum visibility. Furthermore, the safety check module is designed to suppress, withhold and/or not carry out the activation of the work process by the control input module if there is no visibility or the degree of visibility is too low, for example falls below the threshold value of the minimum visibility. The safety check module is designed, for example, as a type of stop and/or emergency stop module. In particular, the safety check module can be designed to interrupt, pause and/or stop ongoing activation of the work process by the user input in the execution of the work process and/or the activation, for example if visibility is no longer given. For example, the relative pose is determined cyclically and/or recurrently by the pose determination module, the visual inspection module and the security inspection module, the visibility is determined and/or decisions are made about allowing or suppressing the control.

Der Erfindung liegt die Überlegung zu Grunde, dass für Steuereinrichtungen, die beispielsweise eine Fernbedienung bilden und/oder zur Remotesteuerung einer Arbeitsmaschine ausgebildet sind, häufig nicht sicherstellen, dass der Benutzer und/oder Bediener eine sichere Handhabung und/oder Steuerung der Arbeitsmaschine gewährleisten kann. Im Speziellen rührt das daher, dass der Benutzer bei einer solchen beabstandeten Steuerung außerhalb eines gefährlichen Bereichs der Arbeitsmaschine angeordnet ist und so nicht immer mit voller Aufmerksamkeit die Arbeitsmaschine aktiv ansteuert. Durch die vorgeschlagene Steuereinrichtung ist die Sicherheit der Ansteuerung der Arbeitsmaschine verbessert, da sichergestellt wird, dass der Benutzer auch den Arbeitsprozess und die Arbeitsmaschine bei der Durchführung einsehen und im Blick haben muss.The invention is based on the consideration that control devices that form a remote control and/or are designed for remote control of a working machine, for example, often do not ensure that the user and/or operator can ensure safe handling and/or control of the working machine. In particular, this is due to the fact that with such remote control, the user is located outside a dangerous area of the working machine and thus does not always actively control the working machine with full attention. The safety of the control of the work machine is improved by the proposed control device, since it is ensured that the user also has to see and keep an eye on the work process and the work machine when it is being carried out.

Besonders bevorzugt ist es, dass die Steuereinrichtung, vorzugsweise das Steuerungseingabemodul, eine Frontkamera aufweist. Beispielsweise ist die Frontkamera als eine Farbkamera, als eine Infrarotkamera und/oder als eine Stereokamera ausgebildet. Beispielsweise ist die Frontkamera in der Steuereinrichtung, insbesondere dem Steuerungseingabemodul, so angeordnet, dass bei ordnungsgemäßer Verwendung der Steuereinrichtung die Blickrichtung der Frontkamera gleichgerichtet zur Blickrichtung des Benutzers und/oder auf die Arbeitsmaschine gerichtet ist. Die Frontkamera ist ausgebildet, den Bereich vor ihr als Bilddaten zu erfassen. Insbesondere ist die Frontkamera ausgebildet, die Arbeitsmaschine, den Arbeitsprozess und/oder ein Werkzeug der Arbeitsmaschine als Bilddaten zu erfassen, wenn die Arbeitsmaschine einsehbar und/oder vor der Steuereinrichtung und/oder vor dem Benutzer angeordnet ist. Das Sichtprüfungsmodul ist ausgebildet, basierend auf den Bilddaten der Frontkamera, gegebenenfalls mit und/oder mittels weiterer Daten und/oder Sensordaten, die Einsehbarkeit zu ermitteln. Beispielsweise kann das Sichtprüfungsmodul ausgebildet sein, basierend auf den Bilddaten zu bestimmen, ob Hindernisse, versperrende Objekte und/oder Sichtbehinderungen wie Nebel, Rauch und/oder Staub, die Einsehbarkeit verhindern und/oder verschlechtern. Beispielsweise kann das Sichtprüfungsmodul ausgebildet sein, die Einsehbarkeit zu verneinen selbst dann, wenn für die Relativ-Pose eine Einsehbarkeit anzunehmen wäre, basierend auf den Bilddaten aber Hindernisse und/oder Behinderungen der Einsehbarkeit entgegen spielen. Insbesondere kann das Sichtprüfungsmodul ausgebildet sein, dass es sich bei der Arbeitsmaschine im Sichtbereich der Person und/oder der Frontkamera, auch um die anzusteuernde Arbeitsmaschine handelt und nicht um eine Arbeitsmaschine die der anzusteuernden ähnlich ist.It is particularly preferred that the control device, preferably the control input module, has a front camera. For example, the front camera is designed as a color camera, as an infrared camera and/or as a stereo camera. For example, the front camera in the control device, in particular the control input module, is arranged so that when the control device is used properly Line of sight of the front camera is directed in the same direction as the user's line of sight and/or on the working machine. The front camera is designed to capture the area in front of it as image data. In particular, the front camera is designed to capture the work machine, the work process and/or a tool of the work machine as image data when the work machine can be seen and/or is located in front of the control device and/or in front of the user. The visual inspection module is designed to determine visibility based on the image data from the front camera, optionally with and/or by means of additional data and/or sensor data. For example, the visual inspection module can be designed to determine, based on the image data, whether obstacles, obstructing objects and/or visual impairments such as fog, smoke and/or dust prevent and/or impair visibility. For example, the visual inspection module can be designed to deny visibility even if visibility would have to be assumed for the relative pose, but based on the image data there are obstacles and/or obstructions preventing visibility. In particular, the visual inspection module can be designed so that the work machine in the field of view of the person and/or the front camera is also the work machine to be controlled and not a work machine that is similar to the one to be controlled.

Das Sichtprüfungsmodul ist optional ausgebildet, basierend auf den Bilddaten der Frontkamera eine Pose der Arbeitsmaschine zu bestimmen. Beispielsweise kann basierend auf der Pose und/oder von der Maschine übermittelten Kinematik-Daten von dem Sichtprüfungsmodul bestimmt und/oder abgeschätzt werden, welche Abschnitte, Bereiche und/oder Posen die Arbeitsmaschine zukünftig, beispielsweise bei Durchführung des Arbeitsprozesses, einnehmen wird und/oder könnte. Das Sichtprüfungsmodul ist ausgebildet, basierend auf der Pose und/oder der Kinematik die Einsehbarkeit des Arbeitsprozesses zu bestimmen, beispielsweise zum jetzigen Zeitpunkt oder für zukünftige Zeitpunkte. Dieser Ausgestaltung liegt beispielsweise die Überlegung zugrunde, dass bei bekannter Pose der Arbeitsmaschine beispielsweise eine Einsehbarkeit gegeben wäre, jedoch durch das Wissen der Pose und/oder der Kinematik selbst bei gegebener gleichbleibender Pose Bereiche des Arbeitsraums und/oder der Arbeitsumgebung nicht mehr einsehbar wären.The visual inspection module is optionally designed to determine a pose of the work machine based on the image data from the front camera. For example, based on the pose and/or kinematics data transmitted by the machine, the visual inspection module can determine and/or estimate which sections, areas and/or poses the work machine will and/or could assume in the future, for example when carrying out the work process . The visual inspection module is designed to determine the visibility of the work process based on the pose and/or the kinematics, for example at the current point in time or for future points in time. This configuration is based, for example, on the consideration that if the pose of the working machine is known, it would be possible to see it, but knowing the pose and/or the kinematics would no longer make it possible to see areas of the working space and/or the working environment even if the pose remained the same.

Besonders bevorzugt ist es, dass dem Sichtprüfungsmodul eine Topologie bereitgestellt ist und/oder das Sichtprüfungsmodul ausgebildet ist, die Topologie zu bestimmen. Beispielsweise kann das Prüfungsmodul ausgebildet sein, die Topologie aus einer Datenbank abzurufen und/oder basierend auf den Bildern der Frontkamera die Topologie zu bestimmen und/oder abzuschätzen. Unter der Topologie wird beispielsweise der 3D Verlauf des Bereichs zwischen dem Benutzer und der Arbeitsmaschine verstanden, beispielsweise Hügel, Täler und/oder Objekte in diesem Bereich. Ferner kann als Topologie auch eine Kartierung dieses Bereichs und/oder der Umgebung verstanden werden, wobei die Kartierung beispielsweise Fremdobjekte wie weitere Arbeitsmaschinen, Personen und/oder Fahrzeuge umfassen und/oder beschreiben kann. Das Sichtprüfungsmodul ist in dieser Ausgestaltung beispielsweise ausgebildet, basierend auf der Topologie die Einsehbarkeit des Arbeitsprozesses zu bestimmen. Beispielsweise ist das Prüfungsmodul ausgebildet basierend auf der Relativ-Pose, den Bilddaten der Frontkamera, der Pose, der Kinematik und/oder der Topologie die Einsehbarkeit des Arbeitsprozesses zu bestimmen. Dieser Ausgestaltung liegt die Überlegung zu Grunde, dass bei einer reinen Betrachtung von Relativ-Posen es Konstellationen gibt, für die, die Einsehbarkeit anzunehmen wäre, jedoch unter Berücksichtigung der Topologie beispielsweise von Hügeln und/oder Tälern, die Einsehbarkeit doch nicht gegeben ist. Beispielsweise kann die Topologie eine Baugrube beschreiben und/oder umfassen, in welcher die Arbeitsmaschine angeordnet ist, wobei der Benutzer sich außerhalb dieser Baugrube befindet, sodass unter Berücksichtigung der Baugrube bzw. der Vertiefung der Topologie Bereiche außerhalb der Baugrube bestimmt werden können, für die eine Einsehbarkeit des Arbeitsprozesses gegeben ist und/oder nicht gegeben ist.It is particularly preferred that the visual inspection module is provided with a topology and/or the visual inspection module is designed to determine the topology. For example, the checking module can be designed to retrieve the topology from a database and/or to determine and/or estimate the topology based on the images from the front camera. The topology is understood to mean, for example, the 3D course of the area between the user and the work machine, for example hills, valleys and/or objects in this area. Furthermore, a mapping of this area and/or the environment can also be understood as a topology, wherein the mapping can include and/or describe, for example, foreign objects such as other work machines, people and/or vehicles. In this refinement, the visual inspection module is designed, for example, to determine the visibility of the work process based on the topology. For example, the checking module is designed to determine the visibility of the work process based on the relative pose, the image data of the front camera, the pose, the kinematics and/or the topology. This configuration is based on the consideration that when purely considering relative poses, there are constellations for which visibility would be assumed, but taking into account the topology of hills and/or valleys, for example, visibility is not given. For example, the topology can describe and/or include an excavation in which the work machine is arranged, with the user being outside of this excavation, so that taking into account the excavation or the deepening of the topology, areas outside of the excavation can be determined for which a Visibility of the work process is given and/or not given.

Besonders bevorzugt ist es, dass die Steuereinrichtung, im Speziellen das Steuerungseingabemodul eine Rückkamera aufweist. Die Rückkamera ist beispielsweise eine Farbkamera, eine Infrarotkamera und/oder eine Stereokamera. Insbesondere ist die Kamera angeordnet, bei einer ordnungsgemäßen Benutzung der Steuereinrichtung und/oder des Steuerungseingabemoduls, den Benutzer, insbesondere das Gesicht und/oder Kopf des Benutzers zu erfassen. Beispielsweise sind Frontkamera und Rückkamera in entgegengesetzte Richtungen angeordnet. Das Sichtprüfungsmodul ist ausgebildet, basierend auf den Bilddaten der Rückkamera eine Blickrichtung des Benutzers zu bestimmen. Beispielsweise ist über die Anordnungen der Aufnahmerichtungen von Rückkamera und Frontkamera vom Sichtprüfungsmodul bestimmbar, ob die Blickrichtung des Benutzers auf die Arbeitsmaschine gerichtet ist und/oder ob der Arbeitsraum und/oder die Arbeitsumgebung bei Ausführung des Arbeitsprozesses für die Blickrichtung des Benutzers einsehbar ist. Beispielsweise kann das Sichtprüfungsmodul ausgebildet sein, basierend auf den Bilddaten der Rückkamera und der bestimmten Relativ-Pose zwischen Steuerungseinrichtung und Arbeitsmaschine zu bestimmen, ob der Benutzer bei gegebener Blickrichtung die Arbeitsmaschine und/oder Arbeitsraum bzw. Arbeitsumgebung einsehen kann. Im Speziellen kann das Sichtprüfungsmodul ausgebildet sein, basierend auf den Bilddaten der Rückkamera und/oder der Blickrichtung des Benutzers zu bestimmen, ob der Blick des Benutzers auf die anzusteuernde Arbeitsmaschine gerichtet ist und beispielsweise nicht fälschlicherweise auf eine ähnliche Arbeitsmaschine die jedoch nicht angesteuert wird. Im Speziellen kann die Steuereinrichtung, beispielsweise das Sicherheitsprüfmodul ausgebildet sein, basierend auf den Bilddaten der Rückkamera eine Gesichtserkennung des Benutzers auszuführen, wobei die Erlaubnis zur Ansteuerung der Arbeitsmaschine basierend auf der Gesichtserkennung erlaubt oder versagt wird.It is particularly preferred that the control device, specifically the control input module, has a rear camera. The rear camera is, for example, a color camera, an infrared camera and/or a stereo camera. In particular, the camera is arranged to capture the user, in particular the face and/or head of the user, when the control device and/or the control input module is used properly. For example, the front camera and rear camera are arranged in opposite directions. The visual inspection module is designed to determine a viewing direction of the user based on the image data from the rear camera. For example, the arrangement of the recording directions of the rear camera and front camera can be used by the visual inspection module to determine whether the user's line of sight is directed towards the work machine and/or whether the work space and/or the work environment can be seen from the line of sight of the user when the work process is being carried out. For example, the visual inspection module can be designed to determine, based on the image data from the rear camera and the determined relative pose between the control device and the working machine, whether the user has a given gaze direction can see the working machine and/or work space or working environment. In particular, the visual inspection module can be designed to determine, based on the image data from the rear camera and/or the direction in which the user is looking, whether the user is looking at the machine to be controlled and, for example, not incorrectly at a similar machine that is not being controlled. In particular, the control device, for example the safety check module, can be designed to carry out facial recognition of the user based on the image data from the rear camera, with permission to control the working machine being permitted or denied based on the facial recognition.

Zur Sicherstellung, dass der Benutzer den Blick auf die von ihm angesteuerte Arbeitsmaschine gerichtet hat, kann das Sichtprüfungsmodul ausgebildet sein, basierend auf den Bilddaten der Rückkamera ein Blickerfassungsobjekt zu ermitteln und/oder einen Blickerfassungsbereich zu bestimmen. Das Sicherheitsprüfmodul kann beispielsweise das Ansteuern des Arbeitsprozesses durch das Steuerungseingabemodul zulassen, wenn das Blickerfassungsobjekt gleich der Arbeitsmaschine ist und/oder der Blickerfassungsbereich gleich der Arbeitsumgebung ist. Wird eine Ungleichheit von Blickerfassungsobjekt und Arbeitsmaschine und/oder eine Ungleichheit von Arbeitsbereich und Blickerfassungsbereich festgestellt, kann das Sicherheitsprüfmodul ausgebildet sein, die Ansteuerung zu unterdrücken.To ensure that the user is looking at the work machine he is controlling, the visual inspection module can be designed to determine a visual detection object and/or to determine a visual detection area based on the image data from the rear camera. For example, the security check module may allow the control input module to control the work process when the gaze detection object is the work machine and/or the gaze detection area is the work environment. If an inequality between the eye detection object and the working machine and/or an inequality between the working area and the eye tracking area is determined, the safety check module can be designed to suppress the activation.

Insbesondere ist es vorgesehen, dass die Steuereinrichtung, beispielsweise das Steuerungseingabemodul einen oder mehrere Sensoren zur Erfassung einer physikalischen, mechanischen, elektrischen und/oder magnetischen Größe als Sensordaten aufweist. Beispielsweise ist der Sensor als ein Beschleunigungssensor oder ein Kompass ausgebildet. Die Sensordaten sind beispielsweise Lage-, Position-, Stabilitäts-, Bewegungs-, Temperatur- und/oder Personendaten. Insbesondere kann der Sensor als ein Sensor zur Bestimmung des Pulses, der Körpertemperatur, der Anstrengung und/oder Aufmerksamkeit des Benutzers ausgebildet sein. Die Steuereinrichtung weist insbesondere ein Auswertemodul auf. Das Auswertemodul ist ausgebildet, basierend auf den Sensordaten ein Korrektheitsmaß zu bestimmen. Das Korrektheitsmaß bestimmt und/oder beschreibt beispielsweise die Korrektheit des Haltens der Steuereinrichtung durch den Benutzer, eine gesundheitliche Verfassung und/oder Kondition des Benutzers, ein Aufmerksamkeitsmaß, beispielsweise Müdigkeitsmaß, des Benutzers. Das Sicherheitsprüfmodul ist beispielsweise ausgebildet, das Ansteuern des Arbeitsprozesses durch das Steuerungseingabemodul bei Vorliegen und/oder Erfüllen eines Mindestkorrektheitsmaßes durch das bestimmte Korrektheitsmaß zuzulassen. Wird das Mindestkorrektheitsmaß von dem bestimmten Korrektheitsmaß nicht erreicht ist das Steuerungseingabemodul beispielsweise ausgebildet, den Arbeitsprozess zu stoppen, anzuhalten und/oder die Ansteuerung des Arbeitsprozesses durch das Steuerungseingabemodul zu unterdrücken. Beispielsweise kann zur Bestimmung des Korrektheitsmaßes von dem Auswertemodul basierend auf den Bilddaten der Rückkamera eine Müdigkeit, ein Lidschlag und/oder eine Blickrichtung und/oder eine Blickart bestimmt werden, beispielsweise, ob der Benutzer einzuschlafen droht und/oder ob der Benutzer aktiv beobachtet oder unaufmerksam starrt.In particular, it is provided that the control device, for example the control input module, has one or more sensors for detecting a physical, mechanical, electrical and/or magnetic variable as sensor data. For example, the sensor is in the form of an acceleration sensor or a compass. The sensor data are, for example, location, position, stability, movement, temperature and/or personal data. In particular, the sensor can be embodied as a sensor for determining the pulse, the body temperature, the exertion and/or alertness of the user. In particular, the control device has an evaluation module. The evaluation module is designed to determine a measure of correctness based on the sensor data. The degree of correctness determines and/or describes, for example, the correctness of holding the control device by the user, a state of health and/or condition of the user, a degree of alertness, for example degree of tiredness, of the user. The safety check module is designed, for example, to allow the work process to be activated by the control input module if a minimum correctness measure is present and/or fulfilled by the specific correctness measure. If the minimum degree of correctness is not reached by the determined degree of correctness, the control input module is designed, for example, to stop the work process, to hold it and/or to suppress the control of the work process by the control input module. For example, to determine the degree of correctness, the evaluation module based on the image data from the rear camera can determine tiredness, blinking and/or a direction of gaze and/or a type of gaze, for example whether the user is about to fall asleep and/or whether the user is actively observing or not paying attention stares.

Einen weiteren Gegenstand der Erfindung bildet eine Steueranordnung. Die Steueranordnung umfasst die Steuereinrichtung wie vorher beschrieben und mindestens einen Zusatzsensor. Insbesondere umfasst die Steueranordnung die Steuereinrichtung und einen ersten Zusatzsensor zur Anordnung am Benutzer und einen zweiten Zusatzsensor zur Anordnung an der Arbeitsmaschine. Ferner kann ein Zusatzsensor zur Anordnung an einer Infrastruktur, beispielsweise in einem Zwischenbereich zwischen Benutzer bzw. Steuereinrichtung und Arbeitsmaschine ausgebildet sein. Der Zusatzsensor ist ausgebildet Zusatzsensordaten zu erfassen und der Steuereinrichtung bereitzustellen. Das Sichtprüfungsmodul ist beispielsweise ausgebildet, basierend auf den Zusatzsensordaten die Einsehbarkeit zu bestimmen. Durch die Verwendung weiterer Sensoren, die beispielsweise an dem Benutzer selbst, der Arbeitsmaschine und/oder der Infrastruktur angeordnet sind, kann die Einsehbarkeit genauer und detaillierter bestimmt werden, wobei insbesondere Zusatzparameter und/oder Zusatzfaktoren, die die Einsehbarkeit verschlechtern und/oder verbessern können, zu berücksichtigen sind.A further object of the invention is a control arrangement. The control arrangement includes the control device as previously described and at least one additional sensor. In particular, the control arrangement includes the control device and a first additional sensor to be arranged on the user and a second additional sensor to be arranged on the working machine. Furthermore, an additional sensor can be designed to be arranged on an infrastructure, for example in an intermediate area between the user or control device and the work machine. The additional sensor is designed to record additional sensor data and make it available to the control device. The visual inspection module is designed, for example, to determine visibility based on the additional sensor data. Through the use of further sensors, which are arranged, for example, on the user himself, the work machine and/or the infrastructure, visibility can be determined more precisely and in more detail, with additional parameters and/or additional factors that can worsen and/or improve visibility being are to be taken into account.

Besonders bevorzugt ist es, dass mindestens ein Zusatzsensor als ein Benutzersensor ausgebildet ist. Der Benutzersensor ist zur Anordnung, Befestigung und/oder zum Tragen durch den Benutzer ausgebildet. Beispielsweise ist der Benutzersensor in einem Helm, beispielsweise Schutzhelm, angeordnet. Bei Anordnung des Benutzersensors ist es vorzugsweise vorgesehen, dass dieser bei korrektem Tragen und/oder Anwendung gleichgerichtet zur Blickrichtung des Benutzers ist. Beispielsweise ist der Zusatzsensor als Kamera ausgebildet, wobei bei Integration in den Helm die Kamera mit Erfassungsrichtung nach vorne angeordnet ist. Der Benutzersensor ist ausgebildet, Benutzersensordaten als Zusatzsensordaten zu erfassen und der Steuereinrichtung bereitzustellen. Das Pose-Bestimmungsmodul der Steuereinrichtung ist ausgebildet, die Relativ-Pose zwischen dem Benutzer und der Arbeitsmaschine und/oder die Relativ-Pose zwischen Benutzer und Steuerungseinrichtung basierend auf den Benutzersensordaten zu bestimmen. Beispielsweise kann das Pose-Bestimmungsmodul ausgebildet sein, bei Anordnung des Benutzersensors mit Erfassungsrichtung in Blickrichtung des Benutzers zu überprüfen, ob in den Benutzersensordaten die Arbeitsmaschine erfasst wird. Beispielsweise ist hierbei der Benutzersensor als eine Kamera ausgebildet. Das Prüfungsmodul ist ausgebildet, basierend auf der Relativ-Pose die Ansteuerung des Arbeitsprozesses und/oder der Arbeitsmaschine durch die Steuereinrichtung, insbesondere durch das Steuerungseingabemodul, zuzulassen und/oder zu unterdrücken.It is particularly preferred that at least one additional sensor is designed as a user sensor. The user sensor is designed to be arranged, attached and/or carried by the user. For example, the user sensor is arranged in a helmet, for example a protective helmet. When arranging the user sensor, it is preferably provided that, when worn and/or used correctly, it is oriented in the same direction as the user's line of sight. For example, the additional sensor is designed as a camera, with the camera being arranged with the detection direction to the front when it is integrated into the helmet. The user sensor is designed to record user sensor data as additional sensor data and to make it available to the control device. The pose determination module of the control device is designed to determine the relative pose between the user and the working machine and/or the relative pose between the user and determine controller based on the user sensor data. For example, the pose determination module can be designed, when the user sensor is arranged with the detection direction in the user's direction of vision, to check whether the work machine is detected in the user sensor data. For example, the user sensor is designed as a camera. The checking module is designed, based on the relative pose, to permit and/or suppress the activation of the working process and/or the working machine by the control device, in particular by the control input module.

Alternativ und/oder ergänzend ist es vorgesehen, dass mindestens ein Zusatzsensor als ein Arbeitsmaschinensensor ausgebildet ist. Der Arbeitsmaschinensensor ist angeordnet und/oder ausgebildet zur Anordnung an der Arbeitsmaschine. Der Arbeitsmaschinensensor ist ausgebildet, Arbeitsmaschinensensordaten als Zusatzsensordaten zu erfassen und der Steuereinrichtung bereitzustellen. Beispielsweise ist der Arbeitsmaschinensensor als ein Positionssensor, als ein Kompass oder als eine Kamera mit Blickrichtung beispielsweise zum Benutzer, ausgebildet. Das Pose-Bestimmungsmodul ist ausgebildet, die Relativ-Pose zwischen dem Benutzer und der Arbeitsmaschine und/oder die Relativ-Pose zwischen dem Benutzer und der Steuereinrichtung und/oder eine Blickrichtung des Benutzers basierend auf den Arbeitsmaschinensensordaten zu bestimmen. Das Sichtprüfungsmodul ist ausgebildet, basierend auf der bestimmten Relativ-Pose die Einsehbarkeit zu bestimmen, wobei das Sicherheitsprüfmodul ausgebildet ist, basierend auf der Einsehbarkeit die Ansteuerung des Arbeitsprozesses und/oder die Ansteuerung der Arbeitsmaschine durch das Steuerungseingabemodul zuzulassen und/oder zu unterdrücken.Alternatively and/or additionally, it is provided that at least one additional sensor is designed as a working machine sensor. The working machine sensor is arranged and/or designed to be arranged on the working machine. The working machine sensor is designed to acquire working machine sensor data as additional sensor data and to make it available to the control device. For example, the work machine sensor is designed as a position sensor, as a compass or as a camera with a viewing direction, for example towards the user. The pose determination module is designed to determine the relative pose between the user and the work machine and/or the relative pose between the user and the control device and/or a viewing direction of the user based on the work machine sensor data. The visual inspection module is designed to determine visibility based on the determined relative pose, with the safety checking module being designed to allow and/or suppress control of the work process and/or control of the work machine by the control input module based on visibility.

Einen weiteren Gegenstand der Erfindung bildet ein Verfahren zur Steuerung einer Arbeitsmaschine durch einen Benutzer. Insbesondere ist der Benutzer beabstandet zur Arbeitsmaschine, wobei die Steuerung als eine Fernbedienung Steuerung und/oder als eine Remotesteuerung ausgebildet ist. Der Benutzer kann, beispielsweise durch ein Steuerungseingabemodul, einen Arbeitsprozess der Arbeitsmaschine ansteuern, insbesondere durch eine Benutzereingabe. Damit die Arbeitsmaschine von dem Benutzer angesteuert werden kann und/oder die Arbeitsmaschine den Arbeitsprozess durchführt, wird eine Einsehbarkeit bestimmt und auf Vorliegen der Einsehbarkeit und/oder genügender Einsehbarkeit geprüft. Hierzu wird eine Relativ-Pose zwischen Benutzer und/oder Steuereinrichtung und der Arbeitsmaschine bestimmt. Beispielsweise basierend auf Posedaten und/oder Entfernungsdaten und/oder Positionsdaten die bspw. mittels GNSS, und/oder Kamera und/oder IMU ermittelt werden können. Basierend auf der Relativ-Pose wird die Einsehbarkeit ermittelt. Hierbei wird geprüft, ob beispielsweise für die gegebene Relativ-Pose die Arbeitsmaschine einsehbar ist für den Benutzer von der Position der Ansteuerung durch den Benutzer. Die Ansteuerung durch den Benutzer erfolgt und/oder wird zugelassen, wenn die Einsehbarkeit gegeben ist. Liegt keine oder eine zu geringe Einsehbarkeit vor, wird die Ansteuerung der Arbeitsmaschine und/oder des Arbeitsprozesses unterdrückt und/oder nicht ausgeführt. Durch das Verfahren wird beispielsweise sichergestellt, dass ein Sichtkontakt zwischen Arbeitsmaschine und Benutzer während der Ansteuerung gegeben ist und auch alle Arbeitsprozesse sicher ausgeführt werden können.A further subject matter of the invention is a method for controlling a work machine by a user. In particular, the user is at a distance from the work machine, with the control being designed as a remote control and/or as a remote control. The user can control a work process of the work machine, for example through a control input module, in particular through a user input. So that the working machine can be controlled by the user and/or the working machine can carry out the working process, visibility is determined and checked for visibility and/or sufficient visibility. For this purpose, a relative pose between the user and/or the control device and the working machine is determined. For example, based on pose data and/or distance data and/or position data that can be determined, for example, using GNSS and/or camera and/or IMU. The visibility is determined based on the relative pose. In this case, it is checked whether, for example, for the given relative pose, the working machine can be seen by the user from the position of the control by the user. The control by the user takes place and/or is permitted if visibility is given. If there is no or too little visibility, the control of the working machine and/or the working process is suppressed and/or not carried out. The method ensures, for example, that there is visual contact between the work machine and the user during activation and that all work processes can also be carried out safely.

Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm, insbesondere mit Programmcodemitteln. Das Computerprogramm ist ausgebildet, bei Ausführung auf einem Computer, der Steuereinrichtung und/oder der Steueranordnung, das Verfahren wie vorher beschrieben auszuführen oder abzuarbeiten.A further subject matter of the invention is a computer program, in particular with program code means. The computer program is designed, when executed on a computer, the control device and/or the control arrangement, to carry out or process the method as previously described.

Einen weiteren Gegenstand der Erfindung bildet ein maschinenlesbares Speichermedium, beispielsweise CD, DVD oder Datenträger, wobei auf dem Datenträger das Computerprogramm wie vorher beschrieben gespeichert ist.A further object of the invention is a machine-readable storage medium, for example CD, DVD or data carrier, the computer program being stored on the data carrier as described above.

Weitere Vorteile Wirkungen und Ausgestaltungen ergeben sich aus den beigefügten Figuren und deren Beschreibung. Dabei zeigen:

1 ein Ausführungsbeispiel einer Steueranordnung;
2 eine Steuereinrichtung.

Further advantages, effects and configurations result from the accompanying figures and their description. show:

1 an embodiment of a control arrangement;
2 a control device.

1 zeigt eine Steueranordnung 1, wobei die Steueranordnung 1 eine Steuereinrichtung 2 sowie Zusatzsensoren 3a, b, c. Die Steueranordnung 1 und insbesondere die Steuereinrichtung 2 ist ausgebildet und/oder eingerichtet zur Steuerung einer Arbeitsmaschine 4. Die Arbeitsmaschine 4 ist hierbei als eine Baumaschine in Form eines Baggers mit einer Baggerschaufel als Werkzeug 5 ausgebildet. Die Arbeitsmaschine 4 ist zur Durchführung eines Arbeitsprozesses ausgebildet, wobei der Arbeitsprozess hier beispielsweise als ein Fahren, im Speziellen nach vorne, hinten, rechts und/oder links, und/oder als ein Benutzen, beispielsweise Heben, Senken und/oder Kippen, des Werkzeugs 5 ausgebildet ist. Die Arbeitsmaschine 4 befindet sich in einer Baugrube 6, wobei sich der Benutzer 7 der Steuereinrichtung 2 außerhalb der Baugrube 6 befindet. 1 shows a control arrangement 1, the control arrangement 1 having a control device 2 and additional sensors 3a, b, c. The control arrangement 1 and in particular the control device 2 is designed and/or set up to control a working machine 4. The working machine 4 is designed as a construction machine in the form of an excavator with an excavator shovel as the tool 5. The work machine 4 is designed to carry out a work process, the work process here, for example, as driving, specifically forwards, backwards, to the right and/or left, and/or as using, for example lifting, lowering and/or tilting, the tool 5 is formed. The working machine 4 is located in an excavation 6, with the user 7 of the control device 2 being outside the excavation 6.

Der Benutzers 7 hält die Steuereinrichtung 2 zur Remotesteuerung der Arbeitsmaschine 4 in seinen Händen. Bei ordnungsgemäßer Benutzung dieser, ist die Steuereinrichtung 2 vor dem Benutzers 7, insbesondere auf Kopf- und/oder Brusthöhe. Der Benutzers 7 verfügt über einen Sichtbereich 8, der in Blickrichtung nach vorne gerichtet ist. Insbesondere ist die Steuereinrichtung 2 teilweise oder zeitweise im Sichtbereich 8 angeordnet, beispielsweise wenn der Benutzer 7 aktiv ansteuern und/oder einstellen will.The user 7 holds the control device 2 for remote control of the working machine 4 in his hands. When used properly ser, the control device 2 is in front of the user 7, in particular at head and/or chest height. The user 7 has a field of vision 8 which is directed forward in the viewing direction. In particular, the control device 2 is partially or temporarily arranged in the field of vision 8, for example when the user wants to actively control and/or adjust 7.

Die Arbeitsmaschine 4 definiert durch das Verfahren und das Werkzeug 5 definiert durch das Heben, Senken und Kippen eine Arbeitsumgebung 9, welche als potentieller gefährlicher Bereich für Personen und Gegenstände aufgefasst wird. Der Benutzers 7 kann definiert durch seinen Sichtbereich 8 nicht die gesamte Arbeitsumgebung 9 einsehen, sodass die Arbeitsumgebung 9 geschnitten mit dem Sichtbereich 8 in drei Abschnitte I, II und III zerfällt. Der Abschnitt I ist hierbei vom Benutzer 7 einsehbar, wobei die Abschnitte II und III vom Benutzer 7 nicht einsehbar sind.The working machine 4 defines a working environment 9 through the method and the tool 5 through the lifting, lowering and tipping, which is perceived as a potentially dangerous area for persons and objects. The user 7 cannot see the entire work environment 9 defined by his field of vision 8, so that the work environment 9 divided with the field of vision 8 is divided into three sections I, II and III. In this case, section I can be viewed by user 7, with sections II and III not being viewable by user 7.

Die Steuereinrichtung 2 ist ausgebildet, eine vom Benutzer 7 zur Steuerung der Arbeitsmaschine 4 eingegebene Benutzereingabe zur Durchführung an die Arbeitsmaschine 4 zu übergeben und/oder damit die Arbeitsmaschine 4 anzusteuern, wenn der Bereich der Arbeitsumgebung 9, in welchem der Arbeitsprozess ausgeführt werden soll ein einsehbarer Bereich, beispielsweise I, ist. Soll der Arbeitsprozess oder ein Teil des Arbeitsprozesses in einem nicht einsehbaren Bereich, beispielsweise II oder III, ausgeführt werden, ist die Steuereinrichtung 2 ausgebildet, die Ansteuerung der Arbeitsmaschine 4 nicht durchzuführen und/oder nicht zu übertragen. Beispielsweise kann bei Nichtdurchführung die Steuereinrichtung 2 ausgebildet sein, dem Benutzer 7 eine Warnung auszugeben, dass die Einsehbarkeit nicht gegeben ist und keine Ansteuerung erfolgt.The control device 2 is designed to transfer a user input entered by the user 7 to control the working machine 4 for execution to the working machine 4 and/or to control the working machine 4 if the area of the working environment 9 in which the working process is to be carried out is visible range, e.g. I. If the work process or a part of the work process is to be carried out in a non-visible area, for example II or III, the control device 2 is designed not to carry out and/or not to transmit the control of the working machine 4 . For example, in the event of non-execution, the control device 2 can be designed to issue a warning to the user 7 stating that there is no visibility and no control is taking place.

Die Steuereinrichtung 2 ist ausgebildet, eine Relativ-Pose zwischen Steuereinrichtung 2, damit dem Benutzer 7, und der Arbeitsmaschine 4 zu bestimmen. Basierend auf der Relativ-Pose sowie gegebenenfalls einer bereitgestellten oder bestimmten Topologie, zum Beispiel Baugrube, wird die Einsehbarkeit bestimmt und darauf basierend entschieden, ob die Arbeitsmaschine 4 zur Durchführung des Arbeitsprozesses angesteuert wird.The control device 2 is designed to determine a relative pose between the control device 2 , and thus the user 7 , and the working machine 4 . Visibility is determined based on the relative pose and, if applicable, a provided or specific topology, for example an excavation pit, and based on this, a decision is made as to whether the work machine 4 is controlled to carry out the work process.

Die Zusatzsensoren 3a-c sind ausgebildet Zusatzsensordaten an die Steuereinrichtung 2 bereitzustellen, wobei die Steuereinrichtung 2 ausgebildet ist, basierend auf den Zusatzsensordaten die Einsehbarkeit und/oder die Relativ-Pose zu bestimmen und/oder zu verfeinern. Der Zusatzsensor 3a ist hierbei ein Benutzersensor, der in einem Helm des Benutzers 7 angeordnet ist, und hier beispielsweise als eine Kamera ausgebildet ist, die Bilddaten in Sichtrichtung des Benutzers 7 als Zusatzsensordaten bereitstellt. Der Zusatzsensor 3b ist als ein Arbeitsmaschinensensor ausgebildet und an der Arbeitsmaschine 4 angeordnet. Der Arbeitsmaschinensensor ist beispielsweise ein Positionssensor der die Position, Bewegung, Geschwindigkeit und/oder Beschleunigung der Arbeitsmaschine 4 als Zusatzsensordaten an die Steuereinrichtung 2 bereitstellt. Der Zusatzsensor 3c ist ein Umgebungssensor, der beispielsweise an einem Arbeitsscheinwerfermast angeordnet ist, wobei der Zusatzsensor 3c beispielsweise eine Kamera ist, der als Zusatzsensordaten Bildaufnahmen der Arbeitsumgebung 9, der Arbeitsmaschine 4 und des Benutzers 7 bereitstellt.The additional sensors 3a-c are designed to provide additional sensor data to the control device 2, with the control device 2 being designed to determine and/or refine the visibility and/or the relative pose based on the additional sensor data. The additional sensor 3a is a user sensor that is arranged in a helmet of the user 7 and is designed here, for example, as a camera that provides image data in the viewing direction of the user 7 as additional sensor data. The additional sensor 3b is designed as a working machine sensor and is arranged on the working machine 4 . The work machine sensor is, for example, a position sensor that provides the position, movement, speed and/or acceleration of the work machine 4 as additional sensor data to the control device 2 . The additional sensor 3c is an environmental sensor that is arranged, for example, on a work lamp mast, with the additional sensor 3c being a camera, for example, which provides images of the work environment 9, the work machine 4 and the user 7 as additional sensor data.

2 zeigt beispielhaft die Steuereinrichtung 2 aus 1. Die Steuereinrichtung 2 ist beispielsweise als ein handgehaltenes Eingabegerät, beispielsweise Tablett-Computer, ausgebildet. Die Steuereinrichtung 2 weist eine Anzeige-Eingabeeinrichtung 10 und eine Frontkamera 11 auf. Die Frontkamera 11 ist bei ordnungsgemäßer Handhabung der Steuereinrichtung 2 ausgebildet, das Gesicht des Benutzers 7 zu erfassen. Basierend auf dem erfassten Gesicht kann beispielsweise die Blickrichtung des Benutzers 7 bestimmt werden und vorzugsweise herangezogen werden zur Bestimmung der Einsehbarkeit. Ferner ist die Steuereinrichtung 2, insbesondere ein Sicherheitsprüfmodul, ausgebildet basierend auf den Bilddaten der Frontkamera 11 und einer Gesichtserkennung die Identität des Benutzers 7 zu erkennen und darauf basierend zu entscheiden ob der Benutzer berechtigt ist die Maschine anzusteuern. Dies wird beispielsweise von der Steuereinrichtung 2 als Sicherheitsfreigabe verwendet, wobei die Berechtigung und/oder Verweigerung in einem IDCheck 12 angezeigt werden kann. Insbesondere kann das Sicherheitsprüfmodul ausgebildet sein, bei erkannter Identität des Benutzers 7 festzustellen, ob dieser bereits ein Lernprogramm 13 zur Ansteuerung absolviert hat, wobei bei gegebener Absolvierung die Ansteuerung freigegeben ist und bei fehlender Absolvierung das Lernprogramm 13 aktiviert wird zur Durchführung durch den Benutzer 7. 2 shows the control device 2 as an example 1 . The control device 2 is designed, for example, as a hand-held input device, for example a tablet computer. The control device 2 has a display input device 10 and a front camera 11 . When the control device 2 is used properly, the front camera 11 is designed to capture the face of the user 7 . Based on the detected face, for example, the viewing direction of the user 7 can be determined and preferably used to determine visibility. Furthermore, the control device 2, in particular a security check module, is designed to recognize the identity of the user 7 based on the image data from the front camera 11 and face recognition and to decide based on this whether the user is authorized to control the machine. This is used, for example, by the control device 2 as a security clearance, with the authorization and/or refusal being able to be displayed in an ID check 12 . In particular, the security check module can be designed to determine, when the identity of the user 7 is recognized, whether the user has already completed a training program 13 for control, with the control being enabled if it has been completed and the training program 13 being activated for execution by the user 7 if it has not been completed.

Die Ansteuerung der Arbeitsmaschine 4 und/oder des Arbeitsprozesses erfolgt durch ein Steuerungseingabemodul 14, mittels dem der Benutzer 7 durch Benutzereingaben die Arbeitsmaschine 4 und/oder den Arbeitsprozess ansteuern kann. Das Sicherheitsprüfmodul ist beispielsweise ausgebildet, das Steuerungseingabemodul 14 nur dann zu aktivieren, dass der Benutzer 7 die Arbeitsmaschine 4 ansteuern kann, wenn die Einsehbarkeit der Arbeitsmaschine 4, der Arbeitsumgebung 9 und/oder des Arbeitsbereiches gegeben ist.The working machine 4 and/or the working process is controlled by a control input module 14, by means of which the user 7 can control the working machine 4 and/or the working process through user inputs. The safety check module is designed, for example, to activate the control input module 14 only so that the user 7 can control the work machine 4 when the work machine 4, the work environment 9 and/or the work area can be seen.

Die Steuereinrichtung 2 weist einen Fingersensor 15 auf, der beispielsweise den Fingerabdruck einer Person erkennt und/oder dessen Puls und/oder Vitalfunktionen bestimmt. Das Sicherheitsprüfmodul ist beispielsweise ausgebildet basierend auf diesen Daten des Sensors 15 und/oder basierend auf weiteren Daten einen Zustand 16, beispielsweise Gesundheitszustand, zu bestimmen und/oder anzuzeigen. Basierend auf dem Zustand 16 kann beispielsweise eine Müdigkeit und/oder Unkonzentriertheit des Benutzers 7 bestimmt werden und beispielsweise das Steuerungseingabemodul 14 deaktiviert werden, um so Unfälle zu vermeiden.The control device 2 has a finger sensor 15 which, for example, recognizes a person's fingerprint and/or their pulse and/or vital functions determined. The safety check module is designed, for example, to determine and/or display a state 16, for example the state of health, based on this data from the sensor 15 and/or based on further data. Based on the state 16, for example, a tiredness and/or lack of concentration on the part of the user 7 can be determined and, for example, the control input module 14 can be deactivated in order to avoid accidents in this way.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102016203715 A1 [0003]

Claims

Control device (2) for remote control of a work machine (4) by a user (7), with a control input module (14), the control input module (14) being designed to control the work machine (4) to carry out a work process based on a user input a pose determination module, the pose determination module being designed to determine a relative pose between the control device (2) and the work machine (4) and/or the work process, characterized by a visual inspection module, the visual inspection module being designed based on determining whether the work process and/or the work machine can be seen by the user (7) from the relative pose, with a safety check module, the safety check module being designed to allow the work process to be controlled by the control input module (14) if it is visible and/or to allow the control of the work process through the control input module (14) to be suppressed in the event of missing and/or insufficient visibility.

Control device (2) after claim 1 , characterized by a front camera, the front camera being arranged and/or designed to capture the working machine (4), the working process and/or a tool (5) of the working machine (4) as image data, the visual inspection module being designed based on to determine the visibility from the image data of the front camera.

Control device (2) after claim 2 , characterized in that the visual inspection module is designed to determine a pose based on the image data of the front camera and the visibility based on the pose.

Control device according to one of the preceding claims, characterized in that the pose determination module is designed to determine a position and/or orientation of the control device and/or an orientation of the working process based on a position of the working machine.

Control device (2) according to one of the preceding claims, characterized in that the visual inspection module is provided with a topology of an environment and/or the visual inspection module is designed to determine the topology based on the image data of the front camera, the visual inspection module being designed based on the Topology to determine visibility.

Control device (2) according to one of the preceding claims, characterized by a rear camera (11), the rear camera (11) being arranged and/or designed to capture the user (7) in image data, the visual inspection module being designed based on the Image data from the rear camera (11) to determine a viewing direction of the user (7), the visual inspection module being designed to determine visibility based on the viewing direction of the user (7).

Control device (2) after claim 6 , characterized in that the visual inspection module is designed, based on the image data of the rear camera (11) to determine a gaze type, a gaze direction and/or a degree of attention of the user (7), the safety check module being designed to control the work process with a suitable gaze type , suitable line of sight and/or sufficient degree of attention and/or to suppress driving with an unsuitable type of line of sight, unsuitable line of sight and/or too little visibility.

Control device (2) after claim 6 or 7 , characterized in that the visual inspection module is designed to determine a visual detection object of the user (7) based on the image data from the rear camera (11), wherein the safety check module is designed to allow activation if the visual detection object and the working machine (4) are the same and/or to suppress the driving when the gaze detection object and the working machine are not the same.

Control device (2) according to one of the preceding claims, characterized by at least one sensor for detecting a physical, mechanical, electrical and/or magnetic variable as sensor data, with an evaluation module, the evaluation module being designed based on the sensor data as a measure of correctness with regard to a posture of the control device by the user (7) and/or a condition of the user (7), the safety check module is designed to permit activation if a minimum degree of correctness is present and/or to suppress activation if the minimum degree of correctness is not present.

Control arrangement (1) comprising the control device (2) according to one of the preceding claims and at least one additional sensor (3a,b,c) for arrangement on the user (7), the work machine (4) and/or an infrastructure, the additional sensor ( 3a, b, c) is designed to record additional sensor data and to provide it to the control device (2), the visual inspection module is designed to determine visibility based on the additional sensor data.

Control arrangement (1) after claim 10 , characterized in that at least one additional sensor (3a,b,c) is designed as a user sensor (3a) for arrangement on the user (7), the user sensor (3a) being designed to record and provide user sensor data as additional sensor data, wherein the pose determination module is designed to determine the relative pose between the control device (2) and the work machine (4) based on the user sensor data, wherein the visual inspection module is designed to determine visibility based on the relative pose.

Control arrangement (1) after claim 10 or 11 , characterized in that at least one additional sensor (3a,b,c) is designed as a working machine sensor (3b) for arrangement on the working machine (4), the working machine sensor (3b) being designed to record working machine sensor data as additional sensor data and to provide it the pose determination module is designed to determine the relative pose between the control device (2) and the working machine (4) based on the working machine sensor data, the visual inspection module being designed to determine visibility based on the relative pose.

Method for controlling a work machine (4) by a user (7), a relative pose between the user (7) and the work machine (4) being determined, based on the relative pose being able to see the work machine and/or a work process The working machine is determined by the user (7), with control by the user (7) being permitted for a given visibility and/or control by the user (7) being refused and/or suppressed if there is no or insufficient visibility.

Computer program for execution on a computer, wherein the computer program is designed according to the method when executed on the computer Claim 13 to execute.

Machine-readable storage medium, with the computer program on the storage medium Claim 14 is saved.