DE102022126935A1

DE102022126935A1 - Control device and method for controlling vehicles

Info

Publication number: DE102022126935A1
Application number: DE102022126935.3A
Authority: DE
Inventors: Alexej Dikarew; Mario Müllhäuser; Sven Schmerwitz
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2022-10-14
Filing date: 2022-10-14
Publication date: 2024-04-25

Abstract

Die Erfindung betrifft eine Steuerungseinrichtung, die einen Automatikmodus und einen Manuellmodus zur Steuerung von Fahrzeugen aufweist, mit
- einer Steuerbefehlsautomatik, die im Automatikmodus basierend auf einem vorgegebenen Ziel und Umgebungsinformationen aus der Umgebung des Fahrzeugs als Eingangsdaten automatische Steuersignale zur Ansteuerung von Steuerorganen des Fahrzeugs als Ausgangsdaten generiert, und
- einer Steuerbefehls-Eingabevorrichtung mit mindestens einem Sensor zur Detektion von manuellen Steuerbefehlseingaben durch manuelle Betätigung der Steuerbefehls-Eingabevorrichtung, wobei die Steuerbefehls-Eingabevorrichtung aus den manuellen Steuerbefehlseingaben manuelle Steuersignale zur Ansteuerung der Steuerorgane des Fahrzeugs generiert, dadurch gekennzeichnet, dass
- die Steuerungseinrichtung im Automatikmodus eingerichtet ist, aus den manuellen Steuersignalen der manuellen Steuerbefehlseingaben, die während des Automatikmodus an der Steuerbefehls-Eingabevorrichtung durch manuelle Betätigung eingegeben wurden, Eingangssignale für die Steuerbefehlsautomatik zu generieren und diese an in die Steuerbefehlsautomatik als Eingangsdaten weiterzuleiten, um die Steuerbefehlsautomatik im Automatikmodus zu steuern.

The invention relates to a control device having an automatic mode and a manual mode for controlling vehicles, with
- an automatic control command system which, in automatic mode, generates automatic control signals for controlling control elements of the vehicle as output data based on a specified target and environmental information from the environment of the vehicle as input data, and
- a control command input device with at least one sensor for detecting manual control command inputs by manual actuation of the control command input device, wherein the control command input device generates manual control signals for controlling the control elements of the vehicle from the manual control command inputs, characterized in that
- the control device is set up in automatic mode to generate input signals for the automatic control command from the manual control signals of the manual control command inputs which were entered by manual operation on the control command input device during automatic mode and to forward these to the automatic control command as input data in order to control the automatic control command in automatic mode.

Description

Die Erfindung betrifft eine Steuerungseinrichtung, die einen Automatikmodus und einen Manuellmodus zur Steuerung von Fahrzeugen aufweist. Die Erfindung betrifft ebenso ein Verfahren hierzu.The invention relates to a control device which has an automatic mode and a manual mode for controlling vehicles. The invention also relates to a method for this purpose.

Moderne Flugregelungs- und Flugführungssysteme können ein bemanntes oder unbemanntes Luftfahrzeug automatisch zu einem Ziel führen, beispielsweise entlang einer Route mit einer Mehrzahl von Wegpunkten. Durch den technischen Fortschritt wird dieser Art der Automation dabei immer komplexer und leistungsfähiger, wobei auch das automatische Ausweichen von Hindernissen mittlerweile möglich ist. Dabei führt die Automation das Luftfahrzeug, während der Pilot die Automation überwacht und bei Bedarf die Steuerung manuell übernehmen kann. Dabei wird die Automation deaktiviert und der Pilot steuert das Luftfahrzeug allein, bis er sich entscheidet, sie wieder an die Automation abzugeben.Modern flight control and guidance systems can automatically guide a manned or unmanned aircraft to a destination, for example along a route with a number of waypoints. As technology advances, this type of automation is becoming increasingly complex and powerful, and automatic avoidance of obstacles is now also possible. The automation guides the aircraft while the pilot monitors the automation and can take over control manually if necessary. The automation is deactivated and the pilot controls the aircraft alone until he decides to hand it back over to the automation.

Eine ähnliche Entwicklung ist auch im Bereich der Straßenfahrzeuge zuerkennen, die immer komplexere und leistungsfähigere Assistenzsysteme aufweisen, mit denen innerhalb von Systemgrenzen ein autonomes Fahren der Fahrzeuge im Straßenverkehr möglich wird. Ähnlich wie bei autonom fliegenden Luftfahrzeugen wird auch hier die Umgebung mithilfe von Sensoren, beispielsweise Lidar, Radar, Video und/oder Ultraschall, überwacht und entsprechende Hindernisse und andere Verkehrsteilnehmer identifiziert. Durch eine entsprechende Automation im Straßenfahrzeug wird dann das Straßenfahrzeug durch den Straßenverkehr gesteuert. Auch hier ist es möglich, dass der Fahrzeugführer die Automation deaktiviert und die manuelle Steuerung übernimmt.A similar development can also be seen in the area of road vehicles, which have increasingly complex and powerful assistance systems that enable autonomous driving of vehicles in traffic within system limits. Similar to autonomously flying aircraft, the environment is monitored using sensors, such as lidar, radar, video and/or ultrasound, and corresponding obstacles and other road users are identified. The road vehicle is then steered through traffic using appropriate automation in the road vehicle. Here, too, it is possible for the driver to deactivate the automation and take over manual control.

In A. Dikarew, „Model Predictive Approach for Short-Term Collision Avoidance“, in Proceedings of the Vertical Flight Society 77th Annual Forum & Technology Display, Virtual/Online, Mai 2021 ist die modellbasierte Prädiktion von Fahrzeugreaktionen und Trajektorien auf Steuereingaben und die Auswahl der Steuer, welche das Fahrzeug optimal in Bezug auf vorab definierte, messbare Kriterien, wie beispielsweise Kollisionsfreiheit, führen, unter dem Name modellprädiktive Kollisionsvermeidung (Model-Predictive-Collision-Avoidance - MPCA) bekannt. Bei der MPCA erfolgt die Führung des Fahrzeugs, bspw. eines Luftfahrzeuges, auf der Basis vorab mit einem mathematischen Fahrzeug berechneter Trajektorien, die sich aus einer endlichen Anzahl diskreter Steuereingaben, bzw. Kombinationen von Steuereingaben an den unterschiedlichen Steuern ergeben würden. Dabei wird jene Steuerkombination zur Anwendung gebracht, welche eine vorab aufgestellte Kostenfunktion, etwa in Bezug auf zwingende Kriterien, wie etwa die Vermeidung von Kollisionen, minimiert. Je nach Aufgabe und vorhandenen Daten kann die Kostenfunktion aber auch weitere, optionale Faktoren, wie etwa Flugzustandsänderungen oder das Vermeiden des Überflugs von besiedeltem Gelände, berücksichtigen. In der Kostenfunktion kann auch ein Ziel oder eine Zielroute berücksichtigt werden, welche die MPCA versucht zu erreichen, bzw. zu folgen.In A. Dikarew, “Model Predictive Approach for Short-Term Collision Avoidance,” in Proceedings of the Vertical Flight Society 77th Annual Forum & Technology Display, Virtual/Online, May 2021, the model-based prediction of vehicle reactions and trajectories to control inputs and the selection of the control that optimally guides the vehicle with respect to predefined, measurable criteria, such as freedom from collisions, is known under the name model-predictive collision avoidance (MPCA). In MPCA, the vehicle, e.g. an aircraft, is guided on the basis of trajectories calculated in advance with a mathematical vehicle, which would result from a finite number of discrete control inputs or combinations of control inputs at the different controls. The control combination used is the one that minimizes a pre-established cost function, for example with respect to mandatory criteria, such as avoiding collisions. Depending on the task and available data, the cost function can also take into account other optional factors, such as changes in flight status or avoiding overflying populated areas. The cost function can also take into account a target or a target route that the MPCA tries to reach or follow.

Das Verstehen und Bedienen einer solchen komplexen Automation wird für den Benutzer immer schwieriger. In dem Flugzeugbereich kann beispielsweise ein so genanntes Out-Off-the-Loop-Problem auftreten, bei dem der Bediener durch die fehlende Rückkoppelung nicht mehr genügend involviert ist. Oftmals können auch die unterschiedlichen Regler und Bedienknöpfe vom Benutzer mental nicht mehr erfasst werden („One-BoxAt-Time“-Automation). Es kann auch zu einer Konfusion des Benutzers hinsichtlich des gültigen Steuerungsmodus kommen („Mode Confusion“), bei dem unterschiedliche Betriebszustände und die beabsichtigte Aktion der Automation nicht oder falsch erfasst werden. Derartige herkömmliche Steuerungseinrichtungen sind daher unfallträchtig, da Bediener und Automation möglicherweise gegeneinander arbeiten, ohne dass es zu einer angemessenen Auflösung des Handlungskonfliktes kommt.Understanding and operating such complex automation is becoming increasingly difficult for the user. In the aircraft sector, for example, a so-called out-of-the-loop problem can occur, in which the operator is no longer sufficiently involved due to the lack of feedback. Often, the user can no longer mentally grasp the different controls and control buttons (“one-box-at-time” automation). The user can also become confused about the valid control mode (“mode confusion”), in which different operating states and the intended action of the automation are not recognized or are recognized incorrectly. Such conventional control devices are therefore prone to accidents, as the operator and automation may work against each other without an appropriate resolution of the conflict of actions.

In F. Flemisch, C. Adams, S. Conway, K. Goodrich, M. Palmer, P. Schutte: „The H-Methaphor as a Guideline for Vehicle Automation and Interaction“, NASA/TM-2003-212672, Dezember 2003 ist ein Steuerungskonzept basierend auf der sogenannten Horse-Metapher beschrieben. Das Steuerungskonzept geht von einem intelligent mit Sensoren ausgerüsteten automatischen Steuerungssystem aus, das mit Hilfe haptischer Eingabevorrichtungen durch manuelle Betätigung vom Menschen beeinflusst werden kann. Wie beim Führen eines sich an sich selbsttätig fortbewegenden Pferdes gleichen sich die automatisch generierten und manuellen Steuerungsprofile mit Hilfe von Kraft und Gegenkraft einer haptischen Eingabevorrichtung ab. Bei „losem Zügeln“, d. h. geringem Einfluss durch manuelle Steuerungsbefehlseingaben, übernimmt die Steuerungsbefehlsautomatik die Steuerung, während bei „angezogenen Zügeln“, d. h. bei starken Einfluss durch manuelle Steuerungsbefehlseingaben, der Bediener im Wesentlichen die Steuerung übernimmt.In F. Flemisch, C. Adams, S. Conway, K. Goodrich, M. Palmer, P. Schutte: “The H-Methaphor as a Guideline for Vehicle Automation and Interaction”, NASA/TM-2003-212672, December 2003 A control concept based on the so-called horse metaphor is described. The control concept is based on an automatic control system intelligently equipped with sensors that can be influenced by humans using manual operation via haptic input devices. As with leading a horse that moves itself, the automatically generated and manual control profiles are balanced using the force and counterforce of a haptic input device. When the reins are "loose", i.e. there is little influence from manual control command inputs, the automatic control command takes over control, while when the reins are "tightened", i.e. there is a strong influence from manual control command inputs, the operator essentially takes over control.

In F. Flemisch, K. Goodrich, S. Conway: „At the Crossroads of manually controlled and automated transport: The H-Metapher and its first applications“, in Fifth European Congress exhibition on intelligent transport systems and services (ITS); Hannover 1.-3. Juni 2005 ist eine auf der H-Metapher basierende Flug- und Fahrzeugsteuerungseinrichtung mit einer haptischen Eingabevorrichtung und einer Automation zur automatischen Generierung von Steuerungssignalen beschrieben. Die Steuerung eines Fahrzeugs erfolgt mit einer haptischen Eingabevorrichtung, auf die mit Hilfe mindestens eines Aktors und automatisch generierten Steuerungssignalen eine für den Benutzter spürbare, die Eingabe kennzeichnende Kraft eingeleitet wird. Dieser Kraft kann der Benutzer entgegenwirken oder folgen. Zur Abstimmung der manuellen und automatischen Steuerungsbefehle kann eine Priorisierung zwischen der Intension des Benutzers und der Steuerungsbefehlsautomatik erfolgen.In F. Flemisch, K. Goodrich, S. Conway: “At the Crossroads of manually controlled and automated transport: The H-Metaphor and its first applications”, in Fifth European Congress exhibition on intelligent transport systems and services (ITS); Hanover 1.-3. June 2005 is a flight and vehicle control device based on the H-metaphor with a haptic input device and automation for automatic generation of control signals. A vehicle is controlled using a haptic input device, to which a force that is perceptible to the user and characterizes the input is introduced with the help of at least one actuator and automatically generated control signals. The user can counteract or follow this force. In order to coordinate the manual and automatic control commands, a prioritization can be made between the user's intention and the automatic control command.

Bei dieser Art der Interaktion zwischen Mensch und Automation wird der Konflikt bei sich widersprechenden Intentionen immer durch den Menschen gelöst. Die Automation gibt eine haptische Rückmeldung an die Eingabevorrichtung, beispielsweise ein Stick eines fly-by-wire Systems, die in Form einer Gegenkraft zur eigentlichen Betätigung durch den Menschen wahrnehmbar ist. Der Mensch hat nur die Möglichkeit, diese Gegenkraft entweder zu übersteuern, wodurch der Intention des Menschen gefolgt wird, oder dieser Gegenkraft nachzugeben, wodurch der Mensch veranlasst, dass der Intention der Automation gefolgt wird. In beiden Fällen jedoch entscheidet der Mensch, wie der Konflikt aufzulösen ist.In this type of interaction between humans and automation, the conflict in the case of conflicting intentions is always resolved by the human. The automation gives haptic feedback to the input device, for example a stick of a fly-by-wire system, which is perceptible in the form of a counterforce to the actual actuation by the human. The human only has the option of either overriding this counterforce, whereby the human's intention is followed, or giving in to this counterforce, whereby the human causes the automation's intention to be followed. In both cases, however, the human decides how to resolve the conflict.

Es ist daher Aufgabe der vorliegenden Erfindung eine verbesserte Steuerungseinrichtung für einen autonomen und manuellen Steuerungsmodus anzugeben.It is therefore an object of the present invention to provide an improved control device for an autonomous and manual control mode.

Die Aufgabe wird mit der Steuerungseinrichtung gemäß Anspruch 1 sowie dem Verfahren hierzu gemäß Anspruch 10 erfindungsgemäß gelöst. Vorteilhafte Ausgestaltungen der Erfindung finden sich dann in den entsprechenden Unteransprüchen.The object is achieved according to the invention with the control device according to claim 1 and the method therefor according to claim 10. Advantageous embodiments of the invention can then be found in the corresponding subclaims.

Gemäß Anspruch 1 wird eine Steuerungseinrichtung zur Steuerung von Fahrzeugen vorgeschlagen, wobei die Steuerungseinrichtung sowohl in einem Automatikmodus als auch in einem Manuellmodus betrieben werden kann. Im Automatikmodus übernimmt die Steuerungseinrichtung die Steuerung des Fahrzeugs teilweise oder vollständig und führt eine entsprechende Führungsaufgabe durch. Im Manuellmodus hingegen ist die Steuerungseinrichtung eingerichtet, manuelle Steuerbefehlseingaben eines Fahrzeugführers, beispielsweise eines Piloten, zum manuellen Steuerung des Fahrzeuges zu verwenden.According to claim 1, a control device for controlling vehicles is proposed, wherein the control device can be operated both in an automatic mode and in a manual mode. In automatic mode, the control device takes over control of the vehicle partially or completely and carries out a corresponding control task. In manual mode, however, the control device is set up to use manual control command inputs from a vehicle driver, for example a pilot, to manually control the vehicle.

Hierfür weist die Steuerungseinrichtung zunächst eine Steuerbefehlsautomatik auf, die im Automatikmodus basierend auf einem vorgegebenen Ziel und Umgebungsinformationen aus der Umgebung des Fahrzeugs als Eingangsdaten automatisch Steuersignale zur Ansteuerung von Steuerorganen des Fahrzeugs als Ausgangsdaten generiert. Durch die Vorgabe eines Ziels, welches sich auch in einer Route mit verschiedenen Wegpunkten äußern können, sowie der kontinuierlichen Bereitstellung von Umgebungsinformationen aus der Umgebung des Fahrzeugs als Eingangsdaten werden so automatisch Steuersignale generiert, mit deren Hilfe das Fahrzeug automatisch gesteuert wird. Die Steuersignale dienen dabei zur Ansteuerung von Steuerorganen, wie beispielsweise die lenkbaren Räder eines Straßenfahrzeuges oder den Steuerflächen eines Flugzeugs. Unter einem Steuerorgan wird nicht die Eingabeeinrichtung zur Eingabe von Steuerbefehlen verstanden, sondern jene technische Elemente, die mittels der Steuerbefehle so angesteuert werden, dass das Fahrzeug schließlich seine Richtung ändert. Damit ist das Steuerorgan eine Art Aktuator zur Änderung der Fahrzeugrichtung.For this purpose, the control device initially has an automatic control command system which, in automatic mode, automatically generates control signals for controlling the vehicle's control elements as output data based on a specified destination and environmental information from the vehicle's surroundings as input data. By specifying a destination, which can also be expressed in a route with various waypoints, and continuously providing environmental information from the vehicle's surroundings as input data, control signals are automatically generated with the help of which the vehicle is automatically controlled. The control signals are used to control control elements, such as the steerable wheels of a road vehicle or the control surfaces of an aircraft. A control element is not understood to be the input device for entering control commands, but rather those technical elements which are controlled by means of the control commands so that the vehicle ultimately changes direction. The control element is therefore a type of actuator for changing the direction of the vehicle.

Der Automation im Automatikmodus, die durch die Steuerbefehlsautomatik ausgeführt wird, können dabei die Umgebungsinformationen beispielsweise anhand von am Fahrzeug verbauten Sensoren kontinuierlich bereitgestellt werden. Solche Sensoren können beispielsweise Lidar, Radar, Videokameras und/oder Ultraschallsensoren sein. Mithilfe einer entsprechenden Auswertung durch die Steuerbefehlsautomatik kann so festgestellt werden, ob sich entlang der geplanten Route zum vorgegebenen Ziel Hindernisse befinden, die zu einer Kollision mit dem Fahrzeug führen. Ist dies der Fall, so werden entsprechende Steuersignale generiert, welche die Steuerorgane des Fahrzeugs so ansprechen, dass die Kollision vermieden und dem Hindernis ausgewichen wird. Durch die Umgebungsinformationen erhält die Automation somit ein entsprechendes maschinelles Umgebungsbewusstsein.The automation in automatic mode, which is carried out by the automatic control command, can be continuously provided with environmental information, for example using sensors installed on the vehicle. Such sensors can be lidar, radar, video cameras and/or ultrasonic sensors. With the help of a corresponding evaluation by the automatic control command, it can be determined whether there are obstacles along the planned route to the specified destination that could lead to a collision with the vehicle. If this is the case, corresponding control signals are generated that address the vehicle's control elements in such a way that the collision is avoided and the obstacle is avoided. The environmental information thus gives the automation a corresponding machine awareness of the environment.

Des Weiteren weist die Steuerbefehls-Eingabevorrichtung mindestens einen Sensor zur Detektion von manuellen Steuerbefehlseingaben durch manuelle Betätigung der Steuerbefehls-Eingabevorrichtung auf, wobei die Steuerbefehls-Eingabevorrichtung aus den manuellen Steuerbefehlseingaben manuelle Steuersignale zur Ansteuerung der Steuerorgane des Fahrzeugs generiert.Furthermore, the control command input device has at least one sensor for detecting manual control command inputs by manual actuation of the control command input device, wherein the control command input device generates manual control signals for controlling the control elements of the vehicle from the manual control command inputs.

Die Steuerbefehls-Eingabevorrichtung kann ein oder mehrere Steuer aufweisen, mit denen manuelle Steuerbefehlseingaben durch Betätigung dieser Steuer eingegeben werden können. Ein solches Steuer kann beispielsweise ein Lenkrad oder ein Pedal bei einem Straßenfahrzeug sein. Ein solches Steuer kann aber auch das Steuerhorn oder der fly-by-wire Stick eines Flugzeuges sowie auch ein Pedal eines Flugzeuges sein.The control command input device can have one or more controls with which manual control commands can be entered by operating this control. Such a control can be, for example, a steering wheel or a pedal in a road vehicle. However, such a control can also be the control yoke or the fly-by-wire stick of an aircraft or even a pedal of an aircraft.

Durch Betätigung der Steuerbefehls-Eingabevorrichtung werden manuelle Steuerbefehlseingaben erzeugt, die dann durch die Steuerbefehls-Eingabevorrichtung in manuelle Steuersignale umgesetzt werden, die dann zur Ansteuerung der Steuerorgane des Fahrzeuges dienen.By operating the control command input device, manual control command input which are then converted by the control command input device into manual control signals, which are then used to control the vehicle's control elements.

Im Automatikmodus werden dabei die für die Ansteuerung der Steuerorgane notwendigen Steuersignale automatisch durch die Steuerbefehlsautomatik generiert, während im Manuellmodus die für die Ansteuerung der Steuerorgane notwendigen Steuersignale durch manuelle Betätigung der Steuerbefehls-Eingabevorrichtung erzeugt werden. Im Automatikmodus ist es darüber hinaus ebenfalls möglich, durch Übersteuerung bei der Betätigung der Steuerbefehls-Eingabevorrichtung manuelle Steuersignale zu generieren, wie später noch gezeigt wird.In automatic mode, the control signals required to control the control elements are generated automatically by the control command automation, while in manual mode, the control signals required to control the control elements are generated by manually operating the control command input device. In automatic mode, it is also possible to generate manual control signals by overriding the control command input device, as will be shown later.

Erfindungsgemäß ist und vorgesehen, dass die Steuerungseinrichtung im Automatikmodus eingerichtet ist, aus den manuellen Steuersignalen der manuellen Steuerbefehlseingaben, die während des Automatikmodus an der Steuerbefehls-Eingabevorrichtung durch manuelle Betätigung eingegeben wurden, Eingangssignale für die Steuerbefehlsautomatik zu generieren und diese an in die Steuerbefehlsautomatik als Eingangsdaten weiterzuleiten, um die Steuerbefehlsautomatik im Automatikmodus zu steuern.According to the invention, it is provided that the control device is set up in automatic mode to generate input signals for the automatic control command from the manual control signals of the manual control command inputs that were entered during the automatic mode on the control command input device by manual operation, and to forward these to the automatic control command as input data in order to control the automatic control command in automatic mode.

Es wird dennoch vorgeschlagen, dass die Steuerbefehls-Eingabevorrichtung im Automatikmodus dazu dient, Steuerbefehlseingaben für die Automation einzugeben, um so die Automation zu steuern. Hat der Fahrzeugführer beispielsweise die Intention, ein Hindernis anders zu umfahren als es die Automation vorsieht, so kann er durch manuelle Betätigung der Steuerbefehls-Eingabevorrichtung der Automation die Intention vermitteln, das Hindernis in einer anderen gewünschten Form zu umfahren. Die Automation errechnet dann im Automatikmodus eine entsprechend andere Wegführung zum gewünschten Ziel, ohne dass dabei der Automatikmodus durch das manuelle Betätigen der Steuerbefehls-Eingabevorrichtung verlassen werden muss. Damit wird es möglich, der Automation intuitive Eingaben über die ohnehin vorhandene Steuerbefehls-Eingabevorrichtung des Fahrzeugs zu übergeben, ohne dass der Fahrzeugführer hierfür in einen manuellen Fahrzeugmodus wechseln muss. Außerdem braucht der Fahrzeugführer zur Steuerung der Automation keine weiteren Bedienelemente, die von der Steuerbefehls-Eingabevorrichtung verschieden sind.It is nevertheless proposed that the control command input device in automatic mode be used to enter control command inputs for the automation in order to control the automation. If, for example, the driver intends to go around an obstacle in a different way than the automation provides, he can communicate to the automation the intention to go around the obstacle in a different desired way by manually operating the control command input device. The automation then calculates a correspondingly different route to the desired destination in automatic mode without the automatic mode having to be left by manually operating the control command input device. This makes it possible to give the automation intuitive inputs via the vehicle's existing control command input device without the driver having to switch to a manual vehicle mode. In addition, the driver does not need any other operating elements to control the automation that are different from the control command input device.

Im Automatikmodus steuert dabei die Automation auch bei einer manuellen Betätigung der Steuerbefehls-Eingabevorrichtung das Fahrzeug autonom weiter, während die Automation die Intention des Fahrzeugführers über diese manuelle Betätigung erfasst und bei der aktiven Steuerung berücksichtigt. Die Steuerbefehlseingaben werden dabei als zusätzliche Eingangsgrößen neben den anderen Eingangsgrößen der Automation verwendet. Mit anderen Worten, im Automatikmodus steuert der Fahrzeugführer das Fahrzeug durch manuelle Betätigung der Steuerbefehls-Eingabevorrichtung nicht direkt, sondern mittelbar über Eingangsdaten in die Automation.In automatic mode, the automation continues to control the vehicle autonomously even if the control command input device is manually operated, while the automation detects the driver's intention via this manual operation and takes it into account in the active control. The control command inputs are used as additional input variables in addition to the other input variables of the automation. In other words, in automatic mode, the driver does not control the vehicle directly by manually operating the control command input device, but indirectly via input data in the automation.

Durch die Eingaben im Automatikmodus wird der Automation die Pilotenintention übermittelt, ohne dass diese Eingaben dabei direkt als Steuerbefehle an die Steuerorgane weitergeleitet werden. Die Automation erfasst diese Pilotenintention und setzt diese in ihrer Automation um. Dabei werden die manuellen Eingaben ohne Unterbrechung der Automation durch diese verarbeitet, was zu einer Änderung von Eigenschaften des Routenplans (bspw. andere Richtung, andere Höhe, andere Geschwindigkeit, andere Fahrmanöver, etc.) der Automation führen kann und wird, wenn die Intention des Piloten dies erfordert.The inputs in automatic mode transmit the pilot's intention to the automation without these inputs being forwarded directly to the control units as control commands. The automation records this pilot's intention and implements it in its automation. The manual inputs are processed by the automation without interrupting it, which can and will lead to a change in the properties of the route plan (e.g. different direction, different altitude, different speed, different driving maneuvers, etc.) of the automation if the pilot's intention requires this.

Gemäß einer Ausführungsform ist vorgesehen, dass die Steuerbefehlsautomatik eingerichtet ist, im Automatikmodus die automatischen Steuersignale mittels einer modellprädiktiven Regelung zu generieren, wobei die im Automatikmodus aus den manuellen Steuersignalen generierten Eingangssignale als Eingangsdaten der modellprädiktiven Regelung zugrunde gelegt werden.According to one embodiment, it is provided that the control command automation is set up to generate the automatic control signals in automatic mode by means of a model predictive control, wherein the input signals generated in automatic mode from the manual control signals are used as input data for the model predictive control.

Die modellprädiktive Regelung wird dabei um die generierten Eingangssignale, die aus der manuellen Betätigung der Steuerbefehls-Eingabevorrichtung resultieren, erweitert, wobei die modellprädiktive Regelung diese generierten Eingangssignale aus der manuellen Betätigung bei der Fahrzeugführung berücksichtigt.The model predictive control is extended by the generated input signals resulting from the manual operation of the control command input device, whereby the model predictive control takes these generated input signals from the manual operation into account when driving the vehicle.

Gemäß einer Ausführungsform zur modellprädiktiven Regelung ist vorgesehen, dass die Steuerbefehlsautomatik im Automatikmodus zur Durchführung der modellprädiktiven Regelung derart eingerichtet ist, dass ein Fahrzeugmodell simuliert wird und eine Vielzahl von verschiedenen simulierten Steuersignalen, die jeweils zu einer bestimmten Konfiguration der Steuerorgane des simulierten Fahrzeugmodells führen, berechnet werden, für die jeweils eine Bewertungskennzahl aus einer aufgestellten Bewertungsfunktion in Bezug auf vorgegebene Randbedingungen ermittelt wird, wobei in Abhängigkeit von den Bewertungskennzahlen diejenigen simulierten Steuersignale ausgewählt werden, auf deren Basis anschließend die automatischen Steuersignale generiert werden, wobei die im Automatikmodus aus den manuellen Steuersignalen generierten Eingangssignale die Bewertungsfunktion der modellprädiktiven Regelung beeinflussen (bspw. in Form von Randbedingungen für die Automation).According to an embodiment for model predictive control, it is provided that the control command automation in automatic mode is set up to carry out the model predictive control in such a way that a vehicle model is simulated and a plurality of different simulated control signals, each of which leads to a specific configuration of the control elements of the simulated vehicle model, are calculated, for each of which an evaluation index is determined from an established evaluation function in relation to predetermined boundary conditions, wherein, depending on the evaluation indexes, those simulated control signals are selected on the basis of which the automatic control signals are subsequently generated, wherein the input signals generated in automatic mode from the manual control signals influence the evaluation function of the model predictive control (e.g. in the form of boundary conditions for automation).

Die modellprädiktive Regelung simuliert dabei ein Fahrzeugmodell, bei dem an jedem diskreten Zeitschritt eine Vielzahl von verschiedenen Steuersignalen simuliert werden, die jeweils zu einer bestimmten Konfiguration der Steuerorgane des simulierten Fahrzeugmodells führen. Die Steuerorgane weisen dabei verschiedene Steuerausschläge auf, die zu jeweils unterschiedlichen Flugzuständen in der Zukunft führen würden. Jeder dieser in der Zukunft stattfindende Flugzustand wird dann durch eine Bewertungsfunktion bewertet, indem hierfür eine Bewertungskennzahl ermittelt wird. Basierend auf dieser Bewertungskennzahl werden dann die optimalen Steuersignale ermittelt, aus denen dann die tatsächlich für die Ansteuerung der Steuerorgane notwendigen automatischen Steuersignale generiert werden.The model predictive control simulates a vehicle model in which a large number of different control signals are simulated at each discrete time step, each of which leads to a specific configuration of the control elements of the simulated vehicle model. The control elements have different control deflections, which would lead to different flight states in the future. Each of these future flight states is then evaluated using an evaluation function by determining an evaluation index. Based on this evaluation index, the optimal control signals are then determined, from which the automatic control signals actually required to control the control elements are then generated.

Eine solche Bewertungsfunktion kann dabei eine Kostenfunktion sein, wobei für jede Kombination einer bestimmten Konfiguration der Steuerorgane eine entsprechende Kostenkennzahl ermittelt wird. Es werden dann diejenigen simulierten Steuersignale als Basis für die Generierung der automatischen Steuersignale verwendet, welche die aufgestellte Kostenfunktion in Bezug auf vorgegebene Randbedingungen minimieren.Such an evaluation function can be a cost function, whereby a corresponding cost indicator is determined for each combination of a specific configuration of the control elements. The simulated control signals that minimize the established cost function in relation to specified boundary conditions are then used as the basis for generating the automatic control signals.

Solche Randbedingungen können dabei insbesondere das Ziel sowie die Kollisionsvermeidung darstellen. Diese notwendigen Randbedingungen für die Automation können durch optionale Randbedingungen ergänzt werden, wie beispielsweise Überflugvermeidung bestimmter Regionen oder Begrenzung der wirkenden Flugkräfte auf die Besatzung eines Flugzeuges.Such boundary conditions can in particular represent the goal and collision avoidance. These necessary boundary conditions for automation can be supplemented by optional boundary conditions, such as avoiding overflights of certain regions or limiting the flight forces acting on the crew of an aircraft.

Mithilfe der vorliegenden Erfindung wird es dabei möglich, die modellprädiktive Regelung dahingehend zu erweitern, dass manuelle Steuersignale, die aus einer manuellen Betätigung der Steuerbefehls-Eingabevorrichtung des Fahrzeuges resultieren, als Eingangsgröße, beispielsweise in Form einer erweiterten Randbedingung, berücksichtigt werden. Die modellprädiktive Regelung berücksichtigt dabei nicht nur die notwendigen und optionalen Randbedingungen, sondern auch die sich aus der manuellen Betätigung der Steuerbefehls-Eingabevorrichtung ergebenden Eingangsdaten als erweiterte Randbedingung.With the help of the present invention, it is possible to expand the model predictive control in such a way that manual control signals resulting from a manual actuation of the control command input device of the vehicle are taken into account as an input variable, for example in the form of an extended boundary condition. The model predictive control takes into account not only the necessary and optional boundary conditions, but also the input data resulting from the manual actuation of the control command input device as an extended boundary condition.

Dabei kann vorgesehen sein, dass die Steuerbefehls-Eingabevorrichtung mindesten einen Aktor zur Betätigung der Steuerbefehls-Eingabevorrichtung aufweist und die Steuerbefehls-Eingabevorrichtung weiterhin eingerichtet ist, mittels des mindestens einen Aktors die sich aus der Bewertungsfunktion ergebende Bewertungskennzahl als Kraft für eine haptische Rückmeldung auf die Steuerbefehls-Eingabevorrichtung aufzuprägen.In this case, it can be provided that the control command input device has at least one actuator for actuating the control command input device and the control command input device is further configured to use the at least one actuator to impress the evaluation index resulting from the evaluation function as a force for a haptic feedback onto the control command input device.

Ein solcher Aktor liefert dabei eine haptische Rückmeldung bei der manuellen Betätigung der Steuerbefehls-Eingabevorrichtung an den Bediener. Diejenige Bewertungskennzahl, deren simulierte Steuersignale für die Automation zur Generierung der automatischen Steuersignale ausgewählt wurden, kann dabei als Kraft für eine haptische Rückmeldung auf die Steuerbefehls-Eingabevorrichtung mittels des Aktors aufgeprägt werden. Hierfür wird aus der Bewertungskennzahl ein Rückkopplungssignal generiert, mit dem der Aktor angesteuert wird.Such an actuator provides haptic feedback to the operator when the control command input device is manually operated. The evaluation number whose simulated control signals were selected for the automation to generate the automatic control signals can be impressed as a force for haptic feedback on the control command input device by means of the actuator. For this purpose, a feedback signal is generated from the evaluation number, which is used to control the actuator.

Hierdurch wird es möglich, dass der Bediener der Steuerbefehls-Eingabevorrichtung bei der Eingabe von manuellen Steuerbefehlseingaben zur Steuerung der Automation eine Rückkopplung darüber erhält, wie groß die Differenz zwischen der Intention der Automation und der eigenen Intention ist. Je weiter sich die Intention der Automation von der eigenen Intention entfernt, desto größer könnte die Kraft für die haptische Rückmeldung sein, es sei denn die Automation findet einen vergleichbar geeigneten Weg.This makes it possible for the operator of the control command input device to receive feedback on how big the difference is between the intention of the automation and their own intention when entering manual control commands to control the automation. The further the intention of the automation deviates from your own intention, the greater the force for the haptic feedback could be, unless the automation finds a comparably suitable path.

So lässt sich beispielsweise bei der Erhöhung des Kollisionsrisikos dem Bediener der Steuerbefehls-Eingabevorrichtung dies in haptische Form durch eine Erhöhung der Kraft, die auf die Steuerbefehls-Eingabevorrichtung wirkt, mitteilen. Die Erhöhung des Kollisionsrisikos entsteht dadurch, dass der Bediener eine manuelle Betätigung an der Steuerbefehls-Eingabevorrichtung durchgeführt hat, woraufhin die Automation dies als Eingangsdaten erhält und eine, der Intention des Bedieners entsprechende Flugführung wählt, die jedoch ein größeres Kollisionsrisiko mit sich bringt. Diese Erhöhung des Kollisionsrisikos kann dann durch die entsprechende Bewertungskennzahl umgewandelt in eine haptische Kraft an der Steuerbefehls-Eingabevorrichtung erfasst werden.For example, if the risk of collision increases, the operator of the control command input device can be informed of this in haptic form by increasing the force acting on the control command input device. The increase in the risk of collision occurs because the operator has carried out a manual operation on the control command input device, whereupon the automation receives this as input data and selects a flight path that corresponds to the operator's intention, but which entails a greater risk of collision. This increase in the risk of collision can then be converted into a haptic force on the control command input device using the corresponding evaluation index.

Gemäß einer Ausführungsform ist vorgesehen, dass die Steuerbefehls-Eingabevorrichtung einen Betätigungsraum aufweist, innerhalb dessen manuelle Steuerbefehlseingaben durch manuelle Betätigung eingebbar sind, wobei die Steuerungseinrichtung weiterhin eingerichtet ist, die manuellen Steuersignalen von manuellen Steuerbefehlseingaben innerhalb eines ersten Abschnittes des Betätigungsraumes zum Generieren der Eingangssignale für die Steuerbefehlsautomatik und zum Steuern der Steuerbefehlsautomatik zu verwenden und die manuellen Steuersignalen von manuellen Steuerbefehlseingaben innerhalb eines zweiten Abschnittes des Betätigungsraumes zur Ansteuerung der Steuerorgane des Fahrzeugs zu verwenden.According to one embodiment, it is provided that the control command input device has an actuation space within which manual control command inputs can be entered by manual actuation, wherein the control device is further configured to use the manual control signals from manual control command inputs within a first section of the actuation space to generate the input signals for the automatic control command and to control the automatic control command and to use the manual control signals from manual control command inputs within a second section of the actuation space to control the control elements of the vehicle.

Der erste Abschnitt ist dabei vorzugsweise verschieden, besonders vorzugsweise disjunkt, von dem zweiten Abschnitt. Dadurch kann sehr schnell von dem Automatikmodus in den Manuellmodus geschaltet werden. Denkbar ist aber auch, dass die beiden Abschnitte zumindest teilweise denkungsgleich sind und die Eingaben je nach eingestelltem Modus entsprechend interpretiert werden.The first section is preferably different, particularly preferably disjoint, from the second section. This makes it possible to switch very quickly from automatic mode to manual mode. However, it is also conceivable that the two sections are at least partially similar in concept and the inputs are interpreted accordingly depending on the mode set.

Der Betätigungsraum der Steuerbefehls-Eingabevorrichtung ist dabei derjenige Bewegungsraum, innerhalb dessen die Steuerbefehls-Eingabevorrichtung durch manuelle Betätigung aus einer Neutralposition heraus in eine Betätigungsposition bewegt werden kann. Dieser Betätigungsraum ist nun unterteilt in einem ersten Abschnitt und einen zweiten Abschnitt, wobei die beiden Abschnitte vorzugsweise disjunkt und trennscharf sind. Manuelle Betätigungen innerhalb des ersten Abschnittes des Betätigungsraumes führen dabei zum Generieren der Eingangssignale für die Steuerbefehlsautomatik, um so die Automation zu steuern. Wird die Steuerbefehls-Eingabevorrichtung jedoch über den ersten Abschnitt hinaus in den zweiten Abschnitt bewegt, so führt dies zu Steuersignalen, die als manuelle Steuersignale zur Ansteuerung der Steuerorgane des Fahrzeugs verwendet werden. In diesem Fall ist es vorteilhaft, wenn der Automatikmodus der Steuerbefehlsautomatik beendet und die Steuerungseinrichtung in den Manuellmodus wechselt.The operating space of the control command input device is the movement space within which the control command input device can be moved from a neutral position into an operating position by manual operation. This operating space is then divided into a first section and a second section, whereby the two sections are preferably disjoint and clearly separable. Manual operations within the first section of the operating space lead to the generation of the input signals for the automatic control command system in order to control the automation. However, if the control command input device is moved beyond the first section into the second section, this leads to control signals that are used as manual control signals to control the control elements of the vehicle. In this case, it is advantageous if the automatic mode of the automatic control command system is ended and the control device switches to manual mode.

Hierbei ist es denkbar, dass die Steuerbefehls-Eingabevorrichtung mindesten einen Aktor zur Betätigung der Steuerbefehls-Eingabevorrichtung aufweist und die Steuerbefehls-Eingabevorrichtung weiterhin eingerichtet ist, zwischen dem ersten Abschnitt und dem zweiten Abschnitt des Betätigungsraumes eine Kraft auf die Steuerbefehls-Eingabevorrichtung während der manuellen Betätigung aufzuprägen.In this case, it is conceivable that the control command input device has at least one actuator for actuating the control command input device and that the control command input device is further configured to impart a force to the control command input device between the first section and the second section of the actuation space during manual actuation.

Hierdurch kann dem Bediener der Steuerbefehls-Eingabevorrichtung der Übergang von dem ersten Abschnitt in den zweiten Abschnitt durch eine Kraft haptisch rückgekoppelt werden, sodass der Fahrzeugführer weiß, innerhalb welchen Bewegungsraumes er sich befindet, d. h. ob seine manuellen Steuerbefehlseingaben die Automation steuern oder direkt das Fahrzeug.This allows the operator of the control command input device to receive haptic feedback on the transition from the first section to the second section using a force, so that the driver knows within which movement area he is, i.e. whether his manual control command inputs control the automation or the vehicle directly.

Gemäß einer Ausführungsform ist vorgesehen, dass die Steuerungseinrichtung weiterhin eingerichtet ist, beim Übergang von dem ersten Abschnitt in den zweiten Abschnitt des Betätigungsraumes während manueller Betätigung der Steuerbefehls-Eingabevorrichtung vom Automatikmodus in den Manuellmodus zu wechseln.According to one embodiment, it is provided that the control device is further configured to change from automatic mode to manual mode during the transition from the first section to the second section of the actuation space during manual actuation of the control command input device.

Gemäß einer Ausführungsform ist vorgesehen, dass die Steuerbefehls-Eingabevorrichtung mindesten einen Aktor zur Betätigung der Steuerbefehls-Eingabevorrichtung aufweist und die Steuerbefehls-Eingabevorrichtung weiterhin eingerichtet ist, mittels des mindestens einen Aktors automatisch die Steuerbefehls-Eingabevorrichtung in Abhängigkeit von den automatisch generierten Steuersignalen zu betätigen.According to one embodiment, it is provided that the control command input device has at least one actuator for actuating the control command input device and the control command input device is further configured to automatically actuate the control command input device by means of the at least one actuator in dependence on the automatically generated control signals.

Hierdurch wird es möglich, dass während der Automation die automatisch generierten Steuersignale auf die Steuerbefehls-Eingabevorrichtung aufgeprägt werden, sodass der Fahrzeugführer die Intention der Automation sichtbar anhand der Steuerbefehls-Eingabevorrichtung erkennt.This makes it possible for the automatically generated control signals to be impressed on the control command input device during automation, so that the driver can visibly recognize the intention of the automation using the control command input device.

Die Aufgabe wird im Übrigen auch mit dem Verfahren gemäß Anspruch 10 erfindungsgemäß gelöst. Vorteilhafte Ausgestaltungen des Verfahrens finden sich dann in den entsprechenden Unteransprüchen.The object is also achieved according to the invention with the method according to claim 10. Advantageous embodiments of the method can then be found in the corresponding subclaims.

Die Erfindung wird anhand der beigefügten Figuren beispielhaft näher erläutert. Es zeigen:

1 schematische Darstellung der Steuerungseinrichtung,
2 - 5 Beispiele eines automatischen Pfades mit und ohne Beeinflussung durch den Piloten,

The invention is explained in more detail by way of example with reference to the attached figures. They show:

1 schematic representation of the control device,
2 - 5 Examples of an automatic path with and without pilot influence,

1 zeigt in einer schematisch stark vereinfachten Darstellung eine Steuerungseinrichtung 10, die eine Steuerbefehlsautomatik 20 und eine Steuerbefehls-Eingabevorrichtung 30 hat. Beispielhaft dessen 1 ein Steuerorgan 100 gezeigt, welches mithilfe der Steuerungseinrichtung 10 gesteuert werden soll. Beispielhaft ist dabei in 1 das Steuerorgan 100 in Form eines Seitenruders eines Flugzeuges dargestellt. 1 shows in a schematically simplified representation a control device 10 which has a control command automatic 20 and a control command input device 30. An example of this 1 a control element 100 is shown, which is to be controlled by means of the control device 10. An example is 1 the control element 100 is shown in the form of a rudder of an aircraft.

Die Steuerbefehls-Eingabevorrichtung 30 ist in Form eines fly-by-wire Sticks 31 gezeigt, der durch Betätigung aus einer Neutralposition (dargestellten 1) in eine Eingabeposition gebracht werden kann, um manuelle Steuerbefehlseingaben zu tätigen.The control command input device 30 is shown in the form of a fly-by-wire stick 31, which by actuation from a neutral position (shown 1 ) can be moved to an input position to enter manual control commands.

Die Steuerbefehls-Eingabevorrichtung 30 weist zum Detektieren der manuellen Betätigung des Sticks 31 einen Sensor 32 auf, der die Bewegung des Sticks 31 detektiert und diese in entsprechende manuelle Steuersignale 110 umwandelt. Diese manuellen Steuersignale 110 können dann direkt auf die Aktoren des Steuerorgans 100 aufgeprägt oder gegebenenfalls zuvor noch entsprechend umgewandelt werden, wenn die Steuerbefehls-Eingabevorrichtung 30 keine manuellen Steuersignale liefert, die direkt von den Aktoren des Steuerorgans 100 verarbeitet werden können.The control command input device 30 has a sensor 32 for detecting the manual actuation of the stick 31, which sensor detects the movement of the stick 31 and converts it into corresponding manual control signals 110. These manual control signals 110 can then be directly applied to the actuators of the control element 100 or, if necessary, converted accordingly beforehand if the control command input device 30 does not provide any manual control signals that can be processed directly by the actuators of the control element 100.

Des Weiteren weist die Steuerbefehls-Eingabevorrichtung 30 einen Aktor 33 auf, mit dem automatisch eine Betätigung des Sticks 31 hervorgerufen werden können, wenn der Aktor 33 mit entsprechenden Signalen angesteuert wird. Hierdurch kann dem Bediener, im Falle der 1 den Piloten, eine haptische Rückmeldung auf den Stick 31 aufgeprägt werden, die durch eine auf den Stick 31 wirkende Kraft und/oder eine Bewegung des Sticks 31 haptisch wahrnehmbar ist.Furthermore, the control command input device 30 has an actuator 33, with which an actuation of the stick 31 can be automatically caused when the actuator 33 is controlled with corresponding signals. This allows the operator, in the case of 1 the pilot, a haptic feedback can be impressed on the stick 31, which is haptically perceptible by a force acting on the stick 31 and/or a movement of the stick 31.

Die Steuerungseinrichtung 10 weist des Weiteren eine Steuerbefehlsautomatik 20 auf, die eingerichtet ist, eine Automation 21 zum autonomen Steuern des Fahrzeuges (nicht dargestellt) auszuführen. Zur Vereinfachung ist in 1 dargestellt, dass die Steuerbefehlsautomatik 20 das Steuerorgan 100 autonomen ansteuert, wobei in der Praxis auch alle anderen Steuerorgane zum sicheren Flugbetrieb angesteuert werden.The control device 10 further comprises a control command automation 20 which is designed to carry out an automation 21 for autonomous control of the vehicle (not shown). For simplification, 1 It is shown that the automatic control command system 20 controls the control element 100 autonomously, whereby in practice all other control elements are also controlled for safe flight operations.

Die Automation 21 steht dabei mit einem Steuerbefehlsgenerator 22 so in Wirkverbindung, dass aus dem Ergebnis der Automation 21 durch den Steuerbefehlsgenerator 22 entsprechende automatische Steuersignale 120 generiert werden, die dann an die Aktoren des Steuerorgans 100 zur Steuerung des Steuerorgans 100 übertragen werden.The automation 21 is operatively connected to a control command generator 22 such that corresponding automatic control signals 120 are generated from the result of the automation 21 by the control command generator 22, which are then transmitted to the actuators of the control element 100 for controlling the control element 100.

Die Steuerbefehlsautomatik 20 steht dabei mit einem Bedienfeld 23 in Verbindung, um hierüber entsprechende Randbedingungen und Vorgaben der Automation 21 im Vorfeld mitteilen zu können. Über das Bedienfeld 23 lassen sich dabei beispielsweise das Ziel, die Routen mit verschiedenen Wegpunkten sowie weitere zwingende und/oder optionale Randbedingungen der Automation 21 vorgeben. Diese werden dann bei der Durchführung der Automation 21 berücksichtigt.The control command automation 20 is connected to a control panel 23 in order to be able to communicate the corresponding boundary conditions and specifications of the automation 21 in advance. The control panel 23 can be used to specify, for example, the destination, the routes with various waypoints and other mandatory and/or optional boundary conditions of the automation 21. These are then taken into account when the automation 21 is carried out.

Die Automation 21 führt dabei eine prädiktive Regelung durch, bei der ein Fahrzeug simuliert wird. Zu jedem diskreten Zeitschritt werden eine Vielzahl von Steuersignalen zur Ansteuerung der Steuerorgane des simulierten Fahrzeuges erzeugt, die jeweils zu einer bestimmten Konfiguration der Steuerorgane des Fahrzeugs führen. Jede dieser Konfiguration der Steuerorgane führt zu einer entsprechenden Veränderung des simulierten Fahrzeugzustandes im darauffolgenden Zeitschritt. Es werden und diejenigen Steuersignale einer bestimmten Konfiguration der Steuerorgane ausgewählt, die eine entsprechende, zuvor aufgestellte Kostenfunktion minimieren und somit die vorgegebenen Randbedingungen der Automation bestmöglich umsetzen. Dabei haben zwingende Randbedingungen, wie beispielsweise das vorgegebene Ziel sowie Kollisionsvermeidung einen höheren Stellenwert bei der Minimierung der Kostenfunktion als optionale Randbedingungen.The automation 21 carries out a predictive control in which a vehicle is simulated. At each discrete time step, a large number of control signals are generated to control the control elements of the simulated vehicle, each of which leads to a specific configuration of the vehicle's control elements. Each of these configurations of the control elements leads to a corresponding change in the simulated vehicle state in the following time step. The control signals of a specific configuration of the control elements are selected that minimize a corresponding, previously established cost function and thus implement the specified boundary conditions of the automation in the best possible way. Mandatory boundary conditions, such as the specified goal and collision avoidance, have a higher priority in minimizing the cost function than optional boundary conditions.

Die ausgewählten simulierten Steuersignale werden dann an den Steuerbefehlsgenerator 22 übertragen, der dann basierend auf diesen simulierten Steuersignalen entsprechend automatisch generierten Steuersignale 120 generiert und an das Steuerorgan 100 überträgt.The selected simulated control signals are then transmitted to the control command generator 22, which then generates corresponding automatically generated control signals 120 based on these simulated control signals and transmits them to the control element 100.

Die Steuerungseinrichtung 10 ist nun derart weitergebildet, dass im zuvor beschriebenen Automatikmodus, bei dem die Automation die entsprechenden automatischen Steuersignale 120 an das Steuerorgan 100 weiterleitet, Eingaben an der Steuerbefehls-Eingabevorrichtung 30 nicht als manuelle Steuersignale 110 an das Steuerorgan 100 übertragen werden, sondern aus diesen manuellen Steuersignalen 110 Eingangssignale 130 für die Automation zu generieren.The control device 10 is now further developed in such a way that in the automatic mode described above, in which the automation forwards the corresponding automatic control signals 120 to the control element 100, inputs to the control command input device 30 are not transmitted to the control element 100 as manual control signals 110, but rather input signals 130 for the automation are generated from these manual control signals 110.

Diese Eingangssignale 130 dienen dabei als Eingangsdaten für die Automation und können beispielsweise als zwingende Randbedingungen der prädiktiven Regelung der Automation zugrunde gelegt werden. Dabei verbleibt die Steuerungseinrichtung 10 im Automatikmodus und die Automation 21 generiert auch weiterhin ausschließlich die automatischen Steuersignale 120, die an das Steuerorgan 100 übertragen werden. Mit anderen Worten, eine Betätigung der Steuerbefehls-Eingabevorrichtung 30 führt nicht zu manuellen Steuersignalen 110, sondern zu Eingangssignalen für die die Steuerung der Automation 21, wodurch die Steuerung des Fahrzeuges weiterhin ausschließlich bei der Automation verbleibt. Durch die Eingaben an der Steuerbefehls-Eingabevorrichtung 30 dabei lediglich die Automation im Sinne des Fahrzeugführers beeinflusst.These input signals 130 serve as input data for the automation and can, for example, be used as mandatory boundary conditions for the predictive control of the automation. The control device 10 remains in automatic mode and the automation 21 continues to generate only the automatic control signals 120, which are transmitted to the control element 100. In other words, actuation of the control command input device 30 does not lead to manual control signals 110, but to input signals for the control of the automation 21, whereby the control of the vehicle remains exclusively with the automation. The inputs on the control command input device 30 only influence the automation in the sense of the driver.

Werden Piloteneingaben an der Steuerbefehls-Eingabevorrichtung 30 in Form von manuellen Steuerbefehlseingaben getätigt, so kann dies zu einer Erhöhung der Kosten, etwa des Kollisionsrisikos, bei der prädiktiven Regelung führen. Dies resultiert aus einer Abweichung von der von der prädiktiven Regelung ausgewählten Kombination und können über eine haptische Rückmeldung durch Ansteuerung des Aktors 33 der Steuerbefehls-Eingabevorrichtung 30 rückgekoppelt werden. Dabei können die Intensität einer verwendeten Kraftschwelle mit zunehmenden Kosten, beispielsweise mit zunehmenden Kollisionsrisiko, erhöht werden.If pilot inputs are made to the control command input device 30 in the form of manual control command inputs, this can lead to an increase in costs, such as the risk of collision, in the predictive control. This results from a deviation from the combination selected by the predictive control and can be fed back via haptic feedback by controlling the actuator 33 of the control command input device 30. The intensity of a force threshold used can be increased with increasing costs, for example with increasing risk of collision.

Dabei kann durch die gezielte Modulation der Steuerkräfte auch gezielt jene Betätigungen erschwert oder sogar gesperrt werden, welche zu hohe Kosten oder zu einer Kollision führen würden. Dabei ist es auch denkbar, einen Sektor im Steuerweg zu sperren, der sich mit entsprechenden Aufwand überschreiten lässt, wenn hinter dem Sektor kollisionsfreie Steuerkombinationen liegen.By modulating the control forces, it is possible to make it more difficult or even block operations that would lead to high costs or a collision. It is also possible to block a sector in the control path that can be blocked with appropriate wall can be exceeded if there are collision-free control combinations behind the sector.

Dabei kann die Steuerungseinrichtung 10 über ein optisches Anzeigesystem 40 verfügen, mit dem die Steuerungseinrichtung 10 eine Rückmeldung über den aktuell gültigen Planpfad und etwa Verfügbarkeit von Alternativen sowie die Funktionsbereitschaft optisch zur Verfügung stellt. Dies kann beispielsweise durch eine visuelle Tunnel-in-the-Sky Anzeige erfolgen.The control device 10 can have an optical display system 40 with which the control device 10 visually provides feedback on the currently valid plan path and, for example, the availability of alternatives as well as the operational readiness. This can be done, for example, by means of a visual tunnel-in-the-sky display.

Wird während des Automatikmodus die Steuerbefehls-Eingabevorrichtung nicht durch den Piloten betätigt, so können die von der Steuerbefehlsautomatik 20 generierten automatischen Steuersignale an den Stick 31 der Steuerbefehls-Eingabevorrichtung 30 nachgeführt werden, sodass der Pilot ständig über die Intention der Automation informiert wird.If the control command input device is not operated by the pilot during the automatic mode, the automatic control signals generated by the control command automation 20 can be tracked to the stick 31 of the control command input device 30 so that the pilot is constantly informed about the intention of the automation.

2 und 3 zeigen ein Ausführungsbeispiel, bei dem die Automation automatisch einen Pfad generiert hat, der den betreffenden Hindernissen entweder ohne Beeinflussung oder mit Beeinflussung durch den Piloten ausweicht. Das System steuerte dabei das Fahrzeug, in diesem Fall ein Hubschrauber, automatisch entlang einer vorab definierten Route von Wegpunkten. Dazu bewertet es regelmäßig, mit einer ausreichend hohen Wiederholungsfrequenz, durch eine modellbasierte Berechnung alle Kombinationen aus einer vorab definierten Liste unterschiedlicher, diskreter Ausschläge der unterschiedlichen Steuerorgane gemäß einer Kostenfunktion und bringt jene mit den geringsten Kosten zur Anwendung. Die Kostenfunktion berücksichtigt für jede Steuerkonfiguration, ob diese hindernisfrei ist und ob, bzw. wie gut sie das Luftfahrzeug in Bezug auf eine von einem anderen System bereitgestellte Route an Wegpunkten führen würde. Bei Detektion eines Hindernisses berücksichtigt sie dieses entsprechend und weicht dazu nötigenfalls von der beabsichtigten Route ab und kehr nach Passieren des Hindernisses auf die Route zurück. 2 and 3 show an embodiment in which the automation automatically generated a path that avoids the obstacles in question either without or with the pilot's intervention. The system automatically controlled the vehicle, in this case a helicopter, along a predefined route of waypoints. To do this, it regularly evaluates, with a sufficiently high repetition frequency, all combinations from a predefined list of different, discrete deflections of the various control elements according to a cost function using a model-based calculation and applies the one with the lowest costs. For each control configuration, the cost function takes into account whether it is obstacle-free and whether or how well it would guide the aircraft to waypoints in relation to a route provided by another system. If an obstacle is detected, it takes this into account accordingly and, if necessary, deviates from the intended route and returns to the route after passing the obstacle.

Der Pilot kümmert sich währenddessen um andere Aufgaben. Er hat aber die Möglichkeit, die Aktivität des Systems durch unterschiedliche Elemente der Mensch-Maschine-Schnittstelle zu überwachen. Dazu zählt zum einen die Bewegung der aktiven Steuerbefehls-Eingabevorrichtung durch die Automation, aber auch Sichtanzeigen, welche den aktuellen Pfad z.B. als Tunnel-in-the-Sky anzeigen oder Audioansagen. So bemerkt er das Auftauchen des Hindernisses 200 auf dem ursprünglich geplanten Pfad durch eine Audioansage und bewertet die aus der Automation resultierende Ausweichtrajektorie auf dem Tunnel-in-the-Sky Display. Er erkennt in diesem Fall, dass das System rechts am Hindernis 200 vorbei navigieren wird. Mit der Erfindung ergeben sich jetzt die folgenden Alternativen:

a) Er ist damit zufrieden und greift nicht ein, was in 2 dargestellt ist.
b) Er ist damit nicht zufrieden und drückt die Steuerbefehls-Eingabevorrichtung 30 mit moderater Intensität nach links, bis die Automation reagiert, was der Pilot durch die Bewegung der Steuerbefehls-Eingabevorrichtung 30 und die Veränderung des Tunnels-in-the-Sky bemerkt. Das System navigiert nun links am Hindernis vorbei. Er reduziert dann die Steuerkraft. Das System setzt die Führung ohne Unterbrechung automatisch fort, was in 3 dargestellt ist.
c) Unmittelbar links vom Hindernis 200 gibt es noch ein weiteres zweites und drittes Hindernis 210, 220. Das System reagiert zunächst nicht auf die Pilotensteuereingabe nach links. Der Pilot erhöht nun die Intensität seiner Steuereingabe, bis die Automation reagiert und eine Steuerkombination auswählt, welche den Hubschrauber sehr agil, d.h. mit hohem Rollwinkel und hohem Lastvielfachen mit geringem Abstand links am zweiten Hindernis 210 vorbei zwischen dem zweiten Hindernis 210 und dem dritten Hindernis 220 führt, was in 4 gezeigt ist.
d) Es tauchen zusätzlich zu den zuvor detektierten Hindernissen 200, 210 und 220 noch ein weiteres Hindernisse 230 auf. Es ist physikalisch nun nicht möglich, ohne eine Veränderung der Geschwindigkeit daran vorbei zu fliegen. Auf die starke Steuereingabe des Piloten nach links möchte das System daher mit einer Reduktion der Fluggeschwindigkeit reagieren, was der Pilot am Längssteuer bemerkt. Da er damit nicht einverstanden ist, reduziert er die Intensität seiner Steuereingabe nach links und der Hubschrauber fliegt, wie vor dem Piloteneingriff beabsichtigt, rechts am Hindernis 200 vorbei, was in 5 gezeigt ist.
e) wie d), aber der Pilot behält die Intensität bei. Die Automation steuert den Hubschrauber noch vor Erreichen des Hindernisses 200 in einen hochgezogenen Turn nach links, so dass der Hubschrauber umkehrt.
f) wie d), aber der Pilot erhöht die Intensität, übernimmt damit die manuelle Steuerung und entscheidet sich, den Hubschrauber z.B. über das Hindernis zu steuern. Danach reaktiviert er die Automation wieder.

The pilot takes care of other tasks in the meantime. However, he has the option of monitoring the activity of the system through various elements of the human-machine interface. This includes the movement of the active control command input device through the automation, but also visual displays that show the current path, for example as a tunnel-in-the-sky, or audio announcements. For example, he notices the appearance of the obstacle 200 on the originally planned path through an audio announcement and evaluates the evasive trajectory resulting from the automation on the tunnel-in-the-sky display. In this case, he recognizes that the system will navigate past the obstacle 200 to the right. The invention now offers the following alternatives:

a) He is satisfied with this and does not intervene, which in 2 is shown.
b) He is not satisfied with this and presses the control command input device 30 to the left with moderate intensity until the automation reacts, which the pilot notices through the movement of the control command input device 30 and the change in the tunnel-in-the-sky. The system now navigates past the obstacle to the left. He then reduces the control force. The system automatically continues the guidance without interruption, which in 3 is shown.
c) Immediately to the left of the obstacle 200 there is another second and third obstacle 210, 220. The system does not initially react to the pilot's control input to the left. The pilot now increases the intensity of his control input until the automation reacts and selects a control combination that leads the helicopter very agilely, ie with a high roll angle and high load factor with a small distance past the second obstacle 210 to the left between the second obstacle 210 and the third obstacle 220, which in 4 is shown.
d) In addition to the previously detected obstacles 200, 210 and 220, another obstacle 230 appears. It is now physically impossible to fly past it without changing the speed. The system therefore wants to react to the pilot's strong control input to the left by reducing the flight speed, which the pilot notices on the longitudinal control. Since he does not agree with this, he reduces the intensity of his control input to the left and the helicopter flies past the obstacle 200 to the right, as intended before the pilot's intervention, which in 5 is shown.
e) as d), but the pilot maintains the intensity. The automation steers the helicopter into a high turn to the left before reaching obstacle 200, so that the helicopter turns around.
f) as d), but the pilot increases the intensity, takes over manual control and decides to steer the helicopter over the obstacle, for example. He then reactivates the automation.

BezugszeichenlisteList of reference symbols

1010: SteuerungseinrichtungControl device
2020: SteuerbefehlsautomatikAutomatic control command
2121: AutomationAutomation
2222: SteuersignalgeneratorControl signal generator
2323: BedienfeldControl panel
3030: Steuerbefehls-EingabevorrichtungControl command input device
3131: StickEmbroidery
3232: Sensorsensor
3333: AktorActuator
4040: optisches Anzeigesystemoptical display system
100100: SteuerorganControl body
110110: manuelle Steuersignalemanual control signals
120120: automatischen Steuersignaleautomatic control signals
130130: EingangssignaleInput signals
200 - 230200 - 230: HindernisseObstacles

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

F. Flemisch, C. Adams, S. Conway, K. Goodrich, M. Palmer, P. Schutte: “The H-Methaphor as a Guideline for Vehicle Automation and Interaction”, NASA/TM-2003-212672, December 2003 [0006]
F. Flemisch, K. Goodrich, S. Conway: “At the Crossroads of manually controlled and automated transport: The H-Metaphor and its first applications”, in Fifth European Congress exhibition on intelligent transport systems and services (ITS); Hanover 1.-3. June 2005 [0007]

Claims

Control device (10) which has an automatic mode and a manual mode for controlling vehicles, with - an automatic control command system (20) which, in the automatic mode, generates automatic control signals (120) for controlling control elements (100) of the vehicle as output data based on a predetermined target and environmental information from the environment of the vehicle as input data, and - a control command input device (30) with at least one sensor (32) for detecting manual control command inputs by manually actuating the control command input device (30), wherein the control command input device (30) generates manual control signals (110) for controlling the control elements (100) of the vehicle from the manual control command inputs, characterized in that - the control device (10) is set up in the automatic mode to generate manual control signals (110) for controlling the control elements (100) of the vehicle from the manual control command inputs which are generated during the automatic mode at the control command input device (30) by manual operation, to generate input signals (130) for the automatic control command (20) and to forward them to the automatic control command (20) as input data in order to control the automatic control command (20) in automatic mode.

Control device (10) according to Claim 1 , characterized in that the control command automation (20) is set up to generate the automatic control signals (120) in the automatic mode by means of a model predictive control, wherein the input signals (130) generated in the automatic mode from the manual control signals (110) are used as input data for the model predictive control.

Control device (10) according to Claim 2 , characterized in that the control command automation (20) is set up in automatic mode to carry out the model predictive control in such a way that a vehicle model is simulated and a plurality of different simulated control signals, each of which leads to a specific configuration of the control elements (100) of the simulated vehicle model, are calculated, for each of which an evaluation index is determined from an established evaluation function in relation to predetermined boundary conditions, wherein, depending on the evaluation indexes, those simulated control signals are selected on the basis of which the automatic control signals (120) are subsequently generated, wherein the input signals (130) generated in automatic mode from the manual control signals (110) are used as boundary conditions of the evaluation function of the model predictive control.

Control device (10) according to Claim 3 , characterized in that the evaluation function is a cost function and the automatic control signals (120) are generated as a function of those simulated control signals which minimize the established cost function with respect to predetermined boundary conditions.

Control device (10) according to Claim 3 or 4 , characterized in that the control command input device (30) has at least one actuator (33) for actuating the control command input device (30) and the control command input device (30) is further configured to impart the evaluation index resulting from the evaluation function to the control command input device (30) as a force for a haptic feedback by means of the at least one actuator (33).

Control device (10) according to one of the preceding claims, characterized in that - the control command input device (30) has an actuation space within which manual control command inputs can be entered by manual actuation, wherein the control device (10) is further configured to - use the manual control signals (110) from manual control command inputs within a first section of the actuation space to generate the input signals (130) for the automatic control command system (20) and to control the automatic control command system (20) and - use the manual control signals (110) from manual control command inputs within a second section of the actuation space to control the control elements (100) of the vehicle.

Control device (10) according to Claim 6 , characterized in that the control command input device (30) has at least one actuator (33) for actuating the control command input device (30) and the control command input device (30) is further configured to impart a force to the control command input device (30) between the first section and the second section of the actuation space during manual actuation.

Control device (10) according to Claim 6 or 7 , characterized in that the control device (10) is further arranged, during the transition from the first section to the second section of the operating space during manual to switch from automatic mode to manual mode by operating the control command input device (30).

Control device (10) according to one of the preceding claims, characterized in that the control command input device (30) has at least one actuator (33) for actuating the control command input device (30) and the control command input device (30) is further configured to automatically actuate the control command input device (30) by means of the at least one actuator (33) in dependence on the automatically generated control signals (120).

Method for controlling vehicles in an automatic mode by means of a control device (10), the method comprising the following steps: - generating automatic control signals (120) for controlling control elements (100) of the vehicle, which are generated in the automatic mode based on a predetermined target and environmental information from the environment of the vehicle as input data automatically as output data by means of an automatic control command system (20), - detecting manual control command inputs on a control command input device (30) by means of at least one sensor (32) by manually actuating the control command input device (30) and generating manual control signals (110) from the manual control command inputs, which are provided in a manual mode different from the automatic mode for controlling the control elements (100) of the vehicle, - wherein from the manual control signals (110) of the manual control command inputs that are provided on the control command input device during the automatic mode (30) were entered by manual operation, input signals (130) for the automatic control command (20) are generated and these are forwarded to the automatic control command (20) as input data in order to control the automatic control command (20) in automatic mode.

Procedure according to Claim 10 , characterized in that in the automatic mode the automatic control signals (120) are generated by means of a model predictive control of the control command automation (20), wherein the input signals (130) generated in the automatic mode from the manual control signals (110) are used as input data for the model predictive control.

Procedure according to Claim 11 , characterized in that in order to carry out the model predictive control by the automatic control command system (20), a vehicle model is simulated and a plurality of different simulated control signals, each of which leads to a specific configuration of the control elements (100) of the simulated vehicle model, are calculated, for each of which an evaluation index is determined from an established evaluation function in relation to predetermined boundary conditions, wherein, depending on the evaluation index, those simulated control signals are selected on the basis of which the automatic control signals (120) are subsequently generated, wherein the input signals (130) generated in automatic mode from the manual control signals (110) are used as boundary conditions of the evaluation function of the model predictive control.

Procedure according to Claim 12 , characterized in that by means of at least one actuator (33) of the control command input device (30), the evaluation index resulting from the evaluation function is impressed on the control command input device (30) as a force for a haptic feedback.

Method according to one of the Claims 10 until 13 , characterized in that - manual control signals (110) from manual control command inputs within a first section of an operating space of the control command input device (30) are used to generate the input signals (130) for the automatic control command system (20) and to control the automatic control command system (20), and - manual control signals (110) from manual control command inputs within a second section of the operating space of the control command input device (30) are used to control the control elements (100) of the vehicle.

Procedure according to Claim 14 , characterized in that by means of at least one actuator (33) of the control command input device (30) a force is impressed between the first section and the second section of the actuating space during manual actuation.

Procedure according to Claim 14 or 15 , characterized in that the control device (10) changes from the automatic mode to the manual mode during the transition from the first section to the second section of the actuating space during manual actuation of the control command input device (30).

Method according to one of the Claims 10 until 16 , characterized in that by means of at least one actuator (33) of the control command input device (30) the control command input device (30) is automatically controlled in dependence on the automatically generated control signals (120).