DE102022213126A1 - Method, computer program and device for influencing a state of a user of a machine - Google Patents

Method, computer program and device for influencing a state of a user of a machine Download PDF

Info

Publication number
DE102022213126A1
DE102022213126A1 DE102022213126.6A DE102022213126A DE102022213126A1 DE 102022213126 A1 DE102022213126 A1 DE 102022213126A1 DE 102022213126 A DE102022213126 A DE 102022213126A DE 102022213126 A1 DE102022213126 A1 DE 102022213126A1
Authority
DE
Germany
Prior art keywords
user
machine
state
interaction
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022213126.6A
Other languages
German (de)
Inventor
Fabian Faller
Christoph Wannemacher
Christian Hellert
Rudra Narayan Hota
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Technologies GmbH
Original Assignee
Continental Automotive Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Technologies GmbH filed Critical Continental Automotive Technologies GmbH
Priority to DE102022213126.6A priority Critical patent/DE102022213126A1/en
Priority to PCT/DE2023/200235 priority patent/WO2024120589A1/en
Publication of DE102022213126A1 publication Critical patent/DE102022213126A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/227Position in the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/26Incapacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zur Beeinflussung eines Zustands eines Nutzers einer Maschine. Die Erfindung betrifft zudem eine Maschine, die eine solche Vorrichtung oder ein solches Verfahren nutzt. In einem ersten Schritt können als nutzerbezogene Daten Zustände und Verhalten des Nutzers erfasst werden (S1). Zudem können als maschinenbezogene Daten Zustände und ein Betriebsumfeld der Maschine erfasst werden (S2). Auf Grundlage der nutzerbezogenen Daten wird dann ein Istzustand des Nutzers bestimmt (S3). Auf Grundlage der maschinenbezogenen Daten wird zudem ein Sollzustand des Nutzers bestimmt (S4). Basierend auf dem Istzustand und dem Sollzustand wird eine nutzerspezifische Interaktionsstrategie generiert (S5). Schließlich wird entsprechend der nutzerspezifischen Interaktionsstrategie zumindest ein Interaktionssystem der Maschine angesteuert (S6).The present invention relates to a method, a computer program with instructions and a device for influencing a state of a user of a machine. The invention also relates to a machine that uses such a device or such a method. In a first step, states and behavior of the user can be recorded as user-related data (S1). In addition, states and an operating environment of the machine can be recorded as machine-related data (S2). An actual state of the user is then determined on the basis of the user-related data (S3). A target state of the user is also determined on the basis of the machine-related data (S4). Based on the actual state and the target state, a user-specific interaction strategy is generated (S5). Finally, at least one interaction system of the machine is controlled according to the user-specific interaction strategy (S6).

Description

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen und eine Vorrichtung zur Beeinflussung eines Zustands eines Nutzers einer Maschine. Die Erfindung betrifft zudem eine Maschine, die eine solche Vorrichtung oder ein solches Verfahren nutzt.The present invention relates to a method, a computer program with instructions and a device for influencing a state of a user of a machine. The invention also relates to a machine that uses such a device or such a method.

Automatisiertes Fahren, auch als automatisches Fahren oder gesteuertes Fahren bezeichnet, ist die Bewegung von Fahrzeugen, mobilen Robotern und fahrerlosen Transportsystemen, die weitgehend autonom sind. Es gibt verschiedene Grade des automatisierten Fahrens. In Europa haben verschiedene Verkehrsministerien, z.B. in Deutschland die Bundesanstalt für Straßenwesen, die folgenden Automatisierungsstufen definiert:

  • Level 0: „Nur Fahrer“, der Fahrer fährt selbst, lenkt, beschleunigt, bremst usw.
  • Level 1: Bestimmte Assistenzsysteme helfen bei der Fahrzeugbedienung.
  • Level 2: Teilautomatisierung. Dabei werden automatisches Einparken, Spurführung, allgemeine Längsführung, Beschleunigung, Verzögerung usw. von den Assistenzsystemen übernommen, einschließlich der Kollisionsvermeidung.
  • Level 3: Bedingte Automatisierung. Der Fahrer muss das System nicht ständig überwachen. Das Fahrzeug führt selbständig Funktionen wie das Auslösen des Blinkers, den Spurwechsel und die Spurführung aus. Der Fahrer kann sich anderen Dingen zuwenden, muss aber auf Anforderung innerhalb einer Vorwarnzeit die Kontrolle übernehmen.
  • Level 4: Vollständige Automatisierung. Die Führung des Fahrzeugs wird permanent vom System übernommen. Ist das System nicht mehr in der Lage, die Aufgaben zu bewältigen, kann der Fahrer aufgefordert werden, die Steuerung zu übernehmen.
  • Level 5: Kein Fahrer erforderlich. Abgesehen vom Setzen des Ziels und Starten des Systems ist kein menschliches Eingreifen erforderlich.
Automated driving, also known as automatic driving or controlled driving, is the movement of vehicles, mobile robots and driverless transport systems that are largely autonomous. There are different degrees of automated driving. In Europe, various transport ministries, e.g. in Germany the Federal Highway Research Institute, have defined the following levels of automation:
  • Level 0: “Driver only”, the driver drives, steers, accelerates, brakes, etc.
  • Level 1: Certain assistance systems help with vehicle operation.
  • Level 2: Partial automation. Automatic parking, lane guidance, general longitudinal guidance, acceleration, deceleration, etc. are taken over by the assistance systems, including collision avoidance.
  • Level 3: Conditional automation. The driver does not need to constantly monitor the system. The vehicle performs functions such as activating the indicator, changing lanes and lane guidance independently. The driver can attend to other things, but must take control on request within a pre-warning period.
  • Level 4: Complete automation. The system is in permanent control of the vehicle. If the system is no longer able to handle the tasks, the driver can be asked to take over control.
  • Level 5: No driver required. No human intervention is required other than setting the destination and starting the system.

In Fahrzeugen mit teil- oder vollautomatisierter Funktionalität sind die Rechte und Pflichten des Fahrers in verschiedenen Automatisierungsstufen oft intransparent und nur schwer nachvollziehbar. Dies gilt insbesondere für die Automatisierungsstufen „Teilautomatisierung“ (L2) und „Bedingte Automatisierung“ (L3) sowie beim häufigen Wechsel zwischen verschiedenen Automatisierungsstufen und verschiedenen Fahrkontexten, wie beispielsweise bei Ortsdurchfahrten während einer Landstraßenfahrt. Hier muss der Fahrer das Fahrzeugverhalten kontinuierlich überwachen und in der Lage sein, in sicherheitskritischen Situationen die Fahrzeugführung schnellstmöglich zu übernehmen.In vehicles with partially or fully automated functionality, the rights and obligations of the driver at different levels of automation are often non-transparent and difficult to understand. This applies in particular to the automation levels "partial automation" (L2) and "conditional automation" (L3) as well as to frequent switching between different automation levels and different driving contexts, such as when driving through towns while driving on country roads. Here, the driver must continuously monitor the vehicle's behavior and be able to take over control of the vehicle as quickly as possible in safety-critical situations.

Dies steht im Konflikt zur menschlichen Fähigkeit, monotone Aufgaben über einen längeren Zeitraum aufrechtzuerhalten. Gleichzeitig liegt eine hohe Verantwortung beim Fahrer, da ein Eingreifen insbesondere in solch komplexen Situationen notwendig wird, in denen das Automatisierungssystem die Fahrzeugführung nicht mehr eigenständig durchführen kann.This conflicts with the human ability to maintain monotonous tasks over a longer period of time. At the same time, the driver bears a great deal of responsibility, as intervention is necessary, particularly in complex situations in which the automation system can no longer control the vehicle independently.

Es besteht also die Problematik, dass auf lange und monotone Phasen einer teilautomatisierten Fahrt ein aktives Eingreifen des Fahrers notwendig werden kann und dafür nur eine sehr beschränkte Vorbereitungszeit zur Verfügung steht. Hinzu kommt, dass eine längere, zwischenfallfreie Nutzung eines teilautomatisierten Fahrzeugs dazu führen kann, dass das subjektive Vertrauen in das System in ungerechtfertigte Höhen steigt und die Einschätzung der Notwendigkeit einer Überwachung durch den Fahrer nicht der tatsächlichen Notwendigkeit entspricht. Dieses Phänomen ist als „übersteigertes Vertrauen“ (engl.: „Over Trust“) bekannt.The problem is that active intervention by the driver may be necessary during long and monotonous phases of a partially automated journey, and there is only a very limited preparation time available for this. In addition, longer, incident-free use of a partially automated vehicle can lead to subjective trust in the system rising to unjustified levels and the assessment of the need for monitoring by the driver not corresponding to the actual need. This phenomenon is known as "over-trust".

Es ist also sinnvoll, Verhalten und Aufmerksamkeit des Fahrers kontinuierlich mit den Anforderungen an die aktuelle Automatisierungsstufe und die jeweilige Fahrsituation abzugleichen und den Fahrer auch in den vermeintlich monotonen Phasen zu unterstützen, um der genannten Problematik entgegenzuwirken.It therefore makes sense to continuously adjust the driver's behavior and attention to the requirements of the current level of automation and the respective driving situation and to support the driver even in the supposedly monotonous phases in order to counteract the problem mentioned.

In höheren Automatisierungsstufen (L4/L5) ist diese Problematik weniger akut, da hier die Vorbereitungszeiten für eine Transition in niedrigere Automatisierungsstufen oder manuelles Fahren deutlich länger werden, bzw. im Falle von L5 ganz entfallen. Das Fahrzeug ist hierbei in der Lage, auch komplexe Situationen ohne die Hilfe des Fahrers bzw. Nutzers zu meistern. Hier geht es eher darum, insbesondere bei unerfahrenen Nutzern eines automatisierten Fahrzeugs, das Vertrauen in ein solches System zu stärken und die seltenen Transitionen in niedrigere Automatisierungsstufen oder manuelles Fahren so angenehm wie möglich zu gestalten.This problem is less acute in higher levels of automation (L4/L5), as the preparation times for a transition to lower levels of automation or manual driving are significantly longer, or in the case of L5, are eliminated altogether. The vehicle is able to master even complex situations without the help of the driver or user. The aim here is more to strengthen trust in such a system, especially among inexperienced users of an automated vehicle, and to make the rare transitions to lower levels of automation or manual driving as pleasant as possible.

Im Bereich der Fahrzeuginsassenüberwachung existieren unterschiedliche Ansätze, um den aktuellen Zustand eines Insassen, z.B. eines Fahrers, zu erfassen und sicherzustellen, dass dieser sich angemessen verhält. Hierbei werden unterschiedliche Merkmale betrachtet. Beispielsweise kann festgestellt werden, ob ein Fahrer die Hand am Lenkrad hat oder nicht. Ebenso kann das Verhalten des Fahrers überwacht werden, wobei z.B. Blickrichtung, Kopfposition und Kopfbewegung betrachtet werden können. Darüber hinaus kann z.B. durch Analyse von Mimik und Sprache auf den emotionalen bzw. affektiven Zustand geschlossen werden. Als weitere Merkmale können physiologische Parameter wie Herzrate, Herzratenvariabilität oder Atemrate herangezogen werden, um ein umfassendes Bild über den Fahrerzustand zu erlangen..In the area of vehicle occupant monitoring, there are different approaches to detecting the current state of an occupant, e.g. a driver, and to ensure that he or she behaves appropriately. Different characteristics are considered. For example, it can be determined whether a driver has his or her hand on the steering wheel or not. The driver's behavior can also be monitored, for example by looking at the direction of gaze, head position and head movement. In addition, the emotional or affective state can be determined by analyzing facial expressions and language, for example. Physiological parameters such as heart rate, heart rate variability or breathing rate can be used as additional characteristics to obtain a comprehensive picture of the driver's state.

Vor diesem Hintergrund beschreibt EP 1 914 106 A2 ein Aufmerksamkeits-Management-System. Der Fahrer eines Kraftfahrzeugs wird kontinuierlich beobachtet und sein aktueller Aufmerksamkeitszustand wird erfasst. Ist die Aufmerksamkeit für die Fahraufgabe zu gering, so werden Maßnahmen ergriffen, um die Aufmerksamkeit wieder auf die Fahraufgabe zu lenken. Alternativ können auch Assistenzfunktionen abgeschaltet werden.Against this background, EP 1 914 106 A2 an attention management system. The driver of a motor vehicle is continuously monitored and his current level of attention is recorded. If the attention for the driving task is too low, measures are taken to redirect attention back to the driving task. Alternatively, assistance functions can also be switched off.

EP 3 730 331 A1 beschreibt ein Verfahren zur Sicherstellung der Fahreraufmerksamkeit während des autonomen Fahrens. Das Verfahren umfasst die Bestimmung eines Zustandes eines Fahrers des Fahrzeugs mittels eines Fahrerüberwachungssystems, wobei der Zustand des Fahrers mindestens einen Aufmerksamkeitsparameter umfasst, und den Vergleich des bestimmten Zustandes des Fahrers mit einem vordefinierten Aufmerksamkeitsmodell. Das Verfahren umfasst ferner die Steuerung des Fahrassistenzmerkmals auf der Grundlage des Vergleichs zwischen dem ermittelten Zustand des Fahrers und dem vordefinierten Aufmerksamkeitsmodell. EP 3 730 331 A1 describes a method for ensuring driver attention during autonomous driving. The method comprises determining a state of a driver of the vehicle by means of a driver monitoring system, wherein the state of the driver comprises at least one attention parameter, and comparing the determined state of the driver with a predefined attention model. The method further comprises controlling the driver assistance feature based on the comparison between the determined state of the driver and the predefined attention model.

WO 2016/169585 A1 beschreibt eine Vorrichtung zum Steuern einer Änderung des Situationsbewusstseins eines Benutzers eines Fahrzeugs. Ein Eingabemodul empfängt ein Benutzererfassungssignal, das Informationen umfasst, die zur Bestimmung einer Situationsbewusstseinsstufe des Benutzers verwendet werden können. Ein Verarbeitungsmodul bestimmt eine aktuell erforderliche Situationsbewusstseinsstufe. Dazu wählt es auf der Grundlage von Fahrinformationen eine vordefinierte Situationsbewusstseinsstufe aus einer Vielzahl von vordefinierten Situationsbewusstseinsstufen aus. Das Verarbeitungsmodul bestimmt zudem eine aktuelle Situationsbewusstseinsstufe des Benutzers auf der Grundlage der im Benutzererfassungssignal enthaltenen Informationen. Das Verarbeitungsmodul erzeugt schließlich auf der Grundlage der aktuellen und der aktuell erforderlichen Situationsbewusstseinsstufe ein Steuersignal für ein Modul zur Änderung des Situationsbewusstseins. WO 2016/169585 A1 describes a device for controlling a change in the situational awareness of a user of a vehicle. An input module receives a user detection signal comprising information that can be used to determine a situational awareness level of the user. A processing module determines a currently required situational awareness level. To do so, it selects a predefined situational awareness level from a plurality of predefined situational awareness levels based on driving information. The processing module also determines a current situational awareness level of the user based on the information contained in the user detection signal. Finally, the processing module generates a control signal for a module for changing the situational awareness based on the current and the currently required situational awareness level.

Eine ähnliche Problematik wie bei der Bedienung eines Kraftfahrzeugs tritt auch bei der Führung von Luftfahrzeugen oder Schienenfahrzeugen sowie bei der Bedienung von Maschinen auf.A similar problem to that encountered when operating a motor vehicle also occurs when driving aircraft or rail vehicles or when operating machinery.

Aktuellen Systemen mangelt es an geeigneten Interaktionsstrategien zur effektiven Interaktion zwischen Maschine und Nutzer, die in Kombination ein gegenüber der Automatisierungsstufe konformes Nutzerverhalten sicherstellen können.Current systems lack suitable interaction strategies for effective interaction between machine and user, which in combination can ensure user behavior that conforms to the level of automation.

Es ist eine Aufgabe der vorliegenden Erfindung, verbesserte Lösungen zur Beeinflussung eines Zustands eines Nutzers einer Maschine bereitzustellen.It is an object of the present invention to provide improved solutions for influencing a state of a user of a machine.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, durch ein Computerprogramm mit Instruktionen mit den Merkmalen des Anspruchs 8, durch eine Vorrichtung mit den Merkmalen des Anspruchs 9 sowie durch eine Maschine mit den Merkmalen des Anspruchs 10 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.This object is achieved by a method having the features of claim 1, by a computer program with instructions having the features of claim 8, by a device having the features of claim 9 and by a machine having the features of claim 10. Preferred embodiments of the invention are the subject of the dependent claims.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zur Beeinflussung eines Zustands eines Nutzers einer Maschine die Schritte:

  • - Bestimmen eines Istzustands des Nutzers;
  • - Bestimmen eines Sollzustands des Nutzers;
  • - Generieren einer nutzerspezifischen Interaktionsstrategie; und
  • - Ansteuern zumindest eines Interaktionssystems der Maschine entsprechend der nutzerspezifischen Interaktionsstrategie.
According to a first aspect of the invention, a method for influencing a state of a user of a machine comprises the steps:
  • - Determining the current status of the user;
  • - Determining a target state of the user;
  • - Generating a user-specific interaction strategy; and
  • - Controlling at least one interaction system of the machine according to the user-specific interaction strategy.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zur Beeinflussung eines Zustands eines Nutzers einer Maschine veranlassen:

  • - Bestimmen eines Istzustands des Nutzers;
  • - Bestimmen eines Sollzustands des Nutzers;
  • - Generieren einer nutzerspezifischen Interaktionsstrategie; und
  • - Ansteuern zumindest eines Interaktionssystems der Maschine entsprechend der nutzerspezifischen Interaktionsstrategie.
According to a further aspect of the invention, a computer program comprises instructions which, when executed by a computer, cause the computer to perform the following steps to influence a state of a user of a machine:
  • - Determining the current status of the user;
  • - Determining a target state of the user;
  • - Generating a user-specific interaction strategy; and
  • - Controlling at least one interaction system of the machine according to the user-specific interaction strategy.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Steuergeräte, eingebettete Systeme und andere prozessorbasierte Datenverarbeitungsvorrichtungen.The term computer is to be understood broadly. In particular, it also includes control units, embedded systems and other processor-based data processing devices.

Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.The computer program can, for example, be made available for electronic retrieval or stored on a computer-readable storage medium.

Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zur Beeinflussung eines Zustands eines Nutzers einer Maschine auf:

  • - ein Zustandsmodul zum Bestimmen eines Istzustands des Nutzers und zum Bestimmen eines Sollzustands des Nutzers;
  • - ein Strategiemodul zum Generieren einer nutzerspezifischen Interaktionsstrategie; und
  • - ein Steuermodul zum Ansteuern zumindest eines Interaktionssystems der Maschine entsprechend der nutzerspezifischen Interaktionsstrategie.
According to a further aspect of the invention, a device for influencing a state of a user of a machine comprises:
  • - a state module for determining an actual state of the user and for determining a target state of the user;
  • - a strategy module for generating a user-specific interaction strategy; and
  • - a control module for controlling at least one interaction system of the machine according to the user-specific interaction strategy.

Bei der erfindungsgemäßen Lösung erfolgt eine personalisierte, d.h. nutzerspezifische Interaktion zwischen der Maschine und dem Nutzer, um diesen in einen gewünschten Zielzustand zu bringen, sofern dies erforderlich ist. Auf Basis eines Istzustands des Nutzers und eines gewünschten Sollzustands wird eine personalisierte Interaktionsstrategie zur optimalen Unterstützung des Nutzers in dem gegebenen Kontext bestimmt. Die Nutzung einer personalisierten Interaktionsstrategie erlaubt es, die interpersonelle Varianz menschlichen Verhaltens, der Fähigkeiten, der Wahrnehmung, etc. zu berücksichtigen. Zur Umsetzung der Interaktionsstrategie steht vorzugsweise eine Anzahl von Interaktionssystemen mit verschiedenen Modalitäten und Möglichkeiten der Parametrisierung zur Verfügung, mittels derer für den individuellen Nutzer optimierte Interaktionen generiert werden. Die personalisierte Interaktion zwischen Maschine und Nutzer erhöht die Sicherheit von automatisierten Systemen durch eine Erhöhung der Systemtransparenz und eine effektive Kommunikation der an den Nutzer gestellten Anforderungen. Auf diese Weise kann eine Reduktion von Fehlnutzung und auch eine Steigerung der Akzeptanz erzielt werden.In the solution according to the invention, a personalized, i.e. user-specific interaction takes place between the machine and the user in order to bring the user into a desired target state, if this is necessary. On the basis of the user's current state and a desired target state, a personalized interaction strategy is determined to optimally support the user in the given context. The use of a personalized interaction strategy makes it possible to take into account the interpersonal variance of human behavior, abilities, perception, etc. To implement the interaction strategy, a number of interaction systems with different modalities and parameterization options are preferably available, by means of which interactions optimized for the individual user are generated. The personalized interaction between machine and user increases the security of automated systems by increasing system transparency and effectively communicating the requirements placed on the user. In this way, a reduction in misuse and an increase in acceptance can be achieved.

Gemäß einem Aspekt der Erfindung werden als Grundlage für das Bestimmen des Istzustands des Nutzers Zustände und Verhalten des Nutzers erfasst. Auf Basis von Daten einer entsprechenden Sensorik, bzw. durch Fusion verschiedener Sensoriken, kann beispielsweise mithilfe von Algorithmik zur Zustandserkennung ein Istzustand ermittelt werden. Beispiele für Zustände und Verhalten sind Müdigkeit, Aufmerksamkeit, Aktionen, wie z.B. Telefonieren, Stress, Arbeitsbelastung, Körperpose, wie z.B. Hände am Lenkrad, oder Situationsbewusstsein. Es erfolgt somit eine umfassende Betrachtung des Istzustands durch eine Fusion verschiedener Sensoriken sowie verschiedener Teilaspekte des Nutzerzustands.According to one aspect of the invention, the user's states and behavior are recorded as a basis for determining the user's current state. Based on data from a corresponding sensor system or by fusing different sensors, an actual state can be determined using algorithms for state recognition, for example. Examples of states and behavior are tiredness, attention, actions such as making phone calls, stress, workload, body posture such as hands on the steering wheel, or situational awareness. A comprehensive view of the actual state is thus taken by fusing different sensors and different partial aspects of the user's state.

Gemäß einem Aspekt der Erfindung werden als Grundlage für das Bestimmen des Sollzustands des Nutzers Zustände und ein Betriebsumfeld der Maschine erfasst. Durch die Erkennung des Betriebsumfelds der Maschine wird eine Grundlage für die Bewertung des aktuellen Istzustands des Nutzers in Bezug auf den aktuellen Zustand der Maschine und den aktuellen Betriebskontext geschaffen. Beispielsweise kann bei einem Fahrzeug auf Basis der aktuellen Umgebung, z.B. der Verkehrsdichte oder des Straßentyps, und des Maschinenzustands, z.B. der aktuell aktiven automatisierten Fahrfunktionen, die aktuelle Automatisierungsstufe festgestellt werden und daraus der Sollzustand des Nutzers abgeleitet werden.According to one aspect of the invention, states and an operating environment of the machine are recorded as a basis for determining the target state of the user. By recognizing the operating environment of the machine, a basis is created for evaluating the current actual state of the user in relation to the current state of the machine and the current operating context. For example, in a vehicle, the current automation level can be determined based on the current environment, e.g. the traffic density or the type of road, and the machine state, e.g. the currently active automated driving functions, and the target state of the user can be derived from this.

Gemäß einem Aspekt der Erfindung basiert das Generieren der nutzerspezifischen Interaktionsstrategie auf einem Interaktionsmodell. Solche Interaktionsmodelle können insbesondere eine Anzahl von Zielzuständen für die verschiedenen Automatisierungsstufen, eine Anzahl von Referenzzuständen sowie Transitionsregeln für Übergänge zwischen den Zuständen umfassen. Die Transitionsregeln definieren, mit welcher Interaktionsstrategie ein gewünschter Zielzustand oder auch ein Referenzzustand erreicht werden kann. Die Verwendung von Interaktionsmodellen hat den Vorteil, dass sich auch für neue, nicht im Interaktionsmodell enthaltene Zustände auf einfache Weise mögliche Interaktionsstrategien ableiten lassen, z.B. mittels einer Berechnung der Distanz zu den in der Nähe befindlichen Referenzzuständen.According to one aspect of the invention, the generation of the user-specific interaction strategy is based on an interaction model. Such interaction models can in particular comprise a number of target states for the various automation levels, a number of reference states and transition rules for transitions between the states. The transition rules define which interaction strategy can be used to achieve a desired target state or a reference state. The use of interaction models has the advantage that possible interaction strategies can also be derived in a simple manner for new states not contained in the interaction model, e.g. by calculating the distance to the nearby reference states.

Gemäß einem Aspekt der Erfindung wird auf Basis des Interaktionsmodells eine Vorhersage darüber getroffen, wann ein Nutzer einen Sollzustand verlässt. Die Interaktionsmodelle können beispielsweise in Form von Markov-Modellen implementiert werden. Bei einem solchen Model kann auf Basis von Wahrscheinlichkeiten eine Vorhersage getroffen werden, wann der Nutzer sich nicht mehr konform zur aktuellen Automatisierungsstufe verhält bzw. einen Zielzustand verlässt. Diese Vorhersage erlaubt es, bereits vorbeugend durch geeignete Interaktionsstrategien gegenzusteuern.According to one aspect of the invention, a prediction is made on the basis of the interaction model as to when a user leaves a target state. The interaction models can be implemented in the form of Markov models, for example. With such a model, a prediction can be made on the basis of probabilities as to when the user no longer behaves in accordance with the current automation level or leaves a target state. This prediction makes it possible to take preventive countermeasures using suitable interaction strategies.

Gemäß einem Aspekt der Erfindung wird die nutzerspezifische Interaktionsstrategie durch ein angelerntes System der künstlichen Intelligenz (KI) generiert. Die Generierung und Überwachung einer nutzerspezifischen Interaktionsstrategie wird vorzugweise als auf künstlicher Intelligenz basierte Auswahl von parametrisierten und kombinierten Elementen aus den verfügbaren Interaktionsstrategien realisiert. Dabei entstehen optimierte und vor allem personalisierte Mensch-Maschine-Interaktionsmodelle. Das KI-System berücksichtigt hierbei die Reaktion des Nutzers auf vergangene Interaktionen, um zukünftige Interaktionen an die individuellen Bedürfnisse und Vorlieben des jeweiligen Nutzers anzupassen. Zu diesem Zweck wird vorteilhaft ein verstärkendes Lernverfahren verwendet, welches die Reaktion des Nutzers und die Änderung dessen Verhaltens auf zuvor angewandte Interaktionen in Bezug auf Konformität zur jeweiligen Automatisierungsstufe analysiert, mit dem gewünschten Zielverhalten abgleicht und sich auf Basis dieser Auswertung iterativ einer optimalen Interaktionsstrategie annähert. Ein Belohnungswert, der bei dem verstärkenden Lernverfahren verwendet wird, kann zusätzlich die Dauer der Zeit berücksichtigen, die vergeht, bis der Nutzer auf eine Aktion reagiert bzw. bis er durch Anwendung einer Interaktionsstrategie den gewünschten Zielzustand erreicht.According to one aspect of the invention, the user-specific interaction strategy is generated by a trained artificial intelligence (AI) system. The generation and monitoring of a user-specific interaction strategy is preferably realized as an artificial intelligence-based selection of parameterized and combined elements from the available interaction strategies. This creates optimized and, above all, personalized human-machine interaction models. The AI system takes into account the user's reaction to past interactions in order to adapt future interactions to the individual needs and preferences of the respective user. For this purpose, a reinforcement learning method is advantageously used, which takes the user's reaction and the change in his behavior to previously applied interactions are analyzed in terms of conformity to the respective automation level, compared with the desired target behavior and, on the basis of this evaluation, iteratively approaches an optimal interaction strategy. A reward value used in the reinforcement learning process can also take into account the length of time that passes until the user reacts to an action or until he reaches the desired target state by applying an interaction strategy.

Gemäß einem Aspekt der Erfindung nutzt das Interaktionssystem zumindest eine Mensch-Maschine-Schnittstelle oder zumindest eine Maschinenfunktion. Eine Interaktion mit dem Nutzer kann einerseits durch übliche Mensch-Maschine-Schnittstellen erfolgen, z.B. durch visuelle Ausgaben auf einem Display oder unter Verwendung von Leuchtelementen, akustische Ausgaben über einen Lautsprecher oder haptische Ausgaben mittels haptischer Aktuatoren. Alle diese Mensch-Maschine-Schnittstellen sind gut geeignet, um den Zustand eines Nutzers in einer gewünschten Weise zu beeinflussen. Daneben können aber auch Maschinenfunktionen zur Ausführung von Aktionen genutzt werden. Z.b. können bei einem Fahrzeug leichte Lenkbewegungen oder Bremsvorgänge genutzt werden, um den Nutzer in einen Zielzustand zu bringen.According to one aspect of the invention, the interaction system uses at least one human-machine interface or at least one machine function. Interaction with the user can take place through conventional human-machine interfaces, e.g. through visual outputs on a display or using light elements, acoustic outputs via a loudspeaker or haptic outputs using haptic actuators. All of these human-machine interfaces are well suited to influencing the state of a user in a desired manner. In addition, machine functions can also be used to carry out actions. For example, slight steering movements or braking processes in a vehicle can be used to bring the user into a target state.

Vorzugsweise wird eine erfindungsgemäße Lösung in einer Maschine genutzt, z.B. in einem Fortbewegungsmittel oder einer Industriemaschine. Bei dem Fortbewegungsmittels kann es sich beispielsweise um ein Kraftfahrzeug, ein Luftfahrzeug, ein Schienenfahrzeug oder ein Wasserfahrzeug handeln.Preferably, a solution according to the invention is used in a machine, e.g. in a means of transport or an industrial machine. The means of transport can be, for example, a motor vehicle, an aircraft, a rail vehicle or a watercraft.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.Further features of the present invention will become apparent from the following description and the appended claims taken in conjunction with the figures.

FigurenübersichtFigure overview

  • 1 zeigt schematisch ein Verfahren zur Beeinflussung eines Zustands eines Nutzers einer Maschine; 1 shows schematically a method for influencing a state of a user of a machine;
  • 2 zeigt schematisch eine erste Ausführungsform einer Vorrichtung zur Beeinflussung eines Zustands eines Nutzers einer Maschine; 2 shows schematically a first embodiment of a device for influencing a state of a user of a machine;
  • 3 zeigt schematisch eine zweite Ausführungsform einer Vorrichtung zur Beeinflussung eines Zustands eines Nutzers einer Maschine; 3 shows schematically a second embodiment of a device for influencing a state of a user of a machine;
  • 4 zeigt schematisch eine Maschine, die eine erfindungsgemäße Lösung nutzt; 4 shows schematically a machine using a solution according to the invention;
  • 5 zeigt schematisch weitere Details der Erzeugung von Interaktionsstrategien; 5 shows schematically further details of the generation of interaction strategies;
  • 6 zeigt schematisch einen Ablauf eines verstärkenden Lernverfahrens; 6 shows a schematic diagram of a reinforcement learning procedure;
  • 7 zeigt schematisch den Inhalt einer Regelbasis; 7 shows schematically the contents of a rule base;
  • 8 zeigt schematisch das Erlernen eines neuen Zustands; 8th shows schematically the learning of a new state;
  • 9 zeigt schematisch ein Modell mit dem erlernten neuen Zustand; und 9 shows a schematic model with the learned new state; and
  • 10 zeigt schematisch ein Modell mit mehreren Zielzuständen. 10 shows a schematic model with several target states.

FigurenbeschreibungCharacter description

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Gleiche Bezugszeichen werden in den Figuren für gleiche oder gleichwirkende Elemente verwendet und nicht notwendigerweise zu jeder Figur erneut beschrieben. Es versteht sich, dass sich die Erfindung nicht auf die dargestellten Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.In order to better understand the principles of the present invention, embodiments of the invention are explained in more detail below with reference to the figures. The same reference numerals are used in the figures for the same or equivalent elements and are not necessarily described again for each figure. It is understood that the invention is not limited to the embodiments shown and that the described features can also be combined or modified without departing from the scope of the invention as defined in the appended claims.

1 zeigt schematisch ein Verfahren zur Beeinflussung eines Zustands eines Nutzers einer Maschine. In einem ersten Schritt können als nutzerbezogene Daten Zustände und Verhalten des Nutzers erfasst werden S1. Zudem können als maschinenbezogene Daten Zustände und ein Betriebsumfeld der Maschine erfasst werden S2. Auf Grundlage der nutzerbezogenen Daten wird dann ein Istzustand des Nutzers bestimmt S3. Auf Grundlage der maschinenbezogenen Daten wird zudem ein Sollzustand des Nutzers bestimmt S4. Basierend auf dem Istzustand und dem Sollzustand wird eine nutzerspezifische Interaktionsstrategie generiert S5, z.B. durch ein angelerntes System der künstlichen Intelligenz. Das Generieren S5 der nutzerspezifischen Interaktionsstrategie kann beispielsweise auf Basis eines Interaktionsmodells erfolgen. Schließlich wird entsprechend der nutzerspezifischen Interaktionsstrategie zumindest ein Interaktionssystem der Maschine angesteuert S6. Das Interaktionssystem kann beispielsweise zumindest eine Mensch-Maschine-Schnittstelle oder zumindest eine Maschinenfunktion nutzen. Im Falle der Nutzung eines Interaktionsmodells kann auf Basis des Interaktionsmodells zudem eine Vorhersage darüber getroffen werden, wann ein Nutzer einen Sollzustand verlässt. 1 shows a schematic of a method for influencing a state of a user of a machine. In a first step, states and behavior of the user can be recorded as user-related data S1. In addition, states and an operating environment of the machine can be recorded as machine-related data S2. On the basis of the user-related data, an actual state of the user is then determined S3. On the basis of the machine-related data, a target state of the user is also determined S4. Based on the actual state and the target state, a user-specific interaction strategy is generated S5, e.g. by a trained artificial intelligence system. The generation S5 of the user-specific interaction strategy can, for example, be based on an interaction model. Finally, at least one interaction system of the machine is controlled S6 in accordance with the user-specific interaction strategy. The interaction system can, for example, use at least one human-machine interface or at least one machine function. If an interaction model is used, a prediction can also be made on the basis of the interaction model as to when a user will leave a target state.

2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 10 zur Beeinflussung eines Zustands eines Nutzers einer Maschine. Die Vorrichtung 10 hat einen Eingang 11, über den nutzerbezogene Daten ND, z.B. Daten einer Innenraumsensorik 33, sowie maschinenbezogene Daten MD, z.B. Maschinenzustandsdaten MZD einer Zustandssensorik 32 oder Umfelddaten UD einer Umfeldsensorik 34, empfangen werden können. Ein Zustandsmodul 12 ist eingerichtet, auf Grundlage der empfangenen nutzerbezogenen Daten ND einen Istzustand ZI eines Nutzers zu bestimmen. Das Zustandsmodul 12 ist zudem eingerichtet, auf Grundlage der empfangenen maschinenbezogenen Daten MD einen Sollzustand ZS des Nutzers zu bestimmen. Ein Strategiemodul 13 ist eingerichtet, basierend auf dem Istzustand und dem Sollzustand eine nutzerspezifische Interaktionsstrategie IS zu generieren, z.B. durch ein angelerntes System KI der künstlichen Intelligenz. Das Generieren der nutzerspezifischen Interaktionsstrategie kann beispielsweise auf Basis eines Interaktionsmodells erfolgen. Ein Steuermodul 14 ist eigerichtet, entsprechend der nutzerspezifischen Interaktionsstrategie IS zumindest ein Interaktionssystem 311-31n der Maschine anzusteuern. Zu diesem Zweck kann das Steuermodul 13 entsprechende Steuerbefehle SB über einen Ausgang 17 der Vorrichtung 10 an das zumindest eine Interaktionssystem 311-31n ausgeben. Das Interaktionssystem 311-31n kann beispielsweise zumindest eine Mensch-Maschine-Schnittstelle oder zumindest eine Maschinenfunktion nutzen. Im Falle der Nutzung eines Interaktionsmodells kann auf Basis des Interaktionsmodells zudem eine Vorhersage darüber getroffen werden, wann ein Nutzer einen Sollzustand verlässt. 2 shows a simplified schematic representation of a first embodiment of a device 10 for influencing a state of a User of a machine. The device 10 has an input 11 via which user-related data ND, e.g. data from an interior sensor system 33, and machine-related data MD, e.g. machine status data MZD from a status sensor system 32 or environmental data UD from an environmental sensor system 34, can be received. A status module 12 is set up to determine an actual status Z I of a user on the basis of the received user-related data ND. The status module 12 is also set up to determine a target status Z S of the user on the basis of the received machine-related data MD. A strategy module 13 is set up to generate a user-specific interaction strategy IS based on the actual status and the target status, e.g. using a trained artificial intelligence system AI. The user-specific interaction strategy can be generated, for example, on the basis of an interaction model. A control module 14 is set up to control at least one interaction system 31 1 -31 n of the machine in accordance with the user-specific interaction strategy IS. For this purpose, the control module 13 can output corresponding control commands SB to the at least one interaction system 31 1 -31 n via an output 17 of the device 10. The interaction system 31 1 -31 n can, for example, use at least one human-machine interface or at least one machine function. If an interaction model is used, a prediction can also be made on the basis of the interaction model as to when a user leaves a target state.

Das Zustandsmodul 12, das Strategiemodul 13 und das Steuermodul 14 können von einem Kontrollmodul 15 gesteuert werden. Über eine Benutzerschnittstelle 18 können gegebenenfalls Einstellungen des Zustandsmoduls 12, des Strategiemoduls 13, des Steuermoduls 14 oder des Kontrollmoduls 15 geändert werden. Die in der Vorrichtung 10 anfallenden Daten können bei Bedarf in einem Speicher 16 der Vorrichtung 10 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 10. Das Zustandsmodul 12, das Strategiemodul 13, das Steuermodul 14 sowie das Kontrollmodul 15 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU oder einer CPU. Der Eingang 11 und der Ausgang 17 können als getrennte Schnittstellen oder als eine kombinierte Schnittstelle implementiert sein.The state module 12, the strategy module 13 and the control module 14 can be controlled by a control module 15. Settings of the state module 12, the strategy module 13, the control module 14 or the control module 15 can be changed via a user interface 18. The data generated in the device 10 can be stored in a memory 16 of the device 10 if necessary, for example for later evaluation or for use by the components of the device 10. The state module 12, the strategy module 13, the control module 14 and the control module 15 can be implemented as dedicated hardware, for example as integrated circuits. Of course, they can also be partially or completely combined or implemented as software that runs on a suitable processor, for example on a GPU or a CPU. The input 11 and the output 17 can be implemented as separate interfaces or as a combined interface.

3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 20 zur Beeinflussung eines Zustands eines Nutzers einer Maschine. Die Vorrichtung 20 weist einen Prozessor 22 und einen Speicher 21 auf. Beispielsweise handelt es sich bei der Vorrichtung 20 um ein Steuergerät oder ein eingebettetes System. Im Speicher 21 sind Instruktionen abgelegt, die die Vorrichtung 20 bei Ausführung durch den Prozessor 22 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 21 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 22 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 20 hat einen Eingang 23 zum Empfangen von Informationen. Vom Prozessor 22 generierte Daten werden über einen Ausgang 24 bereitgestellt. Darüber hinaus können sie im Speicher 21 abgelegt werden. Der Eingang 23 und der Ausgang 24 können zu einer bidirektionalen Schnittstelle zusammengefasst sein. 3 shows a simplified schematic representation of a second embodiment of a device 20 for influencing a state of a user of a machine. The device 20 has a processor 22 and a memory 21. For example, the device 20 is a control unit or an embedded system. Instructions are stored in the memory 21 which, when executed by the processor 22, cause the device 20 to carry out the steps according to one of the described methods. The instructions stored in the memory 21 thus embody a program which can be executed by the processor 22 and which implements the method according to the invention. The device 20 has an input 23 for receiving information. Data generated by the processor 22 are made available via an output 24. In addition, they can be stored in the memory 21. The input 23 and the output 24 can be combined to form a bidirectional interface.

Der Prozessor 22 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.The processor 22 may include one or more processor units, such as microprocessors, digital signal processors, or combinations thereof.

Die Speicher 16, 21 der beschriebenen Vorrichtungen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher.The memories 16, 21 of the described devices can have both volatile and non-volatile memory areas and can comprise a wide variety of storage devices and storage media, for example hard disks, optical storage media or semiconductor memories.

4 zeigt schematisch eine Maschine 30, in der eine erfindungsgemäße Lösung realisiert ist. Bei der Maschine 30 handelt es sich in diesem Beispiel um ein Kraftfahrzeug. Eine erfindungsgemäße Vorrichtung 10 zur Beeinflussung eines Zustands eines Nutzers N1, N2, z.B. eine zentrale Recheneinheit, wird durch eine Umfeldsensorik 34 mit Informationen über das Fahrzeugumfeld und durch eine Innenraumsensorik 33 mit Informationen über den Fahrzeuginnenraum und insbesondere die Fahrzeuginsassen N1, N2 versorgt. Eine Zustandssensorik 32 liefert zudem Informationen über den Fahrzeugzustand. Auf Basis der Daten der Innenraumsensorik 33 wird mithilfe von Algorithmik zur Insassenzustandserkennung der aktuelle Istzustand insbesondere des Fahrers abgeleitet und mit dem aus den Daten der Umfeldsensorik 34 und der aktuellen Automatisierungsstufe abgeleiteten Zielzustand abgeglichen. Wird eine Diskrepanz dieser Zustände festgestellt, so wird eine Interaktion generiert und mithilfe eines Netzwerks 37 und einer Anzahl von Interaktionssystemen 311-31n ausgeführt. Mittels einer Datenübertragungseinheit 35 kann z.B. eine Verbindung zu einem Backend aufgebaut werden, beispielsweise um aktualisierte Software für Komponenten des Kraftfahrzeugs zu beziehen, oder zu anderen Kraftfahrzeugen oder Infrastruktureinrichtungen im Umfeld des Kraftfahrzeugs. Zur Speicherung von Daten ist ein Speicher 36 vorhanden. 4 shows a schematic of a machine 30 in which a solution according to the invention is implemented. In this example, the machine 30 is a motor vehicle. A device 10 according to the invention for influencing a state of a user N 1 , N 2 , e.g. a central processing unit, is supplied with information about the vehicle environment by an environment sensor system 34 and with information about the vehicle interior and in particular the vehicle occupants N 1 , N 2 by an interior sensor system 33. A state sensor system 32 also supplies information about the vehicle state. On the basis of the data from the interior sensor system 33, the current actual state, in particular of the driver, is derived with the help of algorithms for occupant state recognition and compared with the target state derived from the data from the environment sensor system 34 and the current automation level. If a discrepancy between these states is detected, an interaction is generated and carried out with the help of a network 37 and a number of interaction systems 31 1 -31 n . By means of a data transmission unit 35, a connection can be established to a backend, for example to obtain updated software for components of the motor vehicle, or to other motor vehicles or infrastructure facilities. ments in the vicinity of the motor vehicle. A memory 36 is provided for storing data.

Nachfolgend sollen weitere Details einer erfindungsgemäßen Lösung anhand von 5 bis 10 beschrieben werden.In the following, further details of a solution according to the invention are given by means of 5 until 10 to be discribed.

5 zeigt schematisch weitere Details der Erzeugung von Interaktionsstrategien. Dargestellt ist der grundlegenden Ablauf des Verfahrens zusammen mit dem Datenfluss. Hierbei stellen „Start“ und „Ende“ den Beginn und das Ende der Fahrt bzw. die Aktivierung und die Abschaltung des Systems dar. Grundsätzlich wird das System als Überwachungsprogramm kontinuierlich ausgeführt, was auch über die Schleife zurück zum „Start“-Knoten verdeutlicht wird. Im Funktionsblock 200 werden die Zustände und das Verhalten der einzelnen Nutzer erfasst, z.B. ihre jeweilige Aufmerksamkeit oder Müdigkeit. Diese werden dabei durch eine Analyse von Sensordaten geschätzt, z.B. mit Methoden des maschinellen Lernens. Die Analyse der Zustände und Verhaltensmuster kann sowohl separat als auch teilweise kombiniert ausgeführt sein. Im Funktionsblock 210 werden die unabhängigen Schätzungen der Zustände und der Verhaltensmuster individuell je Nutzer zusammengeführt. Dabei können Abhängigkeiten der geschätzten Variablen untereinander berücksichtigt werden. Im Funktionsblock 220 wird der Istzustand je Nutzer auf Basis der fusionierten Schätzungen zusammen mit globalen Messungen, z.B. der Innentemperatur, ermittelt. Auf Basis der aktuellen Umgebung, z.B. der Verkehrsdichte oder des Straßentyps, und des Maschinenzustands, z.B. der aktuell aktiven automatisierten Fahrfunktionen, wird im Funktionsblock 230 die aktuelle Automatisierungsstufe festgestellt. Aus dieser Automatisierungsstufe wird abgeleitet, welches Sollverhalten die Nutzer haben müssen, damit ein sicherer bzw. der Automatisierungsstufe konformer Zustand sichergestellt werden kann. Kritische oder atypische Betriebszustände können dabei eine Änderung der Automatisierungsstufe herbeiführen. Entsprechend den in den vorangegangenen Verarbeitungsschritten ermittelten Ist- und Sollzuständen wird im Funktionsblock 240 ein Vergleich durchgeführt und im Funktionsblock 250 eine Entscheidung getroffen, ob eine Interaktion erforderlich ist. Wenn eine Interaktion erforderlich ist, dann wird auf Basis eines aus einem Speicher 280 entnommenen nutzerspezifischen Interaktionsmodells M1, M2 im Funktionsblock 260 eine Interaktionsstrategie generiert. Dabei wird das Verhalten kontinuierlich überwacht. Sollte sich beim Generieren der Interaktionsstrategie herausstellen, dass ein gewünschter Zielzustand nicht erreicht werden kann, kann nach Möglichkeit alternativ der Grad der Automatisierung angepasst werden, indem z.B. ausgewählte aktive automatisierte Fahrfunktionen deaktiviert werden. Schließlich kann das System im Funktionsblock 270 durch ein Abbruchkriterium beendet werden, z.B. bei Abschaltung des Systems oder bei Fahrtende. 5 shows schematically further details of the generation of interaction strategies. The basic sequence of the method is shown together with the data flow. Here, "start" and "end" represent the start and end of the journey or the activation and shutdown of the system. Basically, the system is executed continuously as a monitoring program, which is also illustrated by the loop back to the "start" node. In function block 200, the states and behavior of the individual users are recorded, e.g. their respective level of attention or tiredness. These are estimated by analyzing sensor data, e.g. using machine learning methods. The analysis of the states and behavior patterns can be carried out separately or partially combined. In function block 210, the independent estimates of the states and behavior patterns are merged individually for each user. Dependencies between the estimated variables can be taken into account. In function block 220, the actual state for each user is determined on the basis of the merged estimates together with global measurements, e.g. the interior temperature. Based on the current environment, e.g. the traffic density or the type of road, and the machine status, e.g. the currently active automated driving functions, the current automation level is determined in function block 230. From this automation level, it is derived which target behavior the users must have in order to ensure a safe state or a state that conforms to the automation level. Critical or atypical operating states can bring about a change in the automation level. In accordance with the actual and target states determined in the previous processing steps, a comparison is carried out in function block 240 and a decision is made in function block 250 as to whether interaction is required. If interaction is required, an interaction strategy is generated in function block 260 on the basis of a user-specific interaction model M 1 , M 2 taken from a memory 280. The behavior is continuously monitored. If it turns out when generating the interaction strategy that a desired target state cannot be achieved, the degree of automation can be adjusted if possible, for example by deactivating selected active automated driving functions. Finally, the system can be terminated in function block 270 by an abort criterion, e.g. when the system is switched off or at the end of the journey.

Die Generierung und Überwachung einer nutzerspezifischen Interaktionsstrategie wird vorzugweise als auf künstlicher Intelligenz basierte Auswahl von parametrisierten und kombinierten Elementen aus den verfügbaren Interaktionsstrategien realisiert. Dabei entstehen optimierte und vor allem personalisierte Mensch-Maschine-Interaktionsmodelle. Das KI-System berücksichtigt hierbei die Reaktion des Nutzers auf vergangene Interaktionen, um zukünftige Interaktionen an die individuellen Bedürfnisse und Vorlieben des jeweiligen Nutzers anzupassen.The generation and monitoring of a user-specific interaction strategy is preferably realized as an artificial intelligence-based selection of parameterized and combined elements from the available interaction strategies. This creates optimized and, above all, personalized human-machine interaction models. The AI system takes into account the user's reaction to past interactions in order to adapt future interactions to the individual needs and preferences of the respective user.

Zu diesem Zweck wird vorteilhaft ein verstärkendes Lernverfahren verwendet, welches die Reaktion des Nutzers und die Änderung dessen Verhaltens auf zuvor angewandte Interaktionen in Bezug auf Konformität zur jeweiligen Automatisierungsstufe analysiert, mit dem gewünschten Zielverhalten abgleicht und sich auf Basis dieser Auswertung iterativ einer optimalen Interaktionsstrategie annähert. 6 zeigt schematisch einen Ablauf eines solchen verstärkenden Lernverfahrens. Bei dem Verfahren wird eine Umgebung 310, in diesem Fall die Nutzer und das Nutzerumfeld, durch Sensoren beobachtet und die Sensordaten SD mittels KI-gestützter Wahrnehmung 320 analysiert. Resultat der Wahrnehmung 320 sind die aktuellen Istzustände ZI der Nutzer, wie z.B. Aufmerksamkeit, Blickrichtung oder Tätigkeit. Im Schritt 330 wird nun basierend auf der aktuellen Automatisierungsstufe und deren Anforderungen an das Nutzerverhalten individuell je Nutzer ein Vergleich mit dem aktuellen Istzustand ZI des Nutzers durchgeführt. Als Ergebnis werden einem Agenten 340 der Sollzustand ZS, der aktuelle Istzustand ZI und ein Belohnungswert B (engl.: Reward) aus dem Vergleich zur Verfügung gestellt. Ist der zu beobachtende Nutzer dem System noch nicht bekannt, wird aus der Regelbasis 300 ein Interaktionsmodell M erzeugt, welches in einem Speicher 280 gespeichert und kontinuierlich aktualisiert wird. Die Regelbasis 300, welche beschreibt, mit welcher Interaktionsstrategie man von einem Zustand zu einem Zielzustand kommt, kann z.B. aus empirischen Experimenten und Expertenwissen konstruiert werden. Der Agent 340 leitet aus dem aktuellen Istzustand ZI und dem Sollzustand ZS eine Interaktionsstrategie ab, welche in Aktionen A umgesetzt wird, z.B. in Form einer Aktivierung verschiedener Funktionen einer Mensch-Maschine-Schnittstelle 350. Die Mensch-Maschine-Schnittstelle 350 führt die Aktionen aus, welche wiederum auf die Umgebung 310 einwirken. Damit schließt sich der Kreislauf und der Agent 340 kann über die Zeit durch den Belohnungswert B feststellen, ob eine Interaktionsstrategie erfolgreich war oder nicht. Über die Nutzungszeit der Maschine entsteht im Speicher 280 eine Sammlung von Interaktionsmodellen M, bestehend jeweils aus einer Regelbasis und Beobachtungen des Agenten 340. Diese können bei Bedarf an eine andere Maschine übertragen werden. Zudem ist eine Bereinigung der Interaktionsmodelle M möglich, indem beispielsweise Zustände geclustert werden.For this purpose, a reinforcement learning method is advantageously used, which analyzes the user's reaction and the change in his behavior to previously applied interactions in terms of conformity to the respective automation level, compares it with the desired target behavior and, on the basis of this evaluation, iteratively approaches an optimal interaction strategy. 6 shows a schematic of a sequence of such a reinforcement learning process. In the process, an environment 310, in this case the users and the user environment, is observed by sensors and the sensor data SD is analyzed using AI-supported perception 320. The result of the perception 320 is the current actual states Z I of the users, such as attention, direction of gaze or activity. In step 330, a comparison is now carried out for each user individually based on the current automation level and its requirements for user behavior with the current actual state Z I of the user. As a result, the target state Z S , the current actual state Z I and a reward value B from the comparison are made available to an agent 340. If the user to be observed is not yet known to the system, an interaction model M is generated from the rule base 300, which is stored in a memory 280 and continuously updated. The rule base 300, which describes which interaction strategy is used to get from one state to a target state, can be constructed, for example, from empirical experiments and expert knowledge. The agent 340 derives an interaction strategy from the current actual state Z I and the target state Z S , which is implemented in actions A, e.g. in the form of activating various functions of a human-machine interface 350. The human-machine interface 350 carries out the actions, which in turn affect the environment 310. This closes the cycle and the agent 340 can determine over time through the reward value B whether an interaction strategy was successful or not. Over the time the machine is in use, a collection of interaction models M is created in the memory 280, each consisting of a rule basis and observations of the agent 340. These can be transferred to another machine if necessary. In addition, it is possible to clean up the interaction models M, for example by clustering states.

Im Weiteren wird näher auf die nutzerspezifischen Interaktionsmodelle und die Regelbasis 300 eingegangen, welche Grundlage der Agentenentscheidung darstellt. 7 zeigt schematisch den Inhalt einer Regelbasis 300. Dargestellt ist ein Zielzustand 400, welcher z.B. das stufenkonforme Verhalten für die 3. Automatisierungsstufe in Form von Regeln beschreibt. Diese Regeln beschreiben dabei die erlaubten Zustandsbereiche des Nutzers, z.B. „Augen von der Straße weniger als 1 Sekunde“. Weiterhin gibt es neben dem Zielzustand 400 auch Referenzzustände 410, welche Zustände beschreiben, in denen sich ein Nutzer befinden kann, sowie Transitionsregeln 420. Diese definieren, mit welcher Interaktionsstrategie der Zielzustand 400 erreicht werden kann. Eine solche Interaktionsstrategie kann z.B. darin bestehen, eine Meldung in einem Display einzublenden. Dabei können Transitionsregeln 420 auch zwischen Referenzzuständen 410 bestehen. Zudem können auch mehrere mögliche Transitionsregeln 420 zwischen zwei Zuständen 400, 410 existieren. Die Transitionsregeln 420 können insbesondere aus Vorwissen oder empirischen Experimenten ermittelt werden. Weitere Beispiele für Zustände sind Müdigkeit, Aufmerksamkeit, Aktionen, wie z.B. Telefonieren, Stress, Arbeitsbelastung, Körperpose, wie z.B. Hände am Lenkrad, oder Situationsbewusstsein.In the following, the user-specific interaction models and the rule base 300, which forms the basis of the agent decision, are discussed in more detail. 7 shows a schematic of the contents of a rule base 300. A target state 400 is shown, which describes, for example, the stage-compliant behavior for the 3rd automation level in the form of rules. These rules describe the permitted state ranges of the user, e.g. "eyes off the road for less than 1 second". In addition to the target state 400, there are also reference states 410, which describe states in which a user can be, and transition rules 420. These define the interaction strategy with which the target state 400 can be reached. Such an interaction strategy can consist, for example, of showing a message on a display. Transition rules 420 can also exist between reference states 410. In addition, several possible transition rules 420 can exist between two states 400, 410. The transition rules 420 can be determined in particular from prior knowledge or empirical experiments. Other examples of states are fatigue, attention, actions such as talking on the phone, stress, workload, body posture such as hands on the steering wheel, or situation awareness.

Die Regelbasis 300 wird verwendet, um für neue Nutzer des Systems ein Interaktionsmodell zu erzeugen, welches über die Zeit vom Agenten personalisiert wird. 8 und 9 zeigen, wie ein neuer Zustand erlernt werden kann. Dabei zeigt 8 schematisch das Erlernen eines neuen Zustands 440. 9 zeigt schematisch das Modell M mit dem erlernten neuen Zustand 460. In 8 ist ein fiktiver aktueller Zustand 440 eines Nutzers markiert, basierend auf den aktuellen Nutzerzuständen. Mittels einer Berechnung der Distanz 450 zu den in der Nähe befindlichen Referenzzuständen 410 wird eine mögliche Interaktionsstrategie abgeleitet und angewendet. Dabei wird der Belohnungswert genutzt, um den Erfolg zu bestimmen. In 9 wurde der aktuelle Zustand dem Modell hinzugefügt als erlernter neuer Zustand 460 mit einer neuen Transitionsregel 470. Zudem können auch existierende Transitionsregeln 420 adaptiert werden und so die initiale Regelbasis 300 verändert und nutzerspezifisch mit adaptierten Transitionsregeln 430 angepasst werden.The rule base 300 is used to create an interaction model for new users of the system, which is personalized by the agent over time. 8th and 9 show how a new state can be learned. 8th schematically the learning of a new state 440. 9 shows schematically the model M with the learned new state 460. In 8th a fictitious current state 440 of a user is marked, based on the current user states. By calculating the distance 450 to the nearby reference states 410, a possible interaction strategy is derived and applied. The reward value is used to determine the success. In 9 the current state was added to the model as a learned new state 460 with a new transition rule 470. In addition, existing transition rules 420 can also be adapted and thus the initial rule base 300 can be changed and customized for the user with adapted transition rules 430.

10 zeigt schematisch ein Interaktionsmodell M mit mehreren Zielzuständen. 400, welche für die verschiedenen Automatisierungsstufen stehen, und einer Anzahl von Referenzzuständen 410. Die verschiedenen Zielzustände 400 können ebenfalls mit Transitionsregeln 420 verbunden sein, welche bidirektional sind. Das ist vor allem vorteilhaft, wenn von einem Zielzustand 400 zu einem anderen gewechselt werden muss, weil sich die Automatisierungsstufe verändert hat. Weiterhin lernt der Agent über die Zeit, welche Interaktionsstrategien 420 am erfolgreichsten sind. Den Interaktionsstrategien 420 werden dann Erfolgswahrscheinlichkeiten zugeordnet, welche in 10 beispielhaft durch verschiedene Linienstärken visualisiert sind. Eine mögliche Implementierung der Interaktionsmodelle M kann z.B. in Form eines Markov-Modells erfolgen. 10 shows a schematic of an interaction model M with several target states 400, which represent the different automation levels, and a number of reference states 410. The different target states 400 can also be linked to transition rules 420, which are bidirectional. This is particularly advantageous when it is necessary to switch from one target state 400 to another because the automation level has changed. Furthermore, the agent learns over time which interaction strategies 420 are the most successful. The interaction strategies 420 are then assigned success probabilities, which are calculated in 10 are visualized by different line thicknesses. A possible implementation of the interaction models M can be in the form of a Markov model, for example.

BezugszeichenlisteList of reference symbols

1010
Vorrichtungcontraption
1111
EingangEntrance
1212
ZustandsmodulState module
1313
StrategiemodulStrategy module
1414
SteuermodulControl module
1515
KontrollmodulControl module
1616
SpeicherStorage
1717
AusgangExit
1818
Benutzerschnittstelle User interface
2020
Vorrichtungcontraption
2121
SpeicherStorage
2222
Prozessorprocessor
2323
EingangEntrance
2424
Ausgang Exit
3030
Maschinemachine
311-31n311-31n
InteraktionssystemInteraction system
3232
ZustandssensorikCondition sensors
3333
InnenraumsensorikInterior sensors
3434
UmfeldsensorikEnvironmental sensors
3535
DatenübertragungseinheitData transmission unit
3636
SpeicherStorage
3737
Netzwerk Network
200-270200-270
FunktionsblöckeFunction blocks
280280
Speicher Storage
300300
RegelbasisRule base
310310
UmgebungVicinity
320320
Wahrnehmungperception
330330
ZustandsvergleichCondition comparison
340340
Agentagent
350350
Mensch-Maschine-Schnittstelle Human-machine interface
400400
ZielzustandTarget state
410410
ReferenzzustandReference state
420420
TransitionsregelTransition rule
430430
Adaptierte TransitionsregelAdapted transition rule
440440
Neue ZustandNew condition
450450
Distanzdistance
460460
Erlernter neuer ZustandLearned new state
470470
Neue Transitionsregel New transition rule
AA
Aktionaction
BB
BelohnungswertReward value
ISIS
InteraktionsstrategieInteraction strategy
KIAI
System der künstlichen IntelligenzArtificial intelligence system
M, M1, M2M, M1, M2
InteraktionsmodellInteraction model
MDMD
Maschinenbezogene DatenMachine-related data
MZDMZD
MaschinenzustandsdatenMachine status data
N1, N2N1, N2
NutzerUsers
NDND
Nutzerbezogene DatenUser-related data
SBSB
SteuerbefehlControl command
SDSD
SensordatenSensor data
UDUD
UmfelddatenEnvironmental data
ZIZI
IstzustandIt's on
ZSZS
Sollzustand Target state
S1S1
Erfassen von Zuständen und Verhalten eines NutzersRecording the states and behavior of a user
S2S2
Erfassen von Zuständen und Betriebsumfeld der MaschineRecording the machine’s conditions and operating environment
S3S3
Bestimmen eines Istzustands des NutzersDetermining the current state of the user
S4S4
Bestimmen eines Sollzustands des NutzersDetermining a target state of the user
S5S5
Generieren einer nutzerspezifischen InteraktionsstrategieGenerating a user-specific interaction strategy
S6S6
Ansteuern eines InteraktionssystemsControlling an interaction system

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • EP 1914106 A2 [0009]EP1914106A2 [0009]
  • EP 3730331 A1 [0010]EP 3730331 A1 [0010]
  • WO 2016/169585 A1 [0011]WO 2016/169585 A1 [0011]

Claims (10)

Verfahren zur Beeinflussung eines Zustands eines Nutzers (N1, N2) einer Maschine (30), mit den Schritten: - Bestimmen (S3) eines Istzustands (ZI) des Nutzers (N1, N2); - Bestimmen (S4) eines Sollzustands (ZS) des Nutzers (N1, N2); - Generieren (S5) einer nutzerspezifischen Interaktionsstrategie (IS); und - Ansteuern (S6) zumindest eines Interaktionssystems (311-31n) der Maschine (30) entsprechend der nutzerspezifischen Interaktionsstrategie (IS).Method for influencing a state of a user (N 1 , N 2 ) of a machine (30), comprising the steps of: - determining (S3) an actual state (Z I ) of the user (N 1 , N 2 ); - determining (S4) a target state (Z S ) of the user (N 1 , N 2 ); - generating (S5) a user-specific interaction strategy (IS); and - controlling (S6) at least one interaction system (31 1 -31 n ) of the machine (30) in accordance with the user-specific interaction strategy (IS). Verfahren gemäß Anspruch 1, wobei als Grundlage für das Bestimmen (S3) des Istzustands (ZI) des Nutzers (N1, N2) Zustände und Verhalten des Nutzers (N1, N2) erfasst werden (S1).Procedure according to Claim 1 , whereby states and behavior of the user (N 1 , N 2 ) are recorded (S1) as a basis for determining (S3) the actual state (Z I ) of the user (N 1 , N 2 ). Verfahren gemäß Anspruch 1 oder 2, wobei als Grundlage für das Bestimmen (S4) des Sollzustands (ZS) des Nutzers (N1, N2) Zustände und ein Betriebsumfeld der Maschine (30) erfasst werden (S2).Procedure according to Claim 1 or 2 , wherein states and an operating environment of the machine (30) are recorded (S2) as a basis for determining (S4) the target state (Z S ) of the user (N 1 , N 2 ). Verfahren gemäß einem der vorherigen Ansprüche, wobei das Generieren (S5) der nutzerspezifischen Interaktionsstrategie (IS) auf einem Interaktionsmodell (M1, M2) basiert.Method according to one of the preceding claims, wherein the generation (S5) of the user-specific interaction strategy (IS) is based on an interaction model (M 1 , M 2 ). Verfahren gemäß Anspruch 4, wobei auf Basis des Interaktionsmodells (M1, M2) eine Vorhersage darüber getroffen wird, wann ein Nutzer (N1, N2) einen Sollzustand (ZS) verlässt.Procedure according to Claim 4 , whereby on the basis of the interaction model (M 1 , M 2 ) a prediction is made as to when a user (N 1 , N 2 ) leaves a target state (Z S ). Verfahren gemäß einem der vorherigen Ansprüche, wobei die nutzerspezifische Interaktionsstrategie (IS) durch ein angelerntes System (KI) der künstlichen Intelligenz generiert wird (S5).Method according to one of the preceding claims, wherein the user-specific interaction strategy (IS) is generated by a trained artificial intelligence system (AI) (S5). Verfahren gemäß einem der vorherigen Ansprüche, wobei das Interaktionssystem (311-31n) zumindest eine Mensch-Maschine-Schnittstelle oder zumindest eine Maschinenfunktion nutzt.Method according to one of the preceding claims, wherein the interaction system (31 1 -31 n ) uses at least one human-machine interface or at least one machine function. Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 7 zur Beeinflussung eines Zustands eines Nutzers (N1, N2) einer Maschine (30) veranlassen.A computer program comprising instructions which, when executed by a computer, cause the computer to carry out the steps of a method according to any of the Claims 1 until 7 to influence a state of a user (N 1 , N 2 ) of a machine (30). Vorrichtung (10) zur Beeinflussung eines Zustands eines Nutzers (N1, N2) einer Maschine (30), mit: - einem Zustandsmodul (12) zum Bestimmen (S3) eines Istzustands (ZI) des Nutzers (N1, N2) und zum Bestimmen (S4) eines Sollzustands (ZS) des Nutzers (N1, N2); -einem Strategiemodul (13) zum Generieren (S5) einer nutzerspezifischen Interaktionsstrategie (IS); und - einem Steuermodul (14) zum Ansteuern (S6) zumindest eines Interaktionssystems (311-31n) der Maschine (30) entsprechend der nutzerspezifischen Interaktionsstrategie (IS).Device (10) for influencing a state of a user (N 1 , N 2 ) of a machine (30), with: - a state module (12) for determining (S3) an actual state (Z I ) of the user (N 1 , N 2 ) and for determining (S4) a target state (Z S ) of the user (N 1 , N 2 ); - a strategy module (13) for generating (S5) a user-specific interaction strategy (IS); and - a control module (14) for controlling (S6) at least one interaction system (31 1 -31 n ) of the machine (30) according to the user-specific interaction strategy (IS). Maschine (30), wobei die Maschine (30) eine Vorrichtung (10) gemäß Anspruch 9 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 zur Beeinflussung eines Zustands eines Nutzers (N1, N2) der Maschine (30) auszuführen.Machine (30), wherein the machine (30) comprises a device (10) according to Claim 9 has or is arranged to implement a method according to one of the Claims 1 until 7 to influence a state of a user (N 1 , N 2 ) of the machine (30).
DE102022213126.6A 2022-12-06 2022-12-06 Method, computer program and device for influencing a state of a user of a machine Pending DE102022213126A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022213126.6A DE102022213126A1 (en) 2022-12-06 2022-12-06 Method, computer program and device for influencing a state of a user of a machine
PCT/DE2023/200235 WO2024120589A1 (en) 2022-12-06 2023-11-27 Method, computer program and device for influencing a state of a user of a machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022213126.6A DE102022213126A1 (en) 2022-12-06 2022-12-06 Method, computer program and device for influencing a state of a user of a machine

Publications (1)

Publication Number Publication Date
DE102022213126A1 true DE102022213126A1 (en) 2024-06-06

Family

ID=89190436

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022213126.6A Pending DE102022213126A1 (en) 2022-12-06 2022-12-06 Method, computer program and device for influencing a state of a user of a machine

Country Status (2)

Country Link
DE (1) DE102022213126A1 (en)
WO (1) WO2024120589A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1914106A2 (en) 2003-06-06 2008-04-23 Volvo Technology Corporation An attention management system and method
WO2016169585A1 (en) 2015-04-20 2016-10-27 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for controlling a user situation awareness modification of a user of a vehicle, and a user situation awareness modification processing system
EP3730331A1 (en) 2019-04-26 2020-10-28 Zenuity AB Method and device for assuring driver engagement during autonmous drive
DE102019206718A1 (en) 2019-05-09 2020-11-12 Robert Bosch Gmbh Process for the personalized use of means of communication
DE102020111427A1 (en) 2020-04-27 2021-10-28 Bayerische Motoren Werke Aktiengesellschaft Personalized drowsiness warning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019004597T5 (en) * 2018-09-13 2021-06-17 Sony Semiconductor Solutions Corporation INFORMATION PROCESSING DEVICE, MOVEMENT DEVICE, METHOD AND PROGRAM
KR20210084749A (en) * 2019-12-27 2021-07-08 현대자동차주식회사 Autonomous vehicle controlling system and autonomous vehicle control method using the same
US11584378B2 (en) * 2020-10-27 2023-02-21 Arm Limited Vehicle-assist system
US20220204042A1 (en) * 2020-12-27 2022-06-30 Hyundai Mobis Co., Ltd. Driver management system and method of operating same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1914106A2 (en) 2003-06-06 2008-04-23 Volvo Technology Corporation An attention management system and method
WO2016169585A1 (en) 2015-04-20 2016-10-27 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for controlling a user situation awareness modification of a user of a vehicle, and a user situation awareness modification processing system
EP3730331A1 (en) 2019-04-26 2020-10-28 Zenuity AB Method and device for assuring driver engagement during autonmous drive
DE102019206718A1 (en) 2019-05-09 2020-11-12 Robert Bosch Gmbh Process for the personalized use of means of communication
DE102020111427A1 (en) 2020-04-27 2021-10-28 Bayerische Motoren Werke Aktiengesellschaft Personalized drowsiness warning

Also Published As

Publication number Publication date
WO2024120589A1 (en) 2024-06-13

Similar Documents

Publication Publication Date Title
DE102013019424B4 (en) Method for operating a vehicle system for monitoring a driver and motor vehicle
EP3752401B1 (en) Method for selecting a driving profile of a motor car, driving assistance system and motor vehicle
DE102016000493B4 (en) Method for operating a vehicle system and motor vehicle
DE102017208159B4 (en) Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle
WO2016012299A1 (en) Indirect vehicle parametrization via user profiles
DE102014214777A1 (en) A method of interacting a driver assistance system with a driver of a vehicle
DE102018133670B4 (en) Method and device for generating control signals for supporting occupants of a vehicle
WO2020178098A1 (en) Method for the at least partially automated guidance of a motor vehicle
DE102021112625A1 (en) Facilitate control transitions between a user and a vehicle control system
DE102019105489A1 (en) Method, device and computer program for providing information relating to an automated driving vehicle
DE102019105490A1 (en) Method, device and computer program for operating a vehicle using a mobile user device
DE102019106122A1 (en) Automated driving system
DE102017200436B4 (en) Method for operating a driver assistance system of a motor vehicle
DE102018219290B4 (en) Method for teaching a personalized headlight device of a motor vehicle
WO2022179893A1 (en) Method and driver assistance system for assisting a motor vehicle when cornering
EP2338709B1 (en) Method for operating a motor vehicle and motor vehicle
DE102019130319A1 (en) Method for operating a motor vehicle that can be driven in an autonomous driving mode
DE102022213126A1 (en) Method, computer program and device for influencing a state of a user of a machine
DE102019129904A1 (en) Automatic driving competence analysis
EP3674147B1 (en) Method and device for generating control signals for supporting occupants of a vehicle
EP3707044B1 (en) System for automated driving with assistance for a driver in performing a non-driving activity
DE102021003597A1 (en) Method for influencing the behavior of at least one occupant in a vehicle
DE102021101805A1 (en) DRIVER MONITORING SYSTEM FOR MOTOR VEHICLES
DE102021130768B4 (en) Method for increasing the attention of a user of a motor vehicle, assistance device, motor vehicle
DE102019007535A1 (en) Method for operating an assistance system as a function of a personalized configuration set, assistance system, computer program and computer-readable medium

Legal Events

Date Code Title Description
R163 Identified publications notified
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH, 30165 HANNOVER, DE