DE102019106193A1

DE102019106193A1 - User modeling based on a combined abstract user model

Info

Publication number: DE102019106193A1
Application number: DE102019106193.8A
Authority: DE
Inventors: Christian Süss; Markus Frank
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-03-12
Filing date: 2019-03-12
Publication date: 2020-09-17

Abstract

Die vorliegende Offenbarung betrifft ein Verfahren zur Nutzermodellierung basierend auf einem kombinierten Nutzermodell. Das Verfahren umfasst Erfassen, mittels eines oder mehrerer Sensoren von ein oder mehreren Erfassungsdaten; Modellieren der ein oder mehreren Erfassungsdaten in entsprechenden ein oder mehreren lokalen Nutzermodellen; Kombinieren der ein oder mehreren lokalen Nutzermodelle in einem kombinierten Nutzermodell; Bereitstellen des kombinierten Nutzermodells an ein oder mehrere Verbraucherfunktionen. Die vorliegende Offenbarung betrifft weiter ein System zur Nutzermodellierung umfassend eine Steuereinheit, die zur Ausführung zumindest eines Teils des Verfahrens konfiguriert ist, und ein Fahrzeug umfassend das System.The present disclosure relates to a method for user modeling based on a combined user model. The method comprises acquiring, by means of one or more sensors, one or more acquisition data; Modeling the one or more acquisition data in corresponding one or more local user models; Combining the one or more local user models into a combined user model; Providing the combined user model to one or more consumer functions. The present disclosure further relates to a system for user modeling comprising a control unit, which is configured to carry out at least a part of the method, and a vehicle comprising the system.

Description

Die Offenbarung betrifft Systeme und Verfahren zur Nutzermodellierung. Die Offenbarung betrifft insbesondere Systeme und Verfahren zur Nutzermodellierung und ein entsprechendes kombiniertes, homogenes, abstraktes und/oder kognitives Nutzermodell. Das Nutzermodell ist insbesondere zur Nutzer- bzw. Insassenmodellierung in mobilen Umgebungen, beispielsweise in Fahrzeugen, geeignet.The disclosure relates to systems and methods for user modeling. The disclosure relates in particular to systems and methods for user modeling and a corresponding combined, homogeneous, abstract and / or cognitive user model. The user model is particularly suitable for modeling users or occupants in mobile environments, for example in vehicles.

Stand der TechnikState of the art

Im Stand der Technik sind Systeme bekannt, die eine spezifische Modellierung von Insassen in Fahrzeugen erlauben. Hierzu werden bestimmte Sensoren in den Fahrzeugen eingesetzt, welche Insassen im Fahrzeug erfassen können. Dabei ist es üblich, dass jeder einzelne Sensor entsprechende sensorspezifische Daten an ein entsprechendes spezifisches (z.B. lokales) Insassenmodell bereitstellt.Systems are known in the prior art which allow specific modeling of occupants in vehicles. For this purpose, certain sensors are used in the vehicles, which can detect occupants in the vehicle. It is common here for each individual sensor to provide corresponding sensor-specific data to a corresponding specific (e.g. local) occupant model.

Die Druckschrift U.S. 2014/0200737 A1 beschreibt beispielsweise ein System und ein Verfahren zum Identifizieren eines Insassen eines Fahrzeugs als berechtigter Benutzer und zum Verwalten von Einstellungen und Konfigurationen von Fahrzeugkomponenten basierend auf persönlichen Präferenzen des berechtigten Benutzers. Das Verfahren umfasst das Erfassen von Insassencharakteristiken von mehreren Sensoren, Bestimmen, ob der Insasse ein autorisierter Benutzer des Fahrzeugs ist basierend auf einem Vergleich der Insassenmerkmale mit einer Benutzerdatenbank, einschließlich registrierter Benutzerprofile, und automatischem Anpassen von Fahrzeugkabinen und / oder Steuerkomponenten basierend auf persönlichen Präferenzen des als registrierter Benutzer identifizierten Insassen. Hierbei werden Daten von mehreren Sensoren, beispielsweise einer Kamera, an ein spezifisches, lokales Modell bereitgestellt, um die gewünschte spezifische Modellierung der Autorisierung von Nutzern zu ermöglichen. Eine darüberhinausgehende Verwendung der Daten ist nicht vorgesehen.The pamphlet US 2014/0200737 A1 describes, for example, a system and a method for identifying an occupant of a vehicle as an authorized user and for managing settings and configurations of vehicle components based on personal preferences of the authorized user. The method includes acquiring occupant characteristics from multiple sensors, determining whether the occupant is an authorized user of the vehicle based on a comparison of the occupant characteristics with a user database, including registered user profiles, and automatically adjusting vehicle cabins and / or control components based on personal preferences inmate identified as a registered user. In this case, data from several sensors, for example a camera, are provided to a specific, local model in order to enable the desired specific modeling of the authorization of users. Any further use of the data is not intended.

Bei der Modellierung ergeben sich typischerweise eine Anzahl von Problemen. Zum Beispiel weisen verschiedene Fahrzeugtypen, aber auch verschiedene Ausführungen von Fahrzeugen ein und desselben Typs, üblicherweise unterschiedliche Konfigurationen in Bezug auf im Fahrzeug vorhandene Sensorik auf. In einigen Fällen sind mehrere Sensoren verfügbar, in anderen Fällen nur wenige. Anzahl, Art, Qualität und sonstige Beschaffenheit der Sensorik können sich von Fahrzeug zu Fahrzeug teilweise sehr stark unterscheiden. Daher ist es oft notwendig, spezifische Modelle auf jeweils spezifische Strukturen vorhandener Sensorik anzupassen. Dies bedeutet zumeist erheblichen Aufwand bei der Entwicklung solcher Systeme, aber auch bei der Instandhaltung, Wartung und Pflege solcher Systeme.A number of problems typically arise in modeling. For example, different vehicle types, but also different versions of vehicles of one and the same type, usually have different configurations with regard to the sensors present in the vehicle. In some cases multiple sensors are available, in other cases only a few. The number, type, quality and other properties of the sensors can differ greatly from vehicle to vehicle. It is therefore often necessary to adapt specific models to the specific structures of existing sensors. This usually means considerable effort in the development of such systems, but also in the maintenance, servicing and maintenance of such systems.

Daher besteht der Bedarf an einem kombinierten Modell, welches erlaubt, Daten unterschiedlicher Sensoren in ein übergeordnetes, abstraktes Modell zu überführen, sodass eine Entwicklung und Pflege einer Vielzahl von spezifischen bzw. lokalen Modellen nicht mehr erforderlich ist.There is therefore a need for a combined model that allows data from different sensors to be transferred into a superordinate, abstract model, so that the development and maintenance of a large number of specific or local models is no longer necessary.

Weiter können mit verschiedenen Sensoren im Allgemeinen unterschiedliche, ähnliche oder im Wesentlichen die gleichen Datenerfassungen durchgeführt werden. Zu Identifizierung eines Nutzers basierend auf biometrischen Merkmalen kann beispielsweise eine Kamera verwendet werden, mit der das Gesicht eines Nutzers erfasst werden kann, oder alternativ ein Fingerabdrucksensor, mit der ein Fingerabdruck eines Nutzers erfasst werden kann. Im vorgenannten Fall kann somit eine Identifizierung entweder basierend auf Signalen der einen oder der anderen Sensorik erfolgen. Soll hingegen ein Aufmerksamkeitszustand des Nutzers erfasst werden, so kann dies wahrscheinlich nur basierend auf Signalen der Kamera (oder anderer geeigneter Sensorik) erfolgen, während der Fingerabdrucksensor für diesen Zweck nur bedingt oder gar nicht geeignet ist. Es wäre wünschenswert, wenn die Signale verschiedener Sensoren intelligent miteinander kombiniert werden könnten, um solche Effekte abzubilden bzw. in ein abstraktes Modell einfließen lassen zu können.Furthermore, different, similar or essentially the same data acquisitions can generally be carried out with different sensors. To identify a user based on biometric features, for example, a camera can be used with which the face of a user can be recorded, or alternatively a fingerprint sensor with which a fingerprint of a user can be recorded. In the above-mentioned case, identification can therefore take place either based on signals from one or the other sensor system. If, on the other hand, a state of attentiveness of the user is to be recorded, this can probably only be done on the basis of signals from the camera (or other suitable sensor system), while the fingerprint sensor is only partially or not at all suitable for this purpose. It would be desirable if the signals from various sensors could be intelligently combined with one another in order to map such effects or to be able to incorporate them into an abstract model.

Zudem ist es möglich, dass sich einzelne spezifische bzw. lokale Nutzermodelle untereinander widersprechen (oder sich gegenseitig bestätigen), ohne dass darauf aufbauende Funktionen hiervon profitieren könnten. Es wäre von Vorteil, wenn diese Effekte in einem übergeordneten Modell abgebildet und funktionsübergreifend genutzt werden könnten.In addition, it is possible that individual specific or local user models contradict each other (or mutually confirm each other) without functions based on them being able to benefit from this. It would be advantageous if these effects could be mapped in a superordinate model and used across functions.

Daher besteht weiter der Bedarf an einem kombinierten Modell, welches erlaubt, von verschiedenen Sensoriken erfasste Daten zueinander in Relation zu stellen, beispielsweise um eine Verlässlichkeit der Daten bzw. der Sensorik zu etablieren und/oder um eine Fehlfunktion besser erkennen zu können.Therefore, there is still a need for a combined model that allows data recorded by different sensor systems to be related to one another, for example in order to establish a reliability of the data or the sensor system and / or to be able to better recognize a malfunction.

Schließlich sind auf spezifischen bzw. lokalen Modellen aufbauende Funktionen oft direkt mit der darunterliegenden Modellierung und der entsprechenden Sensorik verbunden, sodass bei einem Ausfall eines oder mehrerer bestimmter Sensoren die entsprechende Funktion oder Funktionen nicht mehr zur Verfügung stehen. Dasselbe gilt in Fällen, in denen ein bestimmtes Fahrzeug oder ein bestimmter Fahrzeugtyp gar nicht erst über einen oder mehrere bestimmte Sensoren verfügt. Dieser Umstand könnte bestenfalls dadurch abgemildert werden, wenn einzelne spezifische oder lokale Modelle umständlich auf unterschiedliche Sensorik angepasst würden. Es wäre wünschenswert, solche Effekte in einem übergreifenden Modell abzubilden, sodass eine Anpassung oder Implementierung auf Teilmodellebene und/oder auf Sensorebene entfallen könnte.Finally, functions based on specific or local models are often directly linked to the underlying modeling and the corresponding sensors, so that if one or more specific sensors fail, the corresponding function or functions are no longer available. The same applies in cases in which a certain vehicle or a certain type of vehicle does not even have one or more certain sensors. This fact could at best be mitigated by using individual specific or local models would be laboriously adapted to different sensors. It would be desirable to map such effects in an overarching model so that an adaptation or implementation on the sub-model level and / or on the sensor level could be dispensed with.

Daher besteht weiter der Bedarf an einem kombinierten Modell, welches erlaubt, unterschiedliche bzw. unterschiedlichste Kombinationen von Sensoriken und deren Varianten und/oder spezifischen Eigenschaften in ein übergeordnetes Modell zu integrieren, sodass auf dem übergeordneten Modell basierende Funktionen von der Hardwareebene (z.B. Sensorik, -varianten und -kombinationen) gelöst implementiert werden können.Therefore, there is still a need for a combined model that allows different or different combinations of sensors and their variants and / or specific properties to be integrated into a higher-level model, so that functions based on the higher-level model from the hardware level (e.g. sensors, - variants and combinations) can be implemented in a relaxed manner.

Offenbarung der ErfindungDisclosure of the invention

Es ist eine Aufgabe der vorliegenden Offenbarung, Systeme und Verfahren zur Nutzermodellierung bereitzustellen, die einen oder mehrere der beschriebenen Nachteile vermeidet und/oder einen oder mehrere der beschriebenen Vorteile ermöglicht.It is an object of the present disclosure to provide systems and methods for user modeling that avoid one or more of the disadvantages described and / or enable one or more of the advantages described.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.This object is achieved by the subject matter of the independent claims. Advantageous refinements are given in the subclaims.

In einem ersten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein Verfahren zur Nutzermodellierung angegeben. Das Verfahren zur Nutzermodellierung basiert auf einem kombinierten Nutzermodell. Das Verfahren umfasst Erfassen, mittels eines oder mehrerer Sensoren von ein oder mehreren Erfassungsdaten; Modellieren der ein oder mehreren Erfassungsdaten in entsprechenden ein oder mehreren lokalen Nutzermodellen; Kombinieren der ein oder mehreren lokalen Nutzermodelle in einem kombinierten Nutzermodell; und Bereitstellen des kombinierten Nutzermodells an ein oder mehrere Verbraucherfunktionen.In a first aspect according to embodiments of the present disclosure, a method for user modeling is specified. The user modeling method is based on a combined user model. The method comprises acquiring, by means of one or more sensors, one or more acquisition data; Modeling the one or more acquisition data in corresponding one or more local user models; Combining the one or more local user models into a combined user model; and providing the combined user model to one or more consumer functions.

In einem zweiten Aspekt nach Aspekt 1 erfasst jeder der ein oder mehreren Sensoren zumindest einen Teil der ein oder mehreren Erfassungsdaten.In a second aspect according to aspect 1, each of the one or more sensors acquires at least part of the one or more acquisition data.

In einem dritten Aspekt nach einem der vorhergehenden Aspekte 1 oder 2, beinhalten die ein oder mehreren Sensoren ein oder mehrere der folgenden: ein oder mehrere optische Sensoren, ein oder mehrere akustische Sensoren, ein oder mehrere biometrische Sensoren, ein oder mehrere Sensoren, die zur Messung von Vitalfunktionen eines Nutzers konfiguriert sind, ein oder mehrere Sensoren, die zur Messung von Bedieneingaben eines Nutzers konfiguriert sind und ein oder mehrere Sensoren, die zum Erfassen ein oder mehrerer Beschleunigungskräfte konfiguriert sind.In a third aspect according to one of the preceding aspects 1 or 2, the one or more sensors include one or more of the following: one or more optical sensors, one or more acoustic sensors, one or more biometric sensors, one or more sensors that are used for Measurement of vital signs of a user are configured, one or more sensors that are configured to measure operating inputs of a user and one or more sensors that are configured to detect one or more acceleration forces.

In einem vierten Aspekt nach einem der vorhergehenden Aspekte 1 bis 3, ist mindestens eins der ein oder mehreren lokalen Nutzermodelle konfiguriert, einen Teilumfang des kombinierten Nutzermodells abzubilden. Vorzugsweise können sich ein oder mehrere Teilumfänge überschneiden.In a fourth aspect according to one of the preceding aspects 1 to 3, at least one of the one or more local user models is configured to map a partial scope of the combined user model. One or more partial scopes can preferably overlap.

In einem fünften Aspekt nach einem der vorhergehenden Aspekte 1 bis 4, modelliert zumindest eine Untermenge der ein oder mehreren lokalen Nutzermodelle dieselben, im Wesentlichen dieselben oder ähnliche ein oder mehreren Erfassungsdaten, wie eine zweite Untermenge der ein oder mehreren lokalen Nutzermodelle. Vorzugsweise ist eine Schnittmenge der ersten und zweiten Untermengen leer.In a fifth aspect according to one of the preceding aspects 1 to 4, at least a subset of the one or more local user models models the same, essentially the same or similar one or more detection data as a second subset of the one or more local user models. Preferably, an intersection of the first and second subsets is empty.

In einem sechsten Aspekt nach einem der vorhergehenden Aspekte 1 bis 5, umfasst Modellieren der ein oder mehreren Erfassungsdaten in entsprechenden ein oder mehreren lokalen Nutzermodellen: Modellieren ein oder mehrerer Erfassungsdaten eines ersten Sensors in einem entsprechenden ersten lokalen Nutzermodell. Vorzugsweise umfasst Modellieren der ein oder mehreren Erfassungsdaten in entsprechenden ein oder mehreren lokalen Nutzermodellen weiter: Modellieren ein oder mehrerer Erfassungsdaten eines zweiten Sensors in einem entsprechenden zweiten lokalen Nutzermodell, wobei der erste und zweite Sensor voneinander verschieden sind und das erste und zweite Nutzermodell voneinander verschieden sind.In a sixth aspect according to one of the preceding aspects 1 to 5, modeling the one or more acquisition data in corresponding one or more local user models comprises: modeling one or more acquisition data of a first sensor in a corresponding first local user model. Preferably, modeling the one or more acquisition data in corresponding one or more local user models further comprises: modeling one or more acquisition data of a second sensor in a corresponding second local user model, the first and second sensors being different from one another and the first and second user models being different from one another .

In einem siebten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein System zur Speicherung und Verarbeitung von Daten angegeben. Das System umfasst eine Steuereinheit, wobei die Steuereinheit konfiguriert ist, das Verfahren gemäß Ausführungsformen der vorliegenden Offenbarung auszuführen, vorzugsweise nach einem der vorhergehenden Aspekte 1 bis 6.In a seventh aspect according to embodiments of the present disclosure, a system for storing and processing data is specified. The system comprises a control unit, the control unit being configured to carry out the method according to embodiments of the present disclosure, preferably according to one of the preceding aspects 1 to 6.

In einem achten Aspekt gemäß Ausführungsformen der vorliegenden Offenbarung ist ein Fahrzeug angegeben. Das Fahrzeug umfasst ein System gemäß Ausführungsformen der vorliegenden Offenbarung, vorzugsweise nach dem vorhergehenden Aspekt 7.In an eighth aspect according to embodiments of the present disclosure, a vehicle is provided. The vehicle comprises a system according to embodiments of the present disclosure, preferably according to the preceding aspect 7.

Gemäß einem weiteren Aspekt wird ein Softwareprogramm beschrieben. Das Softwareprogramm kann eingerichtet werden, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a software program is described. The software program can be set up to run on a processor and thereby carry out the procedure described in this document.

Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein Softwareprogramm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a storage medium is described. The storage medium can comprise a software program which is set up to be executed on a processor and thereby to carry out the method described in this document.

Die hier offenbarten Systeme und Verfahren bieten ein oder mehrere der nachstehend genannten Vorteile.The systems and methods disclosed herein provide one or more of the advantages noted below.

Systeme und Verfahren gemäß der vorliegenden Offenbarung zur Nutzermodellierung ermöglichen beispielsweise, dass Daten unterschiedlicher Sensoren in ein übergeordnetes, abstraktes Modell überführt werden, sodass eine Entwicklung und Pflege einer Vielzahl spezifischer bzw. lokaler Modelle nicht mehr erforderlich ist. Dies ermöglicht eine flexiblere und nachhaltigere Modellierung und erlaubt darüber hinaus, die Effizienz und Effektivität der auf der Modellierung basierenden Funktionen zu verbessern. Weiter erlaubt dies, dass die Modelle auf eine breitere Menge von Anwendungsfällen (z.B. Fahrzeuge und/oder Fahrzeugtypen bzw. Fahrzeugvarianten) anwendbar ist.Systems and methods according to the present disclosure for user modeling make it possible, for example, for data from different sensors to be transferred to a higher-level, abstract model, so that the development and maintenance of a large number of specific or local models is no longer necessary. This enables a more flexible and sustainable modeling and also allows to improve the efficiency and effectiveness of the functions based on the modeling. This also allows the models to be applied to a broader range of applications (e.g. vehicles and / or vehicle types or vehicle variants).

Systeme und Verfahren gemäß der vorliegenden Offenbarung zur Nutzermodellierung ermöglichen weiter, dass von verschiedenen Sensoriken erfasste Daten zueinander in Relation gestellt werden können, beispielsweise um eine Verlässlichkeit der Daten bzw. der Sensorik zu etablieren und/oder um eine Fehlfunktion besser erkennen zu können. Dies kann eine Verbesserung der Zuverlässigkeit von auf der Modellierung und/oder Datenerfassung basierenden Funktionen ermöglichen. Weiter können Fehlfunktionen, insbesondere auf der Ebene der Sensorik, besser erkannt und/oder abgefangen werden.Systems and methods according to the present disclosure for user modeling further enable data recorded by different sensor systems to be related to one another, for example in order to establish a reliability of the data or the sensor system and / or to be able to better identify a malfunction. This can make it possible to improve the reliability of functions based on the modeling and / or data acquisition. Furthermore, malfunctions, in particular at the sensor level, can be better recognized and / or intercepted.

Systeme und Verfahren gemäß der vorliegenden Offenbarung zur Nutzermodellierung ermöglichen zudem, dass unterschiedliche bzw. unterschiedlichste Kombinationen von Sensoriken und deren Varianten und/oder spezifischen Eigenschaften in ein übergeordnetes Modell integriert werden können, sodass auf dem übergeordneten Modell basierende Funktionen von der Hardwareebene (z.B. Sensorik, -varianten und - kombinationen) losgelöst implementiert werden können. Dies erleichtert die Implementierung, Wartung, Aktualisierung und/oder Pflege von auf der Modellierung basierenden Funktionen.Systems and methods according to the present disclosure for user modeling also enable different or very different combinations of sensor systems and their variants and / or specific properties to be integrated into a superordinate model, so that functions based on the superordinate model from the hardware level (e.g. sensors, variants and combinations) can be implemented separately. This facilitates the implementation, maintenance, updating and / or maintenance of functions based on the modeling.

Insbesondere ermöglichen die Systeme und Verfahren gemäß der vorliegenden Offenbarung, dass eine Erfassung von Nutzereigenschaften basierend auf verschiedenen Quellen (z.B. Sensoren) und/oder basierend auf verschiedenen lokalen Nutzermodellen erfolgen kann. Beispielsweise können Emotionen eines Nutzers (z.B. Aufregung, Aggressivität, Apathie) mittels unterschiedlichster Sensoren erfasst werden, beispielsweise mittels einer Kamera im Instrumentenpanel, einer Kamera im Dach, einem Mikrofon, Lenkbewegungen des Nutzers, Puls des Nutzers und dergleichen mehr. Dabei können verschiedene Quellen und Nutzermodelle kombiniert werden oder einzeln verwendet werden.In particular, the systems and methods according to the present disclosure enable user properties to be recorded based on various sources (e.g. sensors) and / or based on various local user models. For example, emotions of a user (e.g. excitement, aggressiveness, apathy) can be recorded by means of a wide variety of sensors, for example by means of a camera in the instrument panel, a camera in the roof, a microphone, steering movements of the user, pulse of the user and the like. Different sources and user models can be combined or used individually.

Insbesondere ermöglichen die Systeme und Verfahren gemäß der vorliegenden Offenbarung, dass eine Funktion, die bestimmte Datenerfassungen, -modellierungen und/oder Informationen benötigt (z.B. Informationen über einen emotionalen Zustand des Nutzers), nur eine einzige einheitliche Quelle benötigt, beispielsweise in Form eines kombinierten Nutzermodells. Dabei ist es nicht notwendig, dass jeweils sämtliche Quellen (z.B. Sensoren, Nutzermodell) in jedem Fahrzeug vorhanden sind, da es möglich ist, dieselben oder ähnliche Datenerfassungen aus verschiedenen Quellen zu generieren und eine einheitliche, abstrakte und/oder übergeordnete Nutzermodellierung basierend darauf bereitzustellen.In particular, the systems and methods according to the present disclosure enable a function that requires certain data acquisition, modeling and / or information (e.g. information about an emotional state of the user) to only require a single uniform source, for example in the form of a combined user model . It is not necessary that all sources (e.g. sensors, user model) are present in every vehicle, as it is possible to generate the same or similar data acquisitions from different sources and to provide a uniform, abstract and / or superordinate user modeling based on this.

FigurenlisteFigure list

Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Dabei werden im Folgenden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente dieselben Bezugszeichen verwendet.

1 illustriert schematisch den Aufbau eines Systems gemäß Ausführungsformen der vorliegenden Offenbarung zur Speicherung und Verarbeitung von Daten;
2 zeigt schematisch den beispielhaften Aufbau eines Modells 300 zur Nutzermodellierung gemäß Ausführungsformen der vorliegenden Offenbarung; und
3 zeigt ein Flussdiagramm eines Verfahrens zur Nutzermodellierung gemäß Ausführungsformen der vorliegenden Offenbarung.

Exemplary embodiments of the disclosure are shown in the figures and are described in more detail below. Unless otherwise noted, the same reference symbols are used below for elements that are the same or have the same effect.

1 schematically illustrates the structure of a system according to embodiments of the present disclosure for storing and processing data;
2 shows schematically the exemplary structure of a model 300 for user modeling in accordance with embodiments of the present disclosure; and
3 FIG. 10 shows a flow diagram of a method for user modeling in accordance with embodiments of the present disclosure.

Ausführungsformen der OffenbarungEmbodiments of the disclosure

Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.Unless otherwise noted, the same reference symbols are used below for elements that are the same and have the same effect.

Der Begriff „Fahrzeug“ umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung. Fahrzeuge mit Elektroantrieb (insbesondere Hybrid- oder Elektrofahrzeuge) werden von einem Elektromotor angetrieben und umfassen elektrische Energiespeicher (z.B. Batterien, Hochvoltspeicher), die über eine Ladevorrichtung des Fahrzeugs an eine Ladestation angeschlossen und aufgeladen werden können. Zum Aufladen der elektrischen Speicher solcher Hybrid- oder Elektrofahrzeuge können verschiedene Ladetechnologien verwendet werden.The term “vehicle” includes cars, trucks, buses, mobile homes, motorcycles, etc., which are used to transport people, goods, etc. In particular, the term includes motor vehicles for passenger transport. Vehicles with electric drive (especially hybrid or electric vehicles) are driven by an electric motor and include electrical energy storage devices (e.g. batteries, high-voltage storage devices) that can be connected to a charging station and charged via a charging device in the vehicle. Various charging technologies can be used to charge the electrical storage of such hybrid or electric vehicles.

Vorzugsweise umfasst das Fahrzeug 80 eine Sensorik 210, die zumindest eine Umgebungssensorik beinhaltet, welche eingerichtet ist, um Umfelddaten zu erfassen. Preferably the vehicle comprises 80 a sensor system 210 that contains at least one environment sensor system that is set up to record environment data.

Vorzugsweise umfasst die Umgebungssensorik wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System. Die Umgebungssensorik kann die Umfelddaten (auch als „Umgebungsdaten“ bezeichnet) bereitstellen, die einen Umgebungsbereich des Fahrzeugs abbilden.The environmental sensor system preferably comprises at least one LiDAR system and / or at least one radar system and / or at least one camera and / or at least one ultrasound system. The environment sensor system can provide the environment data (also referred to as “environment data”), which depict an area around the vehicle.

Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen der vorliegenden Offenbarung ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Beim automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf einer Autobahn und/oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln.The term “automated driving” can be understood in the context of the present disclosure as driving with automated longitudinal or lateral guidance or autonomous driving with automated longitudinal and lateral guidance. Automated driving can be, for example, driving on a motorway for a longer period of time and / or driving for a limited time as part of parking or maneuvering.

Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012). Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt.The term “automated driving” includes automated driving with any degree of automation. Exemplary degrees of automation are assisted, partially automated, highly automated or fully automated driving. These degrees of automation were defined by the Federal Highway Research Institute (BASt) (see BASt publication “Research compact”, edition 11/2012). With assisted driving, the driver continuously performs longitudinal or lateral guidance, while the system takes on the other function within certain limits.

Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss. Der Fahrer muss jedoch innerhalb einer vorgegebenen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich. Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann. Ein Fahrer ist in diesem Fall generell nicht mehr erforderlich.With partially automated driving (TAF), the system takes over the longitudinal and lateral guidance for a certain period of time and / or in specific situations, whereby the driver has to continuously monitor the system as with assisted driving. With highly automated driving (HAF), the system takes over the longitudinal and lateral guidance for a certain period of time without the driver having to permanently monitor the system. However, the driver must be able to take control of the vehicle within a specified time. With fully automated driving (VAF), the system can automatically cope with driving in all situations for a specific application; a driver is no longer required for this application. The four degrees of automation mentioned above correspond to SAE levels 1 to 4 of the SAE J3016 standard (SAE - Society of Automotive Engineering). For example, highly automated driving (HAF) Level 3 corresponds to the SAE J3016 standard. In addition, SAE J3016 provides SAE level 5 as the highest level of automation, which is not included in the definition of BASt. SAE level 5 corresponds to driverless driving, in which the system can automatically handle all situations like a human driver during the entire journey. In this case, a driver is generally no longer required.

1 illustriert schematisch den Aufbau eines Systems 100 zur Nutzermodellierung gemäß Ausführungsformen der vorliegenden Offenbarung. 1 schematically illustrates the structure of a system 100 for user modeling in accordance with embodiments of the present disclosure.

Das System 100 kann im Wesentlichen auf einem Steuergerät 120 des Fahrzeugs 80 und/oder auf einer oder mehreren Backend-Komponenten 150 (z.B. Server, Dienste) implementiert werden.The system 100 can essentially be on a control unit 120 of the vehicle 80 and / or on one or more backend components 150 (e.g. server, services) are implemented.

Das Fahrzeug 80 umfasst neben dem Steuergerät 120 weiter eine Kommunikationseinheit 130, die zur Datenkommunikation 140 mit zum Fahrzeug 80 externen Komponenten (z.B. Backend 150) konfiguriert ist, und eine Benutzerschnittstelle 110, die beispielsweise als Touchscreen im Fahrzeug 80 realisiert sein kann (z.B. auf dem oder im Armaturenbereich des Fahrzeugs 80 oder als Teil eines Rear-Seat-Entertainment Systems im Fond des Fahrzeugs 80; nicht gezeigt). Die Kommunikationseinheit 130 kann weiter konfiguriert sein, eine Datenverbindung zu mobilen Endgeräten 125 bereitzustellen, insbesondere zu solchen, die sich im Fahrzeug 80 und/oder in der Umgebung des Fahrzeugs 80 befinden und/oder vom Nutzer 60 verwendet werden. Das System 100 kann weiter zumindest teilweise auf einem mobilen Endgerät 125 eines Nutzers 60 ausgeführt werden. In einigen Ausführungsformen wird das mobile Endgerät 125 und/oder eine darauf ausgeführte Benutzerschnittstelle 110' zur Interaktion mit dem System 100 verwendet. Wahlweise können auch Teile des Systems 100 auf dem mobilen Endgerät 125 implementiert sein (z.B. kryptografische Schlüssel, Komponenten zum Management kryptografischer Einstellungen).The vehicle 80 includes in addition to the control unit 120 further a communication unit 130 used for data communication 140 with to the vehicle 80 external components (e.g. backend 150 ) is configured and a user interface 110 for example as a touchscreen in the vehicle 80 can be implemented (for example on or in the dashboard area of the vehicle 80 or as part of a rear seat entertainment system in the rear of the vehicle 80 ; Not shown). The communication unit 130 can further be configured, a data connection to mobile devices 125 provide, especially for those in the vehicle 80 and / or in the vicinity of the vehicle 80 and / or by the user 60 be used. The system 100 can also be at least partially on a mobile device 125 of a user 60 are executed. In some embodiments, the mobile terminal is 125 and / or a user interface implemented thereon 110 ' to interact with the system 100 used. Optionally, parts of the system 100 on the mobile device 125 implemented (e.g. cryptographic keys, components for managing cryptographic settings).

Das System 100 kann teilweise oder vollständig über die Benutzerschnittstelle 110 im Fahrzeug 80 und/oder über die Benutzerschnittstelle 110' eines mobilen Endgerätes 125 eines Nutzers bedient werden. Die Benutzerschnittstelle 110' kann im Wesentlichen dieselben Funktionen bereitstellen, wie die Benutzerschnittstelle 110, und die gleichen bzw. im Wesentlichen dieselben Funktionen implementieren, wie nachstehend in Bezug auf die Benutzerschnittstelle 110 im Fahrzeug 80 beschrieben ist. Die Benutzerschnittstelle 110' kann weiter alle notwendigen Komponenten implementieren, die in Bezug auf Benutzerschnittstelle 110 beschrieben sind, beispielsweise Spracheingabe bzw. -ausgabe, Kameras und Bildschirme, biometrische Sensoren (z.B. Fingerabdruck Scanner, Retina Scanner) und dergleichen mehr.The system 100 can be partially or fully through the user interface 110 in the vehicle 80 and / or via the user interface 110 ' of a mobile device 125 operated by a user. The user interface 110 ' can provide essentially the same functions as the user interface 110 , and implement the same or substantially the same functions as below with respect to the user interface 110 in the vehicle 80 is described. The user interface 110 ' can further implement all necessary components related to user interface 110 are described, for example voice input or output, cameras and screens, biometric sensors (for example fingerprint scanners, retina scanners) and the like.

Das Fahrzeug 80 umfasst weiter eine Sensorik 210, insbesondere ein oder mehrere Sensoren 210-1, 210-2, ..., 210-n, in 1 lediglich schematisch angedeutet. Die Sensorik 210 bzw. die Sensoren 210-1, 210-2, ..., 210-n können sowohl interne als auch externe Sensoren beinhalten. Externe Sensoren können insbesondere eine Umgebungssensorik (wie vorstehend beschrieben) beinhalten. Aus Gründen der Übersichtlichkeit sind in 1 keine individuellen Sensoren 210-1, 210-2, ..., 210-n an einer exakten oder konkreten Position dargestellt.The vehicle 80 further comprises a sensor system 210 , in particular one or more sensors 210-1 , 210-2 , ..., 210-n , in 1 only indicated schematically. The sensors 210 or the sensors 210-1 , 210-2 , ..., 210-n can contain both internal and external sensors. External sensors can in particular contain an environmental sensor system (as described above). For the sake of clarity, in 1 no individual sensors 210-1 , 210-2 , ..., 210-n shown at an exact or concrete position.

Interne Sensoren 210-1, 210-2, ..., 210-n können insbesondere konfiguriert sein, einen Nutzer 60 und/oder ein oder mehrere Fahrzeuginsassen im Fahrzeug 80 zu erfassen. Im Rahmen der vorliegenden Offenbarung wird auf Fahrzeuginsassen allgemein mit dem Begriff „Nutzer“ Bezug genommen, ungeachtet einer konkreten Nutzung des Nutzers 60 (z.B. in der Rolle eines Fahrers, Beifahrers, Passagiers, Fahrgastes, Insassen oder Sozius'). Die Sensorik 210 ist in 1 lediglich beispielhaft skizziert und kann mehrere Komponenten beinhalten, insbesondere Sensoren 210-1, 210-2, ..., 210-n, welche an verschiedenen Stellen in bzw. am Fahrzeug 80 angeordnet sind.Internal sensors 210-1 , 210-2 , ..., 210-n can in particular be configured to be a user 60 and / or one or more vehicle occupants in the vehicle 80 capture. In the context of the present disclosure, vehicle occupants are generally referred to by the term “user”, regardless of a specific use by the user 60 (e.g. in the role of a driver, co-driver, passenger, passenger, occupant or pillion passenger). The sensors 210 is in 1 only outlined by way of example and can contain several components, in particular sensors 210-1 , 210-2 , ..., 210-n , which in different places in or on the vehicle 80 are arranged.

Die Sensorik 210 kann beispielsweise ein oder mehrere Kameras beinhalten, die konfiguriert sind, den Innenraum des Fahrzeugs, insbesondere einen Nutzer 60 des Fahrzeugs, zu erfassen und so beispielsweise Bilder vom Gesicht des Nutzers 60 zu erfassen. Um den Nutzer 60 zu erfassen, können weitere Komponenten vorgesehen sein, beispielsweise eine oder mehrere Sensoren 210-1, 210-2, ..., 210-n, die eine Gestensteuerung implementieren (z.B. Zeigen, Deuten, Wischen auf das/dem zentrale Informationsdisplay (CID), ohne einen Touchscreen verwenden zu müssen). Die Sensorik 210 kann weiter ein oder mehrere Kameras beinhalten, die ein Umfeld um das Fahrzeug herum erfassen. Basierend darauf kann ein Nutzer 60 bereits außerhalb vom Fahrzeug erfasst werden (z.B. zur Identifizierung, zum Abgleich von Dokumenten oder Abbildungen vom Nutzer 60). Wie vorstehend erwähnt ist, kann die Sensorik 210 auch ganz oder teilweise im mobilen Endgerät 125 beinhaltet sein.The sensors 210 may for example contain one or more cameras that are configured to view the interior of the vehicle, in particular a user 60 of the vehicle, such as images of the user's face 60 capture. To the user 60 to detect, further components can be provided, for example one or more sensors 210-1 , 210-2 , ..., 210-n who implement gesture control (e.g. pointing, pointing, swiping on the central information display (CID) without having to use a touchscreen). The sensors 210 can further include one or more cameras that capture an environment around the vehicle. Based on this, a user can 60 are already recorded outside of the vehicle (e.g. for identification, for comparing documents or images from the user 60 ). As mentioned above, the sensor system 210 also in whole or in part in the mobile device 125 be included.

Die Sensorik 210 kann vorzugsweise beinhalten: ein oder mehrere optische Sensoren (z.B. Kameras, Fotosensoren), ein oder mehrere akustische Sensoren (z.B. Mikrophone), ein oder mehrere biometrische Sensoren (z.B. Kameras, Fingerabdrucksensoren), ein oder mehrere Sensoren, die zur Messung von Vitalfunktionen eines Nutzers 60 konfiguriert sind (z.B. Messung von Lidschlag, Durchblutung, Herzfrequenz, Blutdruck, Blickführung und/oder Blickrichtung), ein oder mehrere Sensoren, die zur Messung von Bedieneingaben eines Nutzers 60 konfiguriert sind (z.B. Lenkrad, Pedale, Schalter, Knöpfe etc. in einem Fahrzeug 80) und ein oder mehrere Sensoren, die zum Erfassen ein oder mehrerer Beschleunigungskräfte konfiguriert sind (z.B. Längs- und/oder Querbeschleunigung, Vibrationen).The sensors 210 can preferably include: one or more optical sensors (e.g. cameras, photo sensors), one or more acoustic sensors (e.g. microphones), one or more biometric sensors (e.g. cameras, fingerprint sensors), one or more sensors that measure the vital functions of a user 60 configured (e.g. measurement of blinking, blood flow, heart rate, blood pressure, gaze guidance and / or direction of gaze), one or more sensors which are used to measure operator input from a user 60 configured (e.g. steering wheel, pedals, switches, buttons etc. in a vehicle 80 ) and one or more sensors that are configured to detect one or more acceleration forces (eg longitudinal and / or transverse acceleration, vibrations).

Die Sensorik 210 kann weiter ein oder mehrere Sensoren 210-1, 210-2, ..., 210-n beinhalten, die in Software implementiert sind. Von solchen in Software realisierten Sensoren können unterschiedlichste Daten erfasst werden, beispielsweise eine Anzahl an Nachrichten, die für einen Nutzer 60 eingegangen sind, eine Frequenz, Dauer und/oder Häufigkeit von Anrufen, die ein Nutzer 60 geführt hat, eine Quantifizierung von Aktionen eines Nutzers 60 im Fahrzeug 80 und dergleichen mehr.The sensors 210 can also have one or more sensors 210-1 , 210-2 , ..., 210-n that are implemented in software. A wide variety of data can be recorded by such sensors implemented in software, for example a number of messages for a user 60 received, a frequency, duration and / or frequency of calls that a user 60 has led to a quantification of a user's actions 60 in the vehicle 80 and the like.

Die Sensorik 210 kann weiter ein oder mehrere Mikrofone beinhalten, die zur akustischen Erfassung (z.B. von Geräuschen, Sprache, Musik, Signalen) konfiguriert sind. Die Sensorik 210 kann weiter optische Sensoren beinhalten, die zur optischen bzw. visuellen Erfassung konfiguriert sind. Sie Sensorik 210 kann weiter ein oder mehrere Sensoren beinhalten, die zur Erfassung von Nutzereingaben und/oder von Aktionen des Nutzers 60 konfiguriert sind. Dies kann beispielsweise eine Betätigung von Steuerelementen des Fahrzeugs 80 umfassen (z.B. Lenkrad, Hebel, Pedale, Schalter, Knöpfe, Regler, Schieber, Touchscreen) und/oder eine aktuelle Einstellung von Komponenten im Fahrzeug 80 (z.B. Sitzverstellung, Sitzposition, Lenkradposition, Stellung von Türen/Fenstern/Schiebedächern). Die Sensorik 210 kann weiter ein oder mehrere biometrische Sensoren beinhalten, die konfiguriert sind, biometrische (z.B. Fingerabdruck, Irismuster) und/oder biologische Daten (z.B. Puls, Pulskurve, Blutdruck, Körpertemperatur, Respiration, Transpiration, EKG oder EKG-ähnliche Daten) zu erfassen.The sensors 210 can further contain one or more microphones that are configured for acoustic detection (eg of noises, speech, music, signals). The sensors 210 can further include optical sensors that are configured for optical or visual detection. You sensory 210 can further include one or more sensors that are used to record user inputs and / or actions by the user 60 configured. This can, for example, be an actuation of control elements of the vehicle 80 include (e.g. steering wheel, levers, pedals, switches, buttons, controls, sliders, touchscreen) and / or a current setting of components in the vehicle 80 (e.g. seat adjustment, seat position, steering wheel position, position of doors / windows / sunroofs). The sensors 210 can further include one or more biometric sensors that are configured to record biometric (eg fingerprint, iris pattern) and / or biological data (eg pulse, pulse curve, blood pressure, body temperature, respiration, perspiration, EKG or EKG-like data).

Die Benutzerschnittstelle 110 kann eine oder mehrere multimodale Benutzerschnittstellen, insbesondere Benutzerschnittstellen, die für die Bedienung des Fahrzeugs 80 konfiguriert sind (z.B. Kommunikation, Infotainment, Klimatisierung, Sitzeinstellung, Fahrzeugeinstellungen) umfassen. Die Benutzerschnittstelle 110 ermöglicht die multimodale Erfassung von Eingaben eines Nutzers 60, beispielsweise über eine grafische Benutzeroberfläche (z.B. Touchscreen), über klassische Bedienelemente des Fahrzeugs 80 (z.B. Knöpfe, Schalter, iDrive Controller), per Sprachsteuerung (z.B. mittels Sensorik 210), per Scanner (z.B. für Fingerabdrücke, Retina) und dergleichen mehr. Die Benutzerschnittstelle 110 ermöglicht weiter die multimodale Ausgabe von Informationen an einen Nutzer 60, beispielsweise über eine grafische Anzeigeelemente (z.B. Touchscreen, Head-Up Display, Instrumentenkombi, zentrales Informationsdisplay bzw. CID), über taktile Elemente (z.B. Vibration des Lenkrads oder von Teilen des Sitzes), per Sprachausgabe über eine im Fahrzeug vorhandene Lautsprecheranlage (z.B. Infotainmentsystem) oder akustische Signalgeber (z.B. Gong, Piepser) und dergleichen mehr. Die Benutzerschnittstelle 110 können basierend auf entsprechenden Konfigurationsdaten eine grafische Benutzerschnittstelle implementieren, in der Anzeigeelemente und Bedienungselemente dargestellt werden, die vom Nutzer 60 für die Bedienung des Fahrzeugs 80 genutzt werden können. Zusätzlich bzw. alternativ kann die Benutzerschnittstelle (weitere) Anzeige- und Bedienelemente beinhalten, beispielsweise Schalter, Knöpfe und Anzeigen.The user interface 110 can have one or more multimodal user interfaces, in particular user interfaces that are used for operating the vehicle 80 configured (e.g. communication, infotainment, air conditioning, seat settings, vehicle settings). The user interface 110 enables the multimodal recording of input from a user 60 , for example via a graphical user interface (e.g. touchscreen), via classic vehicle controls 80 (e.g. buttons, switches, iDrive controller), by voice control (e.g. by means of sensors 210 ), by scanner (e.g. for fingerprints, retina) and the like. The user interface 110 further enables the multimodal output of information to a user 60 , for example via graphic display elements (e.g. touchscreen, head-up display, instrument cluster, central information display or CID), via tactile elements (e.g. vibration of the steering wheel or parts of the seat), by voice output via a loudspeaker system in the vehicle (e.g. infotainment system ) or acoustic signal generators (e.g. gong, Beeper) and the like. The user interface 110 can implement a graphical user interface based on corresponding configuration data, in which display elements and operating elements are shown that the user 60 for operating the vehicle 80 can be used. Additionally or alternatively, the user interface can contain (further) display and operating elements, for example switches, buttons and displays.

Über die Kommunikationseinheit 130 kann das Steuergerät 120 mit (externen) Backend Komponenten und Diensten 150 in Datenkommunikation 140 treten und so beispielsweise mit Backend Servern und/oder Diensten 150 kommunizieren. Alternativ oder zusätzlich kann das Steuergerät 120 über die Kommunikationseinheit 130 mit dem mobilen Endgerät 125 eines Nutzers 60 in Datenkommunikation treten und Daten und/oder Sensoren verwenden, die vom mobilen Endgerät 125 bereitgestellt werden (wie vorstehend beschrieben). Die Sensorik 210 kann um etwaige im mobilen Endgerät 125 eines Nutzers 60 vorhandene Sensoren (z.B. Kamera, Fingerabdrucksensor, Mikrofon, Beschleunigungs- bzw. Lagesensoren, Kompass, Temperatursensor, etc.) und/oder um mittels der im mobilen Endgerät 125 realisierbare Sensorfunktionen (z.B. Pulsmessung mittels im mobilen Endgerät 125 vorhandener Kamera oder optischem Sensor) erweitert werden. Eine Anbindung einer solchen zusätzlichen Sensorik kann mittels drahtloser Datenverbindung (oder mittels anderer Techniken, z.B. kabelgebunden) realisiert sein.Via the communication unit 130 can the control unit 120 with (external) backend components and services 150 in data communication 140 and so for example with backend servers and / or services 150 communicate. Alternatively or additionally, the control device 120 via the communication unit 130 with the mobile device 125 of a user 60 enter into data communication and use data and / or sensors from the mobile device 125 provided (as described above). The sensors 210 can be any in the mobile device 125 of a user 60 existing sensors (e.g. camera, fingerprint sensor, microphone, acceleration or position sensors, compass, temperature sensor, etc.) and / or by means of the in the mobile device 125 Realizable sensor functions (e.g. pulse measurement using the mobile device 125 existing camera or optical sensor). A connection of such an additional sensor system can be implemented by means of a wireless data connection (or by means of other techniques, for example wired).

Weiter kann das System 100 eine oder mehrere zum Fahrzeug 80 externe Backend Komponente 150 oder Infrastruktur aufweisen, die ein oder mehrere Ressourcen (z.B. Server, Dienste/Services) bereitstellen. Die ein oder mehreren Backend Komponenten 150 können zeitweise oder dauerhaft mit dem Steuergerät 120 des Fahrzeugs 80 und/oder mit dem mobilen Endgerät 125 in Datenkommunikation 140 stehen. Vorzugsweise können ressourcenintensive Verarbeitungsschritte (z.B. Verarbeitung natürlicher Sprache und/oder von Bild bzw. Videodaten, Spracherkennung, Verarbeitung großer externer Datenmengen) an die externe Backend Komponente 150 ausgelagert werden, die durch das Steuergerät 120 im Fahrzeug 80 und/oder durch das mobile Endgerät 125 nur schwer oder gar nicht vorgenommen werden könnten. Hierbei kann auch auf eventuelle Anforderungen bzgl. Rechenleistung, Speicherleistung, verfügbarer Bandbreite, Anbindung an externe Datenquellen und dergleichen mehr, Rücksicht genommen werden.The system can continue 100 one or more to the vehicle 80 external backend component 150 or have an infrastructure that provides one or more resources (eg servers, services). The one or more backend components 150 can temporarily or permanently with the control unit 120 of the vehicle 80 and / or with the mobile device 125 in data communication 140 stand. Resource-intensive processing steps (for example processing natural language and / or image or video data, speech recognition, processing large external data volumes) can preferably be sent to the external backend component 150 that are outsourced by the control unit 120 in the vehicle 80 and / or by the mobile terminal 125 difficult or impossible to do. In this context, possible requirements with regard to computing power, storage capacity, available bandwidth, connection to external data sources and the like can also be taken into account.

Eine auf dem Steuergerät 120 ausgeführte Softwarekomponente kann eine Datenverbindung 140 zu ein oder mehreren Diensten 150, beispielsweise Dienste für die Verarbeitung von Daten 125 oder Machine Learning Dienste, herstellen. Eine solche Verbindung kann vorzugsweise direkt über die Kommunikationseinheit 130 hergestellt werden. Eine solche Verbindung kann alternativ oder zusätzlich über ein vom Nutzer mit dem Fahrzeug 80 verbundenes mobiles Endgerät 125 erfolgen. Hierbei können dann von der Softwarekomponente alle Dienste, Plattformen und Protokolle genutzt werden, die vom mobilen Endgerät 125 unterstützt werden.One on the control unit 120 Executed software component can have a data connection 140 to one or more services 150 such as data processing services 125 or machine learning services. Such a connection can preferably be made directly via the communication unit 130 getting produced. Such a connection can alternatively or additionally via a connection between the user and the vehicle 80 connected mobile device 125 respectively. In this case, all services, platforms and protocols can be used by the software component that are available from the mobile device 125 get supported.

2 zeigt schematisch den beispielhaften Aufbau eines Modells 200 zur Nutzermodellierung gemäß Ausführungsformen der vorliegenden Offenbarung. Das Modell 200 kann grob in verschiedene Schichten 210s, 220s, 230s, 240s gegliedert werden, wobei die Sensorik 210 die Schicht 210s bildet (z.B. hardwarenahe Schicht), ein oder mehrere Nutzermodelle 220-1, 220-2, ..., 220-n die Schicht 220s bildet (z.B. Schicht lokaler Nutzermodelle), das Nutzermodell 230 die Schicht 230s bildet und ein oder mehrere Nutzermodellverbrauchsfunktionen 240-1, 240-2, ..., 240-m die Schicht 240s (z.B. Schicht der Funktionen, die auf dem Modell 200 basierte Daten verarbeiten). Gemäß der vorliegenden Offenbarung sind folgende Konzepte vorgesehen. 2 shows schematically the exemplary structure of a model 200 for user modeling in accordance with embodiments of the present disclosure. The model 200 can roughly in different layers 210s , 220s , 230s , 240s be broken down, with the sensors 210 the layer 210s forms (e.g. hardware-related layer), one or more user models 220-1 , 220-2 , ..., 220-n the layer 220s forms (e.g. layer of local user models), the user model 230 the layer 230s forms and one or more user model consumption functions 240-1 , 240-2 , ..., 240-m the layer 240s (e.g. layer of functions on the model 200 process based data). In accordance with the present disclosure, the following concepts are contemplated.

Es ist eine Entkopplung der Sensorik 210 von Funktionen 240, die durch die Sensorik 210 erfasste Daten verarbeiten, durch eine oder mehrere Zwischenschichten 230s, 220s vorgesehen, insbesondere durch ein kombiniertes Nutzermodell 230 und vorzugsweise durch ein oder mehrere lokale Nutzermodelle 220-1, 220-2, ..., 220-n. Beispielhafte Funktionen 240 beinhalten kognitiven und/oder emotionale Insassenbeobachtung. Dies erleichtert die Realisierung von auf einzelne oder mehrere Modelle zugreifenden Funktionen, für die eine Datenerfassung somit transparent, d.h. ohne besondere Kenntnis der Mechanismen der Datenerfassung (z.B. welche Sensorik welche Art von Daten bereitstellt) und/oder Modellierung (z.B. welches lokales Modell verwendet wird), dargestellt werden kann.It is a decoupling of the sensors 210 of functions 240 that through the sensors 210 process captured data through one or more intermediate layers 230s , 220s provided, in particular through a combined user model 230 and preferably through one or more local user models 220-1 , 220-2 , ..., 220-n . Exemplary functions 240 include cognitive and / or emotional occupant observation. This facilitates the implementation of functions that access individual or multiple models, for which data acquisition is thus transparent, i.e. without special knowledge of the data acquisition mechanisms (e.g. which sensors provide which type of data) and / or modeling (e.g. which local model is used) , can be displayed.

Es ist weiter eine Abstraktion der Beobachtungen bzw. Datenerfassungen einzelner Sensoren 210-1, 210-2, ..., 210-n und deren (z.B. kognitiven und/oder emotionalen) Nutzermodelle 220-1, 220-2, ..., 220-n in einem übergreifenden Modell (bzw. in einem kombinierten Nutzermodell 230; z.B. ein homogenes Insassenmodell) vorgesehen. Dies erleichtert eine übergreifende Nutzung der einzelnen Nutzermodelle 220-1, 220-2, ..., 220-n basierend auf einem übergreifenden Modell (d.h. es ist keine z.B. keine Anpassung von Nutzermodell zu Nutzermodell notwendig, insbesondere wenn gleiche oder ähnliche Daten erfasst und/oder modelliert werden).It is also an abstraction of the observations or data acquisition of individuals Sensors 210-1 , 210-2 , ..., 210-n and their (e.g. cognitive and / or emotional) user models 220-1 , 220-2 , ..., 220-n in a comprehensive model (or in a combined user model 230 ; eg a homogeneous occupant model) is provided. This makes it easier to use the individual user models across the board 220-1 , 220-2 , ..., 220-n based on an overarching model (ie there is no need, for example, no adaptation of user model to user model, in particular if the same or similar data is recorded and / or modeled).

Es ist weiter die Möglichkeit vorgesehen, ähnliche, gleiche oder identische abstrakte Beobachtungen bzw. Datenerfassungen aus verschiedenen Sensoren 210-1, 210-2, ..., 210-n und deren Modellen 220-1, 220-2, ..., 220-n zu versorgen. Dabei ist insbesondere vorgesehen (z.B. analog zu „Plug-In“ Mechanismen) einen Austausch, Auswahl verschiedener und/oder Kompensation (z.B. bei Fehlen eines bestimmten Modells) von Nutzermodellen 220-1, 220-2, ..., 220-n, vorzugsweise einschließlich zugrunde liegender Sensorik 210-1, 210-2, ..., 210-n, zu ermöglichen.There is also the possibility of similar, identical or identical abstract observations or data acquisitions from different sensors 210-1 , 210-2 , ..., 210-n and their models 220-1 , 220-2 , ..., 220-n to supply. In particular, an exchange, selection of different and / or compensation (eg in the absence of a certain model) of user models is provided (eg analogous to “plug-in” mechanisms) 220-1 , 220-2 , ..., 220-n , preferably including the underlying sensors 210-1 , 210-2 , ..., 210-n to enable.

Konsumierende Funktionen 240-1, 240-2, ... 240-m können basierend auf den vorliegend offenbarten Konzepten primär derart angelegt werden, als dass lediglich bestimmt werden muss, welche Information benötigt wird, und nicht, wie diese Information erfasst und/oder (lokal) modelliert werden muss.Consuming functions 240-1 , 240-2 , ... 240-m can, based on the concepts disclosed herein, primarily be created in such a way that it is only necessary to determine which information is required and not how this information must be recorded and / or (locally) modeled.

In einem ersten Beispiel soll ein Müdigkeitszustand eines Nutzers 60 (insbesondere, wenn es sich um den Fahrer eines Fahrzeugs 80 handelt) ermittelt werden. Hierzu können mehrere Sensoren 210-1, 210-2, ..., 210-n verwendet werden. Ein Lenkverhalten (z.B. langsam, hektisch, ungleichmäßig) des Nutzers 60 kann über einen Lenkwinkelsensor erfasst werden. Eine Blickführung des Nutzers 60 (z.B. Richtung, Wechsel, Lidbewegungen) kann über einen optischen Sensor (z.B. DCS Kamera) erfasst werden. Eine Herzfrequenz des Nutzers 60 kann über einen Sensor im Lenkrad erfasst werden. Weiter kann eine Analyse von Gesprächen des Nutzers 60 (z.B. im Fahrzeug 80 oder über eine Telefonverbindung) mittels eines Mikrofons erfolgen. Alle vorstehend genannten Sensoren bzw. Datenerfassungen können einen Aufschluss über einen Aufmerksamkeits- bzw. Müdigkeitszustand des Nutzers 60 liefern. Dabei werden lokal erfasste Daten (z.B. Lenkwinkeldaten, Video, Audio, Pulsdaten) lokal modelliert und an das kombinierte Nutzermodell 230 bereitgestellt. Dort können die einzelnen Daten kombiniert, abstrahiert und insbesondere auf Schlüssigkeit geprüft werden (z.B. können einzelne abweichende Daten - beispielsweise aufgrund eines defekten Sensors - ausgeblendet werden. Eine entsprechende konsumierende Funktion 240-1, 240-2, ..., 240-m kann dann einen Aufmerksamkeits- bzw. Müdigkeitszustand des Nutzers 60 basierend auf dem kombinierten Nutzermodell 230 ermitteln.In a first example, a tiredness of a user 60 (especially if it is the driver of a vehicle 80 trades). Several sensors 210-1 , 210-2 , ..., 210-n be used. A steering behavior (e.g. slow, hectic, uneven) by the user 60 can be detected by a steering angle sensor. A guiding view of the user 60 (e.g. direction, change, eyelid movements) can be recorded via an optical sensor (e.g. DCS camera). A heart rate of the user 60 can be recorded by a sensor in the steering wheel. An analysis of conversations made by the user can also be performed 60 (e.g. in the vehicle 80 or over a telephone connection) using a microphone. All of the above-mentioned sensors or data recordings can provide information about a state of alertness or fatigue of the user 60 deliver. In doing so, locally recorded data (eg steering angle data, video, audio, pulse data) are modeled locally and transferred to the combined user model 230 provided. There the individual data can be combined, abstracted and, in particular, checked for conclusiveness (for example, individual deviating data - for example due to a defective sensor - can be hidden. A corresponding consuming function 240-1 , 240-2 , ..., 240-m can then cause the user to be alert or tired 60 based on the combined user model 230 determine.

In einem zweiten Beispiel soll eine Fähigkeit eines Nutzers 60 zur Übernahme der Kontrolle eines Fahrzeugs 80 ermittelt werden. Hierbei kann analog zum ersten Beispiel verfahren werden. Zusätzlich kann eine kognitive Komponente berücksichtigt werden, sodass eine Konzentration und/oder kognitive Belastung des Nutzers 60, welche über die gleichen oder weitere Sensoren 210-1, 210-2, ..., 210-n lokal erfasst und mittelbar über lokale Nutzermodelle 220-1, 220-2, ..., 220-n in das kombinierte Nutzermodell 230 übernommen werden kann, ebenfalls in die Ermittlung aufgenommen wird. Die Fähigkeit eines Nutzers 60 zur Übernahme der Kontrolle des Fahrzeugs 80 kann dann wie vorstehend in Bezug auf das erste Beispiel beschrieben ist, ermittelt werden.In a second example, a skill of a user 60 to take control of a vehicle 80 be determined. You can proceed in the same way as the first example. In addition, a cognitive component can be taken into account, so that a concentration and / or cognitive load on the user 60 which have the same or additional sensors 210-1 , 210-2 , ..., 210-n recorded locally and indirectly via local user models 220-1 , 220-2 , ..., 220-n in the combined user model 230 can be taken over, is also included in the determination. A user's ability 60 to take control of the vehicle 80 can then be determined as described above in relation to the first example.

Weitere Beispiele beinhalten eine Bedienung des Fahrzeugs 80 (z.B. Infotainmentfunktionen, Navigation), ein Wohlbefinden des Nutzers 60, oder einen emotionalen Zustand des Nutzers 60. Ein Sensor bzw. Service A erkennt beispielsweise Teilumfänge A eines emotionalen Nutzermodells (z.B. emotionales Nutzermodell 220-i aus Nutzermodellen 220-1, 220-2, ..., 220-n):

• „anger“: 9.29041E-06,
• „contempt“: 0.000118981574,
• „disgust“: 3.15619363E-05,
• „fear“: 0.000589638

Further examples include operating the vehicle 80 (e.g. infotainment functions, navigation), a well-being of the user 60 , or an emotional state of the user 60 . A sensor or service A detects, for example, partial scopes A of an emotional user model (eg emotional user model 220-i from user models 220-1 , 220-2 , ..., 220-n) :

• "anger": 9.29041E-06,
• "contempt": 0.000118981574,
• "disgust": 3.15619363E-05,
• "fear": 0.000589638

Alternativ oder zusätzlich erkennt ein Sensor bzw. Service B beispielsweise Teilumfänge B des emotionalen Nutzermodells 220-i:

• „happiness“: 0.06630674,
• „neutral“: 0.00555004273,
• „sadness“ : 7.44669524E-06,
• „surprise“: 0.9273863

Alternatively or additionally, a sensor or service B detects, for example, partial scopes B of the emotional user model 220-i :

• "happiness": 0.06630674,
• "neutral": 0.00555004273,
• "sadness": 7.44669524E-06,
• "surprise": 0.9273863

Alternativ oder zusätzlich verwendet ein Sensor bzw. Service C ein anderes Nutzermodell (z.B. Nutzermodell 220-j ungleich Nutzermodell 220-i aus Nutzermodellen 220-1, 220-2, ..., 220-n) und modelliert beispielsweise „sadness“ in Form von:

• „score“: 0.771241, „tone_id“: „sadness“, „tone_name“: „Sadness“

Alternatively or additionally, a sensor or service C uses a different user model (for example user model 220-j unequal to user model 220-i from user models 220-1 , 220-2 , ..., 220-n ) and models, for example, "sadness" in the form of:

• "score": 0.771241, "tone_id": "sadness", "tone_name": "Sadness"

Alternativ oder zusätzlich verwendet ein Sensor bzw. Service D:

• public class PlayerEmotions : ImageResultsListener { public float currentSmile; public float currentInterocularDistance; public float currentContempt; public float currentValence; public float currentAnger; public float currentFear; public FeaturePoint[] featurePointsList; }

Alternatively or additionally, a sensor or service D uses:

• public class PlayerEmotions: ImageResultsListener {public float currentSmile; public float currentInterocularDistance; public float currentContempt; public float currentValence; public float currentAnger; public float currentFear; public FeaturePoint [] featurePointsList; }

3 zeigt ein Flussdiagramm eines Verfahrens 300 zur Nutzermodellierung gemäß Ausführungsformen der vorliegenden Offenbarung. Das Verfahren beginnt bei Schritt 301. In Schritt 302 werden mittels eines oder mehrerer Sensoren 210-1, 210-2, ..., 210-n ein oder mehrere Erfassungsdaten erfasst. In Schritt 304 werden die ein oder mehreren Erfassungsdaten in entsprechenden ein oder mehreren lokalen Nutzermodellen 220-1, 220-2, ..., 220-n. In Schritt 306 werden die ein oder mehreren lokalen Nutzermodelle 220-1, 220-2, ..., 220-n in einem kombinierten Nutzermodell 230 kombiniert. In Schritt 308 wird das kombinierten Nutzermodells (230) an ein oder mehrere Verbraucherfunktionen (240-1, 240-2, ..., 240-m). Das Verfahren endet bei Schritt 320. 3 shows a flow diagram of a method 300 for user modeling in accordance with embodiments of the present disclosure. The procedure starts at step 301 . In step 302 are by means of one or more sensors 210-1 , 210-2 , ..., 210-n one or more acquisition data recorded. In step 304 are the one or more acquisition data in corresponding one or multiple local user models 220-1 , 220-2 , ..., 220-n . In step 306 become the one or more local user models 220-1 , 220-2 , ..., 220-n in a combined user model 230 combined. In step 308 the combined user model ( 230 ) to one or more consumer functions ( 240-1 , 240-2 , ..., 240-m ). The procedure ends at step 320 .

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in more detail by preferred exemplary embodiments, the invention is not restricted by the disclosed examples and other variations can be derived therefrom by the person skilled in the art without departing from the scope of protection of the invention. It is therefore clear that there is a multitude of possible variations. It is also clear that embodiments cited by way of example really only represent examples that are not to be interpreted in any way as a limitation, for example, of the scope of protection, the possible applications or the configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to specifically implement the exemplary embodiments, whereby the person skilled in the art, with knowledge of the disclosed inventive concept, can make various changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without the To leave the scope of protection defined by the claims and their legal equivalents, such as further explanations in the description.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 2014/0200737 A1 [0003]

Zitierte Nicht-PatentliteraturNon-patent literature cited

Standard SAE J3016 [0036]

Claims

Method (300) for user modeling based on a combined user model (230), the method (300) comprising: Acquisition (302), by means of one or more sensors (210-1, 210-2, ..., 210-n) of one or more acquisition data; Modeling (304) the one or more acquisition data in corresponding one or more local user models (220-1, 220-2, ..., 220-n); Combining (306) the one or more local user models (220-1, 220-2, ..., 220-n) in a combined user model (230); and Providing (308) the combined user model (230) to one or more consumer functions (240-1, 240-2, ..., 240-m).

Method (300) according to the preceding Claim 1 wherein each of the one or more sensors (210-1, 210-2, ..., 210-n) captures at least a portion of the one or more detection data.

Method (300) according to one of the preceding Claims 1 or 2 , wherein the one or more sensors (210-1, 210-2, ..., 210-n) include one or more of the following: one or more optical sensors, one or more acoustic sensors, one or more biometric sensors, a or a plurality of sensors configured to measure vital signs of a user (60), one or more sensors configured to measure operating inputs of a user (60) and one or more sensors configured to detect one or more acceleration forces.

Method (300) according to one of the preceding Claims 1 to 3 , wherein at least one of the one or more local user models (220-1, 220-2, ..., 220-n) is configured to map a subset of the combined user model (230); preferably where one or more partial scopes can overlap.

Method (300) according to one of the preceding Claims 1 to 4th , wherein at least a subset of the one or more local user models (220-1, 220-2, ..., 220-n) models the same, essentially the same or similar one or more acquisition data as a second subset of the one or more local User models (220-1, 220-2, ..., 220-n); preferably wherein an intersection of the first and second subsets is empty.

Method (300) according to one of the preceding Claims 1 to 5 , wherein modeling the one or more acquisition data in corresponding one or more local user models (220-1, 220-2, ..., 220-n) comprises: modeling one or more acquisition data of a first sensor (210-1, 210-2 , ..., 210-n) in a corresponding first local user model (220-1, 220-2, ..., 220-n); preferably further comprising modeling one or more acquisition data from a second sensor (210-1, 210-2, ..., 210-n) in a corresponding second local user model (220-1, 220-2, ..., 220-n) ), wherein the first and second sensors are different from each other and the first and second user models are different from each other.

System (100) for storing and processing data (125), the system (100) comprising a control unit (120), wherein the control unit (120) is configured, the method (300) according to one of the preceding Claims 1 to 6th execute.

Vehicle (80) comprising a system (100) according to the preceding Claim 7 .