DE102023003005A1

DE102023003005A1 - Method for customizing the display content of a display unit

Info

Publication number: DE102023003005A1
Application number: DE102023003005.8A
Authority: DE
Inventors: Alexander Hanuschkin; Dimitra Theofanou-Fuelbier
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-07-24
Filing date: 2023-07-24
Publication date: 2023-09-07

Abstract

Die Erfindung betrifft ein Verfahren zum individuellen Gestalten eines Anzeigeeinhaltes einer Anzeigeeinheit (3) zumindest in einem Fahrzeug (1), welches eine Umgebungssensorik aufweist, mittels welcher zumindest im Fahrbetrieb des Fahrzeuges (1) fortlaufend Sensorinformationen erfasst werden, anhand welcher eine Umgebung des Fahrzeuges (1) und sich in dieser befindende Objekte (O) erkannt werden. Erfindungsgemäß ist vorgesehen, dass nach Aktivieren einer Bildgeneration eines fahrzeugseitigen Anwendungsprogrammes durch einen Nutzer des Fahrzeuges (1)- mittels des Nutzers ein Sensorbereich innerhalb eines Erfassungsbereiches (E) der Umgebungssensorik ausgewählt wird oder ein in einer auf maschinellem Sehen basierenden Perzeption erkanntes Objekt (O) sowie dessen Interaktion ausgewählt werden,- mittels generativer Methoden maschinellen Lernens aus einem mittels Perzeption in dem ausgewählten Sensorbereich extrahierten und/oder selektierten Objekt (O) ein Bild und/oder eine Bildsequenz und/oder ein Sound und/oder eine Soundsequenz erzeugt werden beziehungsweise wird und- das erzeugte Bild und/oder die erzeugte Bildsequenz mittels der Anzeigeeinheit (3) optisch und/oder der erzeugte Sound und/oder die erzeugte Soundsequenz mittels eines Lautsprechers akustisch ausgegeben werden beziehungsweise wird.The invention relates to a method for individually designing the display content of a display unit (3) in at least one vehicle (1), which has an environment sensor system, by means of which sensor information is continuously recorded at least when the vehicle (1) is being driven, and on the basis of which an environment of the vehicle ( 1) and objects (O) located in this can be recognized. According to the invention, it is provided that after a user of the vehicle (1) has activated an image generation of a vehicle-side application program - by means of the user a sensor area within a detection area (E) of the environmental sensors is selected or an object (O) recognized in a perception based on machine vision and its interaction are selected,- an image and/or an image sequence and/or a sound and/or a sound sequence are or will be generated by means of generative methods of machine learning from an object (O) extracted and/or selected by means of perception in the selected sensor area and the generated image and/or the generated image sequence is/are output optically by means of the display unit (3) and/or the generated sound and/or the generated sound sequence is/are output acoustically by means of a loudspeaker.

Description

Die Erfindung betrifft ein Verfahren zum individuellen Gestalten eines Anzeigeeinhaltes einer Anzeigeeinheit für ein Fahrzeug, welches eine Umgebungssensorik aufweist, mittels welcher zumindest im Fahrbetrieb des Fahrzeuges fortlaufend Sensorinformationen erfasst werden, anhand welcher eine Umgebung des Fahrzeuges und sich in dieser befindende Objekte erkannt werden.The invention relates to a method for individually designing the display content of a display unit for a vehicle, which has an environment sensor system, by means of which sensor information is continuously recorded at least when the vehicle is being driven, by means of which an environment of the vehicle and objects located in it are recognized.

Aus der US 2020/0111255 A1 sind ein Augmented-Reality-System und -Verfahren zum Erstellen, Speichern und Rendern von Designs, die mehrere Elemente virtuellen Inhaltes umfassen, in einer dreidimensionalen Umgebung eines Benutzers bekannt. Die Designs können als Szene gespeichert werden, die von einem Benutzer aus vorgefertigten Unterkomponenten, gebauten Komponenten und/oder zuvor gespeicherten Szenen erstellt wird. Standortinformationen werden ebenfalls gespeichert. Beim Öffnen der Szene kann der Ankerknoten der gespeicherten Szene mit einem Ort innerhalb der Mixed-Reality-Umgebung des Benutzers korreliert werden, für den die Szene geöffnet wird. Die virtuellen Elemente der Szene können mit der gleichen Beziehung zu diesem Ort positioniert werden wie zum gespeicherten Ankerknoten der Szene. Dieser Standort kann automatisch und durch Benutzereingabe ausgewählt werden.From the U.S. 2020/0111255 A1 discloses an augmented reality system and method for creating, storing, and rendering designs comprising multiple items of virtual content in a three-dimensional environment of a user. The designs can be saved as a scene created by a user from pre-designed subcomponents, built components, and/or previously saved scenes. Location information is also saved. Upon opening the scene, the anchor node of the saved scene can be correlated to a location within the user's mixed reality environment for which the scene is opened. The virtual elements of the scene can be positioned with the same relationship to this location as to the stored anchor node of the scene. This location can be selected automatically and by user input.

Darüber hinaus beschreibt die DE 10 2021 004 970 A1 ein Verfahren und eine Vorrichtung zur individuellen Erzeugung von Sound-Signaturen eines Fahrzeuges. Das Verfahren sieht vor, dass die Sound-Signaturen mittels fahrzeugabhängiger Daten generiert werden. Bei einem Verfahren, welches die Erzeugung von individuellen Sound-Signaturen ermöglicht, die einem festen Soundstil des jeweiligen Fahrzeugtyps ähneln, werden während der Fahrt des Fahrzeuges individuelle, auf den Fahrzeugnutzer und/oder für eine Nutzung des Fahrzeuges charakteristische Merkmalswerte ermittelt und analysiert, wobei aus den individuellen Merkmalswerten und einem vorgegebenen Soundstil mittels eines Modells des maschinellen Lernens die Sound-Signaturen synthetisch erzeugt werden und durch Training des Modells die synthetisch erzeugten Sound-Signaturen an den vorgegebenen Soundstil angepasst werden.In addition, the DE 10 2021 004 970 A1 a method and a device for the individual generation of sound signatures of a vehicle. The method provides that the sound signatures are generated using vehicle-dependent data. In a method that enables the generation of individual sound signatures that resemble a fixed sound style of the respective vehicle type, individual feature values that are characteristic of the vehicle user and/or use of the vehicle are determined and analyzed while the vehicle is driving, with the individual feature values and a specified sound style, the sound signatures are generated synthetically by means of a machine learning model and the synthetically generated sound signatures are adapted to the specified sound style by training the model.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum individuellen Gestalten eines Anzeigeeinhaltes einer Anzeigeeinheit in einem Fahrzeug anzugeben.The invention is based on the object of specifying a method for individually designing a display content of a display unit in a vehicle.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die in Anspruch 1 angegebenen Merkmale aufweist.The object is achieved according to the invention by a method which has the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous configurations of the invention are the subject matter of the dependent claims.

Ein Verfahren zum individuellen Gestalten eines Anzeigeeinhaltes einer Anzeigeeinheit für ein Fahrzeug sieht vor, dass das Fahrzeug eine Umgebungssensorik aufweist, mittels welcher zumindest im Fahrbetrieb des Fahrzeuges fortlaufend Sensorinformationen erfasst werden, anhand welcher eine Umgebung des Fahrzeuges und sich in dieser befindende Objekte erkannt werden. Erfindungsgemäß wird nach Aktivieren einer Bildgeneration eines fahrzeugseitigen Anwendungsprogrammes durch einen Nutzer des Fahrzeuges

- mittels des Nutzers ein Sensorbereich innerhalb eines Erfassungsbereiches der Umgebungssensorik ausgewählt oder ein in einer auf maschinellem Sehen basierenden Perzeption erkanntes Objekt sowie dessen Interaktion ausgewählt werden,
- mittels generativer Methoden maschinellen Lernens aus einem mittels Perzeption in dem ausgewählten Sensorbereich extrahierten und/oder selektierten Objekt ein Bild und/oder eine Bildsequenz und/oder ein Sound und/oder eine Soundsequenz erzeugt werden beziehungsweise wird und
- das erzeugte Bild und/oder die erzeugte Bildsequenz mittels der Anzeigeeinheit optisch und/oder der erzeugte Sound und/oder die erzeugte Soundsequenz mittels eines Lautsprechers akustisch ausgegeben werden beziehungsweise wird.

A method for individually designing a display content of a display unit for a vehicle provides that the vehicle has an environment sensor system, by means of which sensor information is continuously recorded, at least when the vehicle is being driven, by means of which an environment of the vehicle and objects located in it are recognized. According to the invention, after activating an image generation of a vehicle-side application program by a user of the vehicle

- by means of the user, a sensor area within a detection area of the environmental sensors is selected or an object recognized in a machine vision-based perception and its interaction are selected,
- using generative methods of machine learning, an image and/or an image sequence and/or a sound and/or a sound sequence are or will be generated from an object extracted and/or selected by means of perception in the selected sensor area and
- The generated image and/or the generated image sequence is output optically by means of the display unit and/or the generated sound and/or the generated sound sequence is output acoustically by means of a loudspeaker.

Durch Anwendung des Verfahrens kann der visuelle oder akustische Inhalt der Anzeige- oder Soundeinheit nach Vorlieben des Nutzers individualisiert gestaltet werden. Insbesondere bei einem zumindest teilautomatisiert betreibbaren Fahrzeug kann eine Personalisierung durch die individuelle Gestaltungsmöglichkeit des Anzeigeinhaltes zur Steigerung einer persönlichen Bindung des Nutzers, insbesondere eines Fahrers, an das Fahrzeug führen. Darüber hinaus kann anhand digitaler Mittel ein Komfort für den Nutzer des Fahrzeuges erhöht werden.By using the method, the visual or acoustic content of the display or sound unit can be customized according to the user's preferences. In particular in the case of a vehicle that can be operated at least partially automatically, personalization through the individual design option of the display content can lead to an increase in the personal bond between the user, in particular a driver, and the vehicle. In addition, comfort for the user of the vehicle can be increased using digital means.

In einer möglichen Ausführung wird dann, wenn der Nutzer auf ein außerhalb des Fahrzeuges befindliches Objekt zeigt, eine diesbezügliche Geste des Nutzers anhand erfasster Bilddaten einer Innenraumkamera erkannt und ausgewertet. Insbesondere wird diese Geste in Bezug auf eine Richtung und einen Blickwinkel des Nutzers auf ein in der Umgebung des Fahrzeuges befindliches Objekt, beispielsweise ein Gegenstand oder ein Objekt, ausgewertet. Mittels der Geste, insbesondere mittels Zeigen auf das Objekt, wird dieses ausgewählt, um dieses als Anzeigeinhalt auf der Anzeigeeinheit anzuzeigen.In one possible embodiment, when the user points to an object located outside the vehicle, a relevant gesture by the user is recognized and evaluated using recorded image data from an interior camera. In particular, this gesture is evaluated in relation to a direction and a viewing angle of the user on an object located in the vicinity of the vehicle, for example an item or an object. By means of the gesture, in particular by pointing to the object, this is selected in order to to display this as display content on the display unit.

In einer Ausführung wird in Abhängigkeit eines durch den Nutzer durchgeführten Zeigens auf das Objekt und/oder in Abhängigkeit eines Sprachbefehles des Nutzers ein Fokussieren der Umgebungssensorik auf das Objekt veranlasst. Das Objekt wird also fokussiert, so dass das Objekt optimiert auf der Anzeigeeinheit dargestellt werden kann. Weitere Auswahlmöglichkeiten durch den Nutzer wie zum Beispiel ein Auswerten von physiologischen Signalen des Nutzers, beispielsweise eine Messung einer Muskelkontraktion, eine Nutzung eines sogenannten Brain-Computer-Interface etc., sind ebenfalls möglich.In one embodiment, depending on the user pointing to the object and/or depending on a voice command from the user, the environmental sensors focus on the object. The object is therefore focused so that the object can be displayed in an optimized manner on the display unit. Further selection options by the user, such as evaluating physiological signals from the user, for example measuring a muscle contraction, using a so-called brain-computer interface, etc., are also possible.

Das von dem Nutzer selektierte Objekt kann in einer weiteren Ausführung visuell und/oder auditorisch hervorgehoben werden, wobei hierzu beispielsweise eine Virtual-Reality-Vorrichtung und/oder eine Augmented-Reality-Vorrichtung genutzt werden beziehungsweise wird. Alternativ oder zusätzlich kann das selektierte Objekt mittels Sprachgeneration auditorisch kenntlich gemacht werden.In a further embodiment, the object selected by the user can be highlighted visually and/or audibly, with a virtual reality device and/or an augmented reality device being used for this purpose, for example. Alternatively or additionally, the selected object can be made auditory recognizable by means of speech generation.

In einer Ausführung des Verfahrens wird dem Bild und/oder der Bildsequenz automatisch eine einen Bildinhalt und/oder einen Inhalt der Bildsequenz beschreibende Textinformation hinzugefügt. Diese Textinformation kann zum Beispiel auch um eine Tageszeit ergänzt werden.In one embodiment of the method, text information describing an image content and/or a content of the image sequence is automatically added to the image and/or the image sequence. This text information can also be supplemented by a time of day, for example.

In einer Ausführung werden aus den Sensorinformationen Merkmalswerte als Initialwerte für ein auszugebendes Geräusch basierend auf den Sensorinformationen ermittelt. Das heißt, dass ein Geräusch, welches mit dem selektierten Objekt in Verbindung gebracht werden kann, erzeugt und bei Anzeigen dieses Objektes als Anzeigeinhalt auf der Anzeigeeinheit zusätzlich ausgegeben wird.In one embodiment, feature values are determined from the sensor information as initial values for a noise to be output based on the sensor information. This means that a noise that can be associated with the selected object is generated and is also output as display content on the display unit when this object is displayed.

In einer Ausführung wird ein ausgewähltes Objekt in den Sensorinformationen detektiert, seine Position und Ausdehnung werden ermittelt und das Objekt wird einer Objektklasse zugeordnet. Dazu werden Merkmalswerte aus den Sensorinformationen in unterschiedlichen Merkmalsräumen extrahiert, so dass eine Klassifizierung des Objektes durchgeführt werden kann. Somit ist es beispielsweise möglich, in den Sensorinformationen erfasste Objekte, welcher derselben Objektklasse des ausgewählten Objektes zugeordnet sind, dem Nutzer als möglichen Anzeigeinhalt anzubieten.In one embodiment, a selected object is detected in the sensor information, its position and extent are determined, and the object is assigned to an object class. For this purpose, feature values are extracted from the sensor information in different feature spaces, so that the object can be classified. It is thus possible, for example, to offer the user as possible display content objects detected in the sensor information and which are assigned to the same object class of the selected object.

Eine weitere Ausführung des Verfahrens sieht vor, dass ein Bilddarstellungsdesign jeweils einen Parameter des weiteren Parametersatzes bildet. So kann beispielsweise zwischen einem van-Gogh-Bilddarstellungsdesign, einem abstrakten Bilddarstellungsdesign, einem impressionistischen Bilddarstellungsdesign etc. gewählt werden, um den Anzeigeinhalt der Anzeigeeinheit nochmals zu individualisieren.A further embodiment of the method provides that an image display design in each case forms a parameter of the further parameter set. For example, a choice can be made between a van Gogh image display design, an abstract image display design, an impressionistic image display design, etc., in order to further individualize the display content of the display unit.

In einer möglichen Ausführung wird über die Zeit maschinell gelernt, welche Objekte welcher Objektklasse von dem Nutzer ausgewählt werden und ein häufiger ausgewähltes Objekt wird höher gewichtet als ein weniger häufig ausgewähltes Objekt und ein nutzerspezifisches Histogramm wird erstellt und in einer Steuereinheit des Fahrzeuges und/oder in einer datentechnisch mit dem Fahrzeug gekoppelten zentralen Rechnereinheit gespeichert. Beispielsweise kann die Gewichtung dazu dienen, dass bei Aktivieren der Bildgeneration und angezeigten Sensorinformationen ein höher gewichtetes Objekt fokussiert wird, ohne dass das Fokussieren von dem Nutzer des Fahrzeuges veranlasst werden muss. Zudem ist dadurch, dass das Histogramm mit den vergleichsweise häufig ausgewählten Objekten gespeichert ist, auch eine Auswahl eines solchen Objektes als Anzeigeinhalt möglich. Der Nutzer kann also zwischen in der Vergangenheit ausgewählten und gespeicherten und momentan in Sensorinformationen enthaltenen Objekten wählen.In one possible embodiment, machines learn over time which objects of which object class are selected by the user, and an object that is selected more frequently is weighted more highly than an object that is selected less frequently, and a user-specific histogram is created and stored in a control unit of the vehicle and/or in stored in a central computer unit that is linked to the vehicle in terms of data technology. For example, the weighting can be used to focus on an object with a higher weighting when the image generation is activated and sensor information is displayed, without the user of the vehicle having to initiate the focusing. In addition, because the histogram is stored with the comparatively frequently selected objects, it is also possible to select such an object as the display content. The user can thus choose between objects selected and stored in the past and objects currently contained in sensor information.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Exemplary embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

1 schematisch ein Fahrzeug und Erfassungsbereiche verschiedener Erfassungseinheiten einer Umgebungssensorik des Fahrzeuges,
2 schematisch einen Ausschnitt des Fahrzeuges und eine auf ein Objekt zeigende Hand und
3 schematisch eine Instrumententafel mit einer ein ausgewähltes Objekt anzeigenden Anzeigeeinheit.

show:

1 schematically a vehicle and detection areas of different detection units of an environmental sensor system of the vehicle,
2 schematically shows a section of the vehicle and a hand pointing at an object and
3 schematically an instrument panel with a display unit showing a selected object.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference symbols in all figures.

1 zeigt ein Fahrzeug 1 und beispielhaft Erfassungsbereiche E verschiedener Erfassungseinheiten E1, E2 einer Umgebungssensorik des Fahrzeuges 1. 1 shows a vehicle 1 and, by way of example, detection areas E of different detection units E1, E2 of an environmental sensor system of the vehicle 1.

In 2 ist ein Ausschnitt des Fahrzeuges 1 und eine Hand 2 eines nicht näher gezeigten Nutzers des Fahrzeuges 1, insbesondere eines Fahrers, dargestellt, wobei die Hand 2 auf ein Objekt O außerhalb des Fahrzeuges 1 zeigt.In 2 1 shows a section of the vehicle 1 and a hand 2 of a user of the vehicle 1 (not shown in detail), in particular a driver, with the hand 2 pointing to an object O outside the vehicle 1.

3 zeigt eine Instrumententafel 1.1 des Fahrzeuges 1, welche als Anzeigeeinheit 3 ausgebildet ist und in einem Anzeigebereich A das Objekt O als Anzeigeeinhalt optisch ausgegeben wird. 3 shows an instrument panel 1.1 of the vehicle 1, which is designed as a display unit 3 det and in a display area A the object O is optically output as display content.

Im Allgemeinen ist bekannt, dass es möglich ist, einen Anzeigebereich A einer Anzeigeeinheit 3 in einem Fahrzeug 1 verschiedenartig, insbesondere mittels diverser visueller Elemente, zu gestalten. Dabei kann ein Anzeigeinhalt zum Beispiel zur Unterhaltung des Nutzers und/oder weiterer Insassen des Fahrzeuges 1 dienen. Dabei sind darstellbare Anzeigeinhalte von einem Fahrzeughersteller und/oder einem Drittanbieter vorkonfiguriert, das heißt, dass eine feste Anzahl von Auswahlmöglichkeiten vorgegeben ist. Alternativ dazu können dem Nutzer neue Anzeigeeinhalte über eine datentechnisch mit dem Fahrzeug 1 gekoppelte zentrale Rechnereinheit zur Verfügung gestellt werden. Jedem Nutzer eines Fahrzeuges 1, insbesondere desselben Fahrzeugherstellers, stehen die gleichen Auswahlmöglichkeiten, ob fest oder veränderlich, zur Verfügung, so dass eine Individualisierung des Anzeigeeinhaltes der Anzeigeeinheit 3 im engeren Sinne nicht möglich ist.It is generally known that it is possible to design a display area A of a display unit 3 in a vehicle 1 in different ways, in particular by means of diverse visual elements. A display content can be used, for example, to entertain the user and/or other occupants of the vehicle 1 . Display content that can be displayed is preconfigured by a vehicle manufacturer and/or a third party, which means that a fixed number of selection options is specified. As an alternative to this, new display content can be made available to the user via a central computer unit which is linked to the vehicle 1 in terms of data technology. Every user of a vehicle 1, in particular from the same vehicle manufacturer, has the same selection options, whether fixed or variable, so that individualization of the display content of the display unit 3 in the narrower sense is not possible.

Im Folgenden wird ein Verfahren zum individuellen Gestalten eines Anzeigeinhaltes einer Anzeigeeinheit 3, insbesondere in einem Fahrzeug 1, beschrieben. Insbesondere wird ein Verfahren zur erlebnisorientierten und nutzer-, insbesondere fahrerselektierten, Bildgeneration in dem Fahrzeug 1 beschrieben, wobei das Verfahren in einer Steuereinheit 4 des Fahrzeuges 1 durchgeführt wird.A method for individually designing a display content of a display unit 3, in particular in a vehicle 1, is described below. In particular, a method for experience-oriented and user-, in particular driver-selected, image generation in the vehicle 1 is described, the method being carried out in a control unit 4 of the vehicle 1 .

Das Fahrzeug 1 weist eine Umgebungssensorik mit einer Anzahl von im und/oder am Fahrzeug 1 angeordneten Erfassungseinheiten E1, E2 auf, wobei in 1 nur zwei der Erfassungseinheiten E1, E2 dargestellt sind. Dabei ist eine Erfassungseinheit E1 als Kamera ausgebildet und eine weitere Erfassungseinheit E2 als radarbasierter Sensor. Die Erfassungseinheiten E1, E2 können alternativ oder zusätzlich auch lidarbasiert, ultraschallbasiert etc. ausgebildet sein.The vehicle 1 has an environment sensor system with a number of detection units E1, E2 arranged in and/or on the vehicle 1, with in 1 only two of the detection units E1, E2 are shown. A detection unit E1 is designed as a camera and a further detection unit E2 as a radar-based sensor. Alternatively or additionally, the detection units E1, E2 can also be lidar-based, ultrasound-based, etc.

Mittels der Umgebungssensorik werden zumindest im Fahrbetrieb des Fahrzeuges 1 fortlaufend Sensorinformationen erfasst, anhand welcher eine Umgebung des Fahrzeuges 1 und sich in dieser befindende Objekte O erkannt werden. Basierend auf den Sensorinformationen wird eine Wahrnehmung, eine sogenannte Perzeption, von Objekten O sowie eine Ableitung ihrer Interaktionen und/oder einer Szenenbeschreibung, insbesondere mittels Methoden maschinellen Sehens ausgeführt. Zum Beispiel ist es mittels des maschinellen Sehens möglich, Kinder und einen Ball in den erfassten Sensorinformationen zu erkennen. Anhand dieser Sensorinformationen kann abgeleitet werden, dass die Kinder mit dem Ball spielen. Auch kann ein Bild-zu-Text-Verfahren genutzt werden, um spielende Kinder zu erkennen.At least when the vehicle 1 is being driven, sensor information is continuously recorded by means of the environment sensor system, by means of which an environment of the vehicle 1 and objects O located in it are recognized. Based on the sensor information, a perception, a so-called perception, of objects O and a derivation of their interactions and/or a scene description is carried out, in particular using machine vision methods. For example, using computer vision, it is possible to recognize children and a ball in the captured sensor information. Based on this sensor information, it can be deduced that the children are playing with the ball. An image-to-text method can also be used to recognize playing children.

Zur Erkennung eines Objektes O in den Sensorinformationen wird insbesondere eine Objekterkennung, eine Segmentation, das heißt eine semantische Zuordnung von Objektkategorien in Bezug auf ein jeweiliges Pixel einer Kamera oder ähnliches verwendet.Object recognition, segmentation, that is to say a semantic assignment of object categories in relation to a respective pixel of a camera or the like is used in particular to recognize an object O in the sensor information.

Des Weiteren können vorliegende abstrakte Beschreibungen aus einem Assistenzsystem des Fahrzeuges 1 verwendet werden, wobei die abstrakten Beschreibungen anhand der erfassten Sensorinformationen der Umgebungssensorik ermittelt werden. Beispielsweise liegen als abstrakte Beschreibungen eine Anzahl von erkannten Fahrspuren, Distanzen zu weiteren Verkehrsteilnehmern etc. vor, um die Umgebung zu charakterisieren.Furthermore, existing abstract descriptions from an assistance system of the vehicle 1 can be used, with the abstract descriptions being determined using the detected sensor information from the environmental sensors. For example, a number of recognized lanes, distances to other road users, etc. are available as abstract descriptions in order to characterize the environment.

Bei Anwendung des Verfahrens aktiviert der Nutzer des Fahrzeuges 1, beispielsweise mittels Sprach- und/oder Gestensteuerung, die Bildgeneration eines fahrzeugseitigen Anwendungsprogrammes, welches auch auf einem mobilen Endgerät, insbesondere einem Smartphone, des Nutzers implementiert sein kann.When using the method, the user of the vehicle 1 activates, for example by voice and/or gesture control, the image generation of a vehicle-side application program, which can also be implemented on a mobile device, in particular a smartphone, of the user.

Ist die Bildgeneration aktiviert, zeigt der Nutzer, wie in 2 dargestellt ist, mittels seiner Hand 2, insbesondere mittels des Zeigefingers 2.1, auf ein Objekt O außerhalb des Fahrzeuges 1. Gemäß dem in 2 gezeigten Ausführungsbeispiel zeigt der Nutzer mit seinem Zeigefinger 2.1 auf einen Baum 5 als Objekt O. Alternativ dazu kann der Nutzer auch auf ein anderes Objekt O, zum Beispiel einen Gegenstand oder eine Person, zeigen. If the image generation is activated, the user shows, as in 2 is shown, by means of his hand 2, in particular by means of the index finger 2.1, on an object O outside the vehicle 1. According to in 2 The embodiment shown shows the user pointing his index finger 2.1 to a tree 5 as object O. Alternatively, the user can also point to another object O, for example an object or a person.

Diese Geste des Zeigens wird von einer Innenraumkamera 6 des Fahrzeuges 1 erfasst und die erfassten Bilddaten werden in der Steuereinheit 4 in Bezug auf die Geste und eine Blickrichtung des Nutzers ausgewertet. Dadurch wird ermittelt, auf welches Objekt O der Nutzer zeigt und das Objekt O wird somit identifiziert.This gesture of pointing is recorded by an interior camera 6 of the vehicle 1 and the recorded image data are evaluated in the control unit 4 in relation to the gesture and a viewing direction of the user. This determines which object O the user is pointing to and the object O is thus identified.

Der Nutzer kann einen ausgewählten Sensorbereich eines Erfassungsbereiches E einer oder mehrerer Erfassungseinheiten E1, E2 oder ein mittels Perzeption erkanntes Objekt O mit seiner Interaktion auswählen. Beispielsweise kann der Nutzer mittels eines Sprachbefehles und/oder mittels Zeigen auf das Objekt O ein Fokussieren des Objektes O veranlassen.The user can select a selected sensor area of a detection area E of one or more detection units E1, E2 or an object O recognized by perception with his interaction. For example, the user can use a voice command and/or by pointing to the object O to focus on the object O.

Ein von dem Nutzer ausgewähltes Objekt O kann mittels Anzeigen im Fahrzeug 1, mittels einer Virtual-Reality-Vorrichtung und/oder einer Augmented-Reality-Vorrichtung visuell und/oder mittels einer Sprachgeneration auditorisch hervorgehoben, also kenntlich gemacht werden.An object O selected by the user can be displayed visually and/or by means of displays in the vehicle 1, using a virtual reality device and/or an augmented reality device of a language generation are auditorily emphasized, i.e. made recognizable.

In einem Verfahrensschritt wird mittels generativer Methoden maschinellen Lernens aus extrahierten und optional aus den Sensorinformationen selektierten Umgebungsinformationen Bilder oder Bildsequenzen erzeugen, zum Beispiel mittels Textzu-Bild-Verfahren. Beispielsweise werden in den Sensorinformationen spielende Kinder und eine Kuh erkannt. Daraufhin kann ein Text generiert werden, wie zum Beispiel „Kinder spielen neben einer Kuh“. Auch kann dem Bild oder Bildsequenz ein weiterer Kontext, beispielsweise eine Tageszeit, hinzugefügt werden, so dass generiert wird: „Eine Kuh und spielende Kinder im Sonnenuntergang“.In one step of the method, images or image sequences are generated using generative methods of machine learning from environmental information extracted and optionally selected from the sensor information, for example using text-to-image methods. For example, children playing and a cow are recognized in the sensor information. A text can then be generated, such as "Children are playing next to a cow". Another context can also be added to the image or image sequence, for example a time of day, so that it is generated: "A cow and children playing in the sunset".

Alternativ oder zusätzlich können aus den Umgebungsinformationen Merkmalswerte als Initialwerte für ein geräuschgenerierendes Verfahren verwendet werden, um ein individuelles Geräusch, basierend auf der Umgebung des Fahrzeuges 1 zu erzeugen.Alternatively or additionally, feature values from the information about the surroundings can be used as initial values for a noise-generating method in order to generate an individual noise based on the surroundings of the vehicle 1 .

Eine Methode, um aus den Sensorinformationen die Perzeption zu generieren, wird mittels eines Parametersatzes parametrisiert. Beispielsweise können verschiedene Verfahren verwendet werden, bei welchen eine Extraktion von Merkmalswerten in unterschiedliche Merkmalsräume erfolgt. Zum Beispiel kann ein Objekt O in erfassten Sensorinformationen einer Kamera detektiert werden. insbesondere können eine Position und eine Ausdehnung des Objektes O bestimmt werden und das Objekt O einer Objektklasse zugeordnet werden. Dabei kann eine Beschreibung der Position und Ausdehnung des Objektes O, insbesondere pixelgenau oder mittels eines Rechteckes, und/oder eine Art und Anzahl von Objektklassendefinitionen unterschiedlich sein.A method to generate the perception from the sensor information is parameterized using a parameter set. For example, various methods can be used in which feature values are extracted into different feature spaces. For example, an object O can be detected in captured sensor information of a camera. In particular, a position and an extension of the object O can be determined and the object O can be assigned to an object class. A description of the position and extent of the object O, in particular pixel-precise or by means of a rectangle, and/or a type and number of object class definitions can be different.

Eine Methode, um aus der Perzeption Bilder oder Bildsequenzen zu generieren, wird mittels eines weiteren Parametersatzes parametrisiert. Hierbei können beispielsweise verschiedene Bilddarstellungsdesigns, beispielsweise ein van-Gogh-Bilddarstellungsdesign, ein abstraktes Bilddarstellungsdesign, ein impressionistisches Bilddarstellungsdesign einen Parameter des weiteren Parametersatzes sein. Auch können verschiedene Arten einer Textgeneration in dem weiteren Parametersatz parametrisiert sein.A method for generating images or image sequences from the perception is parameterized using an additional set of parameters. Here, for example, different image representation designs, for example a van Gogh image representation design, an abstract image representation design, an impressionistic image representation design can be a parameter of the further parameter set. Different types of text generation can also be parameterized in the further parameter set.

Anhand der Auswahl des Nutzers, insbesondere mittels Geste und/oder Sprache und/oder sonstiger Methoden, welche eine Intension des Nutzers erfassen können, wie zum Beispiel ein Brain-Computer Interface, kann die Steuereinheit 4 lernen, welche Objekte O der individuelle Nutzer bevorzugt auswählt. Diese Objekte O können stärker gewichtet werden im Vergleich zu Objekten O, die weniger häufig ausgewählt werden. Hierzu kann beispielsweise ein nutzerindividuelles Histogramm ausgewählter Objekte O erstellt und in der Steuereinheit 4 und/oder der zentralen Rechnereinheit gespeichert werden.The control unit 4 can learn which objects O the individual user prefers to select based on the selection made by the user, in particular by means of gestures and/or language and/or other methods which can detect an intention on the part of the user, such as a brain-computer interface . These objects O can be weighted more heavily compared to objects O that are selected less frequently. For this purpose, for example, a user-specific histogram of selected objects O can be created and stored in the control unit 4 and/or the central computer unit.

Aufgrund einer, insbesondere direkten oder indirekten Rückmeldung des Nutzers, insbesondere durch Auswahl und Bewertung, beispielsweise in Form einer emotionalen positiven Reaktion die mittels Sensoren, insbesondere anhand erfasster Bilddaten der Innenraumkamera 6 erkannt wird, der subjektiv schönsten Bilder, kann die Steuereinheit die individuellen Parameter der Parametersätze lernen. Zum Lernen können verschiedene Verfahren, beispielsweise Reinforcement Learning, verwendet werden. Bei einem solchen Verfahren kann die Rückmeldung des Nutzers als sogenanntes Belohnungssignal zur Exploration verschiedener Parameterkombinationen in dem Parametersatz und dem weiteren Parametersatz verwendet werden und von einem Kontext, zum Beispiel einer Fahrdynamik, einer Tageszeit, den Objekten O in der Umgebung des Fahrzeuges 1, Mitinsassen des Fahrzeuges 1, das heißt einem Zustand, abhängig sein.On the basis of feedback, in particular direct or indirect, from the user, in particular through selection and evaluation, for example in the form of an emotionally positive reaction which is recognized by sensors, in particular based on image data recorded by the interior camera 6, of the subjectively most beautiful images, the control unit can adjust the individual parameters of the learn parameter sets. Various methods, such as reinforcement learning, can be used for learning. In such a method, the user's feedback can be used as a so-called reward signal for exploring different parameter combinations in the parameter set and the further parameter set and from a context, for example driving dynamics, a time of day, the objects O in the environment of the vehicle 1, fellow occupants of the Vehicle 1, that is, a state to be dependent.

In einer Ausführung des Verfahrens können individuelle Parametervorschläge von dem Parametersatz und dem weiteren Parametersatz von weiteren Fahrzeugen einer Fahrzeugflotte, welcher das Fahrzeug 1 zugeordnet ist, beispielsweise eines Fahrzeugherstellers, gewonnen werden, indem individuelle prototypische Nutzergruppen identifiziert werden, beispielsweise mittels Clusteringverfahren. Beispielsweise können beziehungsweise kann ein Alter und/oder ein Fahrstil der Nutzer eine Nutzergruppe definieren.In one embodiment of the method, individual parameter suggestions can be obtained from the parameter set and the further parameter set from other vehicles in a vehicle fleet to which vehicle 1 is assigned, for example a vehicle manufacturer, by identifying individual prototypical user groups, for example using clustering methods. For example, an age and/or a driving style of the user can define a user group.

Darüber hinaus ist es allgemein möglich, nicht nur Gegenstände, Personen etc. als Objekte O in der Umgebung des Fahrzeuges 1 zu selektieren, sondern auch Gegenstände, Personen etc. aus einem Innenraum des Fahrzeuges 1, um diese zur sogenannten Inhaltsgeneration zu verwenden.In addition, it is generally possible to select not only objects, people, etc. as objects O in the area surrounding vehicle 1, but also objects, people, etc. from an interior of vehicle 1, in order to use them for so-called content generation.

In einem finalen Verfahrensschritt werden beziehungsweise wird das generierte Bild, die generierte Bildsequenz und/oder das generierte Geräusch, welches beziehungsweise welche gemäß den Vorstellungen des Nutzers sowie der mittels der Steuereinheit 4 erlernten persönlichen Präferenzen des Nutzers erstellt wurden, im Interieur des Fahrzeuges 1, insbesondere als Anzeigeinhalt der Anzeigeeinheit 3, wie in 3 gezeigt ist, dargestellt beziehungsweise abgespielt. Ein gegebenenfalls geniertes Geräusch, beispielsweise ein Blätterrauschen und/oder Vogelzwitschern, wird mittels zumindest eines Lautsprechers in dem Fahrzeug 1 ausgegeben.In a final method step, the generated image, the generated image sequence and/or the generated noise, which were created according to the ideas of the user and the personal preferences of the user learned by means of the control unit 4, are or will be in the interior of the vehicle 1, in particular as the display content of the display unit 3, as in 3 is shown, represented or played. A possibly embarrassed noise, for example a rustling of leaves and/or birds chirping, is output by means of at least one loudspeaker in the vehicle 1 .

Das jeweilige erzeugte Bild, die jeweils erzeugte Bildsequenz und/oder das jeweils erzeugte Geräusch können beziehungsweise kann nicht nur zu einem persönlichen Gebrauch durch den Nutzer im Fahrzeug 1 verwendet werden, sondern auch in andere Umgebungen transferiert werden, beispielsweise zu einem weiteren Fahrzeug, zu einem Computer am Arbeitsplatz, zu einem mobilen Endgerät des Nutzers, insbesondere als Anzeigeinhalt eines Startbildschirms. Auch können beziehungsweise kann das jeweilige erzeugte Bild, die jeweils erzeugte Bildsequenz und/oder das jeweils erzeugte Geräusch mit entsprechenden Geräten anderer Personen, Nutzergruppen etc. geteilt werden.The image generated in each case, the image sequence generated in each case and/or the noise generated in each case can be used not only for personal use by the user in vehicle 1, but also transferred to other environments, for example to another vehicle, to a Computer at work, to a mobile end device of the user, in particular as the display content of a start screen. The respective generated image, the respectively generated image sequence and/or the respectively generated noise can also be shared with the corresponding devices of other people, user groups, etc.

Im Folgenden wird das Verfahren anhand eines nicht näher gezeigten weiteren Ausführungsbeispieles erläutert.The method is explained below using a further exemplary embodiment that is not shown in detail.

Ein Nutzer, insbesondere ein Fahrer, eines Fahrzeuges 1 entdeckt am Fahrbahnrand Kühe, welche friedlich grasen, und deutet mit seiner Hand auf die Kühe. Nachdem der Nutzer des Fahrzeuges 1 eindeutig erkannt wurde, werden seine individuellen Parametersätze geladen. Dann werden die Kühe in einem von dem Nutzer ausgewählten Sensorbereich in der Umgebung des Fahrzeuges 1 mittels Methoden des maschinellen Sehens identifiziert. Diese Methoden sind mit dem individuellen Parametersatz parametrisiert und das Bild, die Bildsequenz und/oder das Geräusch werden beziehungsweise wird mittels Methoden des maschinellen Sehens generiert, welches beziehungsweise welche mit dem weiteren Parametersatz parametrisiert sind. Es wird eine vergleichsweise geringe Anzahl verschiedener Variationen von Bildern, Bildsequenzen und/oder Geräuschen erzeugt, beispielsweise durch Variationen der Parametersätze, zusätzliches zufälliges Rauschen bei der Erzeugung oder ähnliches. Der Nutzer wählt daraufhin eine ihm am besten gefallende Version aus, wobei die individuellen Parametersätze durch diese Rückmeldung des Nutzers weiter an individuelle Präferenzen angepasst werden. Das ausgewählte Bild oder die ausgewählte Bildsequenz werden in dem Anzeigebereich A der Anzeigeeinheit 3 angezeigt und/oder das ausgewählte Geräusch akustisch in dem Fahrzeug 1 ausgegeben.A user, in particular a driver, of a vehicle 1 discovers cows grazing peacefully at the edge of the road and points to the cows with his hand. After the user of the vehicle 1 has been clearly identified, his individual parameter sets are loaded. Then the cows are identified in a sensor area selected by the user in the vicinity of the vehicle 1 using machine vision methods. These methods are parameterized with the individual parameter set and the image, the image sequence and/or the noise are/is generated using methods of machine vision, which is/are parameterized with the further parameter set. A comparatively small number of different variations of images, image sequences and/or noises are generated, for example by variations in the parameter sets, additional random noise during generation or the like. The user then selects a version he likes best, with the individual parameter sets being further adapted to individual preferences through this feedback from the user. The selected image or the selected image sequence is displayed in the display area A of the display unit 3 and/or the selected sound is output acoustically in the vehicle 1 .

Alternativ oder zusätzlich kann der Nutzer das ausgewählte Bild, die ausgewählte Bildsequenz und/oder das generierte Geräusch mittels einer Datenübertragungseinheit des Fahrzeuges 1 beispielsweise an Bekannte senden.Alternatively or additionally, the user can send the selected image, the selected image sequence and/or the generated noise to friends, for example, using a data transmission unit of the vehicle 1 .

BezugszeichenlisteReference List

11: Fahrzeugvehicle
1.11.1: Instrumententafeldashboard
22: Handhand
2.12.1: Zeigefingerindex finger
33: Anzeigeeinheitdisplay unit
44: Steuereinheitcontrol unit
55: BaumTree
66: Innenraumkamera interior camera
AA: Anzeigebereichdisplay area
EE: Erfassungsbereichdetection range
E1, E2E1, E2: Erfassungseinheitregistration unit
OO: Objektobject

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US 2020/0111255 A1 [0002]
DE 102021004970 A1 [0003]

Claims

Method for individually designing the display content of a display unit (3) for a vehicle (1), which has an environment sensor system, by means of which sensor information is continuously recorded at least when the vehicle (1) is being driven, by means of which an environment of the vehicle (1) and itself in objects (O) located there are recognized, characterized in that after a user of the vehicle (1) has activated an image generation of a vehicle-side application program - by means of the user a sensor area within a detection area (E) of the environmental sensor system is selected or a - using generative methods of machine learning from an object (O) extracted and/or selected by means of perception in the selected sensor area, an image and/or an image sequence and/or a sound and /or a sound sequence is or will be generated and - the generated image and/or the generated image sequence will be output optically by means of the display unit (3) and/or the generated sound and/or the generated sound sequence will be output acoustically by means of a loudspeaker.

procedure after claim 1 , characterized in that when the user points to an object (O) located outside the vehicle (1), a relevant gesture by the user is recognized and evaluated on the basis of captured image data from an interior camera (6).

procedure after claim 1 or 2 , characterized in that depending on the pointing made by the user to the object (O) and/or depending on a voice command from the user, the environmental sensors focus on the object (O).

Method according to one of the preceding claims, characterized in that the selected object (O) is highlighted visually and/or auditorily.

Method according to one of the preceding claims, characterized in that text information describing an image content and/or a content of the image sequence is automatically added to the image and/or the image sequence.

Method according to one of the preceding claims, characterized in that feature values are determined from the sensor information as initial values for a noise to be output based on the sensor information.

Method according to one of the preceding claims, characterized in that a selected object (O) is detected in the sensor information, its position and extent are determined and the object (O) is assigned to an object class.

Method according to one of the preceding claims, characterized in that an image display design in each case forms a parameter of the further parameter set.

Method according to one of the preceding claims, characterized in that machine learning over time which objects (O) of which object class are selected by the user and an object (O) which is selected more frequently is weighted more highly than an object (O) which is selected less frequently. and a user-specific histogram is created and stored in a control unit (4) of the vehicle (1) and/or in a central computer unit that is linked to the vehicle (1) in terms of data technology.