DE102022129747A1

DE102022129747A1 - METHOD AND SYSTEM FOR TEACHING AN INTELLIGENT FUNCTION OF MOTOR VEHICLES

Info

Publication number: DE102022129747A1
Application number: DE102022129747.0A
Authority: DE
Inventors: Andreas Heimrath; Oliver Meyer; Antoine Foricher
Original assignee: Cariad SE
Current assignee: Cariad SE
Priority date: 2022-11-10
Filing date: 2022-11-10
Publication date: 2024-05-16

Abstract

Die Erfindung betrifft ein System (10) und ein Verfahren zum Anlernen einer intelligenten Funktion von Kraftfahrzeugen (12). In dem Verfahren werden durch eine Mehrzahl von Kraftfahrzeugen (12) jeweilige Fahrzeugsensordaten ermittelt (S10), wobei die intelligente Funktion, die ein künstliches neuronales Netz aufweist, in Abhängigkeit von den ermittelten Fahrzeugsensordaten lokal in den jeweiligen Kraftfahrzeugen (12) angelernt wird (S12) und dabei Gewichte für das künstliche neuronale Netz erzeugt werden, wobei die Gewichte der lokal angelernten neuronalen Netze an eine fahrzeugexterne Rechenvorrichtung (14) übermittelt werden (S14), die die übermittelten Gewichte fusioniert (S16) und die fusionierten Gewichte zurück in die jeweiligen Kraftfahrzeuge (12) zum Anpassen der intelligenten Funktion übermittelt (S18).The invention relates to a system (10) and a method for teaching an intelligent function of motor vehicles (12). In the method, respective vehicle sensor data is determined by a plurality of motor vehicles (12) (S10), wherein the intelligent function, which has an artificial neural network, is taught locally in the respective motor vehicles (12) depending on the determined vehicle sensor data (S12) and weights for the artificial neural network are generated in the process, wherein the weights of the locally taught neural networks are transmitted to a vehicle-external computing device (14) (S14), which fuses the transmitted weights (S16) and transmits the fused weights back to the respective motor vehicles (12) for adapting the intelligent function (S18).

Description

Die Erfindung betrifft ein Verfahren zum Anlernen einer intelligenten Funktion von Kraftfahrzeugen, ein Computerprogramm, das ausgebildet ist, das Verfahren durchzuführen und ein System zum Anlernen einer intelligenten Funktion von Kraftfahrzeugen.The invention relates to a method for teaching an intelligent function of motor vehicles, a computer program designed to carry out the method and a system for teaching an intelligent function of motor vehicles.

Intelligente Funktionen von Kraftfahrzeugen, beispielsweise von digitalen Assistenten, die mittels einer künstlichen Intelligenz Aufgaben des Kraftfahrzeugs übernehmen und/oder einen Fahrer unterstützen, werden immer wichtiger. Dabei können intelligente Funktionen basierend auf ermittelten Daten Situationen erkennen und basierend darauf entsprechend angelernte Einstellungen übernehmen. Beispielsweise kann dadurch eine Sicherheit in bestimmten Situationen erhöht werden und/oder ein Komfort für Fahrzeuginsassen kann gesteigert werden. Um die intelligenten Funktionen geeignet anlernen zu können, sind einige Voraussetzungen zu beachten, beispielsweise die Sicherstellung eines Datenschutzes, insbesondere der aufgenommenen Lerndaten, eine Reduzierung eines Datenvolumens, falls die intelligente Funktion fahrzeugextern angelernt wird und eine Verringerung eines Risikos bei auftretenden Sicherheitsproblemen bei einer fahrzeugexternen Rechenvorrichtung, bei der die intelligente Funktion angelernt wird.Intelligent functions in motor vehicles, for example digital assistants that use artificial intelligence to take over motor vehicle tasks and/or support a driver, are becoming increasingly important. Intelligent functions can recognize situations based on determined data and adopt learned settings based on this. For example, this can increase safety in certain situations and/or increase comfort for vehicle occupants. In order to be able to teach the intelligent functions appropriately, a number of requirements must be observed, such as ensuring data protection, in particular of the recorded learning data, reducing the data volume if the intelligent function is taught externally to the vehicle, and reducing the risk of security problems occurring with a computing device external to the vehicle in which the intelligent function is taught.

Aus der US 2021/0117780 A1 ist ein personalisiertes föderales Lernen für Assistenzsysteme bekannt.From the US 2021/0117780 A1 Personalized federal learning for assistance systems is known.

Aus der US 2021/0192078 A1 ist eine Entwicklung von Nutzerverhaltensmodellen mit privatem föderalem Lernen bekannt.From the US 2021/0192078 A1 A development of user behavior models with private federated learning is known.

Aus der US 2022/0250656 A1 sind Systeme und Verfahren für fahrzeugnetzgestütztes föderales maschinelles Lernen bekannt.From the US 2022/0250656 A1 Systems and methods for vehicular network-based federal machine learning are known.

Der Erfindung liegt die Aufgabe zugrunde, ein Anlernen einer intelligenten Funktion, insbesondere eine Anpassung einer Audioausgabe in einem Kraftfahrzeug, zu verbessern.The invention is based on the object of improving the learning of an intelligent function, in particular an adaptation of an audio output in a motor vehicle.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen, der folgenden Beschreibung sowie den Figuren offenbart.This object is achieved by the independent patent claims. Advantageous developments of the invention are disclosed in the dependent patent claims, the following description and the figures.

Die Erfindung basiert auf der Idee, dass ein künstliches neuronales Netz im Kraftfahrzeug trainiert wird, insbesondere um eine Audiolautstärke im Kraftfahrzeug für eine bestimmte Situation vorherzusagen und einzustellen. Die Trainingsdaten, die für das Anlernen verwendet werden, werden dabei im Kraftfahrzeug belassen und nur die Gewichte des künstlichen neuronalen Netzes werden an ein Backend beziehungsweise eine fahrzeugexterne Recheneinrichtung gesendet, wo sie gemäß föderalen Lernansätzen (federated learning) fusioniert werden. Die so fusionierten Gewichte des neuronalen Netzes können anschließend vom Backend zurück an die Kraftfahrzeuge übermittelt werden.The invention is based on the idea that an artificial neural network is trained in the motor vehicle, in particular to predict and adjust an audio volume in the motor vehicle for a specific situation. The training data used for the training are left in the motor vehicle and only the weights of the artificial neural network are sent to a backend or a vehicle-external computing device, where they are fused according to federated learning approaches. The fused weights of the neural network can then be transmitted from the backend back to the motor vehicles.

Durch die Erfindung ist ein Verfahren zum Anlernen einer intelligenten Funktion von Kraftfahrzeugen bereitgestellt, wobei durch eine Mehrzahl von Kraftfahrzeugen jeweilige Fahrzeugsensordaten ermittelt werden, wobei die intelligente Funktion, die ein künstliches neuronales Netz aufweist, in Abhängigkeit von den ermittelten Fahrzeugsensordaten lokal in den jeweiligen Kraftfahrzeugen angelernt wird und dabei Gewichte für das künstliche neuronale Netz erzeugt werden, wobei die Gewichte der lokal angelernten neuronalen Netze an eine fahrzeugexterne Rechenvorrichtung übermittelt werden, die die übermittelten Gewichte fusioniert und die fusionierten Gewichte zurück in die jeweiligen Kraftfahrzeuge zum Anpassen der intelligenten Funktion übermittelt.The invention provides a method for learning an intelligent function of motor vehicles, wherein respective vehicle sensor data are determined by a plurality of motor vehicles, wherein the intelligent function, which has an artificial neural network, is learned locally in the respective motor vehicles depending on the determined vehicle sensor data and weights are generated for the artificial neural network, wherein the weights of the locally learned neural networks are transmitted to a vehicle-external computing device which fuses the transmitted weights and transmits the fused weights back to the respective motor vehicles for adapting the intelligent function.

Mit anderen Worten können mehrere Kraftfahrzeuge vorgesehen sein, die eine jeweilige intelligente Funktion aufweisen. Zum Anlernen dieser intelligenten Funktion kann jedes der Kraftfahrzeuge eigene Fahrzeugsensordaten ermitteln und die intelligente Funktion, die ein künstliches neuronales Netz umfasst, lokal anlernen. Die beim Anlernen des künstlichen neuronalen Netzes erzeugten Gewichte, die einen Einfluss jeweils verknüpfter künstlicher Neuronen beschreiben und die durch den Lernprozess nach und nach angepasst werden, können anschließend von jedem Kraftfahrzeug fahrzeugextern gesammelt werden, auf einer fahrzeugexternen Rechenvorrichtung.In other words, several motor vehicles can be provided, each of which has an intelligent function. To learn this intelligent function, each of the motor vehicles can determine its own vehicle sensor data and locally learn the intelligent function, which includes an artificial neural network. The weights generated when learning the artificial neural network, which describe an influence of each linked artificial neuron and which are gradually adjusted through the learning process, can then be collected by each motor vehicle outside the vehicle, on a computing device outside the vehicle.

Die fahrzeugexterne Rechenvorrichtung, die beispielsweise ein Server und/oder eine Rechnerwolke sein kann, kann die erhaltenen Gewichte fusionieren, insbesondere mittels Verfahren des föderalen Lernens. Anschließend können die fusionierten Gewichte zurück in die jeweiligen Kraftfahrzeuge gesendet werden, wo jeweils die intelligente Funktion mit den fusionierten Gewichten angepasst werden kann.The vehicle-external computing device, which can be a server and/or a computer cloud, for example, can fuse the weights obtained, in particular using federated learning methods. The fused weights can then be sent back to the respective motor vehicles, where the intelligent function can be adapted using the fused weights.

Die intelligente Funktion kann beispielsweise eine Funktion sein, die von einem digitalen Assistenten des Kraftfahrzeugs verwendet wird, der insbesondere auf einer Recheneinrichtung des Kraftfahrzeugs betrieben werden kann. Die intelligente Funktion kann in Abhängigkeit einer ermittelten Fahrzeugsituation automatische Einstellungen am oder im Kraftfahrzeug übernehmen, wenn eine angelernte Fahrzeugsituation auftritt. Die Fahrzeugsituation kann insbesondere durch die Fahrzeugsensordaten ermittelt werden, die beispielsweise über Außensensoren des Kraftfahrzeugs, insbesondere eine Kamera, Radar, Lidar und/oder Ultraschall, erkannt werden kann. Das heißt, die intelligente Funktion kann eine Funktion des Kraftfahrzeugs automatisch, insbesondere basierend auf künstlicher Intelligenz, steuern.The intelligent function can, for example, be a function that is used by a digital assistant of the motor vehicle, which can be operated in particular on a computing device of the motor vehicle. The intelligent function can, depending on a determined vehicle situation, take over automatic settings on or in the motor vehicle when a learned vehicle situation occurs. The vehicle situation can be determined in particular by the vehicle sensor data, which can be detected, for example, via external sensors of the motor vehicle, in particular a camera, radar, lidar and/or ultrasound. This means that the intelligent function can control a function of the motor vehicle automatically, in particular based on artificial intelligence.

Durch die Erfindung ergibt sich der Vorteil, dass ein verbesserter Datenschutz gewährleistet werden kann, da das Anlernen lokal stattfindet und nur die Gewichte des künstlichen neuronalen Netzes, die keinen Rückschluss auf das jeweilige Kraftfahrzeug zulassen, und nicht die Lerndaten selbst zum Fusionieren übermittelt werden. Des Weiteren kann somit ein Datenvolumen zur Übermittlung an die fahrzeugexterne Rechenvorrichtung minimiert werden, da nicht alle Fahrzeugsensordaten beziehungsweise Lerndaten, die zum Anlernen der intelligenten Funktion verwendet werden, übermittelt werden müssen. Insgesamt kann somit das Anlernen der intelligenten Funktion verbessert werden.The invention has the advantage that improved data protection can be ensured, since the learning takes place locally and only the weights of the artificial neural network, which do not allow any conclusions to be drawn about the respective motor vehicle, and not the learning data itself, are transmitted for fusion. Furthermore, the volume of data to be transmitted to the vehicle-external computing device can be minimized, since not all vehicle sensor data or learning data that are used to teach the intelligent function have to be transmitted. Overall, the learning of the intelligent function can thus be improved.

Die Erfindung umfasst auch Weiterbildungen, durch die sich zusätzliche Vorteile ergeben.The invention also includes further developments which result in additional advantages.

Eine Weiterbildung sieht vor, dass das Verfahren für jedes Kraftfahrzeug mit den fusionierten und übermittelten Gewichten wiederholt wird. Mit anderen Worten kann die intelligente Funktion iterativ angelernt werden, auf Basis der fusionierten Gewichte aller Kraftfahrzeuge. Somit kann die intelligente Funktion nach und nach verbessert werden.A further development provides that the procedure is repeated for each motor vehicle with the fused and transmitted weights. In other words, the intelligent function can be iteratively trained based on the fused weights of all motor vehicles. In this way, the intelligent function can be gradually improved.

Eine weitere Weiterbildung sieht vor, dass die intelligente Funktion zum Verbessern einer Audioausgabe bei einer aus den Fahrzeugsensordaten bereitgestellten Fahrzeugsituation angelernt wird. Das heißt, es wird angelernt, wie die intelligente Funktion eine Audioausgabe bei jeweiligen Fahrzeugsituationen anpasst, die durch die Fahrzeugsensordaten ermittelt werden kann. Die Fahrzeugsituation kann dabei anzeigen, wie hoch eine Lautstärke von Umgebungsgeräuschen ist, die insbesondere aufgrund von Fahrparametern des Kraftfahrzeugs entstehen. Das Anpassen ist vorzugsweise ein Verbessern einer Hörbarkeit der Audioausgabe, die von einer Audioeinrichtung des Kraftfahrzeugs stammen kann, insbesondere einer Qualität beziehungsweise Lautstärke. Die Audioausgabe kann beispielsweise Medien umfassen, die von einem Infotainmentsystem des Kraftfahrzeugs und/oder einem Radio stammen. Alternativ oder zusätzlich können auch Audioausgaben eines Navigationsgeräts und/oder Systemtöne mittels der intelligenten Funktion auf eine jeweilige Fahrzeugsituation angepasst werden. Das Anlernen kann dabei gemäß einem bestärkendem Lernen (reinforcement learning) und/oder anhand eines überwachten Lernens (supervised learning) stattfinden. Beispielsweise kann eine Veränderung bei der Audioausgabe bei Vorliegen der Fahrzeugsituation dazu dienen, das künstliche neuronale Netz anzulernen und/oder es kann eine Rückmeldung durchgeführt werden, welche Anpassung der Audioausgabe für eine Fahrzeugsituation gewünscht ist. Durch diese Weiterbildung kann ein bevorzugter Anwendungsfall bereitgestellt werden.A further development provides that the intelligent function for improving an audio output is taught in a vehicle situation provided from the vehicle sensor data. This means that it is taught how the intelligent function adapts an audio output to respective vehicle situations that can be determined from the vehicle sensor data. The vehicle situation can indicate how high the volume of ambient noise is, which is caused in particular by driving parameters of the motor vehicle. The adaptation is preferably an improvement in the audibility of the audio output, which can come from an audio device of the motor vehicle, in particular a quality or volume. The audio output can, for example, include media that come from an infotainment system of the motor vehicle and/or a radio. Alternatively or additionally, audio outputs from a navigation device and/or system sounds can also be adapted to a respective vehicle situation using the intelligent function. The teaching can take place according to reinforcement learning and/or using supervised learning. For example, a change in the audio output when the vehicle situation is present can be used to train the artificial neural network and/or feedback can be provided as to which adjustment of the audio output is desired for a vehicle situation. This further development can provide a preferred application case.

Vorzugsweise ist vorgesehen, dass eine Lautstärke der Audioausgabe in Abhängigkeit der Fahrsituation angepasst wird. Insbesondere kann die Audioausgabe in Abhängigkeit der Fahrzeugsituation erhöht werden, falls Umgebungsgeräusche, die mittels der Fahrzeugsensordaten erkannt werden können, die Audioausgabe verschlechtern beziehungsweise überlagern würden. Somit kann angelernt werden, zu welcher Fahrzeugsituation die Lautstärke erhöht beziehungsweise verringert werden kann.Preferably, the volume of the audio output is adjusted depending on the driving situation. In particular, the audio output can be increased depending on the vehicle situation if ambient noise, which can be detected using the vehicle sensor data, would deteriorate or overlay the audio output. In this way, it is possible to learn in which vehicle situation the volume can be increased or reduced.

In einer weiteren vorteilhaften Weiterbildung ist vorgesehen, dass in Abhängigkeit der Fahrsituation Umgebungsgeräusche im Kraftfahrzeug zum Verbessern der Audioausgabe reduziert werden. Das bedeutet, dass angelernt werden kann, wie Umgebungsgeräusche minimiert werden können. Hierbei kann statt einer Erhöhung einer Lautstärke des Audiosignals überprüft werden, ob Einrichtungen, die eine Erhöhung der Umgebungsgeräusche bewirken, angepasst, insbesondere reduziert beziehungsweise deaktiviert, werden können, um eine verbesserte Audioausgabe bereitzustellen. Beispielsweise können Umgebungsgeräusche reduziert werden, die von einem Lüftungssystem des Kraftfahrzeugs stammen und/oder ein Öffnungszustand von Fenstern oder eines Daches, insbesondere eines Schiebedaches, können verändert werden, um die Umgebungsgeräusche zu minimieren. Alternativ oder zusätzlich kann auch Antischall (noise cancellation) zur Reduzierung von Umgebungsgeräuschen verwendet werden.In a further advantageous development, it is provided that, depending on the driving situation, ambient noise in the motor vehicle is reduced to improve the audio output. This means that it can be learned how ambient noise can be minimized. Instead of increasing the volume of the audio signal, it can be checked whether devices that increase ambient noise can be adjusted, in particular reduced or deactivated, in order to provide improved audio output. For example, ambient noise that comes from a ventilation system of the motor vehicle can be reduced and/or the opening state of windows or a roof, in particular a sunroof, can be changed to minimize ambient noise. Alternatively or additionally, anti-noise (noise cancellation) can also be used to reduce ambient noise.

Eine weitere Weiterbildung sieht vor, dass durch die Fahrzeugsensordaten eine Straßenbeschaffenheit und eine Fahrzeuggeschwindigkeit ermittelt werden. Mit anderen Worten können durch die Straßenbeschaffenheit und die Fahrzeuggeschwindigkeit die Fahrzeugsituation und eine dabei auftretende Geräuschkulisse beziehungsweise Umgebungsgeräusche bestimmt werden. Daraus lässt sich ableiten beziehungsweise anlernen, welche Audioeinstellungen bei dieser Fahrzeugsituation für eine Verbesserung der Audioausgabe optimal sind beziehungsweise in den Kraftfahrzeugen am häufigsten verwendet werden. So kann beispielsweise bei einem unebenen Straßenbelag und einer hohen Geschwindigkeit ein starkes Umgebungsgeräusch vorliegen, wobei in diesem Fall eine Lautstärke der Audioausgabe passend erhöht werden kann. Somit kann die intelligente Funktion angelernt werden, bei einem nochmaligen Auftreten dieser Fahrzeugsituation die Audioeinstellung automatisch einzustellen.A further development provides that the vehicle sensor data can be used to determine the road conditions and the vehicle speed. In other words, the vehicle situation and the background noise or ambient noise that occurs can be determined from the road conditions and the vehicle speed. From this, it is possible to derive or learn which audio settings are optimal for improving the audio output in this vehicle situation or are used most frequently in motor vehicles. For example, if the road surface is uneven and the vehicle is travelling at high speed, there may be a lot of ambient noise, in which case a loud The volume of the audio output can be increased accordingly. This means that the intelligent function can be taught to automatically adjust the audio setting if this vehicle situation occurs again.

Vorzugsweise ist vorgesehen, dass die Straßenbeschaffenheit durch eine Kamera und/oder Kartendaten und/oder Fahrwerksensoren ermittelt werden. So kann beispielsweise durch eine Kamera eine Straßenoberfläche aufgenommen und nach deren Beschaffenheit analysiert werden. Zum Beispiel können asphaltierte Straßen, Pflastersteinstraßen und/oder Straßenschäden erkannt werden. Alternativ oder zusätzlich kann die Straßenbeschaffenheit aus Kartendaten stammen, in denen beispielsweise vermerkt sein kann, um was für eine Straße es sich handelt. So können Autobahnen eine andere Straßenbeschaffenheit aufweisen als beispielsweise Landstraßen oder Straßen im urbanen Bereich. Vorteilhaft ist auch eine Verwendung von Fahrwerksensoren, wie beispielsweise von Sensoren der Stoßdämpfer und/oder Schlupfsensoren, um die Straßenbeschaffenheit feststellen zu können. Hierdurch ergeben sich bevorzugte Ausgestaltungen zur Erkennung der Straßenbeschaffenheit.Preferably, the road condition is determined by a camera and/or map data and/or chassis sensors. For example, a camera can record a road surface and analyze its condition. For example, asphalt roads, cobblestone roads and/or road damage can be recognized. Alternatively or additionally, the road condition can come from map data, which can, for example, indicate what type of road it is. For example, motorways can have a different road condition than country roads or roads in urban areas. It is also advantageous to use chassis sensors, such as shock absorber sensors and/or slip sensors, to be able to determine the road condition. This results in preferred embodiments for detecting the road condition.

Eine weitere Weiterbildung sieht vor, dass durch die Fahrzeugsensordaten Umgebungsgeräusche im Kraftfahrzeug, insbesondere durch ein Innenraummikrofon, und/oder ein Status von Fenstern, einem Schiebedach und/oder einem Lüftungssystem bereitgestellt werden. Das bedeutet, dass zum Erkennen der Umgebungsgeräusche die Fahrzeugsensordaten Audioaufnahmen eines Innenraums des Kraftfahrzeugs umfassen können, die insbesondere durch ein Innenraummikrofon aufgenommen werden können und/oder es kann aufgrund eines Status von Fenstern und/oder eines Schiebedachs, insbesondere eines Öffnungsstatus und/oder einer Einstellung des Lüftungssystems, darauf rückgeschlossen werden, wie stark die Umgebungsgeräusche im Kraftfahrzeug sind.A further development provides that the vehicle sensor data provide ambient noise in the motor vehicle, in particular through an interior microphone, and/or a status of windows, a sunroof and/or a ventilation system. This means that in order to detect the ambient noise, the vehicle sensor data can include audio recordings of an interior of the motor vehicle, which can be recorded in particular by an interior microphone and/or it can be concluded how loud the ambient noise in the motor vehicle is based on a status of windows and/or a sunroof, in particular an opening status and/or a setting of the ventilation system.

Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For use cases or application situations that may arise during the method and which are not explicitly described here, it may be provided that, in accordance with the method, an error message and/or a request to enter user feedback is issued and/or a default setting and/or a predetermined initial state is set.

Ein weiterer Aspekt der Erfindung betrifft ein Computerprogramm, das ausgebildet ist, ein solches Verfahren durchzuführen. Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium auf dem das Computerprogramm gespeichert ist, wobei das Computerprogramm Programmcode umfasst, der bei der Ausführung durch eine Prozessorschaltung eines Computers oder eines Computerverbunds diese veranlasst, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in der Prozessorschaltung in deren Datenspeicher angeordnet sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.A further aspect of the invention relates to a computer program that is designed to carry out such a method. As a further solution, the invention also includes a computer-readable storage medium on which the computer program is stored, wherein the computer program includes program code that, when executed by a processor circuit of a computer or a computer network, causes it to carry out an embodiment of the method according to the invention. The storage medium can, for example, be provided at least partially as a non-volatile data memory (e.g. as a flash memory and/or as an SSD - solid state drive) and/or at least partially as a volatile data memory (e.g. as a RAM - random access memory). The storage medium can be arranged in the processor circuit in its data memory. The computer or computer network can provide a processor circuit with at least one microprocessor. The program code can be provided as binary code or assembler and/or as source code of a programming language (e.g. C) and/or as a program script (e.g. Python).

Ein weiterer Aspekt der Erfindung betrifft ein System zum Anlernen einer intelligenten Funktion von Kraftfahrzeugen, umfassend mehrere Kraftfahrzeuge und eine fahrzeugexterne Rechenvorrichtung, wobei die jeweiligen Kraftfahrzeuge dazu ausgebildet sind, Fahrzeugsensordaten zu ermitteln, wobei eine intelligente Funktion der Kraftfahrzeuge, die ein künstliches neuronales Netz aufweist, dazu ausgebildet ist, sich in Abhängigkeit von den ermittelten Fahrzeugsensordaten lokal in den jeweiligen Kraftfahrzeugen anzulernen und dabei Gewichte für das künstliche neuronale Netz zu erzeugen, wobei die fahrzeugexterne Rechenvorrichtung dazu ausgebildet ist, die Gewichte der lokal angelernten neuronalen Netze zu empfangen, diese zu fusionieren und die fusionierten Gewichte zum Anpassen der intelligenten Funktion an die jeweiligen Kraftfahrzeuge zu übermitteln. Hierbei ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Verfahren. Das Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.A further aspect of the invention relates to a system for teaching an intelligent function of motor vehicles, comprising a plurality of motor vehicles and a vehicle-external computing device, wherein the respective motor vehicles are designed to determine vehicle sensor data, wherein an intelligent function of the motor vehicles, which has an artificial neural network, is designed to teach itself locally in the respective motor vehicles depending on the determined vehicle sensor data and in doing so to generate weights for the artificial neural network, wherein the vehicle-external computing device is designed to receive the weights of the locally taught neural networks, to fuse them and to transmit the fused weights to adapt the intelligent function to the respective motor vehicles. This results in the same advantages and variation options as in the method. The motor vehicle is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.

Zu der Erfindung gehört auch die Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein. Die Prozessorschaltung der Prozessoreinrichtung kann z.B. zumindest eine Schaltungsplatine und/oder zumindest ein SoC (System on Chip) aufweisen.The invention also includes the control device for the motor vehicle. The control device can have a data processing device or a processor device that is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have program code that is set up to carry out the embodiment of the method according to the invention when executed by the processor device. The program code can be stored in a data memory of the processor device. The processor circuit of the pro The processor device can, for example, comprise at least one circuit board and/or at least one SoC (System on Chip).

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Systems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Systems hier nicht noch einmal beschrieben.The invention also includes further developments of the system according to the invention which have features as have already been described in connection with the further developments of the method according to the invention. For this reason, the corresponding further developments of the system according to the invention are not described again here.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes combinations of the features of the described embodiments. The invention therefore also includes implementations that each have a combination of the features of several of the described embodiments, provided that the embodiments have not been described as mutually exclusive.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 ein schematisch dargestelltes System zum Anlernen einer intelligenten Funktion gemäß einer beispielhaften Ausführungsform;
2 ein schematisches Verfahrensdiagramm gemäß einer beispielhaften Ausführungsform.

Exemplary embodiments of the invention are described below.

1 a schematically illustrated system for learning an intelligent function according to an exemplary embodiment;
2 a schematic process diagram according to an exemplary embodiment.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the components of the embodiments described each represent individual features of the invention that are to be considered independently of one another and which also develop the invention independently of one another. Therefore, the disclosure should also include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by other features of the invention already described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, identical reference symbols designate functionally identical elements.

In 1 ist ein schematisch dargestelltes System 10 zum Anlernen einer intelligenten Funktion von Kraftfahrzeugen 12 gezeigt. Die Kraftfahrzeuge 12 können beispielsweise Flottenfahrzeuge einer Fahrzeugflotte sein. Neben den Kraftfahrzeugen 12 umfasst das System 10 eine fahrzeugexterne Rechenvorrichtung 14. Die fahrzeugexterne Rechenvorrichtung 14 kann eine Rechnerwolke (cloud computing) oder ein Server im Internet sein, der über eine Datenverbindung Daten mit den Kraftfahrzeugen 12 austauschen kann, vorzugsweise drahtlos.In 1 a schematically illustrated system 10 for teaching an intelligent function of motor vehicles 12 is shown. The motor vehicles 12 can be, for example, fleet vehicles of a vehicle fleet. In addition to the motor vehicles 12, the system 10 comprises a vehicle-external computing device 14. The vehicle-external computing device 14 can be a computer cloud (cloud computing) or a server on the Internet that can exchange data with the motor vehicles 12 via a data connection, preferably wirelessly.

Die jeweiligen Kraftfahrzeuge 12 können jeweils eine fahrzeuginterne Recheneinrichtung 16 aufweisen, beispielsweise einen Bordcomputer beziehungsweise ein Infotainmentsystem, auf denen die intelligente Funktion betrieben werden kann. Dabei kann die intelligente Funktion ein digitaler Assistent sein, der einen Fahrer beziehungsweise Fahrzeuginsassen der jeweiligen Kraftfahrzeuge 12 bei Fahraufgaben unterstützt und/oder Komfortfunktionen bereitstellt. Vorzugsweise kann die intelligente Funktion zum Verbessern einer Audioausgabe eines Audiosystems (nicht gezeigt) des jeweiligen Kraftfahrzeugs 10 bereitgestellt sein, wobei in Abhängigkeit von einer Fahrzeugsituation die Audioausgabe durch die intelligente Funktion situationsgerecht angepasst werden kann, um eine bessere Verständlichkeit zu erreichen. Beispielsweise kann vorgesehen sein, dass durch die intelligente Funktion eine Lautstärke der Audioausgabe passend auf Umgebungsgeräusche angepasst wird, insbesondere erhöht. Alternativ oder zusätzlich kann vorgesehen sein, dass durch die intelligente Funktion Umgebungsgeräusche minimiert werden, die die Audioausgabe überlagern.The respective motor vehicles 12 can each have an in-vehicle computing device 16, for example an on-board computer or an infotainment system, on which the intelligent function can be operated. The intelligent function can be a digital assistant that supports a driver or vehicle occupant of the respective motor vehicles 12 in driving tasks and/or provides comfort functions. The intelligent function can preferably be provided to improve an audio output of an audio system (not shown) of the respective motor vehicle 10, wherein, depending on a vehicle situation, the audio output can be adapted to the situation by the intelligent function in order to achieve better intelligibility. For example, it can be provided that the volume of the audio output is adapted to ambient noise, in particular increased, by the intelligent function. Alternatively or additionally, it can be provided that the ambient noise that overlays the audio output is minimized by the intelligent function.

Zum Anlernen der intelligenten Funktion können durch die jeweiligen Kraftfahrzeuge 12 Fahrzeugsensordaten ermittelt werden, wobei dies durch Fahrzeugsensoren 18 der jeweiligen Kraftfahrzeuge 12 durchgeführt werden kann. Beispielsweise können die Fahrzeugsensoren 18 Fahrzeugaußenkameras, Fahrwerksensoren, GPS-Sensoren und/oder Fahrzeuginnenraummikrofone und/oder Sensoren zum Feststellen von einem Öffnungszustand von Fenstern, einem Schiebedach und/oder einer Einstellung eines Lüftungssystems des Kraftfahrzeugs umfassen. Des Weiteren können vorzugsweise Geschwindigkeitsdaten durch die Fahrzeugsensoren 18 ermittelt werden.To teach the intelligent function, vehicle sensor data can be determined by the respective motor vehicles 12, whereby this can be carried out by vehicle sensors 18 of the respective motor vehicles 12. For example, the vehicle sensors 18 can include vehicle exterior cameras, chassis sensors, GPS sensors and/or vehicle interior microphones and/or sensors for determining an opening state of windows, a sunroof and/or a setting of a ventilation system of the motor vehicle. Furthermore, speed data can preferably be determined by the vehicle sensors 18.

Mittels der durch die Fahrzeugsensoren 18 festgestellten Fahrzeugsensordaten kann die fahrzeuginterne Recheneinrichtung 16 eines jeweiligen Kraftfahrzeugs 12 angelernt werden, indem aus den Fahrzeugsensordaten eine Fahrzeugsituation ermittelt wird und eine darauf angepasste Einstellung der Audioausgabe. Welche Einstellung der Audioausgabe auf die jeweilige Fahrzeugsituation angepasst ist, kann dabei anhand von bestärkenden Lernen (reinforcement learning) und/oder überwachten Lernen (supervised learning) ermittelt werden, beispielsweise über Benutzerrückmeldungen und/oder deren Audioeinstellungen zu den jeweiligen Fahrzeugsituationen.Using the vehicle sensor data determined by the vehicle sensors 18, the in-vehicle computing device 16 of a respective motor vehicle 12 can be trained by determining a vehicle situation from the vehicle sensor data and an audio output setting adapted to it. Which audio output setting is adapted to the respective vehicle situation can be determined using reinforcement learning and/or supervised learning, for example via user feedback and/or their audio settings for the respective vehicle situations.

Das Anlernen der intelligenten Funktion findet dabei in jedem der Kraftfahrzeuge separat und individuell statt, wobei ein künstliches neuronales Netz der intelligenten Funktion angelernt wird. Beim Anlernen des künstlichen neuronalen Netzes werden Gewichte erzeugt beziehungsweise angepasst, die einen Einfluss zwischen jeweiligen künstlichen Neuronen des neuronalen Netzes angeben.The intelligent function is taught separately and individually in each of the vehicles, whereby an artificial neural network is taught the intelligent function. When teaching the artificial neural network, Weights are generated or adjusted that indicate an influence between respective artificial neurons of the neural network.

Beispielsweise können durch die Fahrzeugsensoren 18 eine Straßenbeschaffenheit und eine Fahrzeuggeschwindigkeit ermittelt werden, wobei die Straßenbeschaffenheit aus Kameradaten, Kartendaten und/oder Fahrwerksensoren (nicht gezeigt) bestimmt werden können. Mit einer dazugehörigen Einstellung beziehungsweise Veränderung von Audioeinstellungen durch einen Benutzer (bestärkendes Lernen) oder durch direkte Benutzerrückmeldung (überwachtes Lernen) kann die passende Audioeinstellung zur Audioausgabe bei der durch die Fahrzeugsensordaten erkannten Fahrzeugsituation angelernt werden, und die entsprechenden Gewichte können erzeugt werden. So kann beispielsweise bei einer schlechten Straßenbeschaffenheit und/oder einer hohen Geschwindigkeit des jeweiligen Kraftfahrzeugs 12 ein hoher Geräuschpegel von Umgebungsgeräuschen vorliegen, wobei die intelligente Funktion somit angelernt werden kann, dass bei dieser Fahrzeugsituation eine Erhöhung der Lautstärke notwendig ist. Alternativ oder zusätzlich kann auch versucht werden, Umgebungsgeräusche zu reduzieren, indem beispielsweise Fenster des Kraftfahrzeugs 12 geschlossen werden, eine Lüftung runtergeregelt beziehungsweise deaktiviert wird und/oder gegebenenfalls ein Gegenschall beziehungsweise Antischall zur Reduzierung der Umgebungsgeräusche erzeugt wird.For example, the vehicle sensors 18 can determine the condition of the road and the speed of the vehicle, whereby the condition of the road can be determined from camera data, map data and/or chassis sensors (not shown). With an associated setting or change of audio settings by a user (reinforcement learning) or through direct user feedback (supervised learning), the appropriate audio setting for the audio output can be learned for the vehicle situation detected by the vehicle sensor data, and the corresponding weights can be generated. For example, if the road conditions are poor and/or the respective motor vehicle 12 is traveling at high speed, there may be a high level of ambient noise, whereby the intelligent function can thus be taught that an increase in volume is necessary in this vehicle situation. Alternatively or additionally, attempts can also be made to reduce ambient noise, for example by closing the windows of the motor vehicle 12, turning down or deactivating ventilation and/or, if necessary, generating counter-noise or anti-noise to reduce the ambient noise.

Die erzeugten Gewichte des Anlernprozesses können dann von jedem Kraftfahrzeug 12 an die fahrzeugexterne Rechenvorrichtung 14 übermittelt werden, die die Gewichte sammeln kann und mit einem Verfahren zum föderalen Lernen fusioniert. Anschließend kann die fahrzeugexterne Rechenvorrichtung 14 die fusionierten Gewichte wieder an die jeweiligen Kraftfahrzeuge 12 verteilen, um damit die intelligente Funktion der Kraftfahrzeuge 12 anzupassen. Die mittels der fusionierten Gewichte angepasste intelligente Funktion kann vorzugsweise im Anschluss in jedem Kraftfahrzeug 12 weiter angelernt werden, das heißt, der Prozess kann iterativ wiederholt werden, um die intelligente Funktion weiter zu verbessern.The weights generated by the learning process can then be transmitted from each motor vehicle 12 to the vehicle-external computing device 14, which can collect the weights and fuse them using a method for federated learning. The vehicle-external computing device 14 can then distribute the fused weights back to the respective motor vehicles 12 in order to adapt the intelligent function of the motor vehicles 12. The intelligent function adapted using the fused weights can preferably then be further trained in each motor vehicle 12, i.e. the process can be repeated iteratively in order to further improve the intelligent function.

In 2 ist ein schematisches Verfahrensdiagramm zum Anlernen einer intelligenten Funktion von Kraftfahrzeugen 12 dargestellt, das beispielsweise durch ein Computerprogramm ausgeführt werden kann.In 2 a schematic process diagram for teaching an intelligent function of motor vehicles 12 is shown, which can be carried out, for example, by a computer program.

In einem Schritt S10 können durch mehrere Kraftfahrzeuge 12 jeweilige Fahrzeugsensordaten ermittelt werden, wobei mit den Fahrzeugsensordaten in einem Schritt S12 eine intelligente Funktion, die auf einem künstlichen neuronalen Netz basiert, angelernt werden kann. Das Anlernen findet dabei lokal isoliert in jedem der Kraftfahrzeuge 12 statt, ohne dass diese die Fahrzeugsensordaten beziehungsweise Lerndaten untereinander austauschen. Durch das Anlernen werden Gewichte für das jeweilige künstliche neuronale Netz erzeugt, wobei die Gewichte in einem Schritt S14 an eine fahrzeugexterne Rechenvorrichtung 14 übermittelt werden können.In a step S10, the respective vehicle sensor data can be determined by several motor vehicles 12, whereby an intelligent function based on an artificial neural network can be taught using the vehicle sensor data in a step S12. The teaching takes place locally in isolation in each of the motor vehicles 12, without them exchanging the vehicle sensor data or learning data with each other. The teaching generates weights for the respective artificial neural network, whereby the weights can be transmitted to a vehicle-external computing device 14 in a step S14.

Die fahrzeugexterne Rechenvorrichtung 14 kann in einem Schritt S16 die übermittelten Gewichte fusionieren, insbesondere mittels bekannter Methoden des föderalen Lernens, wobei die fusionierten Gewichte in einem Schritt S18 zurück an die jeweiligen Kraftfahrzeuge 12 übermittelt werden können, die die intelligente Funktion mit den fusionierten Gewichten anpassen können.The vehicle-external computing device 14 can merge the transmitted weights in a step S16, in particular by means of known methods of federal learning, wherein the merged weights can be transmitted back to the respective motor vehicles 12 in a step S18, which can adapt the intelligent function with the merged weights.

Insgesamt zeigen die Beispiele, wie durch die Erfindung verteilte, lernbasierte intelligente Funktionen für digitale Assistenten in Fahrzeugen bereitgestellt werden können.Overall, the examples show how the invention can provide distributed, learning-based intelligent functions for digital assistants in vehicles.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 20210117780 A1 [0003]
US 20210192078 A1 [0004]
US 20220250656 A1 [0005]

Claims

Method for learning an intelligent function of motor vehicles (12), wherein respective vehicle sensor data are determined by a plurality of motor vehicles (12) (S10), wherein the intelligent function, which has an artificial neural network, is learned locally in the respective motor vehicles (12) depending on the determined vehicle sensor data (S12) and weights for the artificial neural network are generated in the process, wherein the weights of the locally learned neural networks are transmitted to a vehicle-external computing device (14) (S14), which fuses the transmitted weights (S16) and transmits the fused weights back to the respective motor vehicles (12) for adapting the intelligent function (S18).

Procedure according to Claim 1 , wherein the procedure is repeated for each motor vehicle (12) with the merged and transmitted weights.

Method according to one of the preceding claims, wherein the intelligent function for improving an audio output is learned in a vehicle situation provided from the vehicle sensor data.

Procedure according to Claim 3 , whereby the volume of the audio output is adjusted depending on the vehicle situation.

Procedure according to Claim 3 or 4 , wherein, depending on the vehicle situation, ambient noise in the motor vehicle (12) is reduced to improve the audio output.

Method according to one of the Claims 3 until 5 , whereby the vehicle sensor data are used to determine road conditions and vehicle speed.

Procedure according to Claim 6 , whereby the road conditions are determined by a camera and/or map data and/or chassis sensors.

Method according to one of the Claims 3 until 7 , wherein the vehicle sensor data provide ambient noise in the motor vehicle (12), in particular through an interior microphone, and/or a status of windows, a sunroof and/or a ventilation system.

Computer program designed to carry out a method according to one of the preceding claims.

System for learning an intelligent function of motor vehicles (12), comprising a plurality of motor vehicles (12) and a vehicle-external computing device (14), wherein the respective motor vehicles (12) are designed to determine vehicle sensor data, wherein an intelligent function of the motor vehicles (12), which has an artificial neural network, is designed to learn itself locally in the respective motor vehicles (12) depending on the determined vehicle sensor data and in the process to generate weights for the artificial neural network, wherein the vehicle-external computing device (14) is designed to receive the weights of the locally learned neural networks, to fuse them and to transmit the fused weights to the respective motor vehicles (12) for adapting the intelligent function.