DE102020003692A1

DE102020003692A1 - Assistance system for the sound-dependent detection of objects in road traffic and a warning function

Info

Publication number: DE102020003692A1
Application number: DE102020003692.9A
Authority: DE
Inventors: Marina Kreutz
Original assignee: FEV Group GmbH
Current assignee: FEV Group GmbH
Priority date: 2019-07-16
Filing date: 2020-06-20
Publication date: 2020-08-20
Also published as: DE102019119253A1

Abstract

Die Erfindung betrifft ein Assistenzsystem (1) für ein Fahrzeug (2) zur Erkennung eines Objektes (3) in einer Umgebung des Fahrzeugs (2), wobei das Assistenzsystem (1) zumindest ein erstes Mikrofon (4), eine Auswertungseinheit (5) und eine Schnittstelle (6) zum Ausgeben eines Warnsignals aufweist und die Auswertungseinheit (5) ausgebildet und eingerichtet ist, in Abhängigkeit von dem Objekt (3) ausgesandten und mit dem ersten Mikrofon (4) erfassten Schallwellen zumindest ein Frequenzspektrum (7) zu erzeugen und mithilfe des Frequenzspektrums das Objekt (3) zu erkennen und das Warnsignal an die Schnittstelle (6) zu senden.

The invention relates to an assistance system (1) for a vehicle (2) for recognizing an object (3) in the vicinity of the vehicle (2), the assistance system (1) having at least a first microphone (4), an evaluation unit (5) and has an interface (6) for outputting a warning signal and the evaluation unit (5) is designed and set up to generate at least one frequency spectrum (7) as a function of the object (3) emitted and recorded with the first microphone (4) sound waves and using of the frequency spectrum to recognize the object (3) and to send the warning signal to the interface (6).

Description

Die Erfindung betrifft ein Assistenzsystem für ein Fahrzeug zur Erkennung eines Objektes in einer Umgebung des Fahrzeugs, ein Verfahren zur Erkennung des Objektes, ein Verfahren zur Erzeugung einer künstlichen Intelligenzeinheit eines Fahrzeugs zur Erkennung des Objektes, ein Verfahren zur Erzeugung einer künstlichen Intelligenzeinheit eines Fahrzeugs zur Reaktion auf eine neue Verkehrssituation, ein Steuergerät, ein Fahrzeug und ein Computerprogrammprodukt.The invention relates to an assistance system for a vehicle for recognizing an object in the surroundings of the vehicle, a method for recognizing the object, a method for generating an artificial intelligence unit of a vehicle for recognizing the object, a method for generating an artificial intelligence unit of a vehicle for reaction to a new traffic situation, a control unit, a vehicle and a computer program product.

Die DE 10 2018 124 979 A1 beschreibt ein Fahrerassistenzsystem zur Bestimmung einer Entfernung zwischen einem ersten Fahrzeug und einem zweiten Fahrzeug. Das Fahrerassistenzsystem erkennt mithilfe eines Objekterkennungsmoduls einen Teil des zweiten Fahrzeugs anhand eines Bildes des zweiten Fahrzeugs.The DE 10 2018 124 979 A1 describes a driver assistance system for determining a distance between a first vehicle and a second vehicle. The driver assistance system uses an object recognition module to recognize part of the second vehicle based on an image of the second vehicle.

Es wird ein Assistenzsystem für ein Fahrzeug zur Erkennung eines Objektes in einer Umgebung des Fahrzeugs vorgeschlagen. Das Assistenzsystem weist zumindest ein erstes Mikrofon, eine Auswertungseinheit und eine Schnittstelle zum Ausgeben eines Warnsignals auf. Die Auswertungseinheit ist ausgebildet und eingerichtet, in Abhängigkeit von von dem Objekt ausgesandten und mit dem ersten Mikrofon erfassten Schallwellen zumindest ein Frequenzspektrum zu erzeugen und mithilfe des Frequenzspektrums das Objekt zu erkennen und das Warnsignal an die Schnittstelle zu senden. Die Auswertungseinheit ist bevorzugt eingerichtet, das Warnsignal an die Schnittstelle zu senden, wenn die Auswertungseinheit das Objekt erkennt.An assistance system for a vehicle for recognizing an object in the surroundings of the vehicle is proposed. The assistance system has at least a first microphone, an evaluation unit and an interface for outputting a warning signal. The evaluation unit is designed and set up to generate at least one frequency spectrum as a function of the sound waves emitted by the object and detected with the first microphone and to recognize the object with the aid of the frequency spectrum and to send the warning signal to the interface. The evaluation unit is preferably set up to send the warning signal to the interface when the evaluation unit detects the object.

Die Schnittstelle kann gemäß einer ersten Variante eine Anzeige, wie zum Beispiel ein Display eines Armaturenbrettes des Fahrzeugs, oder ein mobiles Endgerät, das mit der Auswertungseinheit kommunizieren kann, sein. In diesem Fall gibt die Anzeige das Warnsignal für einen Fahrer des Fahrzeugs aus.According to a first variant, the interface can be a display, such as a display on a dashboard of the vehicle, or a mobile terminal that can communicate with the evaluation unit. In this case, the display outputs the warning signal for a driver of the vehicle.

Gemäß einer zweiten Variante ist die Schnittstelle als eine elektronische Datenverbindung zwischen der Auswertungseinheit und einem Steuergerät des Fahrzeugs ausgebildet, um das Warnsignal von der Auswertungseinheit zu dem Steuergerät zu übertragen. Das Warnsignal ist in diesem Fall vorteilhaft eine Information über das erkannte Objekt oder ein Befehl, der in Abhängigkeit des erkannten Objektes bestimmt wird. Das Steuergerät des Fahrzeugs ist im Fall der zweiten Variante eingerichtet, zumindest einen Betriebsparameter des Fahrzeugs zu steuern. Der Betriebsparameter kann beispielsweise eine Geschwindigkeit, eine Beschleunigung, ein Abstand zwischen dem Fahrzeug und einem weiteren Fahrzeug, eine Motordrehzahl, eine Bremskraft oder ein Lenkwinkel sein. Vorteilhafterweise sind das Steuergerät und das Fahrzeug für ein autonomes und/oder teilweise autonomes Fahren einsetzbar.According to a second variant, the interface is designed as an electronic data connection between the evaluation unit and a control unit of the vehicle in order to transmit the warning signal from the evaluation unit to the control unit. In this case, the warning signal is advantageously information about the recognized object or a command that is determined as a function of the recognized object. In the case of the second variant, the control unit of the vehicle is set up to control at least one operating parameter of the vehicle. The operating parameter can be, for example, a speed, an acceleration, a distance between the vehicle and another vehicle, an engine speed, a braking force or a steering angle. The control device and the vehicle can advantageously be used for autonomous and / or partially autonomous driving.

Dadurch, dass die Auswertungseinheit das Objekt in Abhängigkeit der von dem Objekt ausgesandten Schallwellen erkennen und das Warnsignal ausgeben kann, kann der Fahrer in einem ersten beispielhaften Anwendungsfall frühzeitig über eine gefährliche Verkehrssituation gewarnt werden. In einem zweiten beispielhaften Anwendungsfall kann das Steuergerät in Abhängigkeit des erkannten Objektes das Warnsignal empfangen und das Fahrzeug in Abhängigkeit des Warnsignals steuern. Beispielsweise kann mithilfe des Assistenzsystems ein abrollender Reifen eines Lastkraftwagens in unmittelbarer Nähe auf einer rechten Seite des Fahrzeugs detektiert werden. In diesem Fall steuert das Steuergerät das Fahrzeug bevorzugt auf eine benachbarte freie linke Spur. Das Warnsignal bestimmt die Auswertungseinheit vorteilhaft in Abhängigkeit des erkannten Objektes. In beiden Anwendungsfällen wird eine Sicherheit des Fahrzeugs und weiterer Verkehrsteilnehmer erhöht. Weiterhin kann eine Verkehrssituation, in der sich das Fahrzeug und die weiteren Verkehrsteilnehmer befinden, in beiden Anwendungsfällen verbessert werden und, unter Umständen, unter wirtschaftlichen Aspekten verbessert werden.Because the evaluation unit can recognize the object as a function of the sound waves emitted by the object and can output the warning signal, the driver can be warned of a dangerous traffic situation at an early stage in a first exemplary application. In a second exemplary application, the control device can receive the warning signal as a function of the detected object and control the vehicle as a function of the warning signal. For example, the assistance system can be used to detect a rolling tire of a truck in the immediate vicinity on a right-hand side of the vehicle. In this case, the control unit preferably steers the vehicle into an adjacent free left lane. The evaluation unit advantageously determines the warning signal as a function of the recognized object. In both applications, the safety of the vehicle and other road users is increased. Furthermore, a traffic situation in which the vehicle and the other road users are located can be improved in both application cases and, under certain circumstances, improved under economic aspects.

Das vorgeschlagene Assistenzsystem und Verfahren liegen dem Gedanken zugrunde, dass eine Vielzahl von Objekten, insbesondere Fahrzeugen, im Straßenverkehr anhand von Schallwellen, die diese Objekte aussenden, identifiziert werden können. Alle Schallwellen zusammengenommen, die das Objekt aussendet, werden im Folgenden als Tongemisch bezeichnet. Das Tongemisch kann beliebige Frequenzen aufweisen. In einer speziellen Variante weist das Tongemisch einen, zwei oder mehrere Klänge auf. Die Klänge haben jeweils Frequenzen, die in einem ganzzahligen Verhältnis zu einer jeweiligen Grundfrequenz stehen. In einer besonderen Ausgestaltung können die Klänge jeweils nur die jeweilige Grundfrequenz aufweisen, wie es beispielsweise bei einem Martinshorn der Fall sein kann, bei dem zwei Grundfrequenzen zeitlich hintereinander erzeugt werden. Möglich ist, dass das Tongemisch zwei zeitlich versetzte Klänge aufweist. Wenn das Objekt das Tongemisch derart erzeugt, dass es sich nur aus Klängen zusammensetzt, hat dies den Vorteil, dass das Tongemisch und damit das Objekt leichter erkannt werden kann. Dies ist beispielsweise dann der Fall, wenn das Objekt ein Polizeiwagen oder Feuerwehrwagen mit eingeschalteter Sirene ist.The proposed assistance system and method are based on the idea that a large number of objects, in particular vehicles, can be identified in road traffic on the basis of sound waves that these objects emit. All the sound waves emitted by the object are referred to below as a mixture of sounds. The tone mixture can have any frequencies. In a special variant, the mixture of tones has one, two or more sounds. The sounds each have frequencies that are in an integer ratio to a respective fundamental frequency. In a special embodiment, the sounds can each have only the respective basic frequency, as can be the case, for example, with a sirloin, in which two basic frequencies are generated one after the other. It is possible that the mix of sounds has two temporally shifted sounds. If the object generates the sound mixture in such a way that it is composed only of sounds, this has the advantage that the sound mixture and thus the object can be recognized more easily. This is the case, for example, when the object is a police car or fire engine with the siren switched on.

Ein Fall, bei dem das Tongemisch Frequenzen aufweist, die nicht in einem ganzzahligen Verhältnis zu einer jeweiligen Grundfrequenz stehen, tritt beispielsweise dann auf, wenn das Objekt der Reifen des Lastkraftwagens ist, der auf einer nassen Fahrbahn abrollt. In diesem Fall wiederholen sich die von dem Reifen ausgesandten Schallwellen mit fortschreitender Zeit. Dies erleichtert es in diesem Fall, das Objekt anhand des Tongemisches zu erkennen.A case in which the clay mixture has frequencies that are not in an integer ratio to a respective fundamental frequency occurs, for example, when the object is the tire of the truck that is rolling on a wet road. In this case they repeat sound waves emitted by the tire as time progresses. In this case, this makes it easier to recognize the object based on the sound mixture.

Die Schallwellen werden mit dem ersten Mikrofon bevorzugt durch ein mechanisches schwingfähiges System des ersten Mikrofons, das durch die Schallwellen angeregt wird, erfasst. Das erste Mikrofon kann vorteilhaft als elektromagnetisches, elektrostatisches, wie zum Beispiel als Kondensatormikrofon oder Oberflächenmikrofon, oder piezoelektrisches Mikrofon ausgeführt sein. Mithilfe des Oberflächenmikrofons und deren im Vergleich zu anderen Bauarten der Kondensatormikrofone flachen Bauweise können Schalldrücke an luftumströmten Bauteilen, wie an einem Karosserieteil des Fahrzeugs, besonders strömungsarm gemessen werden. Das piezoelektrische Mikrofon mit einem Piezo-Kristall hat den Vorteil, dass keine Energieversorgung zur Erfassung der Schallwellen erforderlich ist. Eine auf den Piezo-Kristall ausgeübte Kraft der Schallwellen erzeugt eine Ladungsverschiebung in dem Piezo-Kristall und damit eine Spannung über dem Piezo-Kristall.The sound waves are preferably detected with the first microphone by a mechanical oscillatory system of the first microphone that is excited by the sound waves. The first microphone can advantageously be designed as an electromagnetic, electrostatic, such as a condenser microphone or surface microphone, or a piezoelectric microphone. With the help of the surface microphone and its flat design compared to other types of condenser microphones, sound pressures can be measured with particularly low flow on components around which air flows, such as on a vehicle body part. The piezoelectric microphone with a piezo crystal has the advantage that no energy supply is required to record the sound waves. A force of the sound waves exerted on the piezo crystal generates a charge shift in the piezo crystal and thus a voltage across the piezo crystal.

Das erste Mikrofon sendet durch das angeregte mechanische schwingfähige System erzeugte elektrische Signale, insbesondere über der Zeit variierende kontinuierliche oder zeitdiskrete Spannungssignale, an die Auswertungseinheit. Die Auswertungseinheit weist ein erstes Auswertungsmodul auf, mit dem in Abhängigkeit der mit dem ersten Mikrofon erfassten Schallwellen, insbesondere in Abhängigkeit der elektrischen Signale des ersten Mikrofons, das Frequenzspektrum erzeugbar ist. Das erste Auswertungsmodul ist bevorzugt eingerichtet, eine diskrete Fouriertransformation der elektrischen Signale durchzuführen und das Frequenzspektrum als ein Ergebnis der Fouriertransformation auszugeben. Das Frequenzspektrum ist zumindest mithilfe einer Anzahl an Parametern beschreibbar. Praktischerweise geben Werte der Parameter, im Folgenden erste Werte genannt, jeweilige Amplituden von Frequenzen des Frequenzspektrums an.The first microphone sends electrical signals generated by the excited mechanical oscillatory system, in particular continuous or time-discrete voltage signals that vary over time, to the evaluation unit. The evaluation unit has a first evaluation module with which the frequency spectrum can be generated as a function of the sound waves detected with the first microphone, in particular as a function of the electrical signals from the first microphone. The first evaluation module is preferably set up to carry out a discrete Fourier transformation of the electrical signals and to output the frequency spectrum as a result of the Fourier transformation. The frequency spectrum can be described with at least a number of parameters. In practical terms, the values of the parameters, referred to below as the first values, indicate the respective amplitudes of frequencies of the frequency spectrum.

Der Ausdruck „Modul“, wie er hierin benutzt wird, beschreibt eine beliebige bekannte oder später entwickelte Hardware, Software, Firmware, Künstliche Intelligenz, Fuzzy-Logik oder Kombination aus Hardware und Software, die in der Lage ist, die mit dem jeweiligen „Modul“ assoziierte Funktionalität auszuführen.The term “module” as used herein describes any known or later developed hardware, software, firmware, artificial intelligence, fuzzy logic or combination of hardware and software capable of being implemented with the respective “module “Perform associated functionality.

Die Auswertungseinheit verarbeitet das Frequenzspektrum, um das Objekt in Abhängigkeit des Tongemisches, insbesondere des Klanges, das beziehungsweise den das Objekt in Form der Schallwellen aussendet, zu erkennen.The evaluation unit processes the frequency spectrum in order to recognize the object as a function of the sound mixture, in particular the sound that the object emits in the form of sound waves.

Eine mögliche Ausführungsform kann vorsehen, dass die Auswertungseinheit eingerichtet ist, die ersten Werte mit einem Satz von zweiten Werten einer ersten Datenbank zu vergleichen. Die erste Datenbank kann bei dieser Ausführungsform beispielsweise mehrere unterschiedliche Datensätze enthalten. Die unterschiedlichen Datensätze können ein jeweiliges erstes Datenfeld, in dem ein Identifikationswert zur Identifizierung eines Objekt gespeichert ist, und ein jeweiliges zweites Datenfeld, in dem jeweilige zweite Werte zur Beschreibung von Schallwellen, die das entsprechende Objekt aussenden kann, aufweisen. Die jeweiligen zweiten Werte bilden zusammen den Satz der zweiten Werte aus. Die zweiten Werte können jeweilige Amplituden von Frequenzen eines jeweiligen Frequenzspektrums angeben, die die entsprechenden Schallwellen, die die jeweiligen unterschiedlichen Objekte aussenden, charakterisieren.One possible embodiment can provide that the evaluation unit is set up to compare the first values with a set of second values in a first database. In this embodiment, the first database can contain, for example, several different data records. The different data sets can have a respective first data field in which an identification value for identifying an object is stored, and a respective second data field in which respective second values for describing sound waves that the corresponding object can emit. The respective second values together form the set of the second values. The second values can indicate respective amplitudes of frequencies of a respective frequency spectrum, which characterize the corresponding sound waves that the respective different objects emit.

Gemäß einer vorteilhaften Ausgestaltung ist die Auswertungseinheit ausgebildet und eingerichtet, das Objekt, insbesondere das von dem Objekt ausgesandte Tongemisch, mithilfe eines komprimierten Datensatzes zu erkennen, der eine Anzahl an Werten hat, die niedriger als die Anzahl der Parameter ist. Bei dieser zweiten Variante ist die Auswertungseinheit ausgebildet und eingerichtet, die Werte der Parameter in den komprimierten Datensatz umzuwandeln.According to an advantageous embodiment, the evaluation unit is designed and set up to recognize the object, in particular the mixture of sounds emitted by the object, with the aid of a compressed data set that has a number of values that is lower than the number of parameters. In this second variant, the evaluation unit is designed and set up to convert the values of the parameters into the compressed data record.

Der komprimierte Datensatz weist Datenfelder mit Werten, im Folgenden dritte Werte genannt, auf. Die dritten Werte können Werte von charakteristischen Größen sein, die das Frequenzspektrum beschreiben. Die charakteristischen Größen können beispielsweise eine Schwerpunktwellenlänge des Frequenzspektrums, ein quadratisches Mittel der ersten Werte, eine Amplitude der Frequenz der zweiten Ordnung des Frequenzspektrums, ein Verhältnis zwischen zwei ausgewählten Frequenzen des Frequenzspektrums, eine Angabe über eine Flachheit und/oder eine Angabe über eine dominierende Frequenz des Frequenzspektrums umfassen.The compressed data record has data fields with values, hereinafter referred to as third values. The third values can be values of characteristic quantities that describe the frequency spectrum. The characteristic quantities can, for example, be a focal point wavelength of the frequency spectrum, a root mean square of the first values, an amplitude of the frequency of the second order of the frequency spectrum, a ratio between two selected frequencies of the frequency spectrum, an indication of a flatness and / or an indication of a dominant frequency of the frequency spectrum.

Bei dieser vorteilhaften Ausgestaltung ist bevorzugt vorgesehen, dass die Auswertungseinheit mithilfe der Werte der charakteristischen Größen, unter Umständen schon mithilfe eines Wertes einer einzelnen charakteristischen Größe, das Frequenzspektrum identifiziert. Dadurch, dass die Anzahl der Werte des komprimierten Datensatzes niedriger als die Anzahl der Parameter ist, kann eine erforderliche Rechenleistung zur Erkennung des Objektes anhand des erfassten Tongemisches reduziert werden. Dadurch kann eine Verzögerungszeit, innerhalb welcher das Assistenzsystem das Objekt erkennt und das Warnsignal ausgibt verkürzt werden und damit eine Sicherheit des Fahrzeugs erhöht werden.In this advantageous embodiment, it is preferably provided that the evaluation unit identifies the frequency spectrum with the aid of the values of the characteristic variables, possibly even with the aid of a value of a single characteristic variable. Because the number of values in the compressed data set is lower than the number of parameters, the computing power required for recognizing the object on the basis of the recorded sound mixture can be reduced. As a result, a delay time within which the assistance system recognizes the object and issues the warning signal can be shortened and thus the safety of the vehicle can be increased.

Gemäß einer speziellen Variante dieser Ausgestaltung führt die Auswertungseinheit einen Vergleich der dritten Werte mit den zweiten Werten der ersten Datenbank durch. Die zweiten Werte entsprechen bei dieser Variante Werte derjenigen charakteristischen Größen, auf die sich auch die dritten Werte beziehen, wie beispielsweise die Schwerpunktwellenlänge.According to a special variant of this embodiment, the evaluation unit compares the third values with the second values of the first database. In this variant, the second values correspond to values of those characteristic quantities to which the third values also relate, such as the focal point wavelength.

Weiterhin wird ein Verfahren zur Erkennung eines Objektes in einer Umgebung des Fahrzeugs vorgeschlagen. Das Verfahren weist die folgenden Schritte auf. In einem ersten Schritt wird mithilfe einer Auswertungseinheit ein Frequenzspektrum in Abhängigkeit von mit einem ersten Mikrofon erfassten und von dem Objekt ausgesandten Schallwellen erzeugt. In einem zweiten Schritt wird das Objekt mithilfe einer Verarbeitung des Frequenzspektrums erkannt. In einem dritten Schritt wird ein Warnsignal an die Schnittstelle bei einem Erkennen des Objektes gesendet. Dadurch, dass das Warnsignal in Abhängigkeit davon, ob das Objekt in Abhängigkeit der Schallwellen erkannt wird, ausgegeben wird, hat es dieselben Vorteile wie das Assistenzsystem. Furthermore, a method for recognizing an object in the vicinity of the vehicle is proposed. The procedure has the following steps. In a first step, an evaluation unit is used to generate a frequency spectrum as a function of sound waves recorded with a first microphone and emitted by the object. In a second step, the object is recognized by processing the frequency spectrum. In a third step, a warning signal is sent to the interface when the object is recognized. Since the warning signal is output depending on whether the object is recognized as a function of the sound waves, it has the same advantages as the assistance system.

Des Weiteren wird ein Steuergerät für ein Fahrzeug und/oder eine Fahrzeugkomponente vorgeschlagen. Das Steuergerät ist durch und/oder für die Durchführung des oben beschriebenen Verfahrens und/oder eines der unten beschriebenen Verfahren eingerichtet. Zusätzlich wird ein Fahrzeug vorgeschlagen, das das Assistenzsystem aufweist. Für das Steuergerät und das Fahrzeug ergeben sich entsprechend dieselben Vorteile wie für das Assistenzsystem.Furthermore, a control device for a vehicle and / or a vehicle component is proposed. The control unit is set up by and / or to carry out the method described above and / or one of the methods described below. In addition, a vehicle is proposed which has the assistance system. The same advantages result for the control unit and the vehicle as for the assistance system.

Das vorgeschlagene Computerprogrammprodukt veranlasst einen Computer, wenn das Computerprogrammprodukt von dem Computer ausgeführt wird, das oben beschriebene oder eines der unten beschriebenen Verfahren durchzuführen. Das Computerprogrammprodukt kann in dem Steuergerät gespeichert sein oder in einer weiteren Variante als Programm auf einem externen Datenträger außerhalb des Fahrzeugs vorliegen. Der Computer befindet sich vorteilhaft in Form eines Mikrocontrollers in dem Assistenzsystem. Dadurch, dass mithilfe des Computerprogrammproduktes das vorgeschlagene Verfahren auf dem Computer ausgeführt werden kann, können mit dem Computerprogrammprodukt dieselben Vorteile erzielt werden wie mit dem Verfahren.The proposed computer program product causes a computer, when the computer program product is executed by the computer, to carry out the method described above or one of the methods described below. The computer program product can be stored in the control device or, in a further variant, be present as a program on an external data carrier outside the vehicle. The computer is advantageously located in the assistance system in the form of a microcontroller. Because the proposed method can be carried out on the computer with the aid of the computer program product, the same advantages can be achieved with the computer program product as with the method.

Die abhängigen Ansprüche beschreiben weitere vorteilhafte Ausführungsformen der Erfindung. Bevorzugte Ausführungsbeispiele werden anhand der folgenden Figuren näher erläutert. Dabei zeigt schematisch

1 ein Fahrzeug mit einem Assistenzsystem, aufweisend eine Auswertungseinheit, ein erstes Mikrofon und eine Schnittstelle,
2 ein erstes Auswertungsmodul der in 1 gezeigten Auswertungseinheit,
3 eine Datenbank mit Datensätzen zur Erkennung eines Objektes mithilfe der in 1 gezeigten Auswertungseinheit,
4 ein neuronales Netz der in 1 gezeigten Auswertungseinheit,
5 eine künstliche Intelligenzeinheit der in 1 gezeigten Auswertungseinheit.

The dependent claims describe further advantageous embodiments of the invention. Preferred exemplary embodiments are explained in more detail with reference to the following figures. It shows schematically

1 a vehicle with an assistance system, having an evaluation unit, a first microphone and an interface,
2 a first evaluation module of the in 1 shown evaluation unit,
3 a database with data sets for the recognition of an object using the in 1 shown evaluation unit,
4th a neural network of the in 1 shown evaluation unit,
5 an artificial intelligence unit of the in 1 evaluation unit shown.

1 zeigt ein Assistenzsystem 1 für ein Fahrzeug 2 zur Erkennung eines Objektes 3 in einer Umgebung des Fahrzeugs 2. Das Assistenzsystem 1 weist zumindest ein erstes Mikrofon 4, eine Auswertungseinheit 5 und eine Schnittstelle 6 zum Ausgeben eines Warnsignals auf. Die Auswertungseinheit 5 ist ausgebildet und eingerichtet, in Abhängigkeit von von dem Objekt 3 ausgesandten und mit dem ersten Mikrofon 4 erfassten Schallwellen zumindest ein Frequenzspektrum 7 zu erzeugen. Insbesondere ist die Auswertungseinheit 5 eingerichtet, eine diskrete Fouriertransformation von elektrischen Signalen, die die Auswertungseinheit 5 von dem Mikrofon 4 empfängt, durchzuführen und das Frequenzspektrum 7 in Form eines diskreten Frequenzspektrums als ein Ergebnis der diskreten Fouriertransformation zu erzeugen. In 2 ist das Frequenzspektrum 7 in kontinuierlicher Form mithilfe einer durchgezogenen Linie und in diskreter Form mithilfe von Punkten dargestellt. 1 shows an assistance system 1 for a vehicle 2 to recognize an object 3 in an environment of the vehicle 2 . The assistance system 1 has at least a first microphone 4th , an evaluation unit 5 and an interface 6th to output a warning signal. The evaluation unit 5 is designed and set up, depending on the object 3 sent out and with the first microphone 4th detected sound waves at least one frequency spectrum 7th to create. In particular, the evaluation unit 5 set up a discrete Fourier transform of electrical signals that the evaluation unit 5 from the microphone 4th receives, perform and the frequency spectrum 7th in the form of a discrete frequency spectrum as a result of the discrete Fourier transform. In 2 is the frequency spectrum 7th shown in continuous form using a solid line and in discrete form using dots.

Weiterhin ist die Auswertungseinheit 5 ausgebildet und eingerichtet, mithilfe des Frequenzspektrums 7 das Objekt 3 zu erkennen und das Warnsignal an die Schnittstelle 6 zu senden. Die Schnittstelle 6 kann in dem in 1 gezeigten Ausführungsbeispiel in Form eines Displays in einem Armaturenbrett des Fahrzeugs 2 oder als ein mobiles Endgerät, das mit der Auswertungseinheit kommunizieren kann, ausgeführt sein. Die Auswertungseinheit 5 ist bevorzugt eingerichtet, das Warnsignal an die Schnittstelle 6 zu senden, wenn die Auswertungseinheit 5 das Objekt 3 mithilfe des Frequenzspektrums 7 erkennt.Furthermore, the evaluation unit 5 trained and set up using the frequency spectrum 7th the object 3 to recognize and the warning signal to the interface 6th to send. the interface 6th can in the in 1 embodiment shown in the form of a display in a dashboard of the vehicle 2 or be designed as a mobile terminal that can communicate with the evaluation unit. The evaluation unit 5 is preferably set up to send the warning signal to the interface 6th to send when the evaluation unit 5 the object 3 using the frequency spectrum 7th recognizes.

Um das Objekt 3 in Abhängigkeit der Schallwellen mit einem möglichst geringen Rechenaufwand erkennen zu können, wandelt die Auswertungseinheit 5 Werte von Parametern zur Beschreibung des Frequenzspektrums 7 in einen komprimierten Datensatz 8 um. Die Parameter sind bevorzugt Amplituden von Frequenzen, die das Frequenzspektrum 7 enthält. Die Frequenzen des Frequenzspektrums 7 verlaufen entlang einer Abszissenachse 25 und die Amplituden der jeweiligen Frequenzen entlang einer Ordinatenachse 26.To the object 3 The evaluation unit converts to be able to recognize the sound waves with the least possible computing effort 5 Values of parameters describing the frequency spectrum 7th into a compressed data set 8th around. The parameters are preferably amplitudes of frequencies that make up the frequency spectrum 7th contains. The frequencies of the frequency spectrum 7th run along an abscissa axis 25th and the amplitudes of the respective frequencies along an ordinate axis 26th .

2 zeigt ein erstes Auswertungsmodul 20 der Auswertungseinheit 5. Das erste Auswertungsmodul 20 ist eingerichtet, in Abhängigkeit von dem Frequenzspektrum 7, das beispielsweise in Form eines Eingangsdatensatzes mit den Werten der Amplituden an einen Eingang 21 des ersten Auswertungsmoduls 20 geleitet wird, den komprimierten Datensatz 8 zu erzeugen und an einem Ausgang 22 des ersten Auswertungsmoduls 20 auszugeben. 2 shows a first evaluation module 20th the evaluation unit 5 . The first evaluation module 20th is set up, depending on the frequency spectrum 7th , for example in the form of an input data record with the values of the amplitudes at an input 21st of the first evaluation module 20th is directed to the compressed data set 8th to generate and at an output 22nd of the first evaluation module 20th to spend.

Der komprimierte Datensatz 8 kann bei dem in 2 gezeigten Ausführungsbeispiel einen Wert einer Schwerpunktwellenlänge des Frequenzspektrums 7, der in einem ersten Datenfeld 23 des komprimierten Datensatzes 8 gespeichert ist, und einen Wert des quadratischen Mittels der Werte der Amplituden des Frequenzspektrums 7, der in einem zweiten Datenfeld 24 des komprimierten Datensatzes 8 gespeichert ist, umfassen.The compressed data set 8th can with the in 2 embodiment shown a value of a center wavelength of the frequency spectrum 7th that is in a first data field 23 of the compressed data set 8th is stored, and a value of the root mean square of the values of the amplitudes of the frequency spectrum 7th , which is in a second data field 24 of the compressed data set 8th is stored, include.

Die Auswertungseinheit 5 ist gemäß einer ersten Variante eingerichtet, die Werte des komprimierten Datensatzes 8 mit Werten von Datensätzen 30 einer Datenbank 31 zu vergleichen. Die Datenbank 31 umfasst n Datensätze, wobei in 3 ein erster Datensatz 30₁ , ein i-ter Datensatz 30_i und ein n-ter Datensatz 30_n der n Datensätze 30 gezeigt sind, wobei i die Werte 1 bis n annehmen kann. Die Datensätze weisen jeweils ein erstes, ein zweites und ein drittes Datenfeld auf. 3 zeigt ein erstes Datenfeld 30_1,1 , ein zweites Datenfeld 30_1,2 und ein drittes Datenfeld 30_1,3 des ersten Datensatzes 30₁ , ein erstes Datenfeld 30_i,1 , ein zweites Datenfeld 30_i,2 , ein drittes Datenfeld 30_i,3 des i-ten Datensatzes 30_i und ein erstes Datenfeld 30_n,1 , ein zweites Datenfeld 30_n,2 und ein drittes Datenfeld 30_n,3 des n-ten Datensatzes 30_n .The evaluation unit 5 is set up according to a first variant, the values of the compressed data set 8th with values of records 30th a database 31 to compare. Database 31 comprises n records, where in 3 a first record 30 ₁ , an i-th record 30 _i and an n-th record 30 _AD of the n records 30th are shown, where i are the values 1 until n can accept. The data records each have a first, a second and a third data field. 3 shows a first data field 30 _1.1 , a second data field 30 _1.2 and a third data field 30 _1.3 of the first record 30 ₁ , a first data field 30 _{i, 1} , a second data field 30 _{i, 2} , a third data field 30 _{i, 3} of the ith data set 30 _i and a first data field 30 _{n, 1} , a second data field 30 _{n, 2} and a third data field 30 _{n, 3} of the nth record 30 _AD .

Die jeweiligen ersten Datenfelder der Datensätze 30 weisen bevorzugt jeweils einen Wert zum Referenzieren eines jeweiligen Objektes im Straßenverkehr auf, wobei diese derartig referenzierten Objekte einen Satz von Objekten bilden und vorzugsweise unterschiedlich sind. Das zu erkennende Objekt 3 ist in den folgenden Ausführungsbeispielen in dem Satz der Objekte enthalten. Der Wert zum Referenzieren kann in einer einfachen Ausführungsform ein Integerwert sein. Beispielsweise kann mit einem Wert von „eins“ ein Polizeiwagen und einem Wert von „zwei“ ein Feuerwehrwagen referenziert werden.The respective first data fields of the data records 30th each preferably have a value for referencing a respective object in road traffic, these objects referenced in this way forming a set of objects and preferably being different. The object to be recognized 3 is contained in the set of objects in the following exemplary embodiments. In a simple embodiment, the value for referencing can be an integer value. For example, a police car can be referenced with a value of “one” and a fire engine with a value of “two”.

Die Objekte können unterschiedliche Fahrzeuge, Fahrzeugkomponenten, wie beispielsweise ein abrollender Reifen, unterschiedliche Sirenen oder sonstige Alarmquellen, oder sonstige Quellen von Umgebungsgeräuschen, wie zum Beispiel eine Hupe oder spielende Kinder, sein. Der Satz der Objekte umfasst n Objekte, wobei n vorzugsweise größer als zwanzig ist.The objects can be different vehicles, vehicle components such as a rolling tire, different sirens or other sources of alarm, or other sources of ambient noise such as a horn or children playing. The set of objects includes n objects, where n is preferably greater than twenty.

Die Objekte sind derart beschaffen, dass sie bei einem alltäglichen Betrieb im Straßenverkehr wiederholbar nahezu gleiche Tongemische erzeugen können. Demnach kann jedem mithilfe des jeweiligen ersten Datenfeldes der Datenbank 31 referenzierten Objekt ein einzelnes typisches Tongemisch zugeordnet werden. Die jeweiligen Tongemische können jeweils mit einem typischen Frequenzspektrum beschrieben werden. Die Datenbank 31 ist derart eingerichtet, dass die jeweiligen zweiten Datenfelder und dritten Datenfelder der Datensätze 30 jeweils einen Wert einer charakteristischen Größe zur Beschreibung der jeweiligen typischen Frequenzspektren aufweisen.The objects are designed in such a way that they can reproduce almost the same mix of sounds during everyday use in traffic. Accordingly, everyone can use the respective first data field in the database 31 referenced object can be assigned a single typical mix of sounds. The respective sound mixes can each be described with a typical frequency spectrum. Database 31 is set up in such a way that the respective second data fields and third data fields of the data records 30th each have a value of a characteristic variable for describing the respective typical frequency spectra.

So können in einer speziellen Ausgestaltung die zweiten Datenfelder der Datensätze 30 jeweils einen Wert einer Schwerpunktwellenlänge des jeweiligen typischen Frequenzspektrums des entsprechenden Objektes aufweisen. Weiterhin können die dritten Datenfelder der Datensätze 30 jeweils einen Wert, der einem Wert eines quadratischen Mittels der Werte der Amplituden des jeweiligen typischen Frequenzspektrums des entsprechenden Objektes entspricht, aufweisen. Genauso gut können in einer weiteren Ausgestaltung die Datensätze 30 weitere Datenfelder zur Speicherung weiterer Werte von weiteren charakteristischen Größen zur Beschreibung der jeweiligen typischen Frequenzspektren enthalten.In a special embodiment, the second data fields of the data records 30th each have a value of a focal wavelength of the respective typical frequency spectrum of the corresponding object. Furthermore, the third data fields of the data records 30th each have a value that corresponds to a value of a quadratic mean of the values of the amplitudes of the respective typical frequency spectrum of the corresponding object. In a further embodiment, the data records can just as well 30th contain further data fields for storing further values of further characteristic quantities for describing the respective typical frequency spectra.

Die Datenbank 31 ist bevorzugt in einem Speicher des Fahrzeugs 2 gespeichert. Möglich ist auch, dass die Datenbank 31 in Form einer externen Datenbank in einer Cloud gespeichert ist. Die Auswertungseinheit 5 ist in diesem Fall eingerichtet, mit der Cloud zu kommunizieren. In beiden Fällen ist die Datenbank 31 bevorzugt Teil des Assistenzsystems 1. Anhand der Werte des komprimierten Datensatzes 8 kann die Auswertungseinheit 5 dasjenige Objekt der referenzierten Objekte der Datenbank 31 bestimmen, dessen jeweiliger Wert des zweiten und dritten Datenfeldes des zu dem referenzierten Objekt zugehörigen Datensatzes 30_i jeweils am ähnlichsten zu dem Wert des ersten Datenfeldes 23 beziehungsweise des zweiten Datenfeldes 24 ist. Dieses Objekt wird im Folgenden als identifiziertes Objekt bezeichnet. Vorteilhaft vergleicht die Auswertungseinheit 5 hierzu den jeweiligen Wert der zweiten und dritten Datenfelder aller Datensätze 30 mit dem jeweiligen Wert des ersten Datenfeldes 23 beziehungsweise des zweiten Datenfeldes 24 des komprimierten Datensatzes 8.Database 31 is preferably in a memory of the vehicle 2 saved. It is also possible that the database 31 is stored in the form of an external database in a cloud. The evaluation unit 5 is set up in this case to communicate with the cloud. In both cases the database is 31 preferably part of the assistance system 1 . Based on the values of the compressed data set 8th can the evaluation unit 5 that object of the referenced objects in the database 31 determine the respective value of the second and third data field of the data record belonging to the referenced object 30 _i each most similar to the value of the first data field 23 or the second data field 24 is. This object is referred to below as the identified object. The evaluation unit advantageously compares 5 for this purpose the respective value of the second and third data fields of all data records 30th with the respective value of the first data field 23 or the second data field 24 of the compressed data set 8th .

Um das identifizierte Objekt zu ermitteln, kann die Auswertungseinheit 5 gemäß einer zweiten Variante eine künstliche Intelligenzeinheit, vorzugsweise ein neuronales Netz 40, aufweisen. Bei dieser zweiten Variante verarbeitet die Auswertungseinheit 5 die Werte des komprimierten Datensatzes 8 mithilfe der künstlichen Intelligenzeinheit anstatt mithilfe der Datenbank 31. Das in 4 gezeigte neuronale Netz 40 weist vorzugsweise mehrere Eingangskanäle 41 und einen Ausgangskanal 42 auf. Das neuronale Netz 40 ist eingerichtet, mithilfe der Eingangskanäle 41 Werte von unterschiedlichen charakteristischen Größen zur Beschreibung des Frequenzspektrums 7 einzulesen und anhand dieser eingelesenen Werte einen Ausgangswert zu berechnen und diesen an dem Ausgangskanal 42 auszugeben.In order to determine the identified object, the evaluation unit 5 according to a second variant, an artificial intelligence unit, preferably a neural network 40 , exhibit. In this second variant, the evaluation unit processes 5 the values of the compressed data set 8th using the artificial intelligence unit instead of using the database 31 . This in 4th shown neural network 40 preferably has several input channels 41 and an output channel 42 on. The neural network 40 is set up using the input channels 41 Values of different characteristic quantities to describe the frequency spectrum 7th read in and use these read-in values to calculate an output value and transfer this to the output channel 42 to spend.

Bezogen auf das obige Beispiel, können diese unterschiedlichen charakteristischen Größen die Schwerpunktwellenlänge und das quadratische Mittel der Werte der Amplituden sein. Um das neuronale Netz 40 zu trainieren, können beispielsweise die Datensätze 30 der Datenbank 31 verwendet werden. Bei einem Training des neuronalen Netzes 40 wird vorzugsweise nacheinander zu jedem Datensatz der Datensätze 30 ein jeweiliger Fehler des neuronalen Netzes 40 bestimmt. Der jeweilige Fehler berechnet sich vorzugsweise aus einer Differenz zwischen einem Ausgangswert, den das neuronale Netz 40 in Abhängigkeit von dem jeweiligen Wert des zweiten Datenfeldes und dritten Datenfeldes des jeweiligen Datensatzes und in Abhängigkeit von Werten von Parametern des neuronalen Netzes 40 berechnet, und dem Wert des ersten Datenfeldes dieses jeweiligen Datensatzes. Die jeweiligen Fehler werden bevorzugt quadriert und die jeweiligen Quadrate zu einer Fehlerquadratsumme addiert.With reference to the above example, these different characteristic quantities can be the centroid wavelength and the root mean square of the values of the amplitudes. To the neural network 40 to train, for example, the data sets 30th the database 31 be used. When training the neural network 40 is preferably sequentially for each data set of the data sets 30th a respective fault in the neural network 40 certainly. The respective error is preferably calculated from a difference between an output value given by the neural network 40 as a function of the respective value of the second data field and third data field of the respective data record and as a function of values of parameters of the neural network 40 calculated, and the value of the first data field of this respective data record. The respective errors are preferably squared and the respective squares are added to a sum of squares of the errors.

Um das neuronale Netz 40 an die Informationen der Datenbank 31, die in Form aller Werte der Datenbank 31 angesehen werden können, anzupassen, kann die Fehlerquadratsumme nach den einzelnen Parametern des neuronalen Netzes 40 abgeleitet werden. Auf diese Art können Ableitungen bestimmt und anhand der Ableitungen die Werte der Parameter verändert werden. Eine Veränderung der Parameter kann beispielsweise nach einer Delta-Regel erfolgen. Ein derartiges Anpassen der Werte der Parameter ist ähnlich zu dem Backpropagation-Verfahren. Genauso gut können andere Lernverfahren zur Anpassung des neuronalen Netzes 40 an die Informationen der Datenbank 31 verwendet werden.To the neural network 40 to the information in the database 31 that in the form of all values in the database 31 can be viewed, adapt, the sum of squares according to the individual parameters of the neural network 40 be derived. In this way, derivatives can be determined and the values of the parameters can be changed on the basis of the derivatives. The parameters can be changed, for example, according to a delta rule. Adapting the values of the parameters in this way is similar to the backpropagation method. Other learning methods for adapting the neural network can do just as well 40 to the information in the database 31 be used.

Um das identifizierte Objekt 3 in Abhängigkeit der von dem Objekt 3 ausgesandten Schallwellen zu bestimmen, kann die Auswertungseinheit 5 den komprimierten Datensatz 8 folgendermaßen mithilfe des neuronalen Netzes 40 verarbeiten. Das erste Auswertungsmodul 20 sendet die Werte des komprimierten Datensatzes 8 an die Eingangskanäle 41 des neuronalen Netzes 40. In einem trainierten Zustand des neuronalen Netzes 40 berechnet das neuronale Netz 40 einen Ausgangswert, der nahezu identisch zu einem Wert des ersten Datenfeldes desjenigen Datensatzes der Datensätze 30 ist, dessen jeweiliger Wert des zweiten und dritten Datenfeldes nahezu identisch zu dem jeweiligen Wert des ersten Datenfeldes 23 beziehungsweise des zweiten Datenfeldes 24 des komprimierten Datensatzes 8 ist.To the identified object 3 depending on the property 3 The evaluation unit can determine emitted sound waves 5 the compressed data set 8th using the neural network as follows 40 to process. The first evaluation module 20th sends the values of the compressed data set 8th to the input channels 41 of the neural network 40 . In a trained state of the neural network 40 calculates the neural network 40 an output value which is almost identical to a value of the first data field of that data record of the data records 30th is, whose respective value of the second and third data field is almost identical to the respective value of the first data field 23 or the second data field 24 of the compressed data set 8th is.

Mit nahezu identisch sind jeweils Werte gemeint, die maximal 1 bis 2 % voneinander abweichen. Eine derartige Toleranz erlaubt es, die mithilfe der Datensätze 30 referenzierten Objekte in den meisten Fällen eindeutig voneinander zu unterscheiden. Generell ist es möglich, höhere Werte der Toleranz als 1 bis 2 % zu verwenden. Jedoch ist dann eine Gefahr höher, dass mithilfe des neuronalen Netzes 40 ein unbekanntes Objekt, das nicht in dem Satz der Objekte enthalten ist, einem der Objekte des Satzes der Objekte zugeordnet wird. In diesem Fall entspricht das identifizierte Objekt nicht dem Objekt 3, d.h. das Objekt 3 wird verwechselt.Almost identical means values that differ from one another by a maximum of 1 to 2%. Such a tolerance allows using the data sets 30th in most cases clearly distinguish referenced objects from one another. It is generally possible to use tolerance values higher than 1 to 2%. However, there is then a higher risk that with the help of the neural network 40 an unknown object that is not included in the set of objects is assigned to one of the objects of the set of objects. In this case, the identified object does not match the object 3 , ie the object 3 is confused.

Der Vorteil, das neuronale Netz 40 anstatt der Datenbank 31 zu verwenden, besteht darin, dass das neuronale Netz 40 den Ausgangswert in Abhängigkeit von den Werten des komprimierten Datensatzes 8 schneller berechnen kann, als ein Vergleich der Werte des komprimierten Datensatzes 8 mit allen Werten der zweiten beziehungsweise dritten Datenfelder aller Datensätze 30 durchgeführt werden kann. Dadurch kann das Objekt 3 schneller als dasjenige mithilfe der Datenbank 31 referenzierte Objekt identifiziert werden, dessen typisches Frequenzspektrum dem Frequenzspektrum 7 am ähnlichsten ist.The advantage of the neural network 40 instead of the database 31 to use is that the neural network 40 the output value depending on the values of the compressed data set 8th can calculate faster than a comparison of the values of the compressed data set 8th with all values of the second or third data fields of all data records 30th can be carried out. This allows the object 3 faster than using the database 31 referenced object are identified, the typical frequency spectrum of which is the frequency spectrum 7th is most similar.

Der Ausgangswert kann mithilfe des neuronalen Netzes 40 vergleichsweise schnell berechnet werden, weil dieser durch eine fortschreitende direkte Berechnung innerhalb des Netzes 40 in Abhängigkeit der Werte, die mithilfe der Eingangskanäle 41 eingelesen werden, berechnet wird. Hierbei werden die Werte, die mithilfe der Eingangskanäle 41 eingelesen werden, als Eingangswerte für Neuronen einer ersten Schicht 43 verwendet. Die Neuronen der ersten Schicht 43 weisen jeweils zumindest eine Aktivierungsfunktion auf, mit der ein jeweiliger Ausgangswert des entsprechenden Neurons berechnet werden kann. Diese Ausgangswerte werden mit jeweiligen Gewichten multipliziert und an Eingänge von Neuronen einer zweiten Schicht 44 weitergeleitet. Ähnlich wie mithilfe der Neuronen der ersten Schicht 43 können direkt Ausgangswerte mithilfe der Neuronen der zweiten Schicht 43 in Abhängigkeit der weitergeleiteten und multiplizierten Ausgangswerte der Neuronen der ersten Schicht 43 ermittelt werden. Analog gilt dies für Neuronen einer dritten Schicht 45, mit denen der Ausgangswert berechnet wird. Die fortschreitende direkte Berechnung des Ausgangswertes mithilfe der Aktivierungsfunktionen ist in den meisten Fällen schneller umsetzbar als den Vergleich der Werte des komprimierten Datensatzes 8 mit allen Werten der zweiten beziehungsweise dritten Datenfelder aller Datensätze 30 durchzuführen.The output value can be obtained using the neural network 40 can be calculated comparatively quickly because this is due to a progressive direct calculation within the network 40 depending on the values obtained using the input channels 41 are read in, is calculated. The values that are generated using the input channels 41 are read in as input values for neurons of a first layer 43 used. The neurons of the first layer 43 each have at least one activation function with which a respective output value of the corresponding neuron can be calculated. These output values are multiplied by respective weights and sent to inputs of neurons of a second layer 44 forwarded. Similar to using the neurons of the first layer 43 can direct output values using the neurons of the second layer 43 as a function of the forwarded and multiplied output values of the neurons of the first layer 43 be determined. This applies analogously to neurons of a third layer 45 with which the output value is calculated. The ongoing direct calculation of the output value using the activation functions can in most cases be implemented more quickly than comparing the values of the compressed data set 8th with all values of the second or third data fields of all data records 30th perform.

Die Aktivierungsfunktionen der Neuronen der ersten, zweiten und dritten Schicht 43, 44, 45 haben bevorzugt Schwellwerte. Die Schwellwerte und die Gewichte sind bevorzugt die Parameter des Netzes 40. The activation functions of the neurons of the first, second and third layers 43 , 44 , 45 preferably have threshold values. The threshold values and the weights are preferably the parameters of the network 40 .

Das Training des neuronalen Netzes 40 wird bevorzugt außerhalb des Fahrzeugs 2, vorzugsweise auf einem Großrechner beziehungsweise in einem Rechenzentrum, durchgeführt. In einer weiteren Variante kann das Training in dem Fahrzeug 2, bevorzugt mithilfe eines Steuergerätes 9 oder einer weiteren Recheneinheit, beispielsweise einem Minicomputer wie zum Beispiel einem Raspberry Pi, des Fahrzeugs 2, ausgeführt werden.The training of the neural network 40 is preferred outside the vehicle 2 , preferably on a mainframe computer or in a data center. In a further variant, the training can take place in the vehicle 2 , preferably with the help of a control unit 9 or a further processing unit, for example a minicomputer such as a Raspberry Pi, of the vehicle 2 to be executed.

Die Auswertungseinheit 5 ist vorteilhaft eingerichtet in Abhängigkeit des identifizierten Objektes, insbesondere in Abhängigkeit des Ausgangswertes des neuronalen Netzes 40, das Warnsignal zu ermitteln. Bevorzugt weist die Auswertungseinheit 5 eine Liste mit Warnsignalen auf, denen jeweils eines der in der Datenbank 31 referenzierten Objekte zugeordnet ist. Ist das identifizierte Objekt zum Beispiel ein Feuerwehr-, Polizei- oder Krankenwagen, so kann das entsprechende Warnsignal ein Zeichen einer Rettungsgasse sein. Sendet die Auswertungseinheit 5 in diesem Fall das Warnsignal an die Schnittstelle 6, so erscheint im Display das Zeichen der Rettungsgasse.The evaluation unit 5 is advantageously set up as a function of the identified object, in particular as a function of the output value of the neural network 40 to determine the warning signal. The evaluation unit preferably has 5 a list of warning signals, each one of which is in the database 31 referenced objects is assigned. If the identified object is, for example, a fire brigade, police or ambulance, the corresponding warning signal can be a sign of an ambulance. Sends the evaluation unit 5 in this case the warning signal to the interface 6th , the emergency lane symbol appears in the display.

Ist das Fahrzeug als ein autonom oder teilweise autonom fahrendes Fahrzeug ausgebildet, sendet die Auswertungseinheit 5 das Warnsignal an das Steuergerät 9. In diesem Fall ist das Steuergerät 9 eingerichtet, das Fahrzeug 2 autonom oder teilweise autonom zu steuern und dabei das Warnsignal zu berücksichtigen. So stellt das Steuergerät 9 bevorzugt einen zeitlichen Verlauf eines Lenkwinkels und einer Geschwindigkeit des Fahrzeugs 2 in Abhängigkeit des Warnsignals ein. Bei dieser Variante kann das Warnsignal gleich dem Ausgangswert des neuronalen Netzes 40 sein, der näherungsweise gleich einem der Identifikationswerte der ersten Datenfelder der Datenbank 31 ist. Ist der Ausgangswert beispielsweise etwa gleich einem Identifikationswert, der einem Feuerwehr-, Polizei- oder Krankenwagen entspricht, so steuert das Steuergerät 9 das Fahrzeug 2 vorzugsweise derart, dass es mit weiteren Fahrzeugen in der Umgebung des Fahrzeugs 2 eine Rettungsgasse bildet.If the vehicle is designed as an autonomously or partially autonomously driving vehicle, the evaluation unit sends 5 the warning signal to the control unit 9 . In this case the control unit is 9 set up the vehicle 2 autonomously or partially autonomously, taking into account the warning signal. So puts the control unit 9 preferably a time profile of a steering angle and a speed of the vehicle 2 depending on the warning signal. In this variant, the warning signal can be equal to the output value of the neural network 40 which is approximately equal to one of the identification values of the first data fields of the database 31 is. If the output value is, for example, approximately equal to an identification value that corresponds to a fire brigade, police or ambulance, the control unit controls 9 the vehicle 2 preferably such that there are other vehicles in the vicinity of the vehicle 2 forms a rescue alley.

In einer Weiterbildung weist das Assistenzsystem ein zweites Mikrofon 10 auf. In dieser Weiterbildung ist die Auswertungseinheit 5 ausgebildet und eingerichtet, in Abhängigkeit von mit dem zweiten Mikrofon 10 erfassten und von dem Objekt 3 ausgesandten Schallwellen das Objekt 3 zu lokalisieren. Mit einem Lokalisieren ist gemeint, dass die Auswertungseinheit 5 in Abhängigkeit von den Signalen des ersten Mikrofons und Signalen, die das zweite Mikrofon 10 an die Auswertungseinheit 5 senden, im Folgenden zusammengenommen als Auswertungssignale bezeichnet, eine Position des Objektes 3 in Bezug zu dem Fahrzeug 2 ermittelt. Insbesondere ermittelt die Auswertungseinheit 5 in Abhängigkeit der Auswertungssignale eine Position des Objektes 3 in Bezug zu einer Fahrzeuglängsachse des Fahrzeugs 2 und/oder detektiert, ob sich das Objekt 3 vor, hinter oder neben dem Fahrzeug 2 befindet.In a further development, the assistance system has a second microphone 10 on. In this further development is the evaluation unit 5 formed and set up as a function of with the second microphone 10 captured and from the object 3 emitted sound waves hit the object 3 to locate. Localization means that the evaluation unit 5 depending on the signals from the first microphone and signals from the second microphone 10 to the evaluation unit 5 send, hereinafter collectively referred to as evaluation signals, a position of the object 3 in relation to the vehicle 2 determined. In particular, the evaluation unit determines 5 a position of the object depending on the evaluation signals 3 in relation to a vehicle longitudinal axis of the vehicle 2 and / or detects whether the object is 3 in front of, behind or next to the vehicle 2 is located.

Hierzu kann die Auswertungseinheit 5 eine mithilfe des ersten Mikrofons 4 erfasste erste Schallleistung und eine mithilfe des zweiten Mikrofons 10 erfasste zweite Schallleistung der von dem Objekt 3 ausgesandten Schallwellen auswerten. Vorteilhaft berechnet die Auswertungseinheit 5 eine Pegeldifferenz zwischen der ersten und der zweiten Schalleistung zum Lokalisieren. Die Auswertungseinheit 5 ist bevorzugt eingerichtet, beim Lokalisieren eine jeweilige richtungsabhängige Empfangscharakteristik des ersten beziehungsweise zweiten Mikrofons 4, 10 zu berücksichtigen.The evaluation unit 5 one using the first microphone 4th detected first sound power and one using the second microphone 10 detected second sound power of the object 3 evaluate emitted sound waves. The evaluation unit advantageously calculates 5 a level difference between the first and the second sound power for localization. The evaluation unit 5 is preferably set up when localizing a respective direction-dependent reception characteristic of the first or second microphone 4th , 10 to consider.

Vorteilhaft berechnet die Auswertungseinheit 5 in Abhängigkeit der Auswertungssignale einen Winkel, in dem sich das Objekt 3 relativ zu der Fahrzeuglängsachse befindet. Weiterhin ist die Auswertungseinheit 5 bevorzugt eingerichtet, einen Abstand des Objektes 3 zu dem Fahrzeug 2 in Abhängigkeit der von dem ersten Mikrofon 4 und/oder dem zweiten Mikrofon 10 empfangenen Signale zu berechnen. Hierzu weist die Auswertungseinheit 5 bevorzugt eine weitere Datenbank auf, in der Schallleistungen gespeichert sind, mit denen die Tongemische der mithilfe der ersten Datenbank 31 referenzierten Objekte ausgesendet werden. Alternativ können die Schalleistungen praktischerweise in der Datenbank 31 in einem zusätzlichen Datenfeld gespeichert sein. Möglich ist, dass die Auswertungseinheit 5 den Abstand anhand der Signale des ersten Mikrofons 4 ohne der Signale des zweiten Mikrofons 10 berechnet. Jedoch kann der Abstand mithilfe der Auswertungssignale genauer bestimmt werden.The evaluation unit advantageously calculates 5 Depending on the evaluation signals, an angle at which the object is 3 is located relative to the vehicle longitudinal axis. Furthermore, the evaluation unit 5 preferably set up a distance of the object 3 to the vehicle 2 depending on that of the first microphone 4th and / or the second microphone 10 to calculate received signals. The evaluation unit 5 preferably a further database in which the sound power levels are stored with which the sound mixes of the using the first database 31 referenced objects are sent. Alternatively, the sound power can be conveniently stored in the database 31 be stored in an additional data field. It is possible that the evaluation unit 5 the distance based on the signals from the first microphone 4th without the signals from the second microphone 10 calculated. However, the distance can be determined more precisely with the aid of the evaluation signals.

Informationen über die Position des Objektes 3 in Bezug zu dem Fahrzeug 2 können in dem Warnsignal enthalten sein. Vorteilhaft werden diese Informationen auf dem Display angezeigt. Wird beispielsweise ein abrollender Reifen eines Lastkraftwagens in einer Position neben dem Fahrzeug 2 detektiert, kann dies auf dem Display angezeigt werden. Wird das Fahrzeug 2 autonom oder teilweise autonom mithilfe des Steuergerätes 9 gesteuert, so steuert das Steuergerät 9 das Fahrzeug 2, insbesondere einen zeitlichen Verlauf des Lenkwinkels und der Geschwindigkeit des Fahrzeugs 2, in Abhängigkeit der Informationen über die Position des Objektes 3.Information about the position of the object 3 in relation to the vehicle 2 can be included in the warning signal. This information is advantageously shown on the display. For example, a rolling tire of a truck is in a position next to the vehicle 2 detected, this can be shown on the display. Will the vehicle 2 autonomously or partially autonomously with the help of the control unit 9 controlled, so controls the control unit 9 the vehicle 2 , in particular a time profile of the steering angle and the speed of the vehicle 2 , depending on the information about the position of the object 3 .

Im Folgenden wird ein Verfahren zur Erzeugung einer künstlichen Intelligenzeinheit eines Fahrzeugs zur Erkennung des Objektes 3 in der Umgebung des Fahrzeugs 2 in Abhängigkeit von von dem Objekt 3 ausgesandten Schallwellen beschrieben. Die künstliche Intelligenzeinheit kann in Form des neuronalen Netzes 40 ausgebildet sein. Das Verfahren hat die folgenden Schritte. The following is a method for generating an artificial intelligence unit of a vehicle for recognizing the object 3 around the vehicle 2 depending on the object 3 emitted sound waves described. The artificial intelligence unit can be in the form of the neural network 40 be trained. The procedure has the following steps.

In einem ersten Schritt wird ein Frequenzspektrum eines Trainingsobjektes in Abhängigkeit von von dem Trainingsobjekt ausgesandten und mit zumindest dem ersten Mikrofon 4 erfassten Schallwellen erzeugt. Das Trainingsobjekt kann eines der mithilfe der ersten Datenfelder der Datensätze 30 referenzierten Objekte sein. Das Frequenzspektrum des Trainingsobjektes kann eines der oben genannten typischen Frequenzspektren eines der referenzierten Objekte sein, wobei das Frequenzspektrum des Trainingsobjektes mithilfe der Auswertungseinheit 5 in gleicher Weise wie das Frequenzspektrum 7 erzeugt werden kann.In a first step, a frequency spectrum of a training object is transmitted as a function of the training object and with at least the first microphone 4th detected sound waves generated. The training object can be one of the data sets using the first data fields 30th referenced objects. The frequency spectrum of the training object can be one of the above-mentioned typical frequency spectra of one of the referenced objects, the frequency spectrum of the training object using the evaluation unit 5 in the same way as the frequency spectrum 7th can be generated.

In einem zweiten Schritt wird das Frequenzspektrum des Trainingsobjektes zu einem komprimierten Datensatz des Trainingsobjektes verarbeitet. Der komprimierte Datensatz des Trainingsobjektes kann beispielsweise wie der komprimierte Datensatz 8 ausgebildet sein.In a second step, the frequency spectrum of the training object is processed into a compressed data set of the training object. The compressed data set of the training object can, for example, like the compressed data set 8th be trained.

In einem dritten Schritt wird das Trainingsobjekt identifiziert. Dies kann manuell oder mithilfe eines unüberwachten Lernverfahrens erfolgen. Manuell meint, dass eine Person ein zu dem Frequenzspektrum des Trainingsobjektes zugehöriges Tongemisch anhört und dadurch das Trainingsobjekt erkennt beziehungsweise identifiziert und benennen kann. In einem vierten Schritt wird eine Kennzeichnung des Trainingsobjektes vergeben. Dies kann manuell durch eine Eingabe einer Bezeichnung des Trainingsobjektes in einen Computer erfolgen oder automatisiert mithilfe von weiteren Datensätzen und bevorzugt einem dafür vorgesehenen Computerprogrammprodukt. Die Kennzeichnung kann auch in Form eines Wertes zum Referenzieren, wie einer der in den jeweiligen ersten Datenfeldern der Datensätze 30 gespeicherten Werte zum Referenzieren, bevorzugt in Form eines Integerwertes, ausgebildet sein.In a third step, the training object is identified. This can be done manually or using an unsupervised learning process. Manual means that a person listens to a mixture of sounds belonging to the frequency spectrum of the training object and thereby recognizes or can identify and name the training object. In a fourth step, the training object is identified. This can be done manually by entering a designation of the training object into a computer or it can be automated with the aid of further data records and preferably a computer program product provided for this purpose. The identification can also be in the form of a value for referencing, such as one of the values in the respective first data fields of the data records 30th stored values for referencing, preferably in the form of an integer value.

In einem fünften Schritt wird ein Trainingsdatensatz erstellt, der den komprimierten Datensatz des Trainingsobjektes und die Kennzeichnung des Trainingsobjektes aufweist. Der Trainingsdatensatz kann in gleicher Weise wie einer der Datensätze 30 ausgebildet sein. Die Schritte eins bis fünf werden für mehrere unterschiedliche Trainingsobjekte wiederholt, wobei für die unterschiedlichen Trainingsobjekte jeweils ein Trainingsdatensatz erstellt wird.In a fifth step, a training data record is created which has the compressed data record of the training object and the identification of the training object. The training data set can be used in the same way as one of the data sets 30th be trained. Steps one to five are repeated for several different training objects, with a training data set being created for each of the different training objects.

Die Trainingsdatensätze der Trainingsobjekte können in einer Trainingsdatenbank zusammengefasst werden, wobei die Trainingsdatenbank wie die Datenbank 31 ausgeführt sein kann. In einem sechsten Schritt wird die künstliche Intelligenzeinheit mit den Trainingsdatensätzen trainiert. Ein Training der künstlichen Intelligenzeinheit kann wie das oben beschriebene Anpassen der Werte der Parameter des neuronalen Netzes 40 durchgeführt werden. Der Vorteil des Verfahrens ist, dass während einem Betrieb des Fahrzeugs Daten zur Erzeugung der Trainingsdatensätze für das Training der künstlichen Intelligenzeinheit erfasst werden können. Das Training kann in dem Fahrzeug 2 oder außerhalb des Fahrzeugs 2, bevorzugt während des Betriebes des Fahrzeugs 2, durchgeführt werden.The training data sets of the training objects can be combined in a training database, the training database and the database 31 can be executed. In a sixth step, the artificial intelligence unit is trained with the training data sets. Training of the artificial intelligence unit can, like the adaptation of the values of the parameters of the neural network described above 40 be performed. The advantage of the method is that data for generating the training data records for training the artificial intelligence unit can be recorded during operation of the vehicle. The training can take place in the vehicle 2 or outside the vehicle 2 , preferably while the vehicle is in operation 2 , be performed.

Des Weiteren wird ein Verfahren zur Erzeugung einer künstlichen Intelligenzeinheit 50 des Fahrzeugs 2 zur Reaktion auf eine neue Verkehrssituation vorgeschlagen. Dieses Verfahren wird im Folgenden als zweites Verfahren bezeichnet. Die künstliche Intelligenzeinheit 50 ist bevorzugt als ein neuronales Netz ausgebildet und kann beispielsweise wie das neuronale Netz 40 eine erste, zweite und dritte Schicht von Neuronen aufweisen. Während der neuen Verkehrssituation werden Schallwellen erzeugt, wobei sich das Fahrzeug 2 in der neuen Verkehrssituation befindet.Furthermore, a method for generating an artificial intelligence unit is provided 50 of the vehicle 2 proposed to respond to a new traffic situation. This method is hereinafter referred to as the second method. The artificial intelligence unit 50 is preferably designed as a neural network and can, for example, like the neural network 40 comprise first, second and third layers of neurons. During the new traffic situation, sound waves are generated, causing the vehicle to move 2 is in the new traffic situation.

In einem ersten Schritt des zweiten Verfahrens wird ein mit einer Verkehrssituation korrespondierendes Frequenzspektrum in Abhängigkeit von mit zumindest dem ersten Mikrofon 4 erfassten Schallwellen erzeugt. Die Schallwellen werden während der Verkehrssituation, in der sich das Fahrzeug 2 befindet, erzeugt. Das Frequenzspektrum der Verkehrssituation kann mithilfe der Auswertungseinheit 5 in gleicher Weise wie das Frequenzspektrum 7 erzeugt werden.In a first step of the second method, a frequency spectrum corresponding to a traffic situation is generated as a function of at least the first microphone 4th detected sound waves generated. The sound waves are generated during the traffic situation in which the vehicle is 2 is located, generated. The frequency spectrum of the traffic situation can be determined using the evaluation unit 5 in the same way as the frequency spectrum 7th be generated.

In einem zweiten Schritt des zweiten Verfahrens wird das Frequenzspektrum der Verkehrssituation zu einem komprimierten Datensatz der Verkehrssituation verarbeitet. Der komprimierte Datensatz der Verkehrssituation kann beispielsweise wie der komprimierte Datensatz 8 ausgebildet sein. In einem dritten Schritt des zweiten Verfahrens wird ein Trainingsdatensatz der Verkehrssituation erstellt. Der Trainingsdatensatz der Verkehrssituation weist den komprimierten Datensatz der Verkehrssituation und Informationen zur Beschreibung zumindest einer Reaktion des Fahrers auf die Verkehrssituation auf.In a second step of the second method, the frequency spectrum of the traffic situation is processed into a compressed data record of the traffic situation. The compressed data record of the traffic situation can, for example, be the same as the compressed data record 8th be trained. In a third step of the second method, a training data set of the traffic situation is created. The training data set of the traffic situation has the compressed data set of the traffic situation and information for describing at least one reaction of the driver to the traffic situation.

Die Informationen zur Beschreibung der Reaktion umfassen Werte, insbesondere zeitliche Verläufe von Werten, von Zustandsgrößen zur Steuerung des Fahrzeugs 2. Die Zustandsgrößen können zum Beispiel ein Lenkwinkel des Fahrzeugs 2, eine Position eines Bremspedals und/oder eines Gaspedals des Fahrzeugs 2 sein. Die Informationen zur Beschreibung der Reaktion kann die Auswertungseinheit 5 vorteilhaft aus dem Steuergerät 9 auslesen.The information for describing the reaction includes values, in particular time profiles of values, of state variables for controlling the vehicle 2 . The state variables can, for example, be a steering angle of the vehicle 2 , a position of a brake pedal and / or a Accelerator pedal of the vehicle 2 be. The evaluation unit can provide the information to describe the reaction 5 advantageously from the control unit 9 read out.

Die Schritte eins bis drei werden für mehrere unterschiedliche Verkehrssituationen wiederholt, wobei für die unterschiedlichen Verkehrssituationen jeweils ein Trainingsdatensatz erstellt wird.Steps one to three are repeated for several different traffic situations, a training data set being created for each of the different traffic situations.

Die Trainingsdatensätze der Verkehrssituationen können in einer Trainingsdatenbank der Verkehrssituationen zusammengefasst werden. In einem vierten Schritt wird die künstliche Intelligenzeinheit 50 mit den Trainingsdatensätzen der Verkehrssituationen trainiert. Ein Training der künstlichen Intelligenzeinheit 50 kann wie das oben beschriebene Anpassen der Werte der Parameter des neuronalen Netzes 40 durchgeführt werden, wobei anstatt der Werte der Parameter des neuronalen Netzes 40 Werte von Parametern der künstlichen Intelligenzeinheit 50 an die Trainingsdatensätze der Verkehrssituationen angepasst werden.The training data sets of the traffic situations can be summarized in a training database of the traffic situations. In a fourth step, the artificial intelligence unit becomes 50 trained with the training data sets of the traffic situations. A training of the artificial intelligence unit 50 can as described above adapting the values of the parameters of the neural network 40 be carried out, instead of the values of the parameters of the neural network 40 Values of parameters of the artificial intelligence unit 50 be adapted to the training data sets of the traffic situations.

Die künstliche Intelligenzeinheit 50 kann nach dem Training der künstlichen Intelligenzeinheit 50 als Bestandteil des Assistenzsystems 1 folgendermaßen verwendet werden. In Abhängigkeit von den Schallwellen, die das Mikrofon 4 während der neuen Verkehrssituation erfasst, erzeugt die Auswertungseinheit 5 bevorzugt ein Frequenzspektrum der neuen Verkehrssituation und verarbeitet dieses Frequenzspektrum zu einem komprimierten Datensatz der neuen Verkehrssituation. Der komprimierte Datensatz der neuen Verkehrssituation wird an Eingangskanäle 51 der künstlichen Intelligenzeinheit 50 geleitet. Die künstliche Intelligenzeinheit 50 berechnet in Abhängigkeit von Werten des komprimierten Datensatzes der Verkehrssituation bevorzugt mehrere Ausgangswerte und gibt diese auf mehreren Ausgangskanälen 52 aus. Die Ausgangswerte kann die Auswertungseinheit 5 über die Schnittstelle 6 an das Display oder das Steuergerät 9 übertragen.The artificial intelligence unit 50 can after training the artificial intelligence unit 50 as part of the assistance system 1 can be used as follows. Depending on the sound waves that the microphone 4th recorded during the new traffic situation, generated by the evaluation unit 5 prefers a frequency spectrum of the new traffic situation and processes this frequency spectrum into a compressed data set of the new traffic situation. The compressed data set of the new traffic situation is sent to input channels 51 the artificial intelligence unit 50 directed. The artificial intelligence unit 50 preferably calculates several output values as a function of the values of the compressed data record of the traffic situation and outputs these on several output channels 52 out. The evaluation unit can provide the output values 5 through the interface 6th to the display or the control unit 9 transfer.

Für den Fall, dass das Fahrzeug 2 als ein autonom oder teilweise autonom fahrendes Fahrzeug ausgebildet ist, ist das Steuergerät 9 vorteilhaft eingerichtet, das Fahrzeug 2 anhand der Ausgangswerte, die das Steuergerät 9 von den Ausgangskanälen 52 empfängt, zu steuern. Diese Ausgangswerte kann das Steuergerät 9 bevorzugt als Sollwerte, insbesondere als zeitliche Sollwertverläufe, der oben genannten Zustandsgrößen zur Steuerung des Fahrzeugs 2, wie zum Beispiel des Lenkwinkels, interpretieren.In the event that the vehicle 2 is designed as an autonomously or partially autonomously driving vehicle, is the control unit 9 advantageously set up the vehicle 2 based on the output values that the control unit 9 from the output channels 52 receives, control. The control unit can use these output values 9 preferably as setpoint values, in particular as temporal setpoint curves, of the above-mentioned state variables for controlling the vehicle 2 such as the steering angle.

Für den Fall, dass der Fahrer das Fahrzeug 2 steuert, werden die Ausgangswerte dem Fahrer über das Display angezeigt und geben dem Fahrer somit eine Auskunft darüber, wie sich der Fahrer oder ein anderer Fahrer in einer Verkehrssituation, die ähnlich zu der neuen Verkehrssituation ist, verhalten hat. Vorteilhaft werden Informationen, die die Ausgangswerte enthalten, hierfür abstrahiert über das Display ausgegeben. Beispielsweise kann ein Zeichen, das eine Rettungsgasse zeigt, in dem Display aufblinken, wenn während der neuen Verkehrssituation Schallwellen einer Polizeisirene erzeugt werden.In the event that the driver is the vehicle 2 controls, the output values are shown to the driver on the display and thus provide the driver with information on how the driver or another driver behaved in a traffic situation that is similar to the new traffic situation. Information that contains the output values is advantageously output for this purpose in an abstracted manner via the display. For example, a sign showing an emergency lane can flash on the display if sound waves from a police siren are generated during the new traffic situation.

Der Vorteil des zweiten Verfahrens besteht darin, dass die Trainingsdatensätze der Verkehrssituationen ohne eine manuelle Identifikation der Verkehrssituationen erstellt werden können. Weiterhin ist es auch nicht erforderlich, einzelne Objekte zu erkennen. Dadurch können die Trainingsdatensätze einfacher automatisiert erzeugt werden. Verläuft eine Messfahrt, bei welcher die Trainingsdatensätze der Verkehrssituationen erzeugt werden, reibungslos, so können alle während dieser Messfahrt generierten Trainingsdatensätze der Verkehrssituationen als „korrekt“ angenommen werden. Diese Trainingsdatensätze repräsentieren jeweils verkehrssichere Reaktionen eines Fahrers des Fahrzeugs auf die entsprechenden Verkehrssituationen während der Messfahrt.The advantage of the second method is that the training data sets of the traffic situations can be created without manual identification of the traffic situations. Furthermore, it is also not necessary to recognize individual objects. This makes it easier to automatically generate the training data sets. If a measurement run, during which the training data sets for the traffic situations are generated, runs smoothly, then all training data sets for the traffic situations generated during this measurement run can be assumed to be “correct”. These training data sets each represent roadworthy reactions of a driver of the vehicle to the corresponding traffic situations during the test drive.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

DE 102018124979 A1 [0002]

Claims

Assistance system (1) for a vehicle (2) for recognizing an object (3) in the surroundings of the vehicle (2), the assistance system (1) having at least a first microphone (4), an evaluation unit (5) and an interface (6 ) for outputting a warning signal and the evaluation unit (5) is designed and set up to generate at least one frequency spectrum (7) as a function of the sound waves emitted by the object (3) and recorded with the first microphone (4) and, with the aid of the frequency spectrum, to generate Detect object (3) and send the warning signal to the interface (6).

Assistance system (1) Claim 1 , wherein the frequency spectrum (7) can be described using a first number of parameters and the evaluation unit (5) is designed and set up to convert values of the parameters into a compressed data set (8), the compressed data set (8) having a number of values , which is lower than the number of parameters, and to recognize the object (3) on the basis of the compressed data set.

Assistance system (1) Claim 1 or 2 , wherein the assistance system (1) has a second microphone (10) and the evaluation unit (5) is designed and set up, depending on the sound waves recorded by the second microphone (10) and emitted by the object (3) the object (3) to locate.

Assistance system (1) according to one of the preceding claims, wherein the evaluation unit (5) has a neural network (40) for recognizing the object (3).

Method for recognizing an object (3) in the surroundings of the vehicle (2) with the following steps: - Generating a frequency spectrum (7) as a function of sound waves detected with a first microphone (4) and emitted by the object (3) with the aid of an evaluation unit (5) in a first step, - Detecting the object (3) with the help of processing the frequency spectrum (7) in a second step, - Sending a warning signal to the interface (6) when the object (3) is recognized in a third step.

Method for generating an artificial intelligence unit of a vehicle (2) for the detection of an object (3) in the surroundings of the vehicle (2) as a function of sound waves emitted by the object (3) with the following steps: - Generating a frequency spectrum (7) of a training object as a function of the sound waves transmitted by the training object and recorded with at least one first microphone (4) in a first step, - processing the frequency spectrum (7) of the training object to a compressed data set of the training object in a second step, - Identifying the training object in a third step, - Assigning an identification of the training object in a fourth step, - Creation of a training data set, which has the compressed data set of the training object and the identification of the training object, in a fifth step, - Repeat steps one to five for several different training objects, whereby a training data set is created for each of the different training objects, - Training the artificial intelligence unit with the training data sets in a sixth step.

Method for generating an artificial intelligence unit (50) of a vehicle (2) for reacting to a new traffic situation, with sound waves being generated during the new traffic situation and the vehicle (2) being in the new traffic situation, with the following steps: - Generating a frequency spectrum (7) corresponding to a traffic situation as a function of sound waves recorded with at least one first microphone (4) which are generated during the traffic situation in which the vehicle (2) is located, in a first step, - Processing of the frequency spectrum (7) of the traffic situation into a compressed data record of the traffic situation in a second step, - Creation of a training data set of the traffic situation, which has the compressed data set of the traffic situation and information describing at least one reaction of the driver to the traffic situation, in a third step, - Repeating steps one to three for several different traffic situations, a training data set being created for each of the different traffic situations, - Training the artificial intelligence unit with the training data sets of the traffic situations in a fourth step.

Control unit (9) for a vehicle (2) and / or a vehicle component, set up by a method and / or for carrying out a method according to one of the Claims 5 to 7th .

Vehicle (2), comprising an assistance system (1) according to one of the Claims 1 to 4th .

Computer program product, comprising a program which, when executed by a computer, causes the computer to implement a method according to one of the Claims 5 to 7th perform.