DE102020003692A1 - Assistance system for the sound-dependent detection of objects in road traffic and a warning function - Google Patents
Assistance system for the sound-dependent detection of objects in road traffic and a warning function Download PDFInfo
- Publication number
- DE102020003692A1 DE102020003692A1 DE102020003692.9A DE102020003692A DE102020003692A1 DE 102020003692 A1 DE102020003692 A1 DE 102020003692A1 DE 102020003692 A DE102020003692 A DE 102020003692A DE 102020003692 A1 DE102020003692 A1 DE 102020003692A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- training
- frequency spectrum
- evaluation unit
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
Landscapes
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Assistenzsystem (1) für ein Fahrzeug (2) zur Erkennung eines Objektes (3) in einer Umgebung des Fahrzeugs (2), wobei das Assistenzsystem (1) zumindest ein erstes Mikrofon (4), eine Auswertungseinheit (5) und eine Schnittstelle (6) zum Ausgeben eines Warnsignals aufweist und die Auswertungseinheit (5) ausgebildet und eingerichtet ist, in Abhängigkeit von dem Objekt (3) ausgesandten und mit dem ersten Mikrofon (4) erfassten Schallwellen zumindest ein Frequenzspektrum (7) zu erzeugen und mithilfe des Frequenzspektrums das Objekt (3) zu erkennen und das Warnsignal an die Schnittstelle (6) zu senden. The invention relates to an assistance system (1) for a vehicle (2) for recognizing an object (3) in the vicinity of the vehicle (2), the assistance system (1) having at least a first microphone (4), an evaluation unit (5) and has an interface (6) for outputting a warning signal and the evaluation unit (5) is designed and set up to generate at least one frequency spectrum (7) as a function of the object (3) emitted and recorded with the first microphone (4) sound waves and using of the frequency spectrum to recognize the object (3) and to send the warning signal to the interface (6).
Description
Die Erfindung betrifft ein Assistenzsystem für ein Fahrzeug zur Erkennung eines Objektes in einer Umgebung des Fahrzeugs, ein Verfahren zur Erkennung des Objektes, ein Verfahren zur Erzeugung einer künstlichen Intelligenzeinheit eines Fahrzeugs zur Erkennung des Objektes, ein Verfahren zur Erzeugung einer künstlichen Intelligenzeinheit eines Fahrzeugs zur Reaktion auf eine neue Verkehrssituation, ein Steuergerät, ein Fahrzeug und ein Computerprogrammprodukt.The invention relates to an assistance system for a vehicle for recognizing an object in the surroundings of the vehicle, a method for recognizing the object, a method for generating an artificial intelligence unit of a vehicle for recognizing the object, a method for generating an artificial intelligence unit of a vehicle for reaction to a new traffic situation, a control unit, a vehicle and a computer program product.
Die
Es wird ein Assistenzsystem für ein Fahrzeug zur Erkennung eines Objektes in einer Umgebung des Fahrzeugs vorgeschlagen. Das Assistenzsystem weist zumindest ein erstes Mikrofon, eine Auswertungseinheit und eine Schnittstelle zum Ausgeben eines Warnsignals auf. Die Auswertungseinheit ist ausgebildet und eingerichtet, in Abhängigkeit von von dem Objekt ausgesandten und mit dem ersten Mikrofon erfassten Schallwellen zumindest ein Frequenzspektrum zu erzeugen und mithilfe des Frequenzspektrums das Objekt zu erkennen und das Warnsignal an die Schnittstelle zu senden. Die Auswertungseinheit ist bevorzugt eingerichtet, das Warnsignal an die Schnittstelle zu senden, wenn die Auswertungseinheit das Objekt erkennt.An assistance system for a vehicle for recognizing an object in the surroundings of the vehicle is proposed. The assistance system has at least a first microphone, an evaluation unit and an interface for outputting a warning signal. The evaluation unit is designed and set up to generate at least one frequency spectrum as a function of the sound waves emitted by the object and detected with the first microphone and to recognize the object with the aid of the frequency spectrum and to send the warning signal to the interface. The evaluation unit is preferably set up to send the warning signal to the interface when the evaluation unit detects the object.
Die Schnittstelle kann gemäß einer ersten Variante eine Anzeige, wie zum Beispiel ein Display eines Armaturenbrettes des Fahrzeugs, oder ein mobiles Endgerät, das mit der Auswertungseinheit kommunizieren kann, sein. In diesem Fall gibt die Anzeige das Warnsignal für einen Fahrer des Fahrzeugs aus.According to a first variant, the interface can be a display, such as a display on a dashboard of the vehicle, or a mobile terminal that can communicate with the evaluation unit. In this case, the display outputs the warning signal for a driver of the vehicle.
Gemäß einer zweiten Variante ist die Schnittstelle als eine elektronische Datenverbindung zwischen der Auswertungseinheit und einem Steuergerät des Fahrzeugs ausgebildet, um das Warnsignal von der Auswertungseinheit zu dem Steuergerät zu übertragen. Das Warnsignal ist in diesem Fall vorteilhaft eine Information über das erkannte Objekt oder ein Befehl, der in Abhängigkeit des erkannten Objektes bestimmt wird. Das Steuergerät des Fahrzeugs ist im Fall der zweiten Variante eingerichtet, zumindest einen Betriebsparameter des Fahrzeugs zu steuern. Der Betriebsparameter kann beispielsweise eine Geschwindigkeit, eine Beschleunigung, ein Abstand zwischen dem Fahrzeug und einem weiteren Fahrzeug, eine Motordrehzahl, eine Bremskraft oder ein Lenkwinkel sein. Vorteilhafterweise sind das Steuergerät und das Fahrzeug für ein autonomes und/oder teilweise autonomes Fahren einsetzbar.According to a second variant, the interface is designed as an electronic data connection between the evaluation unit and a control unit of the vehicle in order to transmit the warning signal from the evaluation unit to the control unit. In this case, the warning signal is advantageously information about the recognized object or a command that is determined as a function of the recognized object. In the case of the second variant, the control unit of the vehicle is set up to control at least one operating parameter of the vehicle. The operating parameter can be, for example, a speed, an acceleration, a distance between the vehicle and another vehicle, an engine speed, a braking force or a steering angle. The control device and the vehicle can advantageously be used for autonomous and / or partially autonomous driving.
Dadurch, dass die Auswertungseinheit das Objekt in Abhängigkeit der von dem Objekt ausgesandten Schallwellen erkennen und das Warnsignal ausgeben kann, kann der Fahrer in einem ersten beispielhaften Anwendungsfall frühzeitig über eine gefährliche Verkehrssituation gewarnt werden. In einem zweiten beispielhaften Anwendungsfall kann das Steuergerät in Abhängigkeit des erkannten Objektes das Warnsignal empfangen und das Fahrzeug in Abhängigkeit des Warnsignals steuern. Beispielsweise kann mithilfe des Assistenzsystems ein abrollender Reifen eines Lastkraftwagens in unmittelbarer Nähe auf einer rechten Seite des Fahrzeugs detektiert werden. In diesem Fall steuert das Steuergerät das Fahrzeug bevorzugt auf eine benachbarte freie linke Spur. Das Warnsignal bestimmt die Auswertungseinheit vorteilhaft in Abhängigkeit des erkannten Objektes. In beiden Anwendungsfällen wird eine Sicherheit des Fahrzeugs und weiterer Verkehrsteilnehmer erhöht. Weiterhin kann eine Verkehrssituation, in der sich das Fahrzeug und die weiteren Verkehrsteilnehmer befinden, in beiden Anwendungsfällen verbessert werden und, unter Umständen, unter wirtschaftlichen Aspekten verbessert werden.Because the evaluation unit can recognize the object as a function of the sound waves emitted by the object and can output the warning signal, the driver can be warned of a dangerous traffic situation at an early stage in a first exemplary application. In a second exemplary application, the control device can receive the warning signal as a function of the detected object and control the vehicle as a function of the warning signal. For example, the assistance system can be used to detect a rolling tire of a truck in the immediate vicinity on a right-hand side of the vehicle. In this case, the control unit preferably steers the vehicle into an adjacent free left lane. The evaluation unit advantageously determines the warning signal as a function of the recognized object. In both applications, the safety of the vehicle and other road users is increased. Furthermore, a traffic situation in which the vehicle and the other road users are located can be improved in both application cases and, under certain circumstances, improved under economic aspects.
Das vorgeschlagene Assistenzsystem und Verfahren liegen dem Gedanken zugrunde, dass eine Vielzahl von Objekten, insbesondere Fahrzeugen, im Straßenverkehr anhand von Schallwellen, die diese Objekte aussenden, identifiziert werden können. Alle Schallwellen zusammengenommen, die das Objekt aussendet, werden im Folgenden als Tongemisch bezeichnet. Das Tongemisch kann beliebige Frequenzen aufweisen. In einer speziellen Variante weist das Tongemisch einen, zwei oder mehrere Klänge auf. Die Klänge haben jeweils Frequenzen, die in einem ganzzahligen Verhältnis zu einer jeweiligen Grundfrequenz stehen. In einer besonderen Ausgestaltung können die Klänge jeweils nur die jeweilige Grundfrequenz aufweisen, wie es beispielsweise bei einem Martinshorn der Fall sein kann, bei dem zwei Grundfrequenzen zeitlich hintereinander erzeugt werden. Möglich ist, dass das Tongemisch zwei zeitlich versetzte Klänge aufweist. Wenn das Objekt das Tongemisch derart erzeugt, dass es sich nur aus Klängen zusammensetzt, hat dies den Vorteil, dass das Tongemisch und damit das Objekt leichter erkannt werden kann. Dies ist beispielsweise dann der Fall, wenn das Objekt ein Polizeiwagen oder Feuerwehrwagen mit eingeschalteter Sirene ist.The proposed assistance system and method are based on the idea that a large number of objects, in particular vehicles, can be identified in road traffic on the basis of sound waves that these objects emit. All the sound waves emitted by the object are referred to below as a mixture of sounds. The tone mixture can have any frequencies. In a special variant, the mixture of tones has one, two or more sounds. The sounds each have frequencies that are in an integer ratio to a respective fundamental frequency. In a special embodiment, the sounds can each have only the respective basic frequency, as can be the case, for example, with a sirloin, in which two basic frequencies are generated one after the other. It is possible that the mix of sounds has two temporally shifted sounds. If the object generates the sound mixture in such a way that it is composed only of sounds, this has the advantage that the sound mixture and thus the object can be recognized more easily. This is the case, for example, when the object is a police car or fire engine with the siren switched on.
Ein Fall, bei dem das Tongemisch Frequenzen aufweist, die nicht in einem ganzzahligen Verhältnis zu einer jeweiligen Grundfrequenz stehen, tritt beispielsweise dann auf, wenn das Objekt der Reifen des Lastkraftwagens ist, der auf einer nassen Fahrbahn abrollt. In diesem Fall wiederholen sich die von dem Reifen ausgesandten Schallwellen mit fortschreitender Zeit. Dies erleichtert es in diesem Fall, das Objekt anhand des Tongemisches zu erkennen.A case in which the clay mixture has frequencies that are not in an integer ratio to a respective fundamental frequency occurs, for example, when the object is the tire of the truck that is rolling on a wet road. In this case they repeat sound waves emitted by the tire as time progresses. In this case, this makes it easier to recognize the object based on the sound mixture.
Die Schallwellen werden mit dem ersten Mikrofon bevorzugt durch ein mechanisches schwingfähiges System des ersten Mikrofons, das durch die Schallwellen angeregt wird, erfasst. Das erste Mikrofon kann vorteilhaft als elektromagnetisches, elektrostatisches, wie zum Beispiel als Kondensatormikrofon oder Oberflächenmikrofon, oder piezoelektrisches Mikrofon ausgeführt sein. Mithilfe des Oberflächenmikrofons und deren im Vergleich zu anderen Bauarten der Kondensatormikrofone flachen Bauweise können Schalldrücke an luftumströmten Bauteilen, wie an einem Karosserieteil des Fahrzeugs, besonders strömungsarm gemessen werden. Das piezoelektrische Mikrofon mit einem Piezo-Kristall hat den Vorteil, dass keine Energieversorgung zur Erfassung der Schallwellen erforderlich ist. Eine auf den Piezo-Kristall ausgeübte Kraft der Schallwellen erzeugt eine Ladungsverschiebung in dem Piezo-Kristall und damit eine Spannung über dem Piezo-Kristall.The sound waves are preferably detected with the first microphone by a mechanical oscillatory system of the first microphone that is excited by the sound waves. The first microphone can advantageously be designed as an electromagnetic, electrostatic, such as a condenser microphone or surface microphone, or a piezoelectric microphone. With the help of the surface microphone and its flat design compared to other types of condenser microphones, sound pressures can be measured with particularly low flow on components around which air flows, such as on a vehicle body part. The piezoelectric microphone with a piezo crystal has the advantage that no energy supply is required to record the sound waves. A force of the sound waves exerted on the piezo crystal generates a charge shift in the piezo crystal and thus a voltage across the piezo crystal.
Das erste Mikrofon sendet durch das angeregte mechanische schwingfähige System erzeugte elektrische Signale, insbesondere über der Zeit variierende kontinuierliche oder zeitdiskrete Spannungssignale, an die Auswertungseinheit. Die Auswertungseinheit weist ein erstes Auswertungsmodul auf, mit dem in Abhängigkeit der mit dem ersten Mikrofon erfassten Schallwellen, insbesondere in Abhängigkeit der elektrischen Signale des ersten Mikrofons, das Frequenzspektrum erzeugbar ist. Das erste Auswertungsmodul ist bevorzugt eingerichtet, eine diskrete Fouriertransformation der elektrischen Signale durchzuführen und das Frequenzspektrum als ein Ergebnis der Fouriertransformation auszugeben. Das Frequenzspektrum ist zumindest mithilfe einer Anzahl an Parametern beschreibbar. Praktischerweise geben Werte der Parameter, im Folgenden erste Werte genannt, jeweilige Amplituden von Frequenzen des Frequenzspektrums an.The first microphone sends electrical signals generated by the excited mechanical oscillatory system, in particular continuous or time-discrete voltage signals that vary over time, to the evaluation unit. The evaluation unit has a first evaluation module with which the frequency spectrum can be generated as a function of the sound waves detected with the first microphone, in particular as a function of the electrical signals from the first microphone. The first evaluation module is preferably set up to carry out a discrete Fourier transformation of the electrical signals and to output the frequency spectrum as a result of the Fourier transformation. The frequency spectrum can be described with at least a number of parameters. In practical terms, the values of the parameters, referred to below as the first values, indicate the respective amplitudes of frequencies of the frequency spectrum.
Der Ausdruck „Modul“, wie er hierin benutzt wird, beschreibt eine beliebige bekannte oder später entwickelte Hardware, Software, Firmware, Künstliche Intelligenz, Fuzzy-Logik oder Kombination aus Hardware und Software, die in der Lage ist, die mit dem jeweiligen „Modul“ assoziierte Funktionalität auszuführen.The term “module” as used herein describes any known or later developed hardware, software, firmware, artificial intelligence, fuzzy logic or combination of hardware and software capable of being implemented with the respective “module “Perform associated functionality.
Die Auswertungseinheit verarbeitet das Frequenzspektrum, um das Objekt in Abhängigkeit des Tongemisches, insbesondere des Klanges, das beziehungsweise den das Objekt in Form der Schallwellen aussendet, zu erkennen.The evaluation unit processes the frequency spectrum in order to recognize the object as a function of the sound mixture, in particular the sound that the object emits in the form of sound waves.
Eine mögliche Ausführungsform kann vorsehen, dass die Auswertungseinheit eingerichtet ist, die ersten Werte mit einem Satz von zweiten Werten einer ersten Datenbank zu vergleichen. Die erste Datenbank kann bei dieser Ausführungsform beispielsweise mehrere unterschiedliche Datensätze enthalten. Die unterschiedlichen Datensätze können ein jeweiliges erstes Datenfeld, in dem ein Identifikationswert zur Identifizierung eines Objekt gespeichert ist, und ein jeweiliges zweites Datenfeld, in dem jeweilige zweite Werte zur Beschreibung von Schallwellen, die das entsprechende Objekt aussenden kann, aufweisen. Die jeweiligen zweiten Werte bilden zusammen den Satz der zweiten Werte aus. Die zweiten Werte können jeweilige Amplituden von Frequenzen eines jeweiligen Frequenzspektrums angeben, die die entsprechenden Schallwellen, die die jeweiligen unterschiedlichen Objekte aussenden, charakterisieren.One possible embodiment can provide that the evaluation unit is set up to compare the first values with a set of second values in a first database. In this embodiment, the first database can contain, for example, several different data records. The different data sets can have a respective first data field in which an identification value for identifying an object is stored, and a respective second data field in which respective second values for describing sound waves that the corresponding object can emit. The respective second values together form the set of the second values. The second values can indicate respective amplitudes of frequencies of a respective frequency spectrum, which characterize the corresponding sound waves that the respective different objects emit.
Gemäß einer vorteilhaften Ausgestaltung ist die Auswertungseinheit ausgebildet und eingerichtet, das Objekt, insbesondere das von dem Objekt ausgesandte Tongemisch, mithilfe eines komprimierten Datensatzes zu erkennen, der eine Anzahl an Werten hat, die niedriger als die Anzahl der Parameter ist. Bei dieser zweiten Variante ist die Auswertungseinheit ausgebildet und eingerichtet, die Werte der Parameter in den komprimierten Datensatz umzuwandeln.According to an advantageous embodiment, the evaluation unit is designed and set up to recognize the object, in particular the mixture of sounds emitted by the object, with the aid of a compressed data set that has a number of values that is lower than the number of parameters. In this second variant, the evaluation unit is designed and set up to convert the values of the parameters into the compressed data record.
Der komprimierte Datensatz weist Datenfelder mit Werten, im Folgenden dritte Werte genannt, auf. Die dritten Werte können Werte von charakteristischen Größen sein, die das Frequenzspektrum beschreiben. Die charakteristischen Größen können beispielsweise eine Schwerpunktwellenlänge des Frequenzspektrums, ein quadratisches Mittel der ersten Werte, eine Amplitude der Frequenz der zweiten Ordnung des Frequenzspektrums, ein Verhältnis zwischen zwei ausgewählten Frequenzen des Frequenzspektrums, eine Angabe über eine Flachheit und/oder eine Angabe über eine dominierende Frequenz des Frequenzspektrums umfassen.The compressed data record has data fields with values, hereinafter referred to as third values. The third values can be values of characteristic quantities that describe the frequency spectrum. The characteristic quantities can, for example, be a focal point wavelength of the frequency spectrum, a root mean square of the first values, an amplitude of the frequency of the second order of the frequency spectrum, a ratio between two selected frequencies of the frequency spectrum, an indication of a flatness and / or an indication of a dominant frequency of the frequency spectrum.
Bei dieser vorteilhaften Ausgestaltung ist bevorzugt vorgesehen, dass die Auswertungseinheit mithilfe der Werte der charakteristischen Größen, unter Umständen schon mithilfe eines Wertes einer einzelnen charakteristischen Größe, das Frequenzspektrum identifiziert. Dadurch, dass die Anzahl der Werte des komprimierten Datensatzes niedriger als die Anzahl der Parameter ist, kann eine erforderliche Rechenleistung zur Erkennung des Objektes anhand des erfassten Tongemisches reduziert werden. Dadurch kann eine Verzögerungszeit, innerhalb welcher das Assistenzsystem das Objekt erkennt und das Warnsignal ausgibt verkürzt werden und damit eine Sicherheit des Fahrzeugs erhöht werden.In this advantageous embodiment, it is preferably provided that the evaluation unit identifies the frequency spectrum with the aid of the values of the characteristic variables, possibly even with the aid of a value of a single characteristic variable. Because the number of values in the compressed data set is lower than the number of parameters, the computing power required for recognizing the object on the basis of the recorded sound mixture can be reduced. As a result, a delay time within which the assistance system recognizes the object and issues the warning signal can be shortened and thus the safety of the vehicle can be increased.
Gemäß einer speziellen Variante dieser Ausgestaltung führt die Auswertungseinheit einen Vergleich der dritten Werte mit den zweiten Werten der ersten Datenbank durch. Die zweiten Werte entsprechen bei dieser Variante Werte derjenigen charakteristischen Größen, auf die sich auch die dritten Werte beziehen, wie beispielsweise die Schwerpunktwellenlänge.According to a special variant of this embodiment, the evaluation unit compares the third values with the second values of the first database. In this variant, the second values correspond to values of those characteristic quantities to which the third values also relate, such as the focal point wavelength.
Weiterhin wird ein Verfahren zur Erkennung eines Objektes in einer Umgebung des Fahrzeugs vorgeschlagen. Das Verfahren weist die folgenden Schritte auf. In einem ersten Schritt wird mithilfe einer Auswertungseinheit ein Frequenzspektrum in Abhängigkeit von mit einem ersten Mikrofon erfassten und von dem Objekt ausgesandten Schallwellen erzeugt. In einem zweiten Schritt wird das Objekt mithilfe einer Verarbeitung des Frequenzspektrums erkannt. In einem dritten Schritt wird ein Warnsignal an die Schnittstelle bei einem Erkennen des Objektes gesendet. Dadurch, dass das Warnsignal in Abhängigkeit davon, ob das Objekt in Abhängigkeit der Schallwellen erkannt wird, ausgegeben wird, hat es dieselben Vorteile wie das Assistenzsystem. Furthermore, a method for recognizing an object in the vicinity of the vehicle is proposed. The procedure has the following steps. In a first step, an evaluation unit is used to generate a frequency spectrum as a function of sound waves recorded with a first microphone and emitted by the object. In a second step, the object is recognized by processing the frequency spectrum. In a third step, a warning signal is sent to the interface when the object is recognized. Since the warning signal is output depending on whether the object is recognized as a function of the sound waves, it has the same advantages as the assistance system.
Des Weiteren wird ein Steuergerät für ein Fahrzeug und/oder eine Fahrzeugkomponente vorgeschlagen. Das Steuergerät ist durch und/oder für die Durchführung des oben beschriebenen Verfahrens und/oder eines der unten beschriebenen Verfahren eingerichtet. Zusätzlich wird ein Fahrzeug vorgeschlagen, das das Assistenzsystem aufweist. Für das Steuergerät und das Fahrzeug ergeben sich entsprechend dieselben Vorteile wie für das Assistenzsystem.Furthermore, a control device for a vehicle and / or a vehicle component is proposed. The control unit is set up by and / or to carry out the method described above and / or one of the methods described below. In addition, a vehicle is proposed which has the assistance system. The same advantages result for the control unit and the vehicle as for the assistance system.
Das vorgeschlagene Computerprogrammprodukt veranlasst einen Computer, wenn das Computerprogrammprodukt von dem Computer ausgeführt wird, das oben beschriebene oder eines der unten beschriebenen Verfahren durchzuführen. Das Computerprogrammprodukt kann in dem Steuergerät gespeichert sein oder in einer weiteren Variante als Programm auf einem externen Datenträger außerhalb des Fahrzeugs vorliegen. Der Computer befindet sich vorteilhaft in Form eines Mikrocontrollers in dem Assistenzsystem. Dadurch, dass mithilfe des Computerprogrammproduktes das vorgeschlagene Verfahren auf dem Computer ausgeführt werden kann, können mit dem Computerprogrammprodukt dieselben Vorteile erzielt werden wie mit dem Verfahren.The proposed computer program product causes a computer, when the computer program product is executed by the computer, to carry out the method described above or one of the methods described below. The computer program product can be stored in the control device or, in a further variant, be present as a program on an external data carrier outside the vehicle. The computer is advantageously located in the assistance system in the form of a microcontroller. Because the proposed method can be carried out on the computer with the aid of the computer program product, the same advantages can be achieved with the computer program product as with the method.
Die abhängigen Ansprüche beschreiben weitere vorteilhafte Ausführungsformen der Erfindung. Bevorzugte Ausführungsbeispiele werden anhand der folgenden Figuren näher erläutert. Dabei zeigt schematisch
-
1 ein Fahrzeug mit einem Assistenzsystem, aufweisend eine Auswertungseinheit, ein erstes Mikrofon und eine Schnittstelle, -
2 ein erstes Auswertungsmodul der in1 gezeigten Auswertungseinheit, -
3 eine Datenbank mit Datensätzen zur Erkennung eines Objektes mithilfe der in1 gezeigten Auswertungseinheit, -
4 ein neuronales Netz der in1 gezeigten Auswertungseinheit, -
5 eine künstliche Intelligenzeinheit der in1 gezeigten Auswertungseinheit.
-
1 a vehicle with an assistance system, having an evaluation unit, a first microphone and an interface, -
2 a first evaluation module of the in1 shown evaluation unit, -
3 a database with data sets for the recognition of an object using the in1 shown evaluation unit, -
4th a neural network of the in1 shown evaluation unit, -
5 an artificial intelligence unit of the in1 evaluation unit shown.
Weiterhin ist die Auswertungseinheit
Um das Objekt
Der komprimierte Datensatz
Die Auswertungseinheit
Die jeweiligen ersten Datenfelder der Datensätze
Die Objekte können unterschiedliche Fahrzeuge, Fahrzeugkomponenten, wie beispielsweise ein abrollender Reifen, unterschiedliche Sirenen oder sonstige Alarmquellen, oder sonstige Quellen von Umgebungsgeräuschen, wie zum Beispiel eine Hupe oder spielende Kinder, sein. Der Satz der Objekte umfasst n Objekte, wobei n vorzugsweise größer als zwanzig ist.The objects can be different vehicles, vehicle components such as a rolling tire, different sirens or other sources of alarm, or other sources of ambient noise such as a horn or children playing. The set of objects includes n objects, where n is preferably greater than twenty.
Die Objekte sind derart beschaffen, dass sie bei einem alltäglichen Betrieb im Straßenverkehr wiederholbar nahezu gleiche Tongemische erzeugen können. Demnach kann jedem mithilfe des jeweiligen ersten Datenfeldes der Datenbank
So können in einer speziellen Ausgestaltung die zweiten Datenfelder der Datensätze
Die Datenbank
Um das identifizierte Objekt zu ermitteln, kann die Auswertungseinheit
Bezogen auf das obige Beispiel, können diese unterschiedlichen charakteristischen Größen die Schwerpunktwellenlänge und das quadratische Mittel der Werte der Amplituden sein. Um das neuronale Netz
Um das neuronale Netz
Um das identifizierte Objekt
Mit nahezu identisch sind jeweils Werte gemeint, die maximal 1 bis 2 % voneinander abweichen. Eine derartige Toleranz erlaubt es, die mithilfe der Datensätze
Der Vorteil, das neuronale Netz
Der Ausgangswert kann mithilfe des neuronalen Netzes
Die Aktivierungsfunktionen der Neuronen der ersten, zweiten und dritten Schicht
Das Training des neuronalen Netzes
Die Auswertungseinheit
Ist das Fahrzeug als ein autonom oder teilweise autonom fahrendes Fahrzeug ausgebildet, sendet die Auswertungseinheit
In einer Weiterbildung weist das Assistenzsystem ein zweites Mikrofon
Hierzu kann die Auswertungseinheit
Vorteilhaft berechnet die Auswertungseinheit
Informationen über die Position des Objektes
Im Folgenden wird ein Verfahren zur Erzeugung einer künstlichen Intelligenzeinheit eines Fahrzeugs zur Erkennung des Objektes
In einem ersten Schritt wird ein Frequenzspektrum eines Trainingsobjektes in Abhängigkeit von von dem Trainingsobjekt ausgesandten und mit zumindest dem ersten Mikrofon
In einem zweiten Schritt wird das Frequenzspektrum des Trainingsobjektes zu einem komprimierten Datensatz des Trainingsobjektes verarbeitet. Der komprimierte Datensatz des Trainingsobjektes kann beispielsweise wie der komprimierte Datensatz
In einem dritten Schritt wird das Trainingsobjekt identifiziert. Dies kann manuell oder mithilfe eines unüberwachten Lernverfahrens erfolgen. Manuell meint, dass eine Person ein zu dem Frequenzspektrum des Trainingsobjektes zugehöriges Tongemisch anhört und dadurch das Trainingsobjekt erkennt beziehungsweise identifiziert und benennen kann. In einem vierten Schritt wird eine Kennzeichnung des Trainingsobjektes vergeben. Dies kann manuell durch eine Eingabe einer Bezeichnung des Trainingsobjektes in einen Computer erfolgen oder automatisiert mithilfe von weiteren Datensätzen und bevorzugt einem dafür vorgesehenen Computerprogrammprodukt. Die Kennzeichnung kann auch in Form eines Wertes zum Referenzieren, wie einer der in den jeweiligen ersten Datenfeldern der Datensätze
In einem fünften Schritt wird ein Trainingsdatensatz erstellt, der den komprimierten Datensatz des Trainingsobjektes und die Kennzeichnung des Trainingsobjektes aufweist. Der Trainingsdatensatz kann in gleicher Weise wie einer der Datensätze
Die Trainingsdatensätze der Trainingsobjekte können in einer Trainingsdatenbank zusammengefasst werden, wobei die Trainingsdatenbank wie die Datenbank
Des Weiteren wird ein Verfahren zur Erzeugung einer künstlichen Intelligenzeinheit
In einem ersten Schritt des zweiten Verfahrens wird ein mit einer Verkehrssituation korrespondierendes Frequenzspektrum in Abhängigkeit von mit zumindest dem ersten Mikrofon
In einem zweiten Schritt des zweiten Verfahrens wird das Frequenzspektrum der Verkehrssituation zu einem komprimierten Datensatz der Verkehrssituation verarbeitet. Der komprimierte Datensatz der Verkehrssituation kann beispielsweise wie der komprimierte Datensatz
Die Informationen zur Beschreibung der Reaktion umfassen Werte, insbesondere zeitliche Verläufe von Werten, von Zustandsgrößen zur Steuerung des Fahrzeugs
Die Schritte eins bis drei werden für mehrere unterschiedliche Verkehrssituationen wiederholt, wobei für die unterschiedlichen Verkehrssituationen jeweils ein Trainingsdatensatz erstellt wird.Steps one to three are repeated for several different traffic situations, a training data set being created for each of the different traffic situations.
Die Trainingsdatensätze der Verkehrssituationen können in einer Trainingsdatenbank der Verkehrssituationen zusammengefasst werden. In einem vierten Schritt wird die künstliche Intelligenzeinheit
Die künstliche Intelligenzeinheit
Für den Fall, dass das Fahrzeug
Für den Fall, dass der Fahrer das Fahrzeug
Der Vorteil des zweiten Verfahrens besteht darin, dass die Trainingsdatensätze der Verkehrssituationen ohne eine manuelle Identifikation der Verkehrssituationen erstellt werden können. Weiterhin ist es auch nicht erforderlich, einzelne Objekte zu erkennen. Dadurch können die Trainingsdatensätze einfacher automatisiert erzeugt werden. Verläuft eine Messfahrt, bei welcher die Trainingsdatensätze der Verkehrssituationen erzeugt werden, reibungslos, so können alle während dieser Messfahrt generierten Trainingsdatensätze der Verkehrssituationen als „korrekt“ angenommen werden. Diese Trainingsdatensätze repräsentieren jeweils verkehrssichere Reaktionen eines Fahrers des Fahrzeugs auf die entsprechenden Verkehrssituationen während der Messfahrt.The advantage of the second method is that the training data sets of the traffic situations can be created without manual identification of the traffic situations. Furthermore, it is also not necessary to recognize individual objects. This makes it easier to automatically generate the training data sets. If a measurement run, during which the training data sets for the traffic situations are generated, runs smoothly, then all training data sets for the traffic situations generated during this measurement run can be assumed to be “correct”. These training data sets each represent roadworthy reactions of a driver of the vehicle to the corresponding traffic situations during the test drive.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
- DE 102018124979 A1 [0002]DE 102018124979 A1 [0002]
Claims (10)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019119253.6 | 2019-07-16 | ||
DE102019119253.6A DE102019119253A1 (en) | 2019-07-16 | 2019-07-16 | Assistance system for the sound-dependent detection of objects in traffic and a warning function |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102020003692A1 true DE102020003692A1 (en) | 2020-08-20 |
Family
ID=67622812
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102019119253.6A Withdrawn DE102019119253A1 (en) | 2019-07-16 | 2019-07-16 | Assistance system for the sound-dependent detection of objects in traffic and a warning function |
DE102020003692.9A Pending DE102020003692A1 (en) | 2019-07-16 | 2020-06-20 | Assistance system for the sound-dependent detection of objects in road traffic and a warning function |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102019119253.6A Withdrawn DE102019119253A1 (en) | 2019-07-16 | 2019-07-16 | Assistance system for the sound-dependent detection of objects in traffic and a warning function |
Country Status (1)
Country | Link |
---|---|
DE (2) | DE102019119253A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112519766A (en) * | 2020-12-09 | 2021-03-19 | 恒大新能源汽车投资控股集团有限公司 | Vehicle safety control method, device and system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2591756A (en) * | 2020-02-05 | 2021-08-11 | Daimler Ag | A method for warning a user of a motor vehicle after detecting a motor vehicle with special authorization, as well as detection device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017123982A1 (en) | 2017-10-16 | 2017-11-30 | FEV Europe GmbH | Driver assistance system for determining a distance between two vehicles with a camera |
-
2019
- 2019-07-16 DE DE102019119253.6A patent/DE102019119253A1/en not_active Withdrawn
-
2020
- 2020-06-20 DE DE102020003692.9A patent/DE102020003692A1/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112519766A (en) * | 2020-12-09 | 2021-03-19 | 恒大新能源汽车投资控股集团有限公司 | Vehicle safety control method, device and system |
CN112519766B (en) * | 2020-12-09 | 2022-04-22 | 恒大新能源汽车投资控股集团有限公司 | Vehicle safety control method, device and system |
Also Published As
Publication number | Publication date |
---|---|
DE102019119253A1 (en) | 2019-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102018200878B3 (en) | Detection of dangerous sounds | |
DE102014217681B4 (en) | Siren signal source detection, detection and localization | |
DE102018210488B4 (en) | Roof fin for a vehicle for recording ambient noise, vehicle with such a roof fin, kit for a roof fin that can be retrofitted to a vehicle, and method for producing a roof fin | |
DE102020003692A1 (en) | Assistance system for the sound-dependent detection of objects in road traffic and a warning function | |
DE19749372A1 (en) | Electronic recognition system for acoustic signals | |
EP3688661A1 (en) | Communication flow from road user to a vehicle driving an automated manner | |
DE102019213695B3 (en) | Method for recognizing a relative change in distance between an emergency vehicle and a vehicle | |
DE102022106036A1 (en) | CONTEXT-DEPENDENT SIGNAL PROCESSING FOR THE VEHICLE'S VOICE ASSISTANT | |
DE102018222825A1 (en) | Method and system for operating a vehicle with acoustic detection of an external vehicle environment | |
DE102018122878A1 (en) | Vehicle noise activation | |
DE102010007051A1 (en) | Method for creating e.g. engine sound in e.g. electric car, involves performing differentiated emission of sound inwards and outwards based on sound pressure and frequency characteristics parameters | |
DE102017206856A1 (en) | Equipment, vehicle and procedure | |
DE102007050254A1 (en) | Method for producing a collision protection system for a motor vehicle | |
DE102019205543A1 (en) | Method for classifying digital audio data that follow one another in time | |
DE102019213697B4 (en) | Method for recognizing an approach and / or distance of an emergency vehicle relative to a vehicle | |
DE102018219255A1 (en) | Training system, data set, training method, evaluation device and deployment system for a road vehicle for recording and classifying traffic noise | |
DE102019218058B4 (en) | Device and method for recognizing reversing maneuvers | |
DE102019219749B4 (en) | Assessing the identifiability of a warning signal in microphone data | |
DE102018219269A1 (en) | Method, computer program product, detection system and use of the detection system for acoustic detection and / or target tracking of electric vehicles | |
EP4204269B1 (en) | Computer-implemented method for training an artificial intelligence module to determine a tyre type of a motor vehicle | |
DE102019215442B4 (en) | Method for detecting faulty couplings, driver assistance system, training system and method for training an artificial neural network for such a driver assistance system and computer program product | |
DE102019005149B4 (en) | Classification of audio data | |
WO2024002936A1 (en) | Method for outputting an acoustic signal in an interior of a motor vehicle, computer program, data processing device and motor vehicle | |
DE102021201281A1 (en) | Takeover request module for an at least partially automated driving system, method for generating a takeover request signal for a driver of an at least partially automated driving system and driving system | |
DE102020213136A1 (en) | Improved automatic distance control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R084 | Declaration of willingness to licence | ||
R230 | Request for early publication |