DE102021208922A1 - Method and system for generating noises in an interior based on extracted and classified real noise sources and for specific target noises acoustically transparent vehicle comprising such a system - Google Patents
Method and system for generating noises in an interior based on extracted and classified real noise sources and for specific target noises acoustically transparent vehicle comprising such a system Download PDFInfo
- Publication number
- DE102021208922A1 DE102021208922A1 DE102021208922.4A DE102021208922A DE102021208922A1 DE 102021208922 A1 DE102021208922 A1 DE 102021208922A1 DE 102021208922 A DE102021208922 A DE 102021208922A DE 102021208922 A1 DE102021208922 A1 DE 102021208922A1
- Authority
- DE
- Germany
- Prior art keywords
- sound
- noises
- vehicle
- interior
- noise sources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 210000003128 head Anatomy 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 21
- 238000012546 transfer Methods 0.000 claims abstract description 21
- 210000000883 ear external Anatomy 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 230000011664 signaling Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 210000003454 tympanic membrane Anatomy 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 241000269400 Sirenidae Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/02—Synthesis of acoustic waves
-
- B60K35/26—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K37/00—Dashboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/18—Methods or devices for transmitting, conducting or directing sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/401—2D or 3D arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/21—Direction finding using differential microphone array [DMA]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Abstract
Verfahren zum Erzeugen von Geräuschen in einem Innenraum basierend auf extrahierten und klassifizierten realen Geräuschquellen (30) umfassend die Schritte: Erfassung eines Schallfeldes in einem Außenraum eines Fahrzeuges (10) durch Messen von Schalldrücken mittels mehreren an dem Fahrzeug (10) anordbaren ersten Schallwandlern (1) (V1); Winkelabtastung des Schallfeldes mittels einer beamforming-Signalverarbeitung, wobei jeweils in einem mit Bezug auf einen der ersten Schallwandler (1) abzutastenden Winkel gemessene Schalldrücke aus dem Schallfeld extrahiert werden und damit die Geräuschquellen (30) voneinander isoliert werden (V2); Klassifizierung der isolierten Geräuschquellen (30) (V3); Weiterverarbeitung von aus den jeweiligen isolierten Geräuschquellen (30) erhaltenen Signale in Abhängigkeit der Klassifizierung, wobei die Signale mittels kopfbezogenen oder Au-ßenohr-Übertragungsfunktionen gefiltert werden (V4); Wiedergabe der gefilterten Signale in dem Innenraum mittels in dem Innenraum anordbaren zweiten Schallwandlern (2) und Erzeugen von entsprechenden Geräuschen in dem Innenraum, wobei basierend auf den kopfbezogenen oder Außenohr-Übertragungsfunktionen die Geräusche als aus jeweiligen Richtungen der realen Geräuschquellen (30) kommend wahrgenommen werden (V5).Method for generating noises in an interior based on extracted and classified real noise sources (30), comprising the steps of: detecting a sound field in an exterior of a vehicle (10) by measuring sound pressures using a plurality of first sound transducers (1 ) (V1); Angular scanning of the sound field by means of beamforming signal processing, with sound pressures measured at an angle to be scanned in relation to one of the first sound transducers (1) being extracted from the sound field and thus the noise sources (30) being isolated from one another (V2); Classification of isolated noise sources (30) (V3); Further processing of signals obtained from the respective isolated noise sources (30) depending on the classification, the signals being filtered using head-related or outer-ear transfer functions (V4); Playback of the filtered signals in the interior by means of second sound transducers (2) that can be arranged in the interior and generation of corresponding noises in the interior, the noises being perceived as coming from the respective directions of the real noise sources (30) based on the head-related or outer ear transfer functions (V5).
Description
Die Erfindung betrifft ein Verfahren und ein System zum Erzeugen von Geräuschen in einem Innenraum basierend auf extrahierten und klassifizierten realen Geräuschquellen. Ferner betrifft die Erfindung ein für spezifische Zielgeräusche akustisch transparentes Fahrzeug umfassend ein erfindungsgemäßes System.The invention relates to a method and a system for generating noises in an interior based on extracted and classified real noise sources. Furthermore, the invention relates to a vehicle that is acoustically transparent for specific target noises, comprising a system according to the invention.
Aus dem Stand der Technik sind akustische Kameras bekannt als industrietaugliche Messsysteme zum Lokalisieren akustischer Emissionen unter Verwendung von Mikrofonarrays, siehe beispielsweise URL https://www.acoustic-camera.com/de/produkte.html.Acoustic cameras are known from the prior art as industrial measurement systems for localizing acoustic emissions using microphone arrays, see for example URL https://www.acoustic-camera.com/de/produkte.html.
Ferner sind Fahrzeug externe Mikrofone bekannt zur akustischen Signalwahrnehmung, beispielsweise Wahrnehmung von Sirenengeräuschen von Einsatzwagen. Stand der Technik ist beispielsweise in
Außerdem sind Verfahren zur Ortung von Geräuschquellen bekannt, zum Beispiel Transformation der Leistungsphase mit gesteuerter Reaktion, auch steered-response power phase transform genannt, abgekürzt SRP-PHAT, siehe beispielsweise URL https://en.wikipedia.org/wiki/Steered-Response_Power_Phase_Transform.Methods for locating noise sources are also known, for example transformation of the power phase with controlled reaction, also called steered-response power phase transform, abbreviated SRP-PHAT, see for example URL https://en.wikipedia.org/wiki/Steered-Response_Power_Phase_Transform .
Des Weiteren sind 3D Audioeffekte bekannt, die den von Stereolautsprechern, Surround-Sound-Lautsprechern, Lautsprecherarrays oder Kopfhörern erzeugten Sound manipulieren unter Verwendung von kopfbezogenen oder Außenohr-Übertragungsfunktionen, auch head-related transfer functions genannt, abgekürzt HRTF, siehe beispielsweise URL https://en.wikipedia.org/wiki/3D_audio_effect.Furthermore, 3D audio effects are known that manipulate the sound generated by stereo loudspeakers, surround sound loudspeakers, loudspeaker arrays or headphones using head-related or outer-ear transfer functions, also called head-related transfer functions, abbreviated HRTF, see for example URL https:/ /en.wikipedia.org/wiki/3D_audio_effect.
Im Automobilbereich ist es problematisch, dass die durch die geschlossene Bauform von Fahrzeugen hervorgerufene Dämpfung des Schalls von außen nach innen, was zwar insbesondere im Premiumsegment gewünscht wird, um eine ruhigere Atmosphäre im Fahrzeug zu erzeugen, nicht selektiv ist. Sämtliche Umgebungsgeräusche werden gleichermaßen abgeschirmt. Das ist nicht immer wünschenswert. Bestimmte Signale sind für den Fahrer wichtig und/oder für den reibungslosen Ablauf des Stra-ßenverkehrs hilfreich, wie beispielsweise Fahrrad-Klingeln, Hilferufe, Einsatzfahrzeugsirenen, beispielsweise Martinshorn. Insbesondere, wenn der Fahrzeugführer abgelenkt ist, beispielsweise durch Navigationssystem, Multimediaanlage, Telefonat, Stress, und einen Fahrradfahrer oder Fußgänger übersieht, so kann er ihn durch die Fahrzeugdämmung auch nicht hören.In the automotive sector, it is problematic that the damping of sound from outside to inside caused by the closed design of vehicles, which is desired in particular in the premium segment in order to create a quieter atmosphere in the vehicle, is not selective. All ambient noise is equally shielded. That's not always desirable. Certain signals are important for the driver and/or helpful for the smooth flow of road traffic, such as bicycle bells, calls for help, emergency vehicle sirens, for example a siren. In particular, if the driver of the vehicle is distracted, for example by the navigation system, multimedia system, telephone call, stress, and overlooks a cyclist or pedestrian, he cannot hear them either because of the vehicle insulation.
Als Fahrradfahrer oder Fußgänger hat man ein besseres Gefühl für seine Umgebung im Straßenverkehr, weil man beispielsweise herannahende Fahrzeuge durch dessen Abrollgeräusche, Motor-geräusche und Windgeräusche wahrnehmen und orten kann. Gleiches gilt für sämtliche andere Geräusche wie Gespräche, Fußschritte, Fahrradklingeln, die man als Fußgänger ebenso besser wahrnehmen kann im Vergleich zu einem Autofahrer.As a cyclist or pedestrian, you have a better feeling for your surroundings on the road because you can, for example, perceive and locate approaching vehicles through their rolling noise, engine noise and wind noise. The same applies to all other noises such as conversations, footsteps, bicycle bells, which pedestrians can hear better than drivers.
Beispielsweise fällt einem in einem Cabriolet mit offenem Verdeck das Rückwärtseinparken vor einer Mauer deutlich leichter, da man die Reflektionen des Schalls des eigenen Fahrzeugs an der Wand besser wahrnehmen kann und damit den Abstand besser einschätzen kann.For example, reverse parking in front of a wall is much easier in a convertible with an open top, since you can better hear the reflections of the sound of your own vehicle on the wall and thus better assess the distance.
Das Fenster dauerhaft zu öffnen zur Umgehung der Dämpfung und damit besseren akustischen Wahrnehmung der Umgebung des Fahrzeuges ist keine Option, da zum einen die Klimaanlage hinfällig wäre und zum anderen sämtliche Geräusche von au-ßen in den Innenraum dringen können, womit man unselektiert sämtlichen Geräusche der Außenwelt ausgesetzt ist, nicht nur den relevanten Geräuschen.Permanently opening the window to circumvent the damping and thus better acoustic perception of the vehicle's surroundings is not an option, since on the one hand the air conditioning would be obsolete and on the other hand all noises from the outside could penetrate into the interior, with which one unselected all noises of the exposed to the outside world, not just the relevant noises.
Aufgabe der Erfindung war es, wie ein Fahrzeug bereitgestellt werden kann, das akustisch transparent für spezifische Zielgeräusche ist.The object of the invention was how to provide a vehicle that is acoustically transparent to specific target noises.
Die Gegenstände der Ansprüche 1, 9 und 10 lösen jeweils diese Aufgabe.The objects of
Nach einem Aspekt stellt die Erfindung ein Verfahren bereit zum Erzeugen von Geräuschen in einem Innenraum basierend auf extrahierten und klassifizierten realen Geräuschquellen. Das Verfahren umfasst die Schritte
- • Erfassung eines Schallfeldes in einem Außenraum eines Fahrzeuges durch Messen von Schalldrücken mittels mehreren an dem Fahrzeug anordbaren ersten Schallwandlern;
- • Winkelabtastung des Schallfeldes mittels einer beamforming-Signalverarbeitung, wobei jeweils in einem mit Bezug auf einen der ersten Schallwandler abzutastenden Winkel gemessene Schalldrücke aus dem Schallfeld extrahiert werden und damit die Geräuschquellen voneinander isoliert werden;
- • Klassifizierung der isolierten Geräuschquellen;
- • Weiterverarbeitung von aus den jeweiligen isolierten Geräuschquellen erhaltenen Signale in Abhängigkeit der Klassifizierung, wobei die Signale mittels kopfbezogenen oder Außenohr-Übertragungsfunktionen gefiltert werden;
- • Wiedergabe der gefilterten Signale in dem Innenraum mittels in dem Innenraum anordbaren zweiten Schallwandlern und Erzeugen von entsprechenden Geräuschen in dem Innenraum, wobei basierend auf den kopfbezogenen oder Außenohr-Übertragungsfunktionen die Geräusche als aus jeweiligen Richtungen der realen Geräuschquellen kommend wahrgenommen werden
- • Detection of a sound field in an exterior space of a vehicle by measuring sound pressures using a plurality of first sound transducers that can be arranged on the vehicle;
- • Angular scanning of the sound field by means of beamforming signal processing, with sound pressures measured in an angle to be scanned in relation to one of the first sound transducers being extracted from the sound field and thus the noise sources being isolated from one another;
- • classification of isolated noise sources;
- • Further processing of signals obtained from the respective isolated noise sources in Dependence of classification, where the signals are filtered using head-related or outer-ear transfer functions;
- • Playback of the filtered signals in the interior by means of second sound transducers that can be arranged in the interior and generation of corresponding noises in the interior, the noises being perceived as coming from the respective directions of the real noise sources based on the head-related or outer-ear transfer functions
Nach einem Aspekt stellt die Erfindung ein System bereit für ein Fahrzeug zum Erzeugen von Geräuschen in einem Innenraum basierend auf extrahierten und klassifizierten realen Geräuschquellen. Das System umfasst
- • mehrere erste Schallwandler, ausgeführt ein Schallfeld in einem Außenraum des Fahrzeuges zu erfassen;
- • ein Hardwaremodul, ausgeführt Signale der ersten Schallwandler zu verarbeiten und gefilterte Signale zu erhalten gemäß des erfindungsgemäßen Verfahrens;
- • mehrere zweite Schallwandler, ausgeführt die gefilterten Signale als aus jeweiligen Richtungen der realen Geräuschquellen wahrnehmbar kommende Geräusche in dem Innenraum wiederzugeben.
- • a plurality of first sound transducers designed to capture a sound field in an exterior space of the vehicle;
- • a hardware module designed to process signals from the first sound transducer and to obtain filtered signals according to the method according to the invention;
- • Several second sound converters designed to reproduce the filtered signals as noises coming from the respective directions of the real noise sources in the interior.
Nach einem Aspekt stellt die Erfindung ein für spezifische Zielgeräusche akustisch transparentes Fahrzeug bereit. Das Fahrzeug umfasst ein erfindungsgemäßes System. Wenigstens eine erste Gruppe von wenigstens zwei der ersten Schallwandlern ist an oder in einer ersten Stoßstange, beispielsweise der Frontstoßstange, des Fahrzeuges angeordnet. Eine zweite Gruppe von wenigstens zwei der ersten Schallwandlern ist an oder in einer zweiten Stoßstange, beispielsweise der Heckstoßstange, des Fahrzeuges angeordnet. In dem Innenraum sind wenigstens zwei Lautsprecher oder ein Kopfhörer angeordnet. Die erste Gruppe erfasst beispielsweise das Schallfeld im vorderen Bereich. Die zweite Gruppe erfasst beispielsweise das Schallfeld im hinteren Bereich. Die ersten Schallwandler können beispielsweise an oder in den Bereichen von Kennzeichenbefestigungen angeordnet sein. Nach einem weiteren Aspekt der Erfindung sind die ersten Schallwandler an sonstigen Karosserieteilen angeordnet.In one aspect, the invention provides a vehicle that is acoustically transparent to specific target sounds. The vehicle includes a system according to the invention. At least a first group of at least two of the first sound transducers is arranged on or in a first bumper, for example the front bumper, of the vehicle. A second group of at least two of the first sound transducers is arranged on or in a second bumper, for example the rear bumper, of the vehicle. At least two loudspeakers or a pair of headphones are arranged in the interior. For example, the first group captures the sound field in the front area. The second group captures the sound field in the rear area, for example. The first sound converters can be arranged, for example, on or in the areas of license plate attachments. According to a further aspect of the invention, the first sound transducers are arranged on other body parts.
Alternativ können drei der ersten Schallwandler auf einem Fahrzeugdach angeordnet werden. Damit trifft der Schall aus allen Richtungen gleichermaßen auf die ersten Schallwandler auf. Der Abstand der ersten Schallwandler kann im Bereich von 2cm bis 10cm liegen, vorzugsweise 4,5cm. Damit können Laufzeitunterschiede gut erfasst werden.Alternatively, three of the first sound transducers can be arranged on a vehicle roof. The sound hits the first sound transducer equally from all directions. The distance between the first sound transducers can be in the range from 2 cm to 10 cm, preferably 4.5 cm. In this way, runtime differences can be easily detected.
Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.Advantageous refinements of the invention result from the definitions, the dependent claims, the drawings and the description of preferred exemplary embodiments.
Der erste Schallwandler ist beispielsweise ein Akustiksensor. Der Akustiksensor ist ein Luftschallaufnehmer in Form eines Sensor, der mechanische Schwingungen, beispielsweise verursacht durch Schalldrücke von Luftschallwellen, erfasst und in ein prozessierbares Signal, beispielsweise ein elektrisches Signal wie etwa eine elektrische Spannung, umformt. Der Akustiksensor umfasst einen analogen und/oder digitalen Signalausgang. Die Umformung erfolgt nach einem Aspekt in zwei Stufen. In einer ersten akustisch-mechanischen Umformungsstufe wird der Luftschall nach einem bestimmten Empfangsprinzip in die Bewegung eines Objektes umgeformt. In der zweiten mechanisch-elektrischen Umformungsstufe wird die Bewegung des Objektes nach einem bestimmten Wandlerprinzip in das elektrische Signal umgeformt. Beispiele für Akustiksensoren sind eine Anordnung eines Magneten und einer elektrischen Spule, Mikrofone, Beschleunigungsaufnehmer, Piezogeber oder Dehnungsmessstreifen. Ein mikro-elektro-mechanisches System, abgekürzt MEMS, umfassend eine Anordnung von Halbleiterelementen, die Schwingungen aufnehmen, ist auch als Akustiksensor einsetzbar. Nach einem Aspekt ist der erste Schallwandler ein Mikrofon. Nach einem weiteren Aspekt ist der erste Schallwandler ein MEMS-Mikrofon.The first sound transducer is an acoustic sensor, for example. The acoustic sensor is an airborne sound pick-up in the form of a sensor that detects mechanical vibrations, for example caused by sound pressure from airborne sound waves, and converts them into a processable signal, for example an electrical signal such as an electrical voltage. The acoustic sensor includes an analog and/or digital signal output. According to one aspect, the forming takes place in two stages. In a first acoustic-mechanical conversion stage, the airborne sound is converted into the movement of an object according to a specific reception principle. In the second mechanical-electrical conversion stage, the movement of the object is converted into an electrical signal according to a specific converter principle. Examples of acoustic sensors are an arrangement of a magnet and an electric coil, microphones, accelerometers, piezo sensors or strain gauges. A micro-electro-mechanical system, MEMS for short, comprising an arrangement of semiconductor elements that record vibrations, can also be used as an acoustic sensor. In one aspect, the first sound transducer is a microphone. According to a further aspect, the first sound transducer is a MEMS microphone.
Der zweite Schallwandler wandelt ein elektrisches Signal in mechanische Schwingungen um, die als Schall wahrnehmbar sind. Der zweite Schallwandler ist beispielsweise ein Lautsprecher oder ein Kopfhörer.The second sound transducer converts an electrical signal into mechanical vibrations that can be perceived as sound. The second sound transducer is a loudspeaker or headphones, for example.
Beamforming ist eine Signalverarbeitungstechnik zur räumlichen Auswahl von Ausbreitungswellen, beispielsweise von akustischen Wellen. Nach einem Aspekt der Erfindung wird beamforming mit diskreter zeitgewichteter Verzögerung und Summe, das sogenannten discrete-time weighted delay-and-sum beamforming, durchgeführt. Dabei wird das zeitdiskrete Ausgangssignal
Es werden die isolierten Geräusche der einzelnen Geräuschquellen klassifiziert. Die isolierten Geräuschquellen werden nach einem Aspekt datengetrieben mittels trainierten oder trainierbaren Maschinenlernmodellen zur akustischen Ereignisklassifizierung klassifiziert. Die Maschinenlernmodelle umfassen nach einem Aspekt der Erfindung künstliche neuronale Netzwerke, beispielsweise Faltungsnetzwerke, LSTM Einheiten, oder, insbesondere im Zusammenhang mit Spracherkennung, Transformer, beispielsweise bidirektionale Encoder Darstellungen von Transformern, auch bidirectional encoder representations from transformers genannt, abgekürzt BERT.The isolated noises of the individual noise sources are classified. According to one aspect, the isolated noise sources are classified in a data-driven manner using trained or trainable machine learning models for acoustic event classification. According to one aspect of the invention, the machine learning models include artificial neural networks, for example convolutional networks, LSTM units, or, in particular in connection with speech recognition, transformers, for example bidirectional encoder representations of transformers, also called bidirectional encoder representations from transformers, BERT for short.
Eine kopfbezogene oder Außenohr-Übertragungsfunktion, auch head-related transfer functions, beschreibt die Richtungs- und Frequenzabhängigkeit der Dämpfung des menschlichen Ohrs. Filterung mittels kopfbezogener oder Außenohr-Übertragungsfunktion bedeutet, dass ein Zielsignal durch frequenzabhängiges Filtern so manipulieret wird, dass das entsprechende Geräusch vom menschlichen Ohr so wahrgenommen wird, als ob der das Geräusch aus einer bestimmten Richtung kommt, obwohl die die zweiten Schallwandler, die das Geräusch wiedergeben, sich an einer anderen Stelle befinden. Zum Beispiel:A head-related or outer ear transfer function, also head-related transfer functions, describes the direction and frequency dependency of the attenuation of the human ear. Head-related or outer-ear transfer function filtering means that a target signal is manipulated by frequency-dependent filtering in such a way that the corresponding sound is perceived by the human ear as if the sound is coming from a specific direction, even though the second sound transducers are picking up the sound play, be in a different place. For example:
Sei x1(t) das Signal, das einen realen Lautsprecher in einem Außenraum antreibt, und damit eine der realen Geräuschquellen simuliert, und sei y1(t) das von einem Mikrofon empfangene Signal im Trommelfell eines Hörers. Dann gilt: y1(t) = L * F * M * x1(t), wobei L die Übertragungsfunktion des Lautsprechers im Außenraum, F die kopfbezogene oder Außenohr-Übertragungsfunktion und M die Übertragungsfunktion des Mikrofons ist. Sei x2(t) das Zielsignal, das einen der zweiten Schallwandler, beispielsweise einen Kopfhörer oder einen Lautsprecher im Innenraum, antreibt, und sei y2(t) das Antwortsignal des Mikrofons. Dann gilt: y2(t) = H * M * x2(t), wobei H die Übertragungsfunktion für Kopfhörer-Trommelfell ist. Aufgabe des Filters ist es, x2(t) so zu wählen, dass y2(t) = y1(t) ist. Das heißt:
Dadurch werden die zweiten Schallwandler im Innenraum derart angesteuert, dass das Signal, welches gefiltert oder isoliert wurde, für den Hörer so klingt, als ob es aus der Richtung kommt, von der das tatsächliche Signal kommt. Für den Fahrzeugführer klingt es daher so, als ob das Fahrzeug transparent wäre und er das Zielgeräusch direkt wahrnehmen kann.As a result, the second acoustic transducers in the interior are controlled in such a way that the signal that has been filtered or isolated sounds to the listener as if it is coming from the direction from which the actual signal is coming. It therefore sounds to the vehicle driver as if the vehicle were transparent and he can hear the target sound directly.
Das Fahrzeug ist beispielsweise ein Personen- oder Lastkraftwagen oder ein Personentransportsystem, wie etwa ein Shuttle oder Robotertaxi. Das Fahrzeug umfasst beispielsweise eine technische Ausrüstung für einen selbstfahrenden, das heißt fahrerlosen oder vollautomatisierten, autonomen Fahrbetrieb. Die ADAS, das heißt advanced driver assistance system, oder die AD, das heißt autonomous driving, Domain ECU, das heißt electronic control unit, als zentraler Teil des Fahrsystems nimmt mittels Umfelderfassungssensoren; die beispielsweise das Fahrsystem umfass, ein Fahrzeugumfeld wahr, leitet daraus eine Trajektorienplanung ab und bestimmt entsprechende Steuersignale, die Fahrzeugaktuatoren bereitgestellt werden, um die Längs- und/oder Querführung des Fahrsystems zu regeln. Der Akustiksensor der erfindungsgemäßen Anordnung ist ein Beispiel für einen Umfelderfassungssensor. Weitere Umfelderfassungssensoren sind beispielsweise optische Sensoren, beispielsweise Kamera oder Lidar, oder Radarsensoren. Nach einem Aspekt der Erfindung werden die Signale des Akustiksensors mit Signalen weiterer Umfelderfassungssensoren fusioniert, um Objekte im Straßenverkehr zu lokalisieren und/oder klassifizieren. Das Hardwaremodul des erfindungsgemäßen Systems ist nach einem Aspekt in die AD ECU des Fahrzeuges integriert.The vehicle is, for example, a car or truck, or a people-transport system, such as a shuttle or robotic taxi. The vehicle includes, for example, technical equipment for self-driving, ie driverless or fully automated, autonomous driving. The ADAS, i.e. advanced driver assistance system, or the AD, i.e. autonomous driving, Domain ECU, i.e. electronic control unit, as a central part of the driving system, uses environment detection sensors; which, for example, include the driving system, perceives a vehicle environment, derives a trajectory planning from this and determines corresponding control signals that are provided to vehicle actuators in order to regulate the longitudinal and/or lateral guidance of the driving system. The acoustic sensor of the arrangement according to the invention is an example of an environment detection sensor. Other environment detection sensors are, for example, optical sensors, such as a camera or lidar, or radar sensors. According to one aspect of the invention, the signals from the acoustic sensor are merged with signals from other environment detection sensors in order to localize and/or classify objects in road traffic. According to one aspect, the hardware module of the system according to the invention is integrated into the AD ECU of the vehicle.
Nach einem Aspekt der Erfindung messen die ersten Schallwandler einzeln oder gruppenweise jeweils Schalldrücke aus einem spezifischen Winkelbereich. Bei einer gruppenweise Anordnung der ersten Schallwandler, beispielsweise einem Mikrofonarray, werden Laufzeitunterschiede, auch time delay of arrival, innerhalb jeweiliger Gruppen der ersten Schallwandler ausgewertet. Dies verbessert die Ortung der Geräuschquellen.According to one aspect of the invention, the first sound transducers measure sound pressures from a specific angle range, individually or in groups. When the first sound transducers are arranged in groups, for example a microphone array, transit time differences, also time delays of arrival, are evaluated within respective groups of the first sound transducers. This improves the localization of noise sources.
Nach einem weiteren Aspekt erfolgt die Winkelabtastung des Schallfeldes mittels Transformation der Leistungsphase mit gesteuerter Reaktion, auch steered-response power phase transform genannt, abgekürzt SRP PHAT. Bei diesem Algorithmus wird jeder mögliche Winkel abgetastet und der Schall aus dem derzeit geprüften Winkel extrahiert. Bei den Winkeln, bei denen eine echte Geräuschquelle anliegt, entsteht hierdurch ein Maximum in der SRP PHAT Spektrum Amplitude.According to a further aspect, the angular scanning of the sound field is carried out by means of a steered-response power phase transform, or SRP PHAT for short. With this algorithm, every possible angle is sampled and the sound is extracted from the currently sampled angle. At the angles at which a real noise source is present, this results in a maximum in the SRP PHAT spectrum amplitude.
Im Detail: Sei sm(n) das Zeit diskrete Ausgangssignal eines Mikrofons m mit m ∈ {1,... , M}. Die Leistung P0(x) mit gesteuerter Reaktion am Ort x = [x, y,z]T kann ausgedrückt werden als P0(x)
Diese Maxima können mittels einer Maximums-Bestimmungs-Methode extrahiert werden. Anschließend werden alle Maxima separat voneinander weiter behandelt. Jeder Maximum entspricht einer anderen Geräuschquelle. Durch die Fokussierung auf das eine Maximum werden andere Geräusche, die nicht aus dieser Richtung stammen, gedämpft.These maxima can be extracted using a maximum determination method. All maxima are then treated separately from one another. Each maximum corresponds to a different noise source. By focusing on the one maximum, other noises that do not come from that direction are dampened.
Nach einem weiteren Aspekt werden die isolierten Geräuschquellen in relevante Klassen umfassend Geräusche von Einsatzfahrzeugen, Signalisierungsgeräusche von Verkehrsteilnehmern und/oder Unfallgeräusche und in nicht relevante Klassen klassifiziert, beispielsweise mittels den Maschinenlernmodellen. Die aus den in die relevanten Klassen klassifizierten Geräusche erhaltenen Signale werden dann weiterverarbeitet. Geräusche von Einsatzfahrzeugen umfassen Martinshorn, Yelp, Wail, Rumbler und ähnliche Geräusche. Signalisierungsgeräusche umfassen Geräusche von gefährdeten Verkehrsteilnehmern, sogenannte vulnerable road user, Geräusche von Fahrradklingeln, Hupgeräusche, Hilferufe, Sprache. Unfallgeräusche umfassen Bremsgeräusche, Reifengeräusche und Geräusche von Fahrzeugzusammenstößen. Nicht relevante Klassen umfassen zum Beispiel Motorgeräusche im normalen Fahrbetrieb, Gespräche oder Dialoge zwischen Passanten, Kirchenglocken und weitere. Damit werden die Außengeräusche selektiv durchgestellt.According to a further aspect, the isolated noise sources are classified into relevant classes, including noises from emergency vehicles, signaling noises from road users and/or accident noises, and into irrelevant classes, for example using the machine learning models. The signals obtained from the noises classified into the relevant classes are then further processed. Emergency vehicle sounds include siren, yelp, wail, rumbler, and similar sounds. Signaling noises include noises from endangered road users, so-called vulnerable road users, noises from bicycle bells, horn noises, calls for help, speech. Accident noise includes brake noise, tire noise and vehicle crash noise. Classes that are not relevant include, for example, engine noise during normal driving, conversations or dialogues between passers-by, church bells and others. In this way, the external noises are selectively put through.
Nach einem weiteren Aspekt wird Sprache erfasst. Bei der Klassifizierung einer entsprechenden isolierten Geräuschquelle in eine relevante Klasse umfassend Signalisierungsgeräusche werden die erhaltenen Signale beschleunigt wiedergegeben. Nach einem weiteren Aspekt wird eine Stimmungserkennung durchgeführt, oder per speech-to-text oder speech-to-intent der Inhalt des Gesprochenen analysiert. Anschließend wird die Wichtigkeit der Sprache für den Hörer bestimmt. Bestimmte Gespräche außerhalb des Fahrzeugs, zum Beispiel ein Dialog von zwei Passanten, sollten nicht zum Fahrer durchgestellt werden, zum einen, weil es den Fahrer stören würde, zum anderen um den Datenschutz und die Vertraulichkeit des Worts nicht zu verletzen. Wird das Fahrzeug direkt angesprochen, also ohne Reflektion oder Beugung des gesprochenen Worts, was man akustisch erkennen kann, oder im Fall eines offensichtlichen Hilferufs, wird die Sprache nach einem weiteren Aspekt direkt durchgestellt, damit der Hörer auf die Situation aufmerksam gemacht werden kann. Um die Verzögerung zwischen empfangene Sprache oder anderen Geräuschen und der Klassifikation in eine Klasse mit einem für den Fahrer „wichtigen Geräusches“ auszugleichen, wird das Signal beschleunigt wiedergegeben. Beispielsweise wird für die Klassifikation 1s Zeit benötigt. Anschließend kann das Signal mit 1.5x Geschwindigkeit wiedergegeben werden. Nach 3s ist das Signal von außen wieder synchron mit dem Signal von innen und kann nun mit normaler Wiedergabegeschwindigkeit ohne Verzögerung durchgestellt werden.According to a further aspect, speech is detected. When a corresponding isolated noise source is classified into a relevant class comprising signaling noises, the signals obtained are reproduced in an accelerated manner. According to a further aspect, mood recognition is carried out, or the content of what is spoken is analyzed by speech-to-text or speech-to-intent. Then the importance of the language for the listener is determined. Certain conversations outside the vehicle, for example a dialogue between two passers-by, should not be put through to the driver, firstly because it would disturb the driver and secondly in order not to violate data protection and confidentiality of the word. If the vehicle is spoken to directly, i.e. without reflection or inflection of the spoken word, which can be recognized acoustically, or in the case of an obvious call for help, the speech is put through directly according to another aspect so that the listener can be made aware of the situation. In order to compensate for the delay between received speech or other noises and the classification into a class with a noise that is "important" for the driver, the signal is reproduced at an accelerated rate. For example, 1s time is required for the classification. The signal can then be played back at 1.5x speed. After 3s, the signal from outside is again in sync with the signal from inside and can now be put through at normal playback speed without delay.
Nach einem weiteren Aspekt werden die gefilterten Signale überlagert wiedergegeben. Durch eine einfache Überlagerung der Signale können auch mehrere Signale gleichzeitig wiedergegeben werden. Jedes Signal kann also einzeln für sich evaluiert und wiedergegeben werden und die Signale müssen nicht nach Wichtigkeit sortiert werden. Nach einem Aspekt wird bei eher unkritischen Signalen wie einer Fahrradklingel oder einer Hupe das Signal von dessen Richtung aus wiedergegeben und eine Audioquelle in dem Innenraum, beispielsweise das Radio im Fahrzeug, von der entsprechend gegengesetzten Richtung wiedergegeben, damit der Fahrer weiterhin seine Unterhaltung wahrnehmen kann und weniger stark vom Umgebungsgeräusch gestört wird.According to a further aspect, the filtered signals are reproduced in a superimposed manner. By simply superimposing the signals, several signals can also be played back simultaneously. Each signal can therefore be evaluated and reproduced individually and the signals do not have to be sorted according to importance. In one aspect, for less critical signals such as a bicycle bell or a horn, the signal is played from its direction and an audio source in the cabin, such as the radio in the vehicle, is played from the corresponding opposite direction, so that the driver can continue to hear his entertainment and less disturbed by ambient noise.
Nach einem weiteren Aspekt werden die gefilterten Signale in dem Innenraum des Fahrzeuges wiedergegeben werden. Damit wird das akustisch transparente Fahrzeug realisiert. Im Fall des Innenraums des Fahrzeuges sind nach einem Aspekt der Erfindung wenigstens zwei der zweiten Schallwandler, beispielsweise wenigstens zwei Lautsprecher, vorgesehen. Nach einem weiteren Aspekt werden weitere Lautsprecher im Innenraum verwendet. Damit wird der Höreindruck verbesset. Insbesondere bei mehreren Insassen im Fahrzeug lässt sich der Schall besser auf den Fahrer fokussieren, wenn mehr Lautsprecher verbaut sind.According to a further aspect, the filtered signals will be reproduced in the interior of the vehicle. The acoustically transparent vehicle is thus realized. In the case of the interior of the vehicle, at least two of the second sound converters, for example at least two loudspeakers, are provided according to one aspect of the invention. According to a further aspect, further loudspeakers are used in the interior. This improves the hearing impression. The sound can be better focused on the driver if more loudspeakers are installed, especially if there are several occupants in the vehicle.
Nach einem weiteren Aspekt der Erfindung werden Schallfelder in Außenräumen von automatisiert fahrenden Fahrzeugen erfasst und die gefilterten Signalen in dem Innenraum einer bezüglich der Fahrzeugen übergeordneten Institution wiedergeben werden. Dies ist besonders vorteilhaft bei automatisiert fahrenden Fahrzeugen, beispielsweiser einer entsprechenden Fahrzeugflotte eines Betreibers. Damit wird beispielsweise in einer zentralen Stelle des Betreibers, von der die Fahrzeuge organisiert werden, ein Höreindruck der Fahrzeugumgebung erhalten. Damit können auch n Kanäle der ersten Schallwandler auf zwei Kanäle, beispielsweise einen Kopfhörer mit zwei Lautsprechern, reduziert werden.According to a further aspect of the invention, sound fields in the exterior of vehicles driving in an automated manner are recorded and the filtered signals are reproduced in the interior of an institution that is higher-ranking with regard to the vehicles. This is particularly advantageous in the case of automated vehicles, for example a corresponding fleet of vehicles belonging to an operator. A hearing impression of the surroundings of the vehicle is thus obtained, for example, in a central location of the operator from which the vehicles are organized. In this way, n channels of the first sound transducers can also be reduced to two channels, for example headphones with two loudspeakers.
Nach einem weiteren Aspekt reduziert bei einer Wiedergabe von gefilterten Signalen in dem Innenraum des Fahrzeuges eine Fahrzeugsteuerung Lautstärken akustischer Ausgaben eines Navigations- und/oder Infotainmentsystems und/oder Motordrehmomente. Damit kann das Fahrzeug unmittelbar auf die Außengeräusche reagieren.According to a further aspect, when filtered signals are reproduced in the interior of the vehicle, vehicle control is reduced Volumes of acoustic outputs of a navigation and/or infotainment system and/or engine torques. This allows the vehicle to react immediately to outside noise.
Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
-
1 ein Ausführungsbeispiel einer erfindungsgemäßen Anordnung von ersten Schallwandlern, -
2 eine schematische Darstellung des erfindungsgemäßen Verfahrens, -
3 ein Ausführungsbeispiel einer kopfbezogenen oder Außenohr-Übertragungsfunktion und -
4 ein Ausführungsbeispiel eines erfindungsgemäßen Fahrzeuges.
-
1 an embodiment of an inventive arrangement of first sound transducers, -
2 a schematic representation of the method according to the invention, -
3 an embodiment of a head-related or outer ear transfer function and -
4 an embodiment of a vehicle according to the invention.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.In the figures, the same reference symbols denote the same or functionally similar reference parts. For the sake of clarity, only the relevant reference parts are highlighted in the individual figures.
Bei dem Fahrzeug 10 ist beispielsweise ein erstes Mikrofonarray umfassend zwei der ersten Schallwandler 1 an oder in einer Frontstoßstange des Fahrzeuges 10, beispielsweise im Bereich eines Kennzeichenhalters, angeordnet. Das erste Mikrofonarray erfasst Schallwege, auch beams genannt, 4, die aus einem ersten Winkelbereich, beispielsweise aus einem Frontbereich, kommen.In
Bei dem Fahrzeug 10 ist beispielsweise ein zweites Mikrofonarray umfassend zwei der ersten Schallwandler 1 an oder in einer Heckstoßstange des Fahrzeuges 10, beispielsweise im Bereich eines Kennzeichenhalters, angeordnet. Das zweite Mikrofonarray erfasst Schallwege, auch beams genannt, 4, die aus einem zweiten Winkelbereich, beispielsweise aus einem Heckbereich, kommen.In
Die Schallwege oder beams 4 können beispielsweise die Ausgangssignale eines Zeit diskreten beamformer Algorithmus darstellen oder die SRP PHAT Spektrum Amplituden. In
Eine reale Geräuschquelle 30 befindet sich im Frontbereich des Fahrzeuges. Der beam aus der Richtung der Geräuschquelle hat die größte Amplitude.A
In einem Verfahrensschritt V1 wird ein Schallfeld in einem Außenraum des Fahrzeuges 10 durch Messen von Schalldrücken mittels mehreren an dem Fahrzeug 10 anordbaren ersten Schallwandlern 1 erfasst. Beispielsweise wird das Schallfeld der in
In einem Verfahrensschritt V2 erfolgt eine Winkelabtastung des Schallfeldes mittels einer beamforming-Signalverarbeitung, wobei jeweils in einem mit Bezug auf einen der ersten Schallwandler 1 abzutastenden Winkel gemessene Schalldrücke aus dem Schallfeld extrahiert und damit die Geräuschquellen 30 voneinander isoliert werden. Beispielsweise wird das Schallfeld mit dem SRP PHAT Algorithmus abgetastet.In a method step V2, the sound field is scanned at an angle by means of beamforming signal processing. For example, the sound field is sampled with the SRP PHAT algorithm.
In einem Verfahrensschritt V3 erfolgt die Klassifizierung der isolierten Geräuschquellen 30, beispielsweise mittels eines auf akustische Ereignisdetektion trainierten Maschinenlernmodells, beispielsweise eines künstlichen neuronalen Netzwerks. Klassifiziert werden beispielswiese relevante Klassen umfassend Geräusche von Einsatzfahrzeugen, Signalisierungsgeräusche von Verkehrsteilnehmern, umfassend Sprache, umfassend Hilfeschreie von Fußgängern, und/oder Unfallgeräusche, und nicht relevante Klassen.In a method step V3, the
Die aus den in die relevanten Klassen klassifizierten Geräusche erhaltenen Signale werden in einem Verfahrensschritt V4 weiterverarbeitet und mittels kopfbezogenen oder Außenohr-Übertragungsfunktionen gefiltert.The signals obtained from the noises classified into the relevant classes are further processed in a method step V4 and filtered using head-related or outer-ear transfer functions.
In einem Verfahrensschritt V5 erfolgt die Wiedergabe der gefilterten Signale in dem Innenraum mittels in dem Innenraum anordbaren zweiten Schallwandlern 2 und das Erzeugen von entsprechenden Geräuschen in dem Innenraum. Basierend auf den kopfbezogenen oder Außenohr-Übertragungsfunktionen werden dabei die Geräusche als aus jeweiligen Richtungen der realen Geräuschquellen 30 kommend wahrgenommen, wie
Die Geräuschausgabe in dem Innenraum des Fahrzeuges erfolgt an den Orten der zweiten Schallwandler 2. Aufgrund des angewendeten erfindungsgemäßen Verfahrens entsteht aber eine Hörwahrnehmung der Geräusche von dem Ort der gezeigten wahrgenommenen Geräuschquelle 3. Die wahrgenommene Geräuschquelle 3 korrespondiert in diesem Beispiel zu dem Ort der in
BezugszeichenlisteReference List
- 11
- erster Schallwandlerfirst transducer
- 22
- zweiter Schallwandlersecond transducer
- 33
- wahrgenommene Geräuschquelleperceived noise source
- 44
- Schallwegsound path
- 1010
- Fahrzeugvehicle
- 3030
- Geräuschquellesource of noise
- V1-V5V1-V5
- Verfahrensschritteprocess steps
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- DE 102019219525 B3 [0003]DE 102019219525 B3 [0003]
- DE 102019213695 B3 [0003]DE 102019213695 B3 [0003]
- DE 102019206331 A1 [0003]DE 102019206331 A1 [0003]
- DE 102018200878 B3 [0003]DE 102018200878 B3 [0003]
Claims (11)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021208922.4A DE102021208922A1 (en) | 2021-08-13 | 2021-08-13 | Method and system for generating noises in an interior based on extracted and classified real noise sources and for specific target noises acoustically transparent vehicle comprising such a system |
PCT/EP2022/071974 WO2023016924A1 (en) | 2021-08-13 | 2022-08-04 | Method and system for generating noises in an interior on the basis of extracted and classified real noise sources, and vehicle which is acoustically transparent to specific target noises and which comprises a system of this type |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021208922.4A DE102021208922A1 (en) | 2021-08-13 | 2021-08-13 | Method and system for generating noises in an interior based on extracted and classified real noise sources and for specific target noises acoustically transparent vehicle comprising such a system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021208922A1 true DE102021208922A1 (en) | 2023-02-16 |
Family
ID=83149508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021208922.4A Pending DE102021208922A1 (en) | 2021-08-13 | 2021-08-13 | Method and system for generating noises in an interior based on extracted and classified real noise sources and for specific target noises acoustically transparent vehicle comprising such a system |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102021208922A1 (en) |
WO (1) | WO2023016924A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023152077A1 (en) * | 2022-02-10 | 2023-08-17 | Zf Friedrichshafen Ag | Microphone system and computer program product for determining the original direction of acoustic signals, and vehicle having a microphone system of this kind |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018200878B3 (en) | 2018-01-19 | 2019-02-21 | Zf Friedrichshafen Ag | Detection of dangerous sounds |
DE102019219525B3 (en) | 2019-12-13 | 2020-08-06 | Zf Friedrichshafen Ag | Sound converter for recording external noise for a vehicle, and vehicle with sound converter |
DE102019206331A1 (en) | 2019-05-03 | 2020-11-05 | Zf Friedrichshafen Ag | Device for detecting airborne sound for automotive applications in which air flows are present between the device and a sound source of the airborne sound, a method for producing such a device and an automated road vehicle comprising such a device |
DE102019213695B3 (en) | 2019-09-10 | 2021-02-04 | Zf Friedrichshafen Ag | Method for recognizing a relative change in distance between an emergency vehicle and a vehicle |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012097150A1 (en) * | 2011-01-12 | 2012-07-19 | Personics Holdings, Inc. | Automotive sound recognition system for enhanced situation awareness |
DE102013226040A1 (en) * | 2013-12-16 | 2015-06-18 | Continental Teves Ag & Co. Ohg | Warning device and method for warning a motor vehicle driver |
DE102014210105A1 (en) * | 2014-05-27 | 2015-12-03 | Bayerische Motoren Werke Aktiengesellschaft | Zone-based sound reproduction in a vehicle |
US9429947B1 (en) * | 2016-04-14 | 2016-08-30 | Eric John Wengreen | Self-driving vehicle systems and methods |
JP6971069B2 (en) * | 2017-07-05 | 2021-11-24 | ヤフー株式会社 | Monitoring program, monitoring method, and monitoring device |
JP2022544138A (en) * | 2019-08-06 | 2022-10-17 | フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | Systems and methods for assisting selective listening |
US11485231B2 (en) * | 2019-12-27 | 2022-11-01 | Harman International Industries, Incorporated | Systems and methods for providing nature sounds |
-
2021
- 2021-08-13 DE DE102021208922.4A patent/DE102021208922A1/en active Pending
-
2022
- 2022-08-04 WO PCT/EP2022/071974 patent/WO2023016924A1/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018200878B3 (en) | 2018-01-19 | 2019-02-21 | Zf Friedrichshafen Ag | Detection of dangerous sounds |
DE102019206331A1 (en) | 2019-05-03 | 2020-11-05 | Zf Friedrichshafen Ag | Device for detecting airborne sound for automotive applications in which air flows are present between the device and a sound source of the airborne sound, a method for producing such a device and an automated road vehicle comprising such a device |
DE102019213695B3 (en) | 2019-09-10 | 2021-02-04 | Zf Friedrichshafen Ag | Method for recognizing a relative change in distance between an emergency vehicle and a vehicle |
DE102019219525B3 (en) | 2019-12-13 | 2020-08-06 | Zf Friedrichshafen Ag | Sound converter for recording external noise for a vehicle, and vehicle with sound converter |
Also Published As
Publication number | Publication date |
---|---|
WO2023016924A1 (en) | 2023-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107985225A (en) | The method of sound tracing information, sound tracing equipment are provided and there is its vehicle | |
DE102007034029A1 (en) | A method of informing an observer of an on-duty emergency vehicle and arrangement therefor | |
DE102011079707A1 (en) | Method and device for detecting objects from the vehicle surroundings of a vehicle | |
DE102014226026A1 (en) | Driver assistance system for recording an event in the environment outside a vehicle | |
WO2019081198A1 (en) | Method for capturing a voice input by a user in an exterior area of a motor vehicle, and motor vehicle | |
EP3814794A1 (en) | Roof fin for a vehicle for sensing ambient noises, vehicle having such a roof fin, kit for a roof fin, which roof fin can be retrofitted on a vehicle, and method for producing a roof fin | |
WO2023016924A1 (en) | Method and system for generating noises in an interior on the basis of extracted and classified real noise sources, and vehicle which is acoustically transparent to specific target noises and which comprises a system of this type | |
EP1739654B1 (en) | Method for operating a multiple microphone system in a motor vehicle and multiple microphone system | |
DE102016204315A1 (en) | Means of transport, system and method for adjusting a length of a permitted speech break in the context of a voice input | |
DE102012016820A1 (en) | Driver assistance system for motor car, has signal processor for assigning safety level of relevance to identified noise, and loudspeaker reproducing identified noise with volume dependant on assigned safety level | |
EP2425270B1 (en) | Apparatus and method for the binaural reproduction of audio sonar signals | |
EP1305651B1 (en) | Method for the acoustic localization of persons in an area of detection | |
CN110737422A (en) | sound signal acquisition method and device | |
DE102018221449A1 (en) | Sensor system for object detection | |
DE102016003401A1 (en) | Detection device and method for detecting a speech utterance of a speaking person in a motor vehicle | |
DE102020123100A1 (en) | SYSTEMS AND METHODS FOR A PIEZOELECTRIC DIAPHRAGM CONVERTER FOR AUTOMOTIVE MICROPHONE APPLICATIONS | |
DE102019218067A1 (en) | Control unit for a vehicle that can be operated in an automated manner for the detection of a point of origin of sound waves, method for the detection of a point of origin of sound waves and a vehicle that can be operated automatically | |
DE112019005822T5 (en) | DEVICE AND METHOD FOR PROVIDING SITUATION DETECTION USING POSITION SENSORS AND VIRTUAL ACOUSTIC MODELING | |
DE102019101128A1 (en) | Device, vehicle and method for localizing and / or characterizing an object in the environment and sound sensor | |
DE19930638A1 (en) | Acoustic reproduction of information in vehicle involves outputting information at least over first loudspeaker and spatially separate second loudspeaker or number of two or more loudspeaker | |
DE102019218058A1 (en) | Device and method for recognizing reversing maneuvers | |
DE19748839C1 (en) | Method of analysing noise from an extended source | |
CN117676432A (en) | Stereo audio auxiliary system and method for vehicle driving safety | |
DE102016114413A1 (en) | Device for generating object-dependent audio data and method for generating object-dependent audio data in a vehicle interior | |
DE102022205942A1 (en) | Method for determining positions of microphones in a microphone arrangement for the localization of acoustic signal sources and method for determining a vehicle-related transfer function for a microphone arrangement of the vehicle for the localization of acoustic signal sources |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication |