EP3375204A1 - Audiosignalverarbeitung in einem fahrzeug - Google Patents

Audiosignalverarbeitung in einem fahrzeug

Info

Publication number
EP3375204A1
EP3375204A1 EP16788664.7A EP16788664A EP3375204A1 EP 3375204 A1 EP3375204 A1 EP 3375204A1 EP 16788664 A EP16788664 A EP 16788664A EP 3375204 A1 EP3375204 A1 EP 3375204A1
Authority
EP
European Patent Office
Prior art keywords
audio signal
signal
audio
limited
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP16788664.7A
Other languages
English (en)
French (fr)
Other versions
EP3375204B1 (de
Inventor
David Scheler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3375204A1 publication Critical patent/EP3375204A1/de
Application granted granted Critical
Publication of EP3375204B1 publication Critical patent/EP3375204B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems

Definitions

  • the present invention relates to a method for audio signal processing in a vehicle and a corresponding audio signal processing apparatus for a vehicle.
  • the present invention relates to audio signal processing having a
  • Echo cancellation for example, for a voice processing.
  • Speech dialogue systems used to assist the driver or passengers.
  • speech dialogue systems serve to control electronic devices without the need for a haptic operator operation.
  • the electronic devices may include, for example, a vehicle computer or a multimedia system of the vehicle. Spoken speech from the driver or occupant is received via a hands-free microphone and fed to speech recognition.
  • An application of microphones in the vehicle interior for e.g. Voice control, telephony or vehicle interior communication can potentially be affected by acoustic coupling of loudspeaker outputs of the vehicle sound system. This can lead to recognition errors in the case of speech recognition, to far-end echo in the case of hands-free telephony, and to feedback in the case of vehicle interior communication.
  • the audio signals reproduced via the vehicle sound system can comprise, for example, music, traffic news, radio broadcasts, outputs of a navigation system or the (artificial) language of a speech dialogue system.
  • the disturbance of the speech recognition can lead to recognition errors which can make the dialogue inefficient and an increased distraction from the driving task can cause. This can cause dissatisfaction or annoyance to the driver or occupant.
  • a simple solution to the aforementioned problem is to mute the audio playback of, for example, a radio during the voice dialogue or telephone call in the vehicle.
  • the muting of audio playback is often perceived by vehicle users as disturbing and unnecessary.
  • important information can be missed by, for example, a navigation system.
  • the audio playback volume may be temporarily reduced.
  • the extent of the disorder is determined by the speech recognizer
  • Audio playback then, although lower, but generally still so large that can not be dispensed with a further cleanup of the microphone signal.
  • microphones with a suitable directional characteristic can be used
  • microphones and loudspeakers in the vehicle interior can be suitably arranged relative to one another or acoustic conditions in the vehicle interior
  • Echo cancellation called.
  • a common type of echo cancellation is linear echo cancellation.
  • the microphones, loudspeakers and their respective amplifiers are linear transducers and that, thus, the loudspeaker sound components coupled to a specific microphone superimpose linearly in the microphone signal. Furthermore, it is assumed that these loudspeaker sound components result in a linear convolution of the respective loudspeaker source signal with a respective impulse response.
  • Each of these impulse responses refers to a particular pair of microphone-speakers and characterizes the entire electroacoustic transmission path from
  • Loudspeaker source signal up to the microphone signal This will be in such a
  • Vehicle interior including reflections, diffraction, scattering, absorption, etc., the spatial reception characteristics of the microphone, as well
  • LEM impulse response (Loudspeaker Enclosure Microphone). It is generally due to changes in the
  • Vehicle interior geometry occupants and their movements, moving parts, loading, etc.
  • electro-acoustic properties of microphones and loudspeakers depending on temperature, air pressure, humidity, age, etc.
  • a linear echo cancellation algorithm adaptively estimates the LEM impulse response for each possible microphone-speaker pair. Based on the LEM impulse response, the injected loudspeaker sound components in each microphone signal are then calculated and subtracted therefrom. The rate of adaptation and effective echo cancellation are limited and generally in competition with each other.
  • EP 1936939 A1 discloses an echo compensation in which the microphone signal is subdivided into subband signals and subjected to sub-sampling. A reference audio signal is sent via a
  • the reference audio signal is also sub-sampled and sub-sampled subband signals of the reference audio signal are stored. Furthermore, echoes in the microphone subband signals are estimated and the estimated echoes are subtracted from the microphone subband signals to improve
  • a stereo signal for example, be a stereo signal or a surround signal in the vehicle.
  • Audio source signals the effectiveness of echo cancellation be greatly reduced. It may even occur that the LEM estimate diverges, for example when there are changes in the surround sound image. This can occur, for example, when so-called
  • Phantom sound sources in the surround panorama appear, disappear or move.
  • an echo canceller which cooperates with a sound output device with a multi-channel audio unit.
  • the sound output device outputs output sound signals as analog signals of multiple channels through a plurality of speakers.
  • a microphone detects an outside sound and generates an input sound signal as an analog signal.
  • the outside sound echoes the output sound signals.
  • the echo canceller has an echo cancellation function for removing the echo from the input tone signal.
  • the echo canceller receives the output sound signals from the sound output device.
  • the general interference signals can also be multichannel
  • Audio playbacks include. This is considered, for example, in DE 102009051508 A1. To reduce noise in speech recognition is used instead of a single
  • Microphone a microphone array installed. Through the microphone array a multi-channel speech signal is recorded, which instead of a simple speech signal to a
  • Echo cancellation unit is passed.
  • the recorded by the microphone array Multi-channel speech signal is post-processed before being input to the echo canceling unit in a unit downstream of the microphone array for processing the microphone signals by delayed accumulation of the signals.
  • the echo cancellation unit evaluates the propagation time of the various channels of the
  • Multichannel speech signal and removes all portions of the signal that do not emanate from the location of the authorized speaker according to their term.
  • microphone arrays or multiple microphones increase costs, require more installation space, and require powerful computational resources.
  • this object is achieved by a method for a
  • a method for audio signal processing in a vehicle is provided.
  • a mono audio signal is generated based on a multi-channel audio source signal.
  • the multi-channel audio source signal is, for example, a stereo signal or a surround signal which is to be output in the vehicle via a plurality of loudspeakers of the vehicle.
  • the mono audio signal is limited to a frequency range between a predetermined lower frequency and a predetermined upper frequency.
  • the mono audio signal can be limited, for example, with a bandpass filter to the frequency range between the predetermined lower frequency and the predetermined upper frequency. Limiting the mono audio signal to the frequency domain produces a limited mono audio signal.
  • the limited mono audio signal is output through the plurality of speakers in the vehicle.
  • this voice audio signal contains the limited mono audio signal output via the plurality of loudspeakers.
  • An influence of this over the several loudspeakers issued limited mono audio signal on over the Microphone received speech audio signal is compensated by means of the limited mono audio signal. For example, an echo compensation can be performed, which takes into account only the mono audio signal.
  • the echo cancellation taking into account only one echo signal is very reliable, even if the mono audio signal is output through several different speakers, as with a mono audio signal no changes in the multi-channel sound image can occur.
  • the interfering mono audio signal can be largely or completely removed from the voice audio signal.
  • the predetermined lower frequency may have a value in the range of 100 Hz to 300 Hz
  • the predetermined upper frequency may have a value in the range of 4 kHz to 8 kHz, for example.
  • a speech recognizer which is used, for example, for voice control or voice input in a vehicle, in many cases evaluates audio signals in a limited frequency range of, for example, 100 Hz to 8 kHz in order to recognize the voice input from a user. Therefore, one is
  • the predetermined lower frequency is preferably 100 Hz and the predetermined upper frequency is 8 kHz. This allows the speech recognizer in the relevant for him limited
  • Frequency range an undisturbed voice signal can be provided.
  • a plurality of limited channel-specific audio signals are generated as a function of the multi-channel audio source signal.
  • Channel-specific audio signal relates, for example, to an audio signal which is assigned by the multi-channel audio signal source specifically for a channel assigned to the respective channel
  • Speaker is determined. For a stereo source signal, this can be for example
  • Audio signal for the right speaker or an audio signal for the left speaker include.
  • a respective limited channel-specific audio signal of the plurality of limited channel-specific audio signals is therefore assigned to a respective audio signal of the multi-channel audio source signal.
  • a respective limited channel-specific audio signal is limited to a frequency range which only includes frequencies below the predetermined lower frequency and frequencies above the predetermined upper frequency.
  • One respective limited channel-specific audio signal is replaced by a corresponding
  • Audio source signal formed.
  • the audio signals of the multi-channel audio signal are respectively limited or filtered so that they only include frequencies below the predetermined lower frequency and / or frequencies above the predetermined upper frequency.
  • the plurality of limited channel-specific audio signals are output through the plurality of speakers in the vehicle, so that the effect of a
  • multi-channel audio playback such as stereo or surround playback.
  • the multi-channel audio source signal is reproduced in one channel (mono) and in the remaining frequency range multi-channel.
  • the mono audio signal and the plurality of limited channel-specific audio signals may, for example, according to the following embodiment of the multi-channel
  • Audio source signal are generated.
  • Audio source signal divided into an equal on all channels center signal component and a respective side signal component per audio channel of the multi-channel audio source signal. From the middle signal portion of the limited mono audio signal is generated and from the respective
  • the mid-signal component for example, can be used directly as a mono audio signal or suitably scaled used as a mono audio signal. Likewise, the
  • Side signal components can be used directly as the limited channel-specific audio signals or in suitably scaled form. Especially with a stereo signal, the
  • Mittensignalanteil be formed for example from the sum of the right and left audio source signal.
  • the side signal components may be coded together in a difference signal from the difference between the right and left audio source signals and further processed.
  • the center signal component and the side signal components can be generated and processed in a simple manner.
  • the center signal component is formed by averaging respective samples of the audio channels of the multi-channel audio source signal.
  • the respective side signal components are formed by subtracting the center signal component from the respective audio signals of the multi-channel audio source signal. This generation of the center signal portion and the side signal portions is for any audio source signals Number of channels possible.
  • an implementation in, for example, a digital signal processor can be realized in a simple manner.
  • the speech audio signal received via the microphone is limited to a frequency range between the predetermined lower frequency and the predetermined upper frequency.
  • the echo cancellation is applied to the thus-limited speech audio signal using the limited mono audio signal
  • the speech recognizer operates generally only in the frequency range between the predetermined lower frequency and the predetermined upper frequency, echo cancellation in a speech audio signal limited thereto is sufficient. Furthermore, spurious signals outside this frequency range are already eliminated prior to echo cancellation and therefore have no effect on echo cancellation and speech recognition, allowing both echo cancellation and speech recognition to operate more reliably.
  • the reproduction of an audio signal is more important to some occupants of the vehicle than to others.
  • audio outputs of a navigation system are more important to the driver than to the remaining occupants
  • audio outputs of a video displayed in the rear of the vehicle are more important for rear passengers than for the driver and front passenger.
  • a plurality of weighting factors associated with the respective loudspeakers may be generated in response to the multi-channel audio source signal.
  • the limited mono audio signal is weighted for each loudspeaker with the weighting factor assigned to the respective loudspeaker. Thereby, a center of gravity of the audio output in the vehicle can be appropriately shifted.
  • the weighted output will not affect the quality of the echo cancellation.
  • the echo cancellation may adjust to the new weight in a relatively short time, for example within a few seconds or minutes.
  • the audio outputs of the navigation system can be in a vehicle with
  • an audio signal processing apparatus for a vehicle.
  • the audio signal processing device is capable of
  • the audio signal processing device may have, for example, a summation device.
  • the audio signal processing apparatus is further capable of limiting the mono audio signal to a frequency range between a predetermined lower frequency and a predetermined upper frequency. This can be done with a
  • Bandpass filter can be realized.
  • the limited mono audio signal is over several
  • Speaker is output in the vehicle. Furthermore, the limited mono audio signal is output to a compensation device, for example to a
  • the compensation device serves to influence the limited mono audio signal output via the plurality of speakers to a voice audio signal received in the vehicle via a microphone by means of the limited one
  • the audio signal processing device is therefore suitable for carrying out the method described above and its embodiments and therefore also comprises the advantages described above.
  • FIG. 1 schematically shows a vehicle having an audio signal processing device according to an embodiment of the present invention.
  • Figure 2 schematically shows an audio reproduction system and a speech recognition system in connection with an audio signal processing apparatus according to an embodiment of the present invention.
  • FIG. 3 schematically shows a method for audio signal processing in a vehicle according to an embodiment of the present invention.
  • FIG. 2 details of the audio signal processing device 15 in connection with further components of the vehicle 10 will be described.
  • FIG. 3 shows schematically the mode of operation the audio signal processing device 15.
  • the same reference numerals in the figures relate to the same or similar components.
  • FIG. 1 shows a vehicle 10 in a plan view.
  • the vehicle 10 includes a
  • Speech recognition system 1 With the aid of the speech recognition system 11, spoken commands or instructions of occupants of the vehicle 10 can be detected, processed and executed. For example, configuration settings of the vehicle 10 or a multimedia system of the vehicle 10 may be changed via appropriate instructions. For example, an audio signal source, such as CD or radio, can be selected. Furthermore, for example, a specific radio station can be selected or a title of a CD. Furthermore, with appropriate instructions, a telephone connection can be established to a desired subscriber or a navigation destination in one
  • Navigation system of the vehicle 10 can be adjusted. For this purpose, for example, corresponding commands or instructions are received by a driver 12 of the vehicle 10 via a microphone 13. A spoken command of the driver 12 is forwarded by the microphone 13 as a speech audio signal to an audio signal processing device 15.
  • Speech recognition system 1 1 supplied.
  • the speech recognition system 1 1 evaluates that
  • Speech audio signal and recognizes contained commands and instructions and executes them.
  • the speech recognition system can be coupled with a so-called dialogue system, which can lead a dialogue with the driver via questions and answers.
  • the vehicle 10 further includes an audio signal source 14.
  • the audio signal source 14 may include, for example, a broadcast receiver, a media player such as a CD player or an MP3 player, or a navigation system of the vehicle 10.
  • the audio signal source 14 outputs a multi-channel audio source signal.
  • the multi-channel audio source signal is supplied to and processed by the audio signal processing device 15, as will be described below with reference to FIG.
  • the processed multi-channel audio source signal is output from the audio signal processing device 15 to an amplifier 16.
  • the amplifier 16 amplifies the individual signals of the processed multi-channel audio source signal so that they can be reproduced via speakers 17-20 in an interior of the vehicle 10.
  • the vehicle 10 includes four loudspeakers 17-20.
  • the vehicle 10 may include any number of speakers, for example two, three or more than four.
  • the loudspeakers 17-20 are assigned to the seats of the vehicle 10.
  • the loudspeaker 17 is associated with a driver's seat of the driver 12, the loudspeaker 18 with a passenger seat, the loudspeaker 19 with a rear right seat and the loudspeaker 20 with a rear left seat.
  • the driver 12 may instruct or command the
  • Voice recognition system 1 1 express. This is illustrated in FIG. 1 by the dashed arrow between the driver 12 and the microphone 13. While the driver 12 is issuing commands and instructions, multi-channel audio source signals may be output from the audio signal source 14 via the loudspeakers 17-20. The outputs of the loudspeakers 17-20 also reach the microphone 13, as shown by the corresponding dashed arrows between the loudspeakers 17-20 and the microphone 13 in FIG. However, the outputs from the speakers 17-20 may interfere with speech intelligibility, such that the speech recognition system 11 does not or insufficiently recognizes the commands and instructions from the driver 12.
  • FIG. 2 shows details of the audio signal processing device 15 and the
  • Speech recognition system 1 which help to reduce or compensate for the influence of the outputs from the speakers 17-20 on the voice signal of the driver 12.
  • the audio signal source 14 in the example of Figure 2 is only two-channel, ie a stereo source with a left channel L and a right channel R.
  • the audio signal processing device 15 described below may be any number in the same manner of channels of a multi-channel
  • Audio signal processing device 15 described.
  • the components of the audio signal processing device 15 shown in FIG. 2 do not necessarily have to be designed as concrete components or assemblies, but can be reproduced in part or in total in terms of programming and realized by suitable control, for example a microprocessor or a digital signal processor.
  • the audio signal processing device 15 includes inputs via which the multi-channel audio source signal is received by the audio signal source 14.
  • Stereo audio source signal includes, for example, a left channel L and a right channel R, which are supplied to the audio signal processing device 15.
  • Signal converters 21 are inserted from the two or more channel audio source signal
  • Middle signal component M and a side signal component S generated for each channel are Especially for a stereo signal, instead of two side signal components, a common side signal component can be formed as the difference between the left channel L and the right channel R. Since all side signal components are treated identically below, regardless of the number of side signal components, only one path for the side signal components S is shown in FIG. This one path can therefore comprise only one side signal component in the case of a stereo signal or several side signal components in the multi-channel case.
  • R R + L
  • Side signal component S for example, a difference signal between the respective
  • Center signal component include.
  • the audio signal processing device 15 further comprises a first bandpass filter 23 and a notch filter or notch filter 22.
  • the first bandpass filter 23 has a predetermined lower frequency and a predetermined upper frequency.
  • the first bandpass filter 23 leaves in
  • the attenuation may be, for example, 70 dB or more, and in a digital embodiment of the first bandpass filter, the signal above the predetermined upper frequency and below the predetermined lower frequency can be completely suppressed.
  • the notch filter 22 has a frequency response which is substantially inverse to the frequency response of the first bandpass filter 23. That is, the notch filter 22 leaves substantially only signals having a frequency below that
  • the lower predetermined frequency may be 100 Hz
  • the upper predetermined frequency may be 8 kHz, for example.
  • the lower predetermined frequency may be selected in a range of 100 Hz to 300 Hz
  • the upper predetermined frequency may be selected in a range of 4 kHz to 8 kHz.
  • reproduction of a multi-channel audio source signal is more affected the greater the frequency range between the lower predetermined frequency and the upper predetermined frequency is selected.
  • a corresponding notch filter 22 having the lower predetermined frequency and the upper predetermined frequency is to be provided for each of these plurality of side signal components.
  • Side signal components S with the notch filters 22 are filtered or limited in frequency side signal components Sb generated.
  • Side signal component Sb are supplied to a second signal converter 24, which generates filtered audio signals for the individual channels.
  • the filtered audio signal for a respective single channel may be formed, for example, by summing the filtered center signal component Mb and the corresponding filtered channel-specific side signal component Sb.
  • Rb Mb + Sb
  • Lb Mb-Sb, for example.
  • the filtered audio signals Lb, Rb are output from the audio signal processing device 15 and supplied to the amplifier 16 channel by channel.
  • the audio signal processing device 15 further comprises a second bandpass filter 26.
  • the second bandpass filter 26 has the same filter characteristic as the first bandpass filter 23.
  • the second bandpass filter 26 is the input side coupled to the microphone 13 and the output side with an echo canceller 25 of the speech recognition system 1 first
  • the echo canceller 25 of the speech recognition system 11 is further supplied with the filtered center signal component Mb. Based on the filtered center signal component Mb, the echo canceller 25 performs echo cancellation on the filtered voice signal from the microphone 13.
  • the speech signal processed by the echo canceller 25 is applied to a speech recognizer 27 of the
  • Speech recognition system 1 1 supplied.
  • the audio signal processing device 15 comprises a weighting device 28 which is connected to the multi-channel audio source signal and / or the audio signal source 14 is coupled. Based on information of the multi-channel audio source signal or information from the audio signal source 14, the weighting device 28 provides
  • Weighting factors with which the filtered audio signals are weighted before output from the second signal converter 24 are weighted before output from the second signal converter 24.
  • FIG. 3 shows a method 30 with method steps 31 - 37, which are derived from the
  • Audio signal processing device 15 are performed in conjunction with the speech recognition system 1 1. It is clear that the processing steps illustrated in FIG. 3 can be carried out with electronic aids which comprise, for example, analog or digital circuits as well as processing devices. Processing devices may include, for example, microprocessors or digital signal processors. Furthermore, the entire functionality of the audio signal processing device 15 can be integrated into, for example, an existing electronic device, for example a digital signal processor of the speech recognition system 11.
  • a multi-channel audio source signal for example a stereo signal or a surround signal
  • the audio signal source 14 is received by the audio signal source 14 at the audio signal processing device 15.
  • a frequency limited mono audio signal and frequency limited channel specific audio signals are generated by the first signal converter 21 and the filters 22 and 23.
  • the frequency-limited center signal component Mb described above may be that limited in frequency
  • Side signal components Sb may be, for example, those limited in frequency
  • the frequency limited mono audio signal and the frequency limited channel specific audio signals may also be formed in any other way from the multichannel audio source signal.
  • step 34 the limited mono audio signal is output through all the loudspeakers 17-20 and the limited channel specific audio signals are outputted over the loudspeaker associated with the respective channel.
  • the mono audio signal is on one for the
  • Speech recognition relevant frequency range limited, for example to one
  • Frequency range from 100 Hz to 8 kHz.
  • the channel-specific audio signals are on a frequency range outside the relevant frequency range for speech recognition limited, so for example at frequencies below 100 Hz and above 8kHz.
  • an audio center of gravity in the vehicle can be changed.
  • the speaker 17-20 When outputting the limited mono audio signal through the speakers 17-20, an audio center of gravity in the vehicle can be changed.
  • the microphone 17-20 When outputting the limited mono audio signal through the speakers 17-20, an audio center of gravity in the vehicle can be changed.
  • the speaker 17-20 When outputting the limited mono audio signal through the speakers 17-20, an audio center of gravity in the vehicle can be changed.
  • the microphone 17-20 When outputting the limited mono audio signal through the speakers 17-20, an audio center of gravity in the vehicle can be changed.
  • Weighting device 28 on the basis of their information supplied to determine an audio center of gravity for the multi-channel audio source signals or the current signal source and distribute the limited mono audio signal according to this audio focus on the audio channels. For example, if a voice output of a navigation system represents the multi-channel audio signal source, the limited mono audio signal, for example, for the speaker 17 may be weighted more heavily than for the speakers 18-20, since this information is more relevant to the driver 12 than for the rest of the vehicle occupants.
  • Weighting device 28 may consider further information of the vehicle 10, for example a current seat occupancy in the vehicle.
  • a speech audio signal is received via the microphone 13 in step 35.
  • the received speech audio signal using the second
  • the echo canceller 25 is supplied with the limited mono audio signal and the limited voice audio signal.
  • the echo canceller 25 performs echo cancellation in the voice audio signal using the mono audio signal. Since both the speech audio signal and the mono audio signal are limited to the frequency range relevant to speech recognition (eg, 100Hz-8kHz), echo cancellation may also be limited to this limited frequency range, resulting in less noise and the echo canceller 25 being simpler or less Computing power required.
  • single-channel echo cancellation requires only a single audio reference signal, namely the mono audio signal, and only needs to estimate an acoustic impulse response. As a result, system resources are saved in the echo cancellation, which are available for example for the speech recognizer 27.
  • the thus adjusted speech audio signal is supplied to the speech recognizer 27 and processed there to extract corresponding commands and instructions from the spoken speech.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren für eine Audiosignalverarbeitung in einem Fahrzeug (10). Um eine einfache und zuverlässige Echokompensation für eine Spracherkennung bei gleichzeitiger Wiedergabe eines mehrkanaligen Audioquellsignals in einem Fahrzeug (10) zu ermöglichen, wird ein Monoaudiosignal auf der Grundlage eines mehrkanaligen Audioquellsignals erzeugt. Das Monoaudiosignal wird auf einen Frequenzbereich zwischen einer vorgegebenen unteren Frequenz und einer vorgegebenen oberen Frequenz begrenzt, beispielsweise auf einen Bereich von 100Hz bis 8kHz. Das begrenzte Monoaudiosignal wird über mehrere Lautsprecher (17-20) in dem Fahrzeug (10) ausgegeben. Ein Einfluss des über die mehreren Lautsprecher (17-20) ausgegebenen begrenzten Monoaudiosignals auf ein in dem Fahrzeug (10) über ein Mikrofon (13) empfangenes Sprachaudiosignal wird mittels des begrenzten Monoaudiosignals in einem Echokompensator (25) kompensiert.

Description

Beschreibung
Audiosignalverarbeitung in einem Fahrzeug
Die vorliegende Erfindung betrifft ein Verfahren für eine Audiosignalverarbeitung in einem Fahrzeug und eine entsprechende Audiosignalverarbeitungsvorrichtung für ein Fahrzeug. Die vorliegende Erfindung betrifft insbesondere eine Audiosignalverarbeitung mit einer
Echokompensation, beispielsweise für eine Sprachverarbeitung.
In Fahrzeugen, wie zum Beispiel Personenkraftwagen oder Lastkraftwagen, werden
Sprachdialogsysteme zur Unterstützung des Fahrers oder der Insassen verwendet.
Sprachdialogsysteme dienen beispielsweise dazu, elektronische Geräte ohne die Notwendigkeit einer haptischen Bedienoperation zu steuern. Die elektronischen Geräte können beispielsweise einen Fahrzeugcomputer oder ein Multimediasystem des Fahrzeugs umfassen. Gesprochene Sprache von dem Fahrer oder Insassen wird über ein Freisprechmikrofon empfangen und einer Spracherkennung zugeführt.
Eine Anwendung von Mikrofonen im Fahrzeuginnenraum, für z.B. Sprachbedienung, Telefonie oder Fahrzeuginnenraumkommunikation, kann potenziell durch eine akustische Einkopplung von Lautsprecherausgaben des Fahrzeug-Soundsystems beeinträchtigt werden. Dies kann im Fall einer Spracherkennung zu Erkennungsfehlern, bei Freisprechtelefonie zu Echos am fernen Ende und bei einer Fahrzeuginnenraumkommunikation zu Rückkopplungen führen. Die
Konsequenzen sind je nach Anwendung eine gestörte Kommunikation, erhöhte Ablenkung oder sogar störende Geräusche und Echos.
Wenn zum Beispiel während des Sprachdialogs im Fahrzeug gleichzeitig und fortlaufend Audiosignale über das Fahrzeug-Soundsystem wiedergegeben werden, gelangt ein Teil der Audiosignale als akustische Rückkopplung von den Lautsprechern in das Freisprechmikrofon und stört somit die Spracherkennung. Die über das Fahrzeug-Soundsystem wiedergegebenen Audiosignale können beispielsweise Musik, Verkehrsfunknachrichten, Radiosendungen, Ausgaben eines Navigationssystems oder die (künstliche) Sprache eines Sprachdialogsystems umfassen. Die Störung der Spracherkennung kann zu Erkennungsfehlern führen, welche den Dialog ineffizient machen können und eine erhöhte Ablenkung von der Fahraufgabe verursachen können. Dies kann beim Fahrer oder Insassen Unzufriedenheit oder Verärgerung auslösen.
Eine einfache Lösung für das vorgenannte Problem besteht darin, während des Sprachdialogs oder Telefonats im Fahrzeug die Audiowiedergabe von beispielsweise einem Radio stumm zu schalten. Die Stummschaltung der Audiowiedergabe wird von Fahrzeugbenutzern jedoch häufig als störend und unnötig empfunden. Darüber hinaus können wichtige Informationen von beispielsweise einem Navigationssystem verpasst werden. Außerdem kann es sein, dass ein Fahrzeugbenutzer sich bei Rückfragen des Sprachdialogsystems und gleichzeitig stumm geschalteter Audiowiedergabe gedrängt fühlt, schnellstmöglich auf die Rückfragen des
Sprachdialogsystems zu reagieren.
Alternativ kann während des Sprachdialogs die Audiowiedergabelautstärke vorübergehend reduziert werden. Für den Spracherkenner ist das Ausmaß der Störung durch die
Audiowiedergabe dann zwar geringer, jedoch im Allgemeinen noch so groß, dass auf eine weitere Bereinigung des Mikrofonsignals nicht verzichtet werden kann.
In begrenztem Maße können o.g. Einkopplungen auch durch konstruktiv-akustische
Maßnahmen vermindert werden. Beispielsweise können Mikrofone mit einer geeigneten Richtcharakteristik verwendet werden, Mikrofone und Lautsprecher im Fahrzeuginneren geeignet relativ zueinander angeordnet werden oder akustische Gegebenheiten in dem
Fahrzeug geeignet ausgenutzt werden.
Da dies jedoch im Allgemeinen nicht ausreicht, werden Signalverarbeitungskomponenten zur Bereinigung der Mikrofonsignale eingesetzt. Dabei werden die von den Lautsprechern des Fahrzeug-Soundsystems in die Mikrofone eingekoppelten Signalanteile geschätzt und aus den Mikrofonsignalen entfernt. Derartige Verfahren werden als Echokompensation oder
Echounterdrückung bezeichnet. Eine weit verbreitete Art der Echokompensation ist die lineare Echokompensation.
Bei der linearen Echokompensation wird angenommen, dass die Mikrofone, Lautsprecher und ihre jeweiligen Verstärker lineare Übertrager sind und dass sich somit die an einem bestimmten Mikrofon eingekoppelten Lautsprecher-Schallanteile im Mikrofonsignal linear überlagern. Ferner wird angenommen, dass sich diese Lautsprecher-Schallanteile als lineare Faltung des jeweiligen Lautsprecher-Quellsignals mit einer jeweiligen Impulsantwort ergeben. Jede dieser Impulsantworten bezieht sich auf ein bestimmtes Mikrofon-Lautsprecher-Paar und charakterisiert den gesamten elektroakustischen Übertragungsweg vom
Lautsprecherquellsignal bis hin zum Mikrofonsignal. Damit werden in einer solchen
Impulsantwort unter anderem folgende Größen abgebildet:
der Frequenz- und Phasengang des vor den Lautsprecher geschalteten Verstärkers, der Frequenz- und Phasengang des Lautsprechers,
die räumliche Abstrahlcharakteristik des Lautsprechers,
der akustische Übertragungspfad vom Lautsprecher zum Mikrofon durch den
Fahrzeuginnenraum, einschließlich Reflexionen, Beugung, Streuung, Absorption, usw., die räumliche Empfangscharakteristik des Mikrofons, sowie
der Frequenz- und Phasengang des Mikrofons.
Diese Impulsantwort wird daher auch als LEM-Impulsantwort (Loudspeaker-Enclosure- Microphone) bezeichnet. Sie ist im Allgemeinen aufgrund von Veränderungen der
Fahrzeuginnenraumgeometrie (Insassen und deren Bewegungen, bewegliche Teile, Beladung etc.) sowie der elektroakustischen Eigenschaften von Mikrofonen und Lautsprechern (abhängig von Temperatur, Luftdruck, Feuchtigkeit, Alter, etc.) zeitveränderlich.
Ein Algorithmus zur linearen Echokompensation schätzt adaptiv die LEM-Impulsantwort für jedes mögliche Mikrofon-Lautsprecher-Paar. Auf der Grundlage der LEM-Impulsantwort werden dann die eingekoppelten Lautsprecher-Schallanteile in jedem Mikrofonsignal berechnet und davon subtrahiert. Die Adaptionsgeschwindigkeit und effektive Echounterdrückung sind begrenzt und stehen im Allgemeinen zueinander in Konkurrenz.
Verschiedene verbesserte Techniken zur Echokompensation oder Echounterdrückung sind in dem Stand der Technik bekannt, um beispielsweise die Echokompensation zu vereinfachen und somit die benötigte Rechenleistung zu verringern. Dazu offenbart beispielsweise die EP 1936939 A1 eine Echokompensation, bei der das Mikrofonsignal in Subbandsignale aufgeteilt und einer Unterabtastung unterzogen wird. Ein Referenzaudiosignal wird über einen
Lautsprecher ausgegeben. Das Referenzaudiosignal wird ebenfalls einer Unterabtastung unterzogen und unterabgetastete Subbandsignale des Referenzaudiosignals gespeichert. Ferner werden Echos in den Mikrofonsubbandsignalen geschätzt und die geschätzten Echos werden von den Mikrofonsubbandsignalen abgezogen, um verbesserte
Mikrofonsubbandsignale zu erhalten. Bei der Echokompensation ist jedoch eine häufig vorhandene Mehrkanaligkeit des auszugebenden Audiosignals problematisch. Das mehrkanalige Audiosignal kann
beispielsweise ein Stereosignal oder ein Surroundsignal in dem Fahrzeug sein.
Für den Fall mehrerer Audioquellsignale aus mehreren Lautsprechern kommt neben der erhöhten Rechenkomplexität der Algorithmen folgendes Problem hinzu: Aufgrund von
Korrelationen zwischen den verschiedenen Audioquellsignalen ist das Schätzproblem mathematisch unterbestimmt. Als Konsequenz kann bei plötzlichem Auftreten von
Audioquellsignalen die Wirksamkeit der Echokompensation stark vermindert sein. Es kann sogar auftreten, dass die LEM-Schätzung divergiert, beispielsweise wenn es zu Veränderungen im Surroundklangbild kommt. Dies kann beispielsweise auftreten, wenn sogenannte
Phantomschallquellen im Surround-Panorama erscheinen, verschwinden oder verschoben werden.
Es existieren verschiedene Ansätze, hiermit umzugehen, die jedoch entweder zu hörbaren Verzerrungen führen oder sehr rechenintensiv sind (Watermarking, Kalmanfilter-Lösungen).
Weiterhin ist in diesem Zusammenhang aus der DE 102008027848 A1 beispielsweise ein Echounterdrücker bekannt, welcher mit einer Tonausgabevorrichtung mit einer mehrkanaligen Audioeinheit zusammenarbeitet. Die Tonausgabevorrichtung sendet Ausgabetonsignale als Analogsignale mehrerer Kanäle über mehrere Lautsprecher aus. Ein Mikrofon erfasst einen Außenton und erzeugt ein Eingabetonsignal als ein Analogsignal. Der Außenton umfasst die Ausgabetonsignale als Echo. Der Echounterdrücker besitzt eine Echoauslöschfunktion zum Entfernen des Echos aus dem Eingabetonsignal. Dazu empfängt der Echounterdrücker die Ausgabetonsignale von der Tonausgabevorrichtung. Eine derartige Lösung zur Kompensation mehrkanaliger akustischer Echoquellen ist technisch jedoch sehr komplex und erfordert eine hohe Rechenleistung. Ferner existieren für Kanalzahlen größer als zwei keine expliziten Lösungen.
Eine weitere Möglichkeit besteht in einer verbesserten Trennung von Sprachsignalen und allgemeinen Störsignalen. Die allgemeinen Störsignale können auch mehrkanalige
Audiowiedergaben umfassen. Dies wird beispielsweise in der DE 102009051508 A1 betrachtet. Zur Reduzierung von Störsignalen bei der Spracherkennung wird statt einem einzelnen
Mikrofon ein Mikrofonarray verbaut. Durch das Mikrofonarray wird ein Mehrkanalsprachsignal aufgenommen, welches anstatt eines einfachen Sprachsignals zu einer
Echokompensationseinheit geleitet wird. Das durch das Mikrofonarray aufgenommene Mehrkanalsprachsignal wird vor der Eingabe in die Echokompensationseinheit in einer dem Mikrofonarray nachgeschalteten Einheit zur Verarbeitung der Mikrofonsignale durch verzögertes Aufsummieren der Signale nachbearbeitet. Hierdurch werden die Signale der autorisierten Sprecher separiert und alle anderen Sprechersignale und Störsignale reduziert. Außerdem wertet die Echokompensationseinheit die Laufzeit der verschiedenen Kanäle des
Mehrkanalsprachsignals aus und entfernt alle Anteile des Signals, die entsprechend ihrer Laufzeit nicht vom Ort des autorisierten Sprechers ausgehen. Die Verwendung eines
Mikrofonarrays oder mehrerer Mikrofone erhöht jedoch die Kosten, benötigt mehr Einbauraum und erfordert leistungsstarke Rechenressourcen.
Eine Aufgabe der vorliegenden Erfindung ist es daher, eine zuverlässige Spracheingabe in einem Fahrzeug bei gleichzeitiger Wiedergabe eines mehrkanaligen Audiosignals zu ermöglichen. Zusätzliche Kosten oder Aufwendungen für beispielsweise zusätzliche Mikrofone oder leistungsstarke Signalverarbeitungseinheiten sollen dabei vermieden werden.
Gemäß der vorliegenden Erfindung wird diese Aufgabe durch ein Verfahren für eine
Audiosignalverarbeitung in einem Fahrzeug nach Anspruch 1 und eine
Audiosignalverarbeitungsvorrichtung für ein Fahrzeug nach Anspruch 8 gelöst. Die abhängigen Ansprüche definieren Ausführungsformen der Erfindung.
Gemäß der vorliegenden Erfindung wird ein Verfahren für eine Audiosignalverarbeitung in einem Fahrzeug bereitgestellt. Bei dem Verfahren wird ein Monoaudiosignal auf der Grundlage eines mehrkanaligen Audioquellsignals erzeugt. Das mehrkanalige Audioquellsignal ist beispielsweise ein Stereosignal oder ein Surroundsignal, welches in dem Fahrzeug über mehrere Lautsprecher des Fahrzeugs auszugeben ist. Das Monoaudiosignal wird auf einen Frequenzbereich zwischen einer vorgegebenen unteren Frequenz und einer vorgegebenen oberen Frequenz begrenzt. Das Monoaudiosignal kann beispielsweise mit einem Bandpassfilter auf den Frequenzbereich zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz begrenzt werden. Durch das Begrenzen des Monoaudiosignals auf den Frequenzbereich wird ein begrenztes Monoaudiosignal erzeugt.
Das begrenzte Monoaudiosignal wird über die mehreren Lautsprecher in dem Fahrzeug ausgegeben. Wenn nun über ein Mikrofon ein Sprachaudiosignal von einem Fahrzeuginsassen oder einem Fahrer des Fahrzeugs empfangen wird, enthält dieses Sprachaudiosignal das über die mehreren Lautsprecher ausgegebene begrenzte Monoaudiosignal. Ein Einfluss dieses über die mehreren Lautsprecher ausgegebenen begrenzten Monoaudiosignals auf das über das Mikrofon empfangene Sprachaudiosignal wird mittels des begrenzten Monoaudiosignals kompensiert. Beispielsweise kann eine Echokompensation durchgeführt werden, welche lediglich das Monoaudiosignal berücksichtigt. Eine komplexe Echokompensation unter
Berücksichtigung eines mehrkanaligen Audiosignals ist daher nicht erforderlich. Stattdessen ist lediglich eine einkanalige Echokompensation erforderlich, welche mit verhältnismäßig geringer Rechenleistung realisiert werden kann.
Die Echokompensation unter Berücksichtigung von nur einem Echosignal (Monoaudiosignal) ist sehr zuverlässig, auch wenn das Monoaudiosignal über mehrere verschiedene Lautsprecher ausgegeben wird, da mit einem Monoaudiosignal keine Veränderungen im Mehrkanalklangbild auftreten können. Somit kann das störende Monoaudiosignal zu einem großen Teil oder vollständig aus dem Sprachaudiosignal entfernt werden.
Die vorgegebene untere Frequenz kann Beispielsweise einen Wert im Bereich von 100 Hz bis 300 Hz aufweisen und die vorgegebene obere Frequenz kann beispielsweise einen Wert im Bereich von 4kHz bis 8kHz aufweisen. Ein Spracherkenner, welcher beispielsweise für eine Sprachsteuerung oder eine Spracheingabe in einem Fahrzeug verwendet wird, wertet zur Erkennung der Spracheingaben von einem Benutzer Audiosignale in vielen Fällen in nur einem begrenzten Frequenzbereich von beispielsweise 100 Hz bis 8kHz aus. Daher ist eine
Echokompensation nur in diesem begrenzten Frequenzbereich erforderlich. Vorzugsweise beträgt die vorgegebene untere Frequenz daher 100 Hz und die vorgegebene obere Frequenz 8kHz. Dadurch kann dem Spracherkenner in dem für ihn relevanten begrenzten
Frequenzbereich ein ungestörtes Sprachsignal bereitgestellt werden.
Um dennoch eine Wirkung einer mehrkanaligen Audiowiedergabe aufrecht zu erhalten, werden bei einer Ausführungsform des Verfahrens zusätzlich mehrere begrenzte kanalspezifische Audiosignale in Abhängigkeit von dem mehrkanaligen Audioquellsignal erzeugt. Ein
kanalspezifisches Audiosignal betrifft beispielsweise ein Audiosignal, welches von der mehrkanaligen Audiosignalquelle speziell für einen dem jeweiligen Kanal zugeordneten
Lautsprecher bestimmt ist. Bei einem Stereoquellsignal kann dies beispielsweise ein
Audiosignal für den rechten Lautsprecher oder ein Audiosignal für den linken Lautsprecher umfassen. Ein jeweiliges begrenztes kanalspezifisches Audiosignal der mehreren begrenzten kanalspezifischen Audiosignale ist daher einem jeweiligen Audiosignal des mehrkanaligen Audioquellsignals zugeordnet. Ein jeweiliges begrenztes kanalspezifisches Audiosignal ist auf einen Frequenzbereich begrenzt, welcher nur noch Frequenzen unterhalb der vorgegebenen unteren Frequenz und Frequenzen oberhalb der vorgegebenen oberen Frequenz umfasst. Ein jeweiliges begrenztes kanalspezifisches Audiosignal wird durch eine entsprechende
Frequenzbegrenzung aus dem jeweils zugeordneten Audiosignal des mehrkanaligen
Audioquellsignals gebildet. Anders ausgedrückt werden die Audiosignale des mehrkanaligen Audiosignals jeweils derart begrenzt oder gefiltert, dass sie nur noch Frequenzen unter der vorgegebenen unteren Frequenz und/oder Frequenzen über der vorgegebenen oberen Frequenz umfassen. Die mehreren begrenzten kanalspezifischen Audiosignale werden über die mehreren Lautsprecher in dem Fahrzeug ausgegeben, sodass die Wirkung einer
mehrkanaligen Audiowiedergabe erzielt werden kann, beispielsweise eine Stereowiedergabe oder eine Surroundwiedergabe. Zusammenfassend wird eine Audiowiedergabe in dem
Fahrzeug so modifiziert, dass in dem Frequenzbereich zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz das mehrkanalige Audioquellsignal einkanalig (Mono) wiedergegeben wird und in dem übrigen Frequenzbereich mehrkanalig.
Das Monoaudiosignal und die mehreren begrenzten kanalspezifischen Audiosignale können beispielsweise gemäß nachfolgender Ausführungsform aus dem mehrkanaligen
Audioquellsignal erzeugt werden. Bei dieser Ausführungsform wird das mehrkanalige
Audioquellsignal in einen auf allen Kanälen gleichen Mittensignalanteil und einen jeweiligen Seitensignalanteil pro Audiokanal des mehrkanaligen Audioquellsignal aufgeteilt. Aus dem Mittensignalanteil wird das begrenzte Monoaudiosignal erzeugt und aus den jeweiligen
Seitensignalanteilen werden die mehreren begrenzten kanalspezifischen Audiosignale erzeugt. Der Mittensignalanteil kann beispielsweise direkt als Monoaudiosignal verwendet werden oder geeignet skaliert als Monoaudiosignal verwendet werden. Ebenso können die
Seitensignalanteile direkt als die begrenzten kanalspezifischen Audiosignale verwendet werden oder in geeignet skalierter Form. Insbesondere bei einem Stereosignal kann der
Mittensignalanteil beispielsweise aus der Summe des rechten und linken Audioquellsignals gebildet werden. Die Seitensignalanteile können gemeinsam in einem Differenzsignal aus der Differenz zwischen dem rechten und linken Audioquellsignals codiert und weiterverarbeitet werden. Dadurch können insbesondere bei der Verarbeitung eines Stereoquellsignals der Mittensignalanteil und die Seitensignalanteile auf einfache Art und Weise erzeugt und verarbeitet werden.
Bei einer weiteren Ausführungsform wird der Mittensignalanteil durch eine Mittelwertbildung von jeweiligen Abtastwerten der Audiokanäle des mehrkanaligen Audioquellsignals gebildet. Die jeweiligen Seitensignalanteile werden durch Subtraktion des Mittensignalanteils von den jeweiligen Audiosignalen des mehrkanaligen Audioquellsignals gebildet. Diese Erzeugung des Mittensignalanteils und der Seitensignalanteile ist für Audioquellsignale mit einer beliebigen Anzahl von Kanälen möglich. Darüber hinaus ist eine Implementierung in beispielsweise einem digitalen Signalprozessor auf einfache Art und Weise realisierbar.
Bei einer weiteren Ausführungsform des Verfahrens wird das über das Mikrofon empfangene Sprachaudiosignal auf einen Frequenzbereich zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz begrenzt. Die Echokompensation wird auf das so begrenzte Sprachaudiosignal unter Verwendung des begrenzten Monoaudiosignals
angewendet. Somit wird der Einfluss des über die mehreren Lautsprecher ausgegebenen begrenzten Monoaudiosignals auf das begrenzte Sprachaudiosignal kompensiert. Da der Spracherkenner im Allgemeinen nur in dem Frequenzbereich zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz arbeitet, ist eine Echokompensation in einem darauf begrenzten Sprachaudiosignal ausreichend. Ferner werden Störsignale außerhalb dieses Frequenzbereichs bereits vor der Echokompensation eliminiert und haben daher keinen Einfluss auf die Echokompensation und die Spracherkennung, wodurch sowohl die Echokompensation als auch die Spracherkennung zuverlässiger arbeiten können.
In einigen Fällen ist die Wiedergabe eines Audiosignals für einige Insassen des Fahrzeugs wichtiger als für andere. Beispielsweise sind Audioausgaben eines Navigationssystems für den Fahrer wichtiger als für die übrigen Insassen, wohingegen Audioausgaben eines im Fond des Fahrzeugs wiedergegebenen Videos für Fahrzeuginsassen im Fond wichtiger sind als für den Fahrer und Beifahrer. Gemäß einer Ausführungsform können daher mehrere den jeweiligen Lautsprechern zugeordnete Gewichtungsfaktoren in Abhängigkeit von dem mehrkanaligen Audioquellsignal erzeugt werden. Das begrenzte Monoaudiosignal wird für jeden Lautsprecher mit dem dem jeweiligen Lautsprecher zugeordneten Gewichtungsfaktor gewichtet. Dadurch kann ein Schwerpunkt der Audioausgabe in dem Fahrzeug geeignet verlagert werden.
Solange die Gewichtungsfaktoren im Wesentlichen statisch sind, hat die gewichtete Ausgabe keinen Einfluss auf die Qualität der Echokompensation. Wenn die Gewichtung geändert wird, kann sich die Echokompensation in verhältnismäßig kurzer Zeit, beispielsweise innerhalb von wenigen Sekunden oder Minuten, auf die neue Gewichtung einstellen. In dem oben genannten Beispiel der Audioausgaben des Navigationssystems kann bei einem Fahrzeug mit
beispielsweise vier Lautsprechern statt einer gleich verteilten Ausgabe des Monoaudiosignals über die vier Lautsprecher folgende Gewichtung verwendet werden. Der Lautsprecher im Bereich des Fahrers kann beispielsweise 70 % des Monoaudiosignals ausgeben und die übrigen drei Lautsprecher können beispielsweise jeweils nur 10 % des Monoaudiosignals ausgeben. Gemäß der vorliegenden Erfindung wird weiterhin eine Audiosignalverarbeitungsvorrichtung für ein Fahrzeug bereitgestellt. Die Audiosignalverarbeitungsvorrichtung ist in der Lage, ein
Monoaudiosignal auf der Grundlage eines mehrkanaligen Audioquellsignals zu erzeugen. Dazu kann die Audiosignalverarbeitungsvorrichtung beispielsweise eine Summiervorrichtung aufweisen. Die Audiosignalverarbeitungsvorrichtung ist ferner in der Lage, das Monoaudiosignal auf einen Frequenzbereich zwischen einer vorgegebenen unteren Frequenz und einer vorgegebenen oberen Frequenz zu begrenzen. Dies kann beispielsweise mit einem
Bandpassfilter realisiert werden. Das begrenzte Monoaudiosignal wird über mehrere
Lautsprecher in dem Fahrzeug ausgegeben. Ferner wird das begrenzte Monoaudiosignal zu einer Kompensationsvorrichtung ausgegeben, beispielsweise zu einer
Echokompensationsvorrichtung. Die Kompensationsvorrichtung dient dazu, einen Einfluss des über die mehreren Lautsprecher ausgegebenen begrenzten Monoaudiosignals auf ein in dem Fahrzeug über ein Mikrofon empfangenes Sprachaudiosignal mittels des begrenzten
Monoaudiosignals zu kompensieren. Die Audiosignalverarbeitungsvorrichtung ist daher zur Durchführung des zuvor beschriebenen Verfahrens und seiner Ausführungsformen geeignet und umfasst daher auch die zuvor beschriebenen Vorteile.
Die vorliegende Erfindung wird nachfolgend anhand der beigefügten Figuren im Detail beschrieben werden.
Figur 1 zeigt schematisch ein Fahrzeug mit einer Audiosignalverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung.
Figur 2 zeigt schematisch ein Audiowiedergabesystem und ein Spracherkennungssystem in Verbindung mit einer Audiosignalverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung.
Figur 3 zeigt schematisch ein Verfahren für eine Audiosignalverarbeitung in einem Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung.
Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die Figuren 1-3 im Detail beschrieben werden. In Figur 1 wird zunächst das Umfeld einer erfindungsgemäßen
Audiosignalverarbeitungsvorrichtung 15 in einem Fahrzeug 10 beschrieben. In Figur 2 werden Details der Audiosignalverarbeitungsvorrichtung 15 in Verbindung mit weiteren Komponenten des Fahrzeugs 10 beschrieben werden. Figur 3 zeigt schließlich schematisch die Arbeitsweise der Audiosignalverarbeitungsvorrichtung 15. Gleiche Bezugszeichen in den Figuren betreffen gleiche oder ähnliche Komponenten.
Figur 1 zeigt ein Fahrzeug 10 in einer Draufsicht. Das Fahrzeug 10 umfasst ein
Spracherkennungssystem 1 1 . Mithilfe des Spracherkennungssystems 1 1 können gesprochene Befehle oder Anweisungen von Insassen des Fahrzeugs 10 erfasst, verarbeitet und ausgeführt werden. Beispielsweise können Konfigurationseinstellungen des Fahrzeugs 10 oder eines Multimediasystems des Fahrzeugs 10 über entsprechende Anweisungen geändert werden. Beispielsweise kann eine Audiosignalquelle, wie zum Beispiel CD oder Radio, gewählt werden. Ferner kann beispielsweise ein bestimmter Radiosender ausgewählt werden oder ein Titel einer CD. Ferner kann mit entsprechenden Anweisungen eine Telefonverbindung zu einem gewünschten Teilnehmer aufgebaut werden oder ein Navigationsziel in einem
Navigationssystem des Fahrzeugs 10 eingestellt werden. Dazu werden beispielsweise entsprechende Befehle oder Anweisungen von einem Fahrer 12 des Fahrzeugs 10 über ein Mikrofon 13 empfangen. Ein gesprochener Befehl des Fahrers 12 wird von den Mikrofon 13 als Sprachaudiosignal an eine Audiosignalverarbeitungsvorrichtung 15 weitergeleitet. Die
Funktionsweise der Audiosignalverarbeitungsvorrichtung 15 wird später unter Bezugnahme auf Figur 2 im Detail beschrieben werden. Nach der Bearbeitung des Sprachaudiosignals in der Audiosignalverarbeitungsvorrichtung 15 wird das bearbeitete Sprachaudiosignal dem
Spracherkennungssystem 1 1 zugeführt. Das Spracherkennungssystem 1 1 wertet das
Sprachaudiosignal aus und erkennt darin enthaltene Befehle und Anweisungen und führt diese aus. Das Spracherkennungssystem kann mit einem sogenannten Dialogsystem gekoppelt sein, welches über Fragen und Antworten einen Dialog mit dem Fahrer führen kann.
Das Fahrzeug 10 umfasst ferner eine Audiosignalquelle 14. Die Audiosignalquelle 14 kann beispielsweise ein Rundfunkempfänger, eine Medienwiedergabevorrichtung wie zum Beispiel ein CD Player oder ein MP3-Player, oder ein Navigationssystem des Fahrzeugs 10 umfassen. Die Audiosignalquelle 14 gibt ein mehrkanaliges Audioquellsignal aus. Das mehrkanalige Audioquellsignal wird der Audiosignalverarbeitungsvorrichtung 15 zugeführt und dort bearbeitet, wie es nachfolgend unter Bezugnahme auf Figur 2 beschrieben werden wird. Das bearbeitete mehrkanalige Audioquellsignal wird von der Audiosignalverarbeitungsvorrichtung 15 an einen Verstärker 16 ausgegeben. Der Verstärker 16 verstärkt die einzelnen Signale des bearbeiteten mehrkanaligen Audioquellsignals, sodass diese über Lautsprecher 17-20 in einem Innenraum des Fahrzeugs 10 wiedergegeben werden können. In dem in Figur 1 gezeigten Beispiel umfasst das Fahrzeug 10 vier Lautsprecher 17-20. Bei anderen Ausführungsformen der Erfindung kann das Fahrzeug 10 eine beliebige Anzahl von Lautsprechern umfassen, beispielsweise zwei, drei oder mehr als vier. In dem gezeigten Beispiel der Figur 1 sind die Lautsprecher 17-20 den Sitzplätzen des Fahrzeugs 10 zugeordnet. So ist der Lautsprecher 17 einem Fahrersitz des Fahrers 12 zugeordnet, der Lautsprecher 18 einem Beifahrersitz, der Lautsprecher 19 einem hinteren rechten Sitz und der Lautsprecher 20 einem hinteren linken Sitz.
Im Betrieb des Fahrzeugs 10 kann der Fahrer 12 Anweisungen oder Befehle an das
Spracherkennungssystem 1 1 äußern. Dies wird in Figur 1 durch den gestrichelten Pfeil zwischen dem Fahrer 12 und dem Mikrofon 13 dargestellt. Während der Fahrer 12 Befehle und Anweisungen äußert, können mehrkanalige Audioquellsignale von der Audiosignalquelle 14 über die Lautsprecher 17-20 ausgegeben werden. Die Ausgaben der Lautsprecher 17-20 erreichen ebenfalls das Mikrofon 13, wie es durch die entsprechenden gestrichelten Pfeile zwischen den Lautsprechern 17-20 und dem Mikrofon 13 in der Figur 1 dargestellt ist. Die Ausgaben aus den Lautsprechern 17-20 können jedoch die Sprachverständlichkeit stören, sodass das Spracherkennungssystem 1 1 die Befehle und Anweisungen von dem Fahrer 12 nicht oder nur unzureichend erkennt.
Figur 2 zeigt Details der Audiosignalverarbeitungsvorrichtung 15 und des
Spracherkennungssystems 1 1 , welche dazu beitragen, den Einfluss der Ausgaben aus den Lautsprechern 17-20 auf das Sprachsignal des Fahrers 12 zu verringern oder zu kompensieren. Zur Vereinfachung der Darstellung ist die Audiosignalquelle 14 in dem Beispiel der Figur 2 nur zweikanalig, also eine Stereoquelle mit einem linken Kanal L und einem rechten Kanal R. Es ist jedoch klar, dass die nachfolgend beschriebene Audiosignalverarbeitungsvorrichtung 15 in gleicher Art und Weise eine beliebige Anzahl von Kanälen einer mehrkanaligen
Audiosignalquelle verarbeiten kann.
Bevor die Funktionsweise der Audiosignalverarbeitungsvorrichtung 15 beschrieben werden wird, werden zunächst die in Figur 2 gezeigten Komponenten der
Audiosignalverarbeitungsvorrichtung 15 beschrieben. Die in Figur 2 gezeigten Komponenten der Audiosignalverarbeitungsvorrichtung 15 müssen nicht notwendigerweise tatsächlich als konkrete Bauteile oder Baugruppen ausgebildet werden, sondern können teilweise oder insgesamt programmtechnisch nachgebildet werden und durch eine geeignete Steuerung realisiert werden, beispielsweise einen Mikroprozessor oder einen digitalen Signalprozessor. Die Audiosignalverarbeitungsvorrichtung 15 umfasst Eingänge, über welche das mehrkanalige Audioquellsignal von der Audiosignalquelle 14 empfangen wird. Ein zweikanaliges
Stereoaudioquellsignal umfasst beispielsweise einen linken Kanal L und einen rechten Kanal R, welche der Audiosignalverarbeitungsvorrichtung 15 zugeführt werden. Mit einem ersten
Signalumwandler 21 werden aus dem zwei- oder mehrkanaligen Audioquellsignal ein
Mittensignalanteil M und für jeden Kanal ein Seitensignalanteil S erzeugt. Speziell für ein Stereosignal kann statt zweier Seitensignalanteile ein gemeinsamer Seitensignalanteil als Differenz aus dem linken Kanal L und dem rechten Kanal R gebildet werden. Da unabhängig von der Anzahl der Seitensignalanteile alle Seitensignalanteile nachfolgend gleich behandelt werden, ist in Figur 2 nur ein Pfad für die Seitensignalanteile S gezeigt. Dieser eine Pfad kann demzufolge bei einem Stereosignal nur einen Seitensignalanteil oder im mehrkanaligen Fall mehrere Seitensignalanteile umfassen.
Der Mittensignalanteil M kann beispielsweise ein Summensignal aus allen zugeführten Kanälen umfassen. Bei einem Stereosignal kann der Mittensignalanteil M daher das Summensignal aus dem linken Kanal L und dem rechten Kanal R umfassen (M=R+L). Ein jeweiliger
Seitensignalanteil S kann beispielsweise ein Differenzsignal zwischen dem jeweiligen
Audiosignal des jeweiligen Kanals des mehrkanaligen Audioquellsignals und dem
Mittensignalanteil umfassen. Speziell bei einem Stereosignal kann der Seitensignalanteil S auch beispielsweise ein Differenzsignal aus dem rechten Kanal R und dem linken Kanal L umfassen (S=R-L).
Die Audiosignalverarbeitungsvorrichtung 15 umfasst ferner ein erstes Bandpassfilter 23 und ein Kerbfilter oder Notch-Filter 22. Das erste Bandpassfilter 23 hat eine vorgegebene untere Frequenz und eine vorgegebene obere Frequenz. Das erste Bandpassfilter 23 lässt im
Wesentlichen nur Signale mit einer Frequenz zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz passieren. Signale mit einer Frequenz unterhalb der vorgegebenen unteren Frequenz sowie Signale mit einer Frequenz oberhalb der vorgegebenen oberen Frequenz werden im Wesentlichen unterdrückt oder zumindest stark gedämpft. Bei einer analogen Ausgestaltung des ersten Bandpassfilters 23 kann die Dämpfung beispielsweise 70 dB oder mehr betragen und bei einer digitalen Ausgestaltung des ersten Bandpassfilters kann das Signal oberhalb der vorgegebenen oberen Frequenz und unterhalb der vorgegebenen unteren Frequenz vollständig unterdrückt werden. Das Notch-Filter 22 hat einen Frequenzgang, welcher im Wesentlichen invers zu dem Frequenzgang des ersten Bandpassfilters 23 ist. D.h., das Notch-Filter 22 lässt im Wesentlichen nur Signale mit einer Frequenz unter der
vorgegebenen unteren Frequenz oder über der vorgegebenen oberen Frequenz passieren. Die untere vorgegebene Frequenz kann beispielsweise 100 Hz betragen und die obere vorgegebene Frequenz kann beispielsweise 8kHz betragen. Alternativ kann die untere vorgegebene Frequenz in einem Bereich von 100 Hz bis 300 Hz gewählt werden und die obere vorgegebene Frequenz in einem Bereich von 4kHz bis 8kHz gewählt werden. Je größer der Frequenzbereich zwischen der unteren vorgegebenen Frequenz und der oberen vorgegebenen Frequenz gewählt wird, umso zuverlässiger arbeitet die Spracherkennung. Allerdings wird eine Wiedergabe eines mehrkanaligen Audioquellsignals umso stärker beeinträchtigt, je größer der Frequenzbereich zwischen der unteren vorgegebenen Frequenz und der oberen vorgegebenen Frequenz gewählt wird. Für den Fall, dass mehrere Seitensignalanteile erzeugt werden, ist für jeden dieser mehreren Seitensignalanteile ein entsprechendes Notch-Filter 22 mit der unteren vorgegebenen Frequenz und der oberen vorgegebenen Frequenz vorzusehen.
Durch die Filterung des Mittensignalanteils M mit dem Bandpassfilter 23 wird ein gefilterter oder in der Frequenz begrenzter Mittensignalanteil Mb erzeugt. Durch die Filterung der
Seitensignalanteile S mit den Notch-Filtern 22 werden gefilterte oder in der Frequenz begrenzte Seitensignalanteile Sb erzeugt. Der gefiltert Mittensignalanteil Mb und die gefilterten
Seitensignalanteil Sb werden einem zweiten Signalumwandler 24 zugeführt, welcher gefilterte Audiosignale für die einzelnen Kanäle erzeugt. Das gefilterte Audiosignal für einen jeweiligen einzelnen Kanal kann beispielsweise durch Summieren des gefilterten Mittensignalanteils Mb und des entsprechenden gefilterten kanalspezifischen Seitensignalanteils Sb gebildet werden. Speziell für den Fall eines Stereoaudioquellsignals gilt beispielsweise Rb=Mb+Sb und Lb=Mb- Sb. Die gefilterten Audiosignale Lb, Rb werden aus der Audiosignalverarbeitungsvorrichtung 15 ausgegeben und kanalweise dem Verstärker 16 zugeführt.
Die Audiosignalverarbeitungsvorrichtung 15 umfasst ferner ein zweites Bandpassfilter 26. Das zweite Bandpassfilter 26 hat die gleiche Filtercharakteristik wie das erste Bandpassfilter 23. Das zweite Bandpassfilter 26 ist eingangsseitig mit dem Mikrofon 13 gekoppelt und ausgangsseitig mit einem Echokompensator 25 des Spracherkennungssystems 1 1 . Dem Echokompensator 25 des Spracherkennungssystems 1 1 wird ferner der gefilterte Mittensignalanteil Mb zugeführt. Auf der Grundlage des gefilterten Mittensignalanteils Mb führt der Echokompensator 25 eine Echokompensation auf dem gefilterten Sprachsignal von dem Mikrofon 13 durch. Das von dem Echokompensator 25 bearbeitete Sprachsignal wird einem Spracherkenner 27 des
Spracherkennungssystems 1 1 zugeführt.
Außerdem umfasst die Audiosignalverarbeitungsvorrichtung 15 eine Gewichtungsvorrichtung 28, welche mit dem mehrkanaligen Audioquellsignal und/oder der Audiosignalquelle 14 gekoppelt ist. Auf der Grundlage von Informationen des mehrkanaligen Audioquellsignals oder Informationen von der Audiosignalquelle 14 stellt die Gewichtungsvorrichtung 28
Gewichtungsfaktoren bereit, mit welchen die gefilterten Audiosignale vor ihrer Ausgabe aus dem zweiten Signalumwandler 24 gewichtet werden.
Unter Bezugnahme auf Figur 3 wird nachfolgend die Arbeitsweise der
Audiosignalverarbeitungsvorrichtung 15 in dem Fahrzeug 10 beschrieben werden. Figur 3 zeigt ein Verfahren 30 mit Verfahrensschritten 31 -37, welche von der
Audiosignalverarbeitungsvorrichtung 15 in Verbindung mit dem Spracherkennungssystem 1 1 ausgeführt werden. Es ist klar, dass die in Figur 3 dargestellten Verarbeitungsschritte mit elektronischen Hilfsmitteln ausgeführt werden können, welche beispielsweise analoge oder digitale Schaltkreise sowie Verarbeitungsvorrichtungen umfassen. Verarbeitungsvorrichtungen können beispielsweise Mikroprozessoren oder digitale Signalprozessoren umfassen. Ferner kann die gesamte Funktionalität der Audiosignalverarbeitungsvorrichtung 15 in beispielsweise eine bestehende elektronische Vorrichtung integriert werden, beispielsweise in einen digitalen Signalprozessor des Spracherkennungssystems 1 1 .
Im Schritt 31 wird ein mehrkanaliges Audioquellsignal, beispielsweise ein Stereosignal oder ein Surroundsignal, von der Audiosignalquelle 14 an der Audiosignalverarbeitungsvorrichtung 15 empfangen. In den Schritten 32 und 33 werden mit Hilfe des ersten Signalumwandlers 21 und der Filter 22 und 23 ein in der Frequenz begrenztes Monoaudiosignal und in der Frequenz begrenzte kanalspezifische Audiosignale erzeugt. Der zuvor beschriebene in der Frequenz begrenzte Mittensignalanteil Mb kann beispielsweise das in der Frequenz begrenzte
Monoaudiosignal sein. Die zuvor beschriebenen in der Frequenz begrenzten
Seitensignalanteile Sb können beispielsweise die in der Frequenz begrenzten
kanalspezifischen Audiosignale sein. Das in der Frequenz begrenzte Monoaudiosignal und die in der Frequenz begrenzten kanalspezifischen Audiosignale können jedoch auch auf beliebige andere Art und Weise aus dem mehrkanaligen Audioquellsignal gebildet werden,
beispielsweise in einem digitalen Signalprozessor.
Im Schritt 34 wird das begrenzte Monoaudiosignal über alle Lautsprecher 17-20 ausgegeben und die begrenzten kanalspezifischen Audiosignale werden über dem dem jeweiligen Kanal zugeordneten Lautsprecher ausgegeben. Das Monoaudiosignal ist auf einen für die
Spracherkennung relevanten Frequenzbereich begrenzt, beispielsweise auf einen
Frequenzbereich von 100 Hz bis 8kHz. Die kanalspezifischen Audiosignale sind auf einen Frequenzbereich außerhalb des für die Spracherkennung relevanten Frequenzbereichs begrenzt, also beispielsweise auf Frequenzen unter 100 Hz und über 8kHz. Durch die
Reduktion der Mehrkanaligkeit der Audiowiedergabe innerhalb des für den Spracherkenner 27 relevanten Frequenzbereichs liegt für die Spracherkennung als störendes Signal lediglich das einkanalige Monoaudiosignal vor. Für den oder die Fahrzeuginsassen bleibt jedoch ein
Räumlichkeitsgefühl in der Klangwahrnehmung erhalten, da für Frequenzen außerhalb des für die Spracherkennung relevanten Bereichs die Mehrkanaligkeit erhalten bleibt.
Beim Ausgeben des begrenzten Monoaudiosignals über die Lautsprecher 17-20 kann ein Audioschwerpunkt in dem Fahrzeug geändert werden. Beispielsweise kann die
Gewichtungsvorrichtung 28 auf der Grundlage der ihr zur zugeführten Informationen einen Audioschwerpunkt für die mehrkanaligen Audioquellsignale oder die aktuelle Signalquelle bestimmen und das begrenzte Monoaudiosignal gemäß diesem Audioschwerpunkt auf die Audiokanäle verteilen. Wenn beispielsweise eine Sprachausgabe eines Navigationssystems die mehrkanaligen Audiosignalquelle darstellt, kann das begrenzte Monoaudiosignal beispielsweise für den Lautsprecher 17 stärker gewichtet werden als für die Lautsprecher 18-20, da diese Information für den Fahrer 12 relevanter ist als für die übrigen Fahrzeuginsassen. Die
Gewichtungsvorrichtung 28. kann weitere Informationen des Fahrzeugs 10 in Betracht ziehen, beispielsweise eine aktuelle Sitzbelegung in dem Fahrzeug.
Für die Spracherkennung wird im Schritt 35 ein Sprachaudiosignal über das Mikrofon 13 empfangen. Im Schritt 36 wird das empfangene Sprachaudiosignal mithilfe des zweiten
Bandpassfilters 26 in der Frequenz begrenzt. Dem Echokompensator 25 werden das begrenzte Monoaudiosignal und das begrenzte Sprachaudiosignal zugeführt. Im Schritt 37 führt der Echokompensator 25 eine Echokompensation in dem Sprachaudiosignal unter Verwendung des Monoaudiosignals durch. Da sowohl das Sprachaudiosignal als auch das Monoaudiosignal auf den für die Spracherkennung relevanten Frequenzbereich begrenzt sind (z.B. 100Hz-8kHz), kann die Echokompensation ebenfalls auf diesen begrenzten Frequenzbereich eingeschränkt werden, wodurch weniger Störungen auftreten und der Echokompensator 25 einfacher aufgebaut werden kann bzw. weniger Rechenleistung erfordert. Ferner benötigt die einkanalige Echokompensation nur ein einziges Audioreferenzsignal, nämlich das Monoaudiosignal, und muss nur eine akustische Impulsantwort schätzen. Hierdurch werden Systemressourcen bei der Echokompensation eingespart, welche zum Beispiel für den Spracherkenner 27 zur Verfügung stehen. Das so bereinigte Sprachaudiosignal wird dem Spracherkenner 27 zugeführt und dort verarbeitet, um entsprechende Befehle und Anweisungen aus der gesprochenen Sprache zu extrahieren.
Bezugszeichenliste
Fahrzeug
Spracherkennungssystem
Fahrzeuginsasse
Mikrofon
Audiosignalquelle
Audiosignalverarbeitungsvorrichtung
Verstärker
-20 Lautsprecher
erster Signalumwandler
Notch-Filter
erstes Bandpassfilter
zweiter Signalumwandler
Echokompensator
zweites Bandpassfilter
Spracherkenner
Gewichtungsvorrichtung
Verfahren
-37 Schritt

Claims

Patentansprüche
Verfahren für eine Audiosignalverarbeitung in einem Fahrzeug, umfassend:
Erzeugen eines Monoaudiosignals auf der Grundlage eines mehrkanaligen
Audioquellsignals,
Begrenzen des Monoaudiosignals auf einen Frequenzbereich zwischen einer
vorgegebenen unteren Frequenz und einer vorgegebenen oberen Frequenz,
Ausgeben des begrenzten Monoaudiosignals über mehrere Lautsprecher (17-20) in dem Fahrzeug (10), und
Kompensieren eines Einflusses des über die mehreren Lautsprecher ausgegebenen begrenzten Monoaudiosignals auf ein in dem Fahrzeug (10) über ein Mikrofon (13) empfangenes Sprachaudiosignal mittels des begrenzten Monoaudiosignals.
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die vorgegebene untere Frequenz einen Wert im Bereich von 100 Hz bis 300 Hz aufweist und die vorgegebene obere Frequenz einen Wert im Bereich von 4kHz bis 8kHz aufweist.
Verfahren nach Anspruch 1 oder Anspruch 2, ferner gekennzeichnet durch:
Erzeugen mehrerer begrenzter kanalspezifischer Audiosignale in Abhängigkeit von dem mehrkanaligen Audioquellsignal derart, dass ein jeweiliges begrenztes kanalspezifisches Audiosignal der mehreren begrenzten Audiosignale einem jeweiligen Audiosignal des mehrkanaligen Audioquellsignals zugeordnet ist und auf einen Frequenzbereich unter der vorgegebenen unteren Frequenz und/oder über der vorgegebenen oberen Frequenz begrenzt ist, und
Ausgeben der mehreren begrenzten kanalspezifischen Audiosignale über die mehreren Lautsprecher (17-20) in dem Fahrzeug (10).
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das mehrkanalige
Audioquellsignal in einen auf allen Kanälen gleichen Mittensignalanteil und einen jeweiligen Seitensignalanteil pro Audiokanal des mehrkanaligen Audioquellsignals aufgeteilt wird und der Mittensignalanteil zur Erzeugung des begrenzten
Monoaudiosignals verwendet wird und die jeweiligen Seitensignalanteile zur Erzeugung der mehreren begrenzten kanalspezifischen Audiosignale verwendet werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Mittensignal durch eine Mittelwertbildung von jeweiligen Abtastwerten der Audiokanäle des mehrkanaligen Audioquellsignals gebildet wird und die jeweiligen Seitensignalanteile durch Subtraktion des Mittensignals von den jeweiligen Audiosignalen des mehrkanaligen Audioquellsignals gebildet werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das über das Mikrofon (13) empfangene Sprachaudiosignal auf einen Frequenzbereich zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz begrenzt wird und der Einflusses des über die mehreren Lautsprecher (17-20)
ausgegebenen begrenzten Monoaudiosignals auf das begrenzte Sprachaudiosignal kompensiert wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, ferner gekennzeichnet durch:
Erzeugen von mehreren den jeweiligen Lautsprechern (17-20) zugeordneten
Gewichtungsfaktoren in Abhängigkeit von dem mehrkanaligen Audioquellsignal, und Ausgeben eines mit dem dem jeweiligen Lautsprecher zugeordneten Gewichtungsfaktor gewichteten begrenzten Monoaudiosignals über den jeweiligen Lautsprecher (17-20).
8. Audiosignalverarbeitungsvorrichtung für ein Fahrzeug, welche ausgestaltet ist,
ein Monoaudiosignal auf der Grundlage eines mehrkanaligen Audioquellsignals zu erzeugen,
das Monoaudiosignal auf einen Frequenzbereich zwischen einer vorgegebenen unteren Frequenz und einer vorgegebenen oberen Frequenz zu begrenzen,
das begrenzte Monoaudiosignal über mehrere Lautsprecher (17-20) in dem Fahrzeug (10) auszugeben, und
das begrenzten Monoaudiosignal zu einer Kompensationsvorrichtung (25) auszugeben, um einen Einfluss des über die mehreren Lautsprecher (17-20) ausgegebenen
begrenzten Monoaudiosignals auf ein in dem Fahrzeug (10) über ein Mikrofon (13) empfangenes Sprachaudiosignal mittels des begrenzten Monoaudiosignals zu
kompensieren.
9. Audiosignalverarbeitungsvorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Audiosignalverarbeitungsvorrichtung (15) zur Durchführung des Verfahrens nach einem der Ansprüche 1 -8 ausgestaltet ist.
EP16788664.7A 2015-11-10 2016-10-26 Audiosignalverarbeitung in einem fahrzeug Active EP3375204B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015222105.9A DE102015222105A1 (de) 2015-11-10 2015-11-10 Audiosignalverarbeitung in einem Fahrzeug
PCT/EP2016/075831 WO2017080830A1 (de) 2015-11-10 2016-10-26 Audiosignalverarbeitung in einem fahrzeug

Publications (2)

Publication Number Publication Date
EP3375204A1 true EP3375204A1 (de) 2018-09-19
EP3375204B1 EP3375204B1 (de) 2019-06-19

Family

ID=57218876

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16788664.7A Active EP3375204B1 (de) 2015-11-10 2016-10-26 Audiosignalverarbeitung in einem fahrzeug

Country Status (5)

Country Link
US (1) US10339951B2 (de)
EP (1) EP3375204B1 (de)
CN (1) CN108353229B (de)
DE (1) DE102015222105A1 (de)
WO (1) WO2017080830A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309416A (zh) * 2020-10-20 2021-02-02 中国第一汽车股份有限公司 车载语音回音消除方法、系统、车辆和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015222105A1 (de) 2015-11-10 2017-05-11 Volkswagen Aktiengesellschaft Audiosignalverarbeitung in einem Fahrzeug
DE102018007433A1 (de) 2018-09-20 2019-02-28 Daimler Ag Audiosignalverarbeitungssystem für ein Fahrzeug
CN110246517B (zh) * 2019-07-08 2021-07-13 广州小鹏汽车科技有限公司 一种电台音乐识别方法、车载系统和车辆
JP7383942B2 (ja) * 2019-09-06 2023-11-21 ヤマハ株式会社 車載音響システムおよび車両
CN111739552A (zh) * 2020-08-28 2020-10-02 南京芯驰半导体科技有限公司 一种麦克风阵列波束成形的方法及系统
CN113096681B (zh) * 2021-04-08 2022-06-28 海信视像科技股份有限公司 显示设备、多声道回声消除电路及多声道回声消除方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828756A (en) * 1994-11-22 1998-10-27 Lucent Technologies Inc. Stereophonic acoustic echo cancellation using non-linear transformations
DE19533541C1 (de) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
AU4599300A (en) * 1999-05-25 2000-12-12 British Telecommunications Public Limited Company Acoustic echo cancellation
JP4554044B2 (ja) 1999-07-28 2010-09-29 パナソニック株式会社 Ａｖ機器用音声認識装置
US6665645B1 (en) 1999-07-28 2003-12-16 Matsushita Electric Industrial Co., Ltd. Speech recognition apparatus for AV equipment
US20050213747A1 (en) 2003-10-07 2005-09-29 Vtel Products, Inc. Hybrid monaural and multichannel audio for conferencing
NO328256B1 (no) 2004-12-29 2010-01-18 Tandberg Telecom As Audiosystem
US8594320B2 (en) * 2005-04-19 2013-11-26 (Epfl) Ecole Polytechnique Federale De Lausanne Hybrid echo and noise suppression method and device in a multi-channel audio signal
JP4896449B2 (ja) * 2005-06-29 2012-03-14 株式会社東芝 音響信号処理方法、装置及びプログラム
EP1936939B1 (de) 2006-12-18 2011-08-24 Harman Becker Automotive Systems GmbH Echokompensation mit geringer Komplexität
JP4916394B2 (ja) 2007-07-03 2012-04-11 富士通株式会社 エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム
DE102009051508B4 (de) 2009-10-30 2020-12-03 Continental Automotive Gmbh Vorrichtung, System und Verfahren zur Sprachdialogaktivierung und -führung
US8219394B2 (en) * 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
EP2466864B1 (de) 2010-12-14 2019-02-27 Deutsche Telekom AG Transparente Dekorrelation der Lautsprechersignale bei mehrkanaligen Echokompensatoren
JP5649488B2 (ja) * 2011-03-11 2015-01-07 株式会社東芝 音声判別装置、音声判別方法および音声判別プログラム
GB2510331A (en) * 2012-12-21 2014-08-06 Microsoft Corp Echo suppression in an audio signal
CN104956436B (zh) 2012-12-28 2018-05-29 株式会社索思未来 带有语音识别功能的设备以及语音识别方法
AU2014289973A1 (en) * 2013-07-12 2016-03-03 Cirrus Logic International Semiconductor Limited Wind noise reduction
DE102015222105A1 (de) 2015-11-10 2017-05-11 Volkswagen Aktiengesellschaft Audiosignalverarbeitung in einem Fahrzeug

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309416A (zh) * 2020-10-20 2021-02-02 中国第一汽车股份有限公司 车载语音回音消除方法、系统、车辆和存储介质
CN112309416B (zh) * 2020-10-20 2022-11-29 中国第一汽车股份有限公司 车载语音回音消除方法、系统、车辆和存储介质

Also Published As

Publication number Publication date
CN108353229A (zh) 2018-07-31
DE102015222105A1 (de) 2017-05-11
US20180358031A1 (en) 2018-12-13
CN108353229B (zh) 2020-10-23
EP3375204B1 (de) 2019-06-19
US10339951B2 (en) 2019-07-02
WO2017080830A1 (de) 2017-05-18

Similar Documents

Publication Publication Date Title
EP3375204B1 (de) Audiosignalverarbeitung in einem fahrzeug
DE10351793B4 (de) Adaptive Filtervorrichtung und Verfahren zum Verarbeiten eines akustischen Eingangssignals
DE60004888T2 (de) Sprachsverteilungssystem
DE102014214052A1 (de) Virtuelle Verdeckungsmethoden
DE10018666A1 (de) Vorrichtung und Verfahren zum geräuschabhängigen Anpassen eines akustischen Nutzsignals
EP1251493A2 (de) Verfahren zur Geräuschreduktion mit selbststeuernder Störfrequenz
DE112007003683B4 (de) Echounterdrückungssystem, Echounterdrückungsverfahren, Klangausgabevorrichtung, Audiosystem, Navigationssystem und mobiles Objekt
DE102006027673A1 (de) Signaltrenner, Verfahren zum Bestimmen von Ausgangssignalen basierend auf Mikrophonsignalen und Computerprogramm
DE10308414A1 (de) Verfahren zur Steuerung eines Akustiksystems im Fahrzeug
EP1189419B1 (de) Verfahren und Vorrichtung zur Elimination Lautsprecherinterferenzen aus Mikrofonsignalen
DE102019107173A1 (de) Verfahren und Vorrichtung zum Erzeugen und Ausgeben eines Audiosignals zum Erweitern des Höreindrucks bei Live-Veranstaltungen
DE112016004394T5 (de) Heulunterdrückungsvorrichtung
DE102013011761A1 (de) Kraftfahrzeug mit einer Freisprecheinrichtung und Verfahren zur Erzeugung eines Frequenzganges für Freisprecheinrichtungen
WO2006037586A1 (de) Lautsprecheranordnung in einem kraftfahrzeug
EP2416593A1 (de) Verfahren zur Innenraumkommunikation
DE102014210760B4 (de) Betrieb einer Kommunikationsanlage
EP1718113B1 (de) Hörhilfevorrichtung mit Kompensation von akustischen und elektromagnetischen Rückkopplungssignalen
EP0615226B1 (de) Verfahren zur Geräuschreduktion für gestörte Sprachkanäle
DE102014214699A1 (de) Wiedergabe tieffrequenter Audiosignale durch Körperschall
WO2007036443A1 (de) Verfahren zur aktiven geräuschverminderung und eine vorrichtung zur durchführung des verfahrens
DE102013221127A1 (de) Betrieb einer Kommunikationsanlage in einem Kraftfahrzeug
DE69731133T2 (de) Übertragungssystem für korrelierte Signale
DE102008059239A1 (de) Lautsprechervorrichtung in einem Fahrzeug und Fahrzeug mit mehreren Lautsprechervorrichtungen
DE10140523B4 (de) Vorrichtung zum Feedback Cancelling bei der Ausgabe von Mikrofonsignalen durch Lautsprecher
DE102016005904A1 (de) Unverzögerte Störschallunterdrückung in einem Kraftfahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180611

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502016005192

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: H04R0003020000

Ipc: G10L0021020800

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RIC1 Information provided on ipc code assigned before grant

Ipc: H04S 7/00 20060101ALI20190215BHEP

Ipc: G10L 21/0208 20130101AFI20190215BHEP

Ipc: H04R 3/02 20060101ALI20190215BHEP

Ipc: G10L 21/0216 20130101ALN20190215BHEP

Ipc: H04R 5/04 20060101ALN20190215BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20190404

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1146511

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190715

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502016005192

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190919

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190919

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190920

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191021

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191019

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200224

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502016005192

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG2D Information on lapse in contracting state deleted

Ref country code: IS

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191026

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

26N No opposition filed

Effective date: 20200603

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20191031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191026

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20161026

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1146511

Country of ref document: AT

Kind code of ref document: T

Effective date: 20211026

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211026

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230523

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231024

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231026

Year of fee payment: 8

Ref country code: DE

Payment date: 20231031

Year of fee payment: 8