EP3375204A1 - Audio signal processing in a vehicle - Google Patents

Audio signal processing in a vehicle

Info

Publication number
EP3375204A1
EP3375204A1 EP16788664.7A EP16788664A EP3375204A1 EP 3375204 A1 EP3375204 A1 EP 3375204A1 EP 16788664 A EP16788664 A EP 16788664A EP 3375204 A1 EP3375204 A1 EP 3375204A1
Authority
EP
European Patent Office
Prior art keywords
audio signal
signal
audio
limited
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP16788664.7A
Other languages
German (de)
French (fr)
Other versions
EP3375204B1 (en
Inventor
David Scheler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3375204A1 publication Critical patent/EP3375204A1/en
Application granted granted Critical
Publication of EP3375204B1 publication Critical patent/EP3375204B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems

Definitions

  • the present invention relates to a method for audio signal processing in a vehicle and a corresponding audio signal processing apparatus for a vehicle.
  • the present invention relates to audio signal processing having a
  • Echo cancellation for example, for a voice processing.
  • Speech dialogue systems used to assist the driver or passengers.
  • speech dialogue systems serve to control electronic devices without the need for a haptic operator operation.
  • the electronic devices may include, for example, a vehicle computer or a multimedia system of the vehicle. Spoken speech from the driver or occupant is received via a hands-free microphone and fed to speech recognition.
  • An application of microphones in the vehicle interior for e.g. Voice control, telephony or vehicle interior communication can potentially be affected by acoustic coupling of loudspeaker outputs of the vehicle sound system. This can lead to recognition errors in the case of speech recognition, to far-end echo in the case of hands-free telephony, and to feedback in the case of vehicle interior communication.
  • the audio signals reproduced via the vehicle sound system can comprise, for example, music, traffic news, radio broadcasts, outputs of a navigation system or the (artificial) language of a speech dialogue system.
  • the disturbance of the speech recognition can lead to recognition errors which can make the dialogue inefficient and an increased distraction from the driving task can cause. This can cause dissatisfaction or annoyance to the driver or occupant.
  • a simple solution to the aforementioned problem is to mute the audio playback of, for example, a radio during the voice dialogue or telephone call in the vehicle.
  • the muting of audio playback is often perceived by vehicle users as disturbing and unnecessary.
  • important information can be missed by, for example, a navigation system.
  • the audio playback volume may be temporarily reduced.
  • the extent of the disorder is determined by the speech recognizer
  • Audio playback then, although lower, but generally still so large that can not be dispensed with a further cleanup of the microphone signal.
  • microphones with a suitable directional characteristic can be used
  • microphones and loudspeakers in the vehicle interior can be suitably arranged relative to one another or acoustic conditions in the vehicle interior
  • Echo cancellation called.
  • a common type of echo cancellation is linear echo cancellation.
  • the microphones, loudspeakers and their respective amplifiers are linear transducers and that, thus, the loudspeaker sound components coupled to a specific microphone superimpose linearly in the microphone signal. Furthermore, it is assumed that these loudspeaker sound components result in a linear convolution of the respective loudspeaker source signal with a respective impulse response.
  • Each of these impulse responses refers to a particular pair of microphone-speakers and characterizes the entire electroacoustic transmission path from
  • Loudspeaker source signal up to the microphone signal This will be in such a
  • Vehicle interior including reflections, diffraction, scattering, absorption, etc., the spatial reception characteristics of the microphone, as well
  • LEM impulse response (Loudspeaker Enclosure Microphone). It is generally due to changes in the
  • Vehicle interior geometry occupants and their movements, moving parts, loading, etc.
  • electro-acoustic properties of microphones and loudspeakers depending on temperature, air pressure, humidity, age, etc.
  • a linear echo cancellation algorithm adaptively estimates the LEM impulse response for each possible microphone-speaker pair. Based on the LEM impulse response, the injected loudspeaker sound components in each microphone signal are then calculated and subtracted therefrom. The rate of adaptation and effective echo cancellation are limited and generally in competition with each other.
  • EP 1936939 A1 discloses an echo compensation in which the microphone signal is subdivided into subband signals and subjected to sub-sampling. A reference audio signal is sent via a
  • the reference audio signal is also sub-sampled and sub-sampled subband signals of the reference audio signal are stored. Furthermore, echoes in the microphone subband signals are estimated and the estimated echoes are subtracted from the microphone subband signals to improve
  • a stereo signal for example, be a stereo signal or a surround signal in the vehicle.
  • Audio source signals the effectiveness of echo cancellation be greatly reduced. It may even occur that the LEM estimate diverges, for example when there are changes in the surround sound image. This can occur, for example, when so-called
  • Phantom sound sources in the surround panorama appear, disappear or move.
  • an echo canceller which cooperates with a sound output device with a multi-channel audio unit.
  • the sound output device outputs output sound signals as analog signals of multiple channels through a plurality of speakers.
  • a microphone detects an outside sound and generates an input sound signal as an analog signal.
  • the outside sound echoes the output sound signals.
  • the echo canceller has an echo cancellation function for removing the echo from the input tone signal.
  • the echo canceller receives the output sound signals from the sound output device.
  • the general interference signals can also be multichannel
  • Audio playbacks include. This is considered, for example, in DE 102009051508 A1. To reduce noise in speech recognition is used instead of a single
  • Microphone a microphone array installed. Through the microphone array a multi-channel speech signal is recorded, which instead of a simple speech signal to a
  • Echo cancellation unit is passed.
  • the recorded by the microphone array Multi-channel speech signal is post-processed before being input to the echo canceling unit in a unit downstream of the microphone array for processing the microphone signals by delayed accumulation of the signals.
  • the echo cancellation unit evaluates the propagation time of the various channels of the
  • Multichannel speech signal and removes all portions of the signal that do not emanate from the location of the authorized speaker according to their term.
  • microphone arrays or multiple microphones increase costs, require more installation space, and require powerful computational resources.
  • this object is achieved by a method for a
  • a method for audio signal processing in a vehicle is provided.
  • a mono audio signal is generated based on a multi-channel audio source signal.
  • the multi-channel audio source signal is, for example, a stereo signal or a surround signal which is to be output in the vehicle via a plurality of loudspeakers of the vehicle.
  • the mono audio signal is limited to a frequency range between a predetermined lower frequency and a predetermined upper frequency.
  • the mono audio signal can be limited, for example, with a bandpass filter to the frequency range between the predetermined lower frequency and the predetermined upper frequency. Limiting the mono audio signal to the frequency domain produces a limited mono audio signal.
  • the limited mono audio signal is output through the plurality of speakers in the vehicle.
  • this voice audio signal contains the limited mono audio signal output via the plurality of loudspeakers.
  • An influence of this over the several loudspeakers issued limited mono audio signal on over the Microphone received speech audio signal is compensated by means of the limited mono audio signal. For example, an echo compensation can be performed, which takes into account only the mono audio signal.
  • the echo cancellation taking into account only one echo signal is very reliable, even if the mono audio signal is output through several different speakers, as with a mono audio signal no changes in the multi-channel sound image can occur.
  • the interfering mono audio signal can be largely or completely removed from the voice audio signal.
  • the predetermined lower frequency may have a value in the range of 100 Hz to 300 Hz
  • the predetermined upper frequency may have a value in the range of 4 kHz to 8 kHz, for example.
  • a speech recognizer which is used, for example, for voice control or voice input in a vehicle, in many cases evaluates audio signals in a limited frequency range of, for example, 100 Hz to 8 kHz in order to recognize the voice input from a user. Therefore, one is
  • the predetermined lower frequency is preferably 100 Hz and the predetermined upper frequency is 8 kHz. This allows the speech recognizer in the relevant for him limited
  • Frequency range an undisturbed voice signal can be provided.
  • a plurality of limited channel-specific audio signals are generated as a function of the multi-channel audio source signal.
  • Channel-specific audio signal relates, for example, to an audio signal which is assigned by the multi-channel audio signal source specifically for a channel assigned to the respective channel
  • Speaker is determined. For a stereo source signal, this can be for example
  • Audio signal for the right speaker or an audio signal for the left speaker include.
  • a respective limited channel-specific audio signal of the plurality of limited channel-specific audio signals is therefore assigned to a respective audio signal of the multi-channel audio source signal.
  • a respective limited channel-specific audio signal is limited to a frequency range which only includes frequencies below the predetermined lower frequency and frequencies above the predetermined upper frequency.
  • One respective limited channel-specific audio signal is replaced by a corresponding
  • Audio source signal formed.
  • the audio signals of the multi-channel audio signal are respectively limited or filtered so that they only include frequencies below the predetermined lower frequency and / or frequencies above the predetermined upper frequency.
  • the plurality of limited channel-specific audio signals are output through the plurality of speakers in the vehicle, so that the effect of a
  • multi-channel audio playback such as stereo or surround playback.
  • the multi-channel audio source signal is reproduced in one channel (mono) and in the remaining frequency range multi-channel.
  • the mono audio signal and the plurality of limited channel-specific audio signals may, for example, according to the following embodiment of the multi-channel
  • Audio source signal are generated.
  • Audio source signal divided into an equal on all channels center signal component and a respective side signal component per audio channel of the multi-channel audio source signal. From the middle signal portion of the limited mono audio signal is generated and from the respective
  • the mid-signal component for example, can be used directly as a mono audio signal or suitably scaled used as a mono audio signal. Likewise, the
  • Side signal components can be used directly as the limited channel-specific audio signals or in suitably scaled form. Especially with a stereo signal, the
  • Mittensignalanteil be formed for example from the sum of the right and left audio source signal.
  • the side signal components may be coded together in a difference signal from the difference between the right and left audio source signals and further processed.
  • the center signal component and the side signal components can be generated and processed in a simple manner.
  • the center signal component is formed by averaging respective samples of the audio channels of the multi-channel audio source signal.
  • the respective side signal components are formed by subtracting the center signal component from the respective audio signals of the multi-channel audio source signal. This generation of the center signal portion and the side signal portions is for any audio source signals Number of channels possible.
  • an implementation in, for example, a digital signal processor can be realized in a simple manner.
  • the speech audio signal received via the microphone is limited to a frequency range between the predetermined lower frequency and the predetermined upper frequency.
  • the echo cancellation is applied to the thus-limited speech audio signal using the limited mono audio signal
  • the speech recognizer operates generally only in the frequency range between the predetermined lower frequency and the predetermined upper frequency, echo cancellation in a speech audio signal limited thereto is sufficient. Furthermore, spurious signals outside this frequency range are already eliminated prior to echo cancellation and therefore have no effect on echo cancellation and speech recognition, allowing both echo cancellation and speech recognition to operate more reliably.
  • the reproduction of an audio signal is more important to some occupants of the vehicle than to others.
  • audio outputs of a navigation system are more important to the driver than to the remaining occupants
  • audio outputs of a video displayed in the rear of the vehicle are more important for rear passengers than for the driver and front passenger.
  • a plurality of weighting factors associated with the respective loudspeakers may be generated in response to the multi-channel audio source signal.
  • the limited mono audio signal is weighted for each loudspeaker with the weighting factor assigned to the respective loudspeaker. Thereby, a center of gravity of the audio output in the vehicle can be appropriately shifted.
  • the weighted output will not affect the quality of the echo cancellation.
  • the echo cancellation may adjust to the new weight in a relatively short time, for example within a few seconds or minutes.
  • the audio outputs of the navigation system can be in a vehicle with
  • an audio signal processing apparatus for a vehicle.
  • the audio signal processing device is capable of
  • the audio signal processing device may have, for example, a summation device.
  • the audio signal processing apparatus is further capable of limiting the mono audio signal to a frequency range between a predetermined lower frequency and a predetermined upper frequency. This can be done with a
  • Bandpass filter can be realized.
  • the limited mono audio signal is over several
  • Speaker is output in the vehicle. Furthermore, the limited mono audio signal is output to a compensation device, for example to a
  • the compensation device serves to influence the limited mono audio signal output via the plurality of speakers to a voice audio signal received in the vehicle via a microphone by means of the limited one
  • the audio signal processing device is therefore suitable for carrying out the method described above and its embodiments and therefore also comprises the advantages described above.
  • FIG. 1 schematically shows a vehicle having an audio signal processing device according to an embodiment of the present invention.
  • Figure 2 schematically shows an audio reproduction system and a speech recognition system in connection with an audio signal processing apparatus according to an embodiment of the present invention.
  • FIG. 3 schematically shows a method for audio signal processing in a vehicle according to an embodiment of the present invention.
  • FIG. 2 details of the audio signal processing device 15 in connection with further components of the vehicle 10 will be described.
  • FIG. 3 shows schematically the mode of operation the audio signal processing device 15.
  • the same reference numerals in the figures relate to the same or similar components.
  • FIG. 1 shows a vehicle 10 in a plan view.
  • the vehicle 10 includes a
  • Speech recognition system 1 With the aid of the speech recognition system 11, spoken commands or instructions of occupants of the vehicle 10 can be detected, processed and executed. For example, configuration settings of the vehicle 10 or a multimedia system of the vehicle 10 may be changed via appropriate instructions. For example, an audio signal source, such as CD or radio, can be selected. Furthermore, for example, a specific radio station can be selected or a title of a CD. Furthermore, with appropriate instructions, a telephone connection can be established to a desired subscriber or a navigation destination in one
  • Navigation system of the vehicle 10 can be adjusted. For this purpose, for example, corresponding commands or instructions are received by a driver 12 of the vehicle 10 via a microphone 13. A spoken command of the driver 12 is forwarded by the microphone 13 as a speech audio signal to an audio signal processing device 15.
  • Speech recognition system 1 1 supplied.
  • the speech recognition system 1 1 evaluates that
  • Speech audio signal and recognizes contained commands and instructions and executes them.
  • the speech recognition system can be coupled with a so-called dialogue system, which can lead a dialogue with the driver via questions and answers.
  • the vehicle 10 further includes an audio signal source 14.
  • the audio signal source 14 may include, for example, a broadcast receiver, a media player such as a CD player or an MP3 player, or a navigation system of the vehicle 10.
  • the audio signal source 14 outputs a multi-channel audio source signal.
  • the multi-channel audio source signal is supplied to and processed by the audio signal processing device 15, as will be described below with reference to FIG.
  • the processed multi-channel audio source signal is output from the audio signal processing device 15 to an amplifier 16.
  • the amplifier 16 amplifies the individual signals of the processed multi-channel audio source signal so that they can be reproduced via speakers 17-20 in an interior of the vehicle 10.
  • the vehicle 10 includes four loudspeakers 17-20.
  • the vehicle 10 may include any number of speakers, for example two, three or more than four.
  • the loudspeakers 17-20 are assigned to the seats of the vehicle 10.
  • the loudspeaker 17 is associated with a driver's seat of the driver 12, the loudspeaker 18 with a passenger seat, the loudspeaker 19 with a rear right seat and the loudspeaker 20 with a rear left seat.
  • the driver 12 may instruct or command the
  • Voice recognition system 1 1 express. This is illustrated in FIG. 1 by the dashed arrow between the driver 12 and the microphone 13. While the driver 12 is issuing commands and instructions, multi-channel audio source signals may be output from the audio signal source 14 via the loudspeakers 17-20. The outputs of the loudspeakers 17-20 also reach the microphone 13, as shown by the corresponding dashed arrows between the loudspeakers 17-20 and the microphone 13 in FIG. However, the outputs from the speakers 17-20 may interfere with speech intelligibility, such that the speech recognition system 11 does not or insufficiently recognizes the commands and instructions from the driver 12.
  • FIG. 2 shows details of the audio signal processing device 15 and the
  • Speech recognition system 1 which help to reduce or compensate for the influence of the outputs from the speakers 17-20 on the voice signal of the driver 12.
  • the audio signal source 14 in the example of Figure 2 is only two-channel, ie a stereo source with a left channel L and a right channel R.
  • the audio signal processing device 15 described below may be any number in the same manner of channels of a multi-channel
  • Audio signal processing device 15 described.
  • the components of the audio signal processing device 15 shown in FIG. 2 do not necessarily have to be designed as concrete components or assemblies, but can be reproduced in part or in total in terms of programming and realized by suitable control, for example a microprocessor or a digital signal processor.
  • the audio signal processing device 15 includes inputs via which the multi-channel audio source signal is received by the audio signal source 14.
  • Stereo audio source signal includes, for example, a left channel L and a right channel R, which are supplied to the audio signal processing device 15.
  • Signal converters 21 are inserted from the two or more channel audio source signal
  • Middle signal component M and a side signal component S generated for each channel are Especially for a stereo signal, instead of two side signal components, a common side signal component can be formed as the difference between the left channel L and the right channel R. Since all side signal components are treated identically below, regardless of the number of side signal components, only one path for the side signal components S is shown in FIG. This one path can therefore comprise only one side signal component in the case of a stereo signal or several side signal components in the multi-channel case.
  • R R + L
  • Side signal component S for example, a difference signal between the respective
  • Center signal component include.
  • the audio signal processing device 15 further comprises a first bandpass filter 23 and a notch filter or notch filter 22.
  • the first bandpass filter 23 has a predetermined lower frequency and a predetermined upper frequency.
  • the first bandpass filter 23 leaves in
  • the attenuation may be, for example, 70 dB or more, and in a digital embodiment of the first bandpass filter, the signal above the predetermined upper frequency and below the predetermined lower frequency can be completely suppressed.
  • the notch filter 22 has a frequency response which is substantially inverse to the frequency response of the first bandpass filter 23. That is, the notch filter 22 leaves substantially only signals having a frequency below that
  • the lower predetermined frequency may be 100 Hz
  • the upper predetermined frequency may be 8 kHz, for example.
  • the lower predetermined frequency may be selected in a range of 100 Hz to 300 Hz
  • the upper predetermined frequency may be selected in a range of 4 kHz to 8 kHz.
  • reproduction of a multi-channel audio source signal is more affected the greater the frequency range between the lower predetermined frequency and the upper predetermined frequency is selected.
  • a corresponding notch filter 22 having the lower predetermined frequency and the upper predetermined frequency is to be provided for each of these plurality of side signal components.
  • Side signal components S with the notch filters 22 are filtered or limited in frequency side signal components Sb generated.
  • Side signal component Sb are supplied to a second signal converter 24, which generates filtered audio signals for the individual channels.
  • the filtered audio signal for a respective single channel may be formed, for example, by summing the filtered center signal component Mb and the corresponding filtered channel-specific side signal component Sb.
  • Rb Mb + Sb
  • Lb Mb-Sb, for example.
  • the filtered audio signals Lb, Rb are output from the audio signal processing device 15 and supplied to the amplifier 16 channel by channel.
  • the audio signal processing device 15 further comprises a second bandpass filter 26.
  • the second bandpass filter 26 has the same filter characteristic as the first bandpass filter 23.
  • the second bandpass filter 26 is the input side coupled to the microphone 13 and the output side with an echo canceller 25 of the speech recognition system 1 first
  • the echo canceller 25 of the speech recognition system 11 is further supplied with the filtered center signal component Mb. Based on the filtered center signal component Mb, the echo canceller 25 performs echo cancellation on the filtered voice signal from the microphone 13.
  • the speech signal processed by the echo canceller 25 is applied to a speech recognizer 27 of the
  • Speech recognition system 1 1 supplied.
  • the audio signal processing device 15 comprises a weighting device 28 which is connected to the multi-channel audio source signal and / or the audio signal source 14 is coupled. Based on information of the multi-channel audio source signal or information from the audio signal source 14, the weighting device 28 provides
  • Weighting factors with which the filtered audio signals are weighted before output from the second signal converter 24 are weighted before output from the second signal converter 24.
  • FIG. 3 shows a method 30 with method steps 31 - 37, which are derived from the
  • Audio signal processing device 15 are performed in conjunction with the speech recognition system 1 1. It is clear that the processing steps illustrated in FIG. 3 can be carried out with electronic aids which comprise, for example, analog or digital circuits as well as processing devices. Processing devices may include, for example, microprocessors or digital signal processors. Furthermore, the entire functionality of the audio signal processing device 15 can be integrated into, for example, an existing electronic device, for example a digital signal processor of the speech recognition system 11.
  • a multi-channel audio source signal for example a stereo signal or a surround signal
  • the audio signal source 14 is received by the audio signal source 14 at the audio signal processing device 15.
  • a frequency limited mono audio signal and frequency limited channel specific audio signals are generated by the first signal converter 21 and the filters 22 and 23.
  • the frequency-limited center signal component Mb described above may be that limited in frequency
  • Side signal components Sb may be, for example, those limited in frequency
  • the frequency limited mono audio signal and the frequency limited channel specific audio signals may also be formed in any other way from the multichannel audio source signal.
  • step 34 the limited mono audio signal is output through all the loudspeakers 17-20 and the limited channel specific audio signals are outputted over the loudspeaker associated with the respective channel.
  • the mono audio signal is on one for the
  • Speech recognition relevant frequency range limited, for example to one
  • Frequency range from 100 Hz to 8 kHz.
  • the channel-specific audio signals are on a frequency range outside the relevant frequency range for speech recognition limited, so for example at frequencies below 100 Hz and above 8kHz.
  • an audio center of gravity in the vehicle can be changed.
  • the speaker 17-20 When outputting the limited mono audio signal through the speakers 17-20, an audio center of gravity in the vehicle can be changed.
  • the microphone 17-20 When outputting the limited mono audio signal through the speakers 17-20, an audio center of gravity in the vehicle can be changed.
  • the speaker 17-20 When outputting the limited mono audio signal through the speakers 17-20, an audio center of gravity in the vehicle can be changed.
  • the microphone 17-20 When outputting the limited mono audio signal through the speakers 17-20, an audio center of gravity in the vehicle can be changed.
  • Weighting device 28 on the basis of their information supplied to determine an audio center of gravity for the multi-channel audio source signals or the current signal source and distribute the limited mono audio signal according to this audio focus on the audio channels. For example, if a voice output of a navigation system represents the multi-channel audio signal source, the limited mono audio signal, for example, for the speaker 17 may be weighted more heavily than for the speakers 18-20, since this information is more relevant to the driver 12 than for the rest of the vehicle occupants.
  • Weighting device 28 may consider further information of the vehicle 10, for example a current seat occupancy in the vehicle.
  • a speech audio signal is received via the microphone 13 in step 35.
  • the received speech audio signal using the second
  • the echo canceller 25 is supplied with the limited mono audio signal and the limited voice audio signal.
  • the echo canceller 25 performs echo cancellation in the voice audio signal using the mono audio signal. Since both the speech audio signal and the mono audio signal are limited to the frequency range relevant to speech recognition (eg, 100Hz-8kHz), echo cancellation may also be limited to this limited frequency range, resulting in less noise and the echo canceller 25 being simpler or less Computing power required.
  • single-channel echo cancellation requires only a single audio reference signal, namely the mono audio signal, and only needs to estimate an acoustic impulse response. As a result, system resources are saved in the echo cancellation, which are available for example for the speech recognizer 27.
  • the thus adjusted speech audio signal is supplied to the speech recognizer 27 and processed there to extract corresponding commands and instructions from the spoken speech.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

The present invention relates to a method for audio signal processing in a vehicle (10). In order to allow simple and reliable echo cancellation for voice recognition during simultaneous reproduction of a multichannel audio source signal in a vehicle (10), a mono audio signal is generated on the basis of a multichannel audio source signal. The mono audio signal is limited to a frequency range between a prescribed lower frequency and a prescribed upper frequency, for example to a range from 100 Hz to 8 kHz. The limited mono audio signal is output via multiple loudspeakers (17–20) in the vehicle (10). An influence of the limited mono audio signal that is output via the multiple loudspeakers (17-20) on a voice audio signal received in the vehicle (10) via a microphone (13) is compensated for by means of the limited mono audio signal in an echo canceller (25).

Description

Beschreibung  description
Audiosignalverarbeitung in einem Fahrzeug Audio signal processing in a vehicle
Die vorliegende Erfindung betrifft ein Verfahren für eine Audiosignalverarbeitung in einem Fahrzeug und eine entsprechende Audiosignalverarbeitungsvorrichtung für ein Fahrzeug. Die vorliegende Erfindung betrifft insbesondere eine Audiosignalverarbeitung mit einer The present invention relates to a method for audio signal processing in a vehicle and a corresponding audio signal processing apparatus for a vehicle. In particular, the present invention relates to audio signal processing having a
Echokompensation, beispielsweise für eine Sprachverarbeitung. Echo cancellation, for example, for a voice processing.
In Fahrzeugen, wie zum Beispiel Personenkraftwagen oder Lastkraftwagen, werden In vehicles, such as passenger cars or trucks, are
Sprachdialogsysteme zur Unterstützung des Fahrers oder der Insassen verwendet. Speech dialogue systems used to assist the driver or passengers.
Sprachdialogsysteme dienen beispielsweise dazu, elektronische Geräte ohne die Notwendigkeit einer haptischen Bedienoperation zu steuern. Die elektronischen Geräte können beispielsweise einen Fahrzeugcomputer oder ein Multimediasystem des Fahrzeugs umfassen. Gesprochene Sprache von dem Fahrer oder Insassen wird über ein Freisprechmikrofon empfangen und einer Spracherkennung zugeführt. For example, speech dialogue systems serve to control electronic devices without the need for a haptic operator operation. The electronic devices may include, for example, a vehicle computer or a multimedia system of the vehicle. Spoken speech from the driver or occupant is received via a hands-free microphone and fed to speech recognition.
Eine Anwendung von Mikrofonen im Fahrzeuginnenraum, für z.B. Sprachbedienung, Telefonie oder Fahrzeuginnenraumkommunikation, kann potenziell durch eine akustische Einkopplung von Lautsprecherausgaben des Fahrzeug-Soundsystems beeinträchtigt werden. Dies kann im Fall einer Spracherkennung zu Erkennungsfehlern, bei Freisprechtelefonie zu Echos am fernen Ende und bei einer Fahrzeuginnenraumkommunikation zu Rückkopplungen führen. Die An application of microphones in the vehicle interior, for e.g. Voice control, telephony or vehicle interior communication can potentially be affected by acoustic coupling of loudspeaker outputs of the vehicle sound system. This can lead to recognition errors in the case of speech recognition, to far-end echo in the case of hands-free telephony, and to feedback in the case of vehicle interior communication. The
Konsequenzen sind je nach Anwendung eine gestörte Kommunikation, erhöhte Ablenkung oder sogar störende Geräusche und Echos. Depending on the application, consequences include disturbed communication, increased distraction or even disturbing noises and echoes.
Wenn zum Beispiel während des Sprachdialogs im Fahrzeug gleichzeitig und fortlaufend Audiosignale über das Fahrzeug-Soundsystem wiedergegeben werden, gelangt ein Teil der Audiosignale als akustische Rückkopplung von den Lautsprechern in das Freisprechmikrofon und stört somit die Spracherkennung. Die über das Fahrzeug-Soundsystem wiedergegebenen Audiosignale können beispielsweise Musik, Verkehrsfunknachrichten, Radiosendungen, Ausgaben eines Navigationssystems oder die (künstliche) Sprache eines Sprachdialogsystems umfassen. Die Störung der Spracherkennung kann zu Erkennungsfehlern führen, welche den Dialog ineffizient machen können und eine erhöhte Ablenkung von der Fahraufgabe verursachen können. Dies kann beim Fahrer oder Insassen Unzufriedenheit oder Verärgerung auslösen. If, for example, during the speech dialogue in the vehicle, simultaneous and continuous audio signals are reproduced via the vehicle sound system, a part of the audio signals passes as acoustic feedback from the loudspeakers into the hands-free microphone and thus disturbs the speech recognition. The audio signals reproduced via the vehicle sound system can comprise, for example, music, traffic news, radio broadcasts, outputs of a navigation system or the (artificial) language of a speech dialogue system. The disturbance of the speech recognition can lead to recognition errors which can make the dialogue inefficient and an increased distraction from the driving task can cause. This can cause dissatisfaction or annoyance to the driver or occupant.
Eine einfache Lösung für das vorgenannte Problem besteht darin, während des Sprachdialogs oder Telefonats im Fahrzeug die Audiowiedergabe von beispielsweise einem Radio stumm zu schalten. Die Stummschaltung der Audiowiedergabe wird von Fahrzeugbenutzern jedoch häufig als störend und unnötig empfunden. Darüber hinaus können wichtige Informationen von beispielsweise einem Navigationssystem verpasst werden. Außerdem kann es sein, dass ein Fahrzeugbenutzer sich bei Rückfragen des Sprachdialogsystems und gleichzeitig stumm geschalteter Audiowiedergabe gedrängt fühlt, schnellstmöglich auf die Rückfragen des A simple solution to the aforementioned problem is to mute the audio playback of, for example, a radio during the voice dialogue or telephone call in the vehicle. The muting of audio playback is often perceived by vehicle users as disturbing and unnecessary. In addition, important information can be missed by, for example, a navigation system. In addition, it may be that a vehicle user feels urged in queries of the speech dialogue system and simultaneously muted audio playback, as soon as possible to the queries of the
Sprachdialogsystems zu reagieren. Speech dialogue system to respond.
Alternativ kann während des Sprachdialogs die Audiowiedergabelautstärke vorübergehend reduziert werden. Für den Spracherkenner ist das Ausmaß der Störung durch die Alternatively, during audio dialogue, the audio playback volume may be temporarily reduced. For the speech recognizer, the extent of the disorder is determined by the
Audiowiedergabe dann zwar geringer, jedoch im Allgemeinen noch so groß, dass auf eine weitere Bereinigung des Mikrofonsignals nicht verzichtet werden kann. Audio playback then, although lower, but generally still so large that can not be dispensed with a further cleanup of the microphone signal.
In begrenztem Maße können o.g. Einkopplungen auch durch konstruktiv-akustische To a limited extent, o.g. Couplings also by constructive-acoustic
Maßnahmen vermindert werden. Beispielsweise können Mikrofone mit einer geeigneten Richtcharakteristik verwendet werden, Mikrofone und Lautsprecher im Fahrzeuginneren geeignet relativ zueinander angeordnet werden oder akustische Gegebenheiten in dem Measures are reduced. For example, microphones with a suitable directional characteristic can be used, microphones and loudspeakers in the vehicle interior can be suitably arranged relative to one another or acoustic conditions in the vehicle interior
Fahrzeug geeignet ausgenutzt werden. Vehicle suitable to be exploited.
Da dies jedoch im Allgemeinen nicht ausreicht, werden Signalverarbeitungskomponenten zur Bereinigung der Mikrofonsignale eingesetzt. Dabei werden die von den Lautsprechern des Fahrzeug-Soundsystems in die Mikrofone eingekoppelten Signalanteile geschätzt und aus den Mikrofonsignalen entfernt. Derartige Verfahren werden als Echokompensation oder However, since this is generally not enough, signal processing components are used to clean up the microphone signals. In the process, the signal components coupled into the microphones by the loudspeakers of the vehicle sound system are estimated and removed from the microphone signals. Such methods are called echo cancellation or
Echounterdrückung bezeichnet. Eine weit verbreitete Art der Echokompensation ist die lineare Echokompensation. Echo cancellation called. A common type of echo cancellation is linear echo cancellation.
Bei der linearen Echokompensation wird angenommen, dass die Mikrofone, Lautsprecher und ihre jeweiligen Verstärker lineare Übertrager sind und dass sich somit die an einem bestimmten Mikrofon eingekoppelten Lautsprecher-Schallanteile im Mikrofonsignal linear überlagern. Ferner wird angenommen, dass sich diese Lautsprecher-Schallanteile als lineare Faltung des jeweiligen Lautsprecher-Quellsignals mit einer jeweiligen Impulsantwort ergeben. Jede dieser Impulsantworten bezieht sich auf ein bestimmtes Mikrofon-Lautsprecher-Paar und charakterisiert den gesamten elektroakustischen Übertragungsweg vom In linear echo cancellation, it is assumed that the microphones, loudspeakers and their respective amplifiers are linear transducers and that, thus, the loudspeaker sound components coupled to a specific microphone superimpose linearly in the microphone signal. Furthermore, it is assumed that these loudspeaker sound components result in a linear convolution of the respective loudspeaker source signal with a respective impulse response. Each of these impulse responses refers to a particular pair of microphone-speakers and characterizes the entire electroacoustic transmission path from
Lautsprecherquellsignal bis hin zum Mikrofonsignal. Damit werden in einer solchen Loudspeaker source signal up to the microphone signal. This will be in such a
Impulsantwort unter anderem folgende Größen abgebildet: Impulse response including the following variables:
der Frequenz- und Phasengang des vor den Lautsprecher geschalteten Verstärkers, der Frequenz- und Phasengang des Lautsprechers,  the frequency and phase response of the amplifier connected in front of the loudspeaker, the frequency and phase response of the loudspeaker,
die räumliche Abstrahlcharakteristik des Lautsprechers,  the spatial radiation characteristic of the loudspeaker,
der akustische Übertragungspfad vom Lautsprecher zum Mikrofon durch den  the acoustic transmission path from the speaker to the microphone through the
Fahrzeuginnenraum, einschließlich Reflexionen, Beugung, Streuung, Absorption, usw., die räumliche Empfangscharakteristik des Mikrofons, sowie  Vehicle interior, including reflections, diffraction, scattering, absorption, etc., the spatial reception characteristics of the microphone, as well
der Frequenz- und Phasengang des Mikrofons.  the frequency and phase response of the microphone.
Diese Impulsantwort wird daher auch als LEM-Impulsantwort (Loudspeaker-Enclosure- Microphone) bezeichnet. Sie ist im Allgemeinen aufgrund von Veränderungen der This impulse response is therefore also referred to as LEM impulse response (Loudspeaker Enclosure Microphone). It is generally due to changes in the
Fahrzeuginnenraumgeometrie (Insassen und deren Bewegungen, bewegliche Teile, Beladung etc.) sowie der elektroakustischen Eigenschaften von Mikrofonen und Lautsprechern (abhängig von Temperatur, Luftdruck, Feuchtigkeit, Alter, etc.) zeitveränderlich. Vehicle interior geometry (occupants and their movements, moving parts, loading, etc.) as well as the electro-acoustic properties of microphones and loudspeakers (depending on temperature, air pressure, humidity, age, etc.) are time-variable.
Ein Algorithmus zur linearen Echokompensation schätzt adaptiv die LEM-Impulsantwort für jedes mögliche Mikrofon-Lautsprecher-Paar. Auf der Grundlage der LEM-Impulsantwort werden dann die eingekoppelten Lautsprecher-Schallanteile in jedem Mikrofonsignal berechnet und davon subtrahiert. Die Adaptionsgeschwindigkeit und effektive Echounterdrückung sind begrenzt und stehen im Allgemeinen zueinander in Konkurrenz. A linear echo cancellation algorithm adaptively estimates the LEM impulse response for each possible microphone-speaker pair. Based on the LEM impulse response, the injected loudspeaker sound components in each microphone signal are then calculated and subtracted therefrom. The rate of adaptation and effective echo cancellation are limited and generally in competition with each other.
Verschiedene verbesserte Techniken zur Echokompensation oder Echounterdrückung sind in dem Stand der Technik bekannt, um beispielsweise die Echokompensation zu vereinfachen und somit die benötigte Rechenleistung zu verringern. Dazu offenbart beispielsweise die EP 1936939 A1 eine Echokompensation, bei der das Mikrofonsignal in Subbandsignale aufgeteilt und einer Unterabtastung unterzogen wird. Ein Referenzaudiosignal wird über einen Various improved techniques for echo cancellation or echo cancellation are known in the art, for example to simplify echo cancellation and thus reduce the required computational power. For example, EP 1936939 A1 discloses an echo compensation in which the microphone signal is subdivided into subband signals and subjected to sub-sampling. A reference audio signal is sent via a
Lautsprecher ausgegeben. Das Referenzaudiosignal wird ebenfalls einer Unterabtastung unterzogen und unterabgetastete Subbandsignale des Referenzaudiosignals gespeichert. Ferner werden Echos in den Mikrofonsubbandsignalen geschätzt und die geschätzten Echos werden von den Mikrofonsubbandsignalen abgezogen, um verbesserte Speaker output. The reference audio signal is also sub-sampled and sub-sampled subband signals of the reference audio signal are stored. Furthermore, echoes in the microphone subband signals are estimated and the estimated echoes are subtracted from the microphone subband signals to improve
Mikrofonsubbandsignale zu erhalten. Bei der Echokompensation ist jedoch eine häufig vorhandene Mehrkanaligkeit des auszugebenden Audiosignals problematisch. Das mehrkanalige Audiosignal kann Receive microphone subband signals. In echo cancellation, however, a frequently present multichannel nature of the audio signal to be output is problematic. The multi-channel audio signal can
beispielsweise ein Stereosignal oder ein Surroundsignal in dem Fahrzeug sein. for example, be a stereo signal or a surround signal in the vehicle.
Für den Fall mehrerer Audioquellsignale aus mehreren Lautsprechern kommt neben der erhöhten Rechenkomplexität der Algorithmen folgendes Problem hinzu: Aufgrund von In the case of multiple audio source signals from multiple speakers, in addition to the increased computational complexity of the algorithms, the following problem is added: Due to
Korrelationen zwischen den verschiedenen Audioquellsignalen ist das Schätzproblem mathematisch unterbestimmt. Als Konsequenz kann bei plötzlichem Auftreten von Correlations between the different audio source signals, the estimation problem is mathematically underdetermined. As a consequence, in case of sudden onset of
Audioquellsignalen die Wirksamkeit der Echokompensation stark vermindert sein. Es kann sogar auftreten, dass die LEM-Schätzung divergiert, beispielsweise wenn es zu Veränderungen im Surroundklangbild kommt. Dies kann beispielsweise auftreten, wenn sogenannte Audio source signals the effectiveness of echo cancellation be greatly reduced. It may even occur that the LEM estimate diverges, for example when there are changes in the surround sound image. This can occur, for example, when so-called
Phantomschallquellen im Surround-Panorama erscheinen, verschwinden oder verschoben werden. Phantom sound sources in the surround panorama appear, disappear or move.
Es existieren verschiedene Ansätze, hiermit umzugehen, die jedoch entweder zu hörbaren Verzerrungen führen oder sehr rechenintensiv sind (Watermarking, Kalmanfilter-Lösungen). There are several approaches to dealing with this, but they either lead to audible distortions or are very computationally intensive (watermarking, Kalman filter solutions).
Weiterhin ist in diesem Zusammenhang aus der DE 102008027848 A1 beispielsweise ein Echounterdrücker bekannt, welcher mit einer Tonausgabevorrichtung mit einer mehrkanaligen Audioeinheit zusammenarbeitet. Die Tonausgabevorrichtung sendet Ausgabetonsignale als Analogsignale mehrerer Kanäle über mehrere Lautsprecher aus. Ein Mikrofon erfasst einen Außenton und erzeugt ein Eingabetonsignal als ein Analogsignal. Der Außenton umfasst die Ausgabetonsignale als Echo. Der Echounterdrücker besitzt eine Echoauslöschfunktion zum Entfernen des Echos aus dem Eingabetonsignal. Dazu empfängt der Echounterdrücker die Ausgabetonsignale von der Tonausgabevorrichtung. Eine derartige Lösung zur Kompensation mehrkanaliger akustischer Echoquellen ist technisch jedoch sehr komplex und erfordert eine hohe Rechenleistung. Ferner existieren für Kanalzahlen größer als zwei keine expliziten Lösungen. Furthermore, in this context from DE 102008027848 A1, for example, an echo canceller is known, which cooperates with a sound output device with a multi-channel audio unit. The sound output device outputs output sound signals as analog signals of multiple channels through a plurality of speakers. A microphone detects an outside sound and generates an input sound signal as an analog signal. The outside sound echoes the output sound signals. The echo canceller has an echo cancellation function for removing the echo from the input tone signal. For this purpose, the echo canceller receives the output sound signals from the sound output device. Such a solution for the compensation of multi-channel acoustic echo sources is technically very complex and requires a high computing power. Furthermore, for channel numbers greater than two, there are no explicit solutions.
Eine weitere Möglichkeit besteht in einer verbesserten Trennung von Sprachsignalen und allgemeinen Störsignalen. Die allgemeinen Störsignale können auch mehrkanalige Another possibility is an improved separation of speech signals and general interference signals. The general interference signals can also be multichannel
Audiowiedergaben umfassen. Dies wird beispielsweise in der DE 102009051508 A1 betrachtet. Zur Reduzierung von Störsignalen bei der Spracherkennung wird statt einem einzelnen Audio playbacks include. This is considered, for example, in DE 102009051508 A1. To reduce noise in speech recognition is used instead of a single
Mikrofon ein Mikrofonarray verbaut. Durch das Mikrofonarray wird ein Mehrkanalsprachsignal aufgenommen, welches anstatt eines einfachen Sprachsignals zu einer Microphone a microphone array installed. Through the microphone array a multi-channel speech signal is recorded, which instead of a simple speech signal to a
Echokompensationseinheit geleitet wird. Das durch das Mikrofonarray aufgenommene Mehrkanalsprachsignal wird vor der Eingabe in die Echokompensationseinheit in einer dem Mikrofonarray nachgeschalteten Einheit zur Verarbeitung der Mikrofonsignale durch verzögertes Aufsummieren der Signale nachbearbeitet. Hierdurch werden die Signale der autorisierten Sprecher separiert und alle anderen Sprechersignale und Störsignale reduziert. Außerdem wertet die Echokompensationseinheit die Laufzeit der verschiedenen Kanäle des Echo cancellation unit is passed. The recorded by the microphone array Multi-channel speech signal is post-processed before being input to the echo canceling unit in a unit downstream of the microphone array for processing the microphone signals by delayed accumulation of the signals. As a result, the signals of the authorized speakers are separated and all other speaker signals and noise are reduced. In addition, the echo cancellation unit evaluates the propagation time of the various channels of the
Mehrkanalsprachsignals aus und entfernt alle Anteile des Signals, die entsprechend ihrer Laufzeit nicht vom Ort des autorisierten Sprechers ausgehen. Die Verwendung eines Multichannel speech signal and removes all portions of the signal that do not emanate from the location of the authorized speaker according to their term. The use of a
Mikrofonarrays oder mehrerer Mikrofone erhöht jedoch die Kosten, benötigt mehr Einbauraum und erfordert leistungsstarke Rechenressourcen. However, microphone arrays or multiple microphones increase costs, require more installation space, and require powerful computational resources.
Eine Aufgabe der vorliegenden Erfindung ist es daher, eine zuverlässige Spracheingabe in einem Fahrzeug bei gleichzeitiger Wiedergabe eines mehrkanaligen Audiosignals zu ermöglichen. Zusätzliche Kosten oder Aufwendungen für beispielsweise zusätzliche Mikrofone oder leistungsstarke Signalverarbeitungseinheiten sollen dabei vermieden werden. It is therefore an object of the present invention to enable reliable voice input in a vehicle while reproducing a multi-channel audio signal. Additional costs or expenses for example, additional microphones or powerful signal processing units should be avoided.
Gemäß der vorliegenden Erfindung wird diese Aufgabe durch ein Verfahren für eine According to the present invention, this object is achieved by a method for a
Audiosignalverarbeitung in einem Fahrzeug nach Anspruch 1 und eine Audio signal processing in a vehicle according to claim 1 and a
Audiosignalverarbeitungsvorrichtung für ein Fahrzeug nach Anspruch 8 gelöst. Die abhängigen Ansprüche definieren Ausführungsformen der Erfindung.  An audio signal processing apparatus for a vehicle according to claim 8. The dependent claims define embodiments of the invention.
Gemäß der vorliegenden Erfindung wird ein Verfahren für eine Audiosignalverarbeitung in einem Fahrzeug bereitgestellt. Bei dem Verfahren wird ein Monoaudiosignal auf der Grundlage eines mehrkanaligen Audioquellsignals erzeugt. Das mehrkanalige Audioquellsignal ist beispielsweise ein Stereosignal oder ein Surroundsignal, welches in dem Fahrzeug über mehrere Lautsprecher des Fahrzeugs auszugeben ist. Das Monoaudiosignal wird auf einen Frequenzbereich zwischen einer vorgegebenen unteren Frequenz und einer vorgegebenen oberen Frequenz begrenzt. Das Monoaudiosignal kann beispielsweise mit einem Bandpassfilter auf den Frequenzbereich zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz begrenzt werden. Durch das Begrenzen des Monoaudiosignals auf den Frequenzbereich wird ein begrenztes Monoaudiosignal erzeugt. In accordance with the present invention, a method for audio signal processing in a vehicle is provided. In the method, a mono audio signal is generated based on a multi-channel audio source signal. The multi-channel audio source signal is, for example, a stereo signal or a surround signal which is to be output in the vehicle via a plurality of loudspeakers of the vehicle. The mono audio signal is limited to a frequency range between a predetermined lower frequency and a predetermined upper frequency. The mono audio signal can be limited, for example, with a bandpass filter to the frequency range between the predetermined lower frequency and the predetermined upper frequency. Limiting the mono audio signal to the frequency domain produces a limited mono audio signal.
Das begrenzte Monoaudiosignal wird über die mehreren Lautsprecher in dem Fahrzeug ausgegeben. Wenn nun über ein Mikrofon ein Sprachaudiosignal von einem Fahrzeuginsassen oder einem Fahrer des Fahrzeugs empfangen wird, enthält dieses Sprachaudiosignal das über die mehreren Lautsprecher ausgegebene begrenzte Monoaudiosignal. Ein Einfluss dieses über die mehreren Lautsprecher ausgegebenen begrenzten Monoaudiosignals auf das über das Mikrofon empfangene Sprachaudiosignal wird mittels des begrenzten Monoaudiosignals kompensiert. Beispielsweise kann eine Echokompensation durchgeführt werden, welche lediglich das Monoaudiosignal berücksichtigt. Eine komplexe Echokompensation unter The limited mono audio signal is output through the plurality of speakers in the vehicle. Now, when a voice audio signal from a vehicle occupant or a driver of the vehicle is received via a microphone, this voice audio signal contains the limited mono audio signal output via the plurality of loudspeakers. An influence of this over the several loudspeakers issued limited mono audio signal on over the Microphone received speech audio signal is compensated by means of the limited mono audio signal. For example, an echo compensation can be performed, which takes into account only the mono audio signal. A complex echo cancellation under
Berücksichtigung eines mehrkanaligen Audiosignals ist daher nicht erforderlich. Stattdessen ist lediglich eine einkanalige Echokompensation erforderlich, welche mit verhältnismäßig geringer Rechenleistung realisiert werden kann. Consideration of a multi-channel audio signal is therefore not required. Instead, only a single-channel echo cancellation is required, which can be realized with relatively low processing power.
Die Echokompensation unter Berücksichtigung von nur einem Echosignal (Monoaudiosignal) ist sehr zuverlässig, auch wenn das Monoaudiosignal über mehrere verschiedene Lautsprecher ausgegeben wird, da mit einem Monoaudiosignal keine Veränderungen im Mehrkanalklangbild auftreten können. Somit kann das störende Monoaudiosignal zu einem großen Teil oder vollständig aus dem Sprachaudiosignal entfernt werden. The echo cancellation taking into account only one echo signal (mono audio signal) is very reliable, even if the mono audio signal is output through several different speakers, as with a mono audio signal no changes in the multi-channel sound image can occur. Thus, the interfering mono audio signal can be largely or completely removed from the voice audio signal.
Die vorgegebene untere Frequenz kann Beispielsweise einen Wert im Bereich von 100 Hz bis 300 Hz aufweisen und die vorgegebene obere Frequenz kann beispielsweise einen Wert im Bereich von 4kHz bis 8kHz aufweisen. Ein Spracherkenner, welcher beispielsweise für eine Sprachsteuerung oder eine Spracheingabe in einem Fahrzeug verwendet wird, wertet zur Erkennung der Spracheingaben von einem Benutzer Audiosignale in vielen Fällen in nur einem begrenzten Frequenzbereich von beispielsweise 100 Hz bis 8kHz aus. Daher ist eine For example, the predetermined lower frequency may have a value in the range of 100 Hz to 300 Hz, and the predetermined upper frequency may have a value in the range of 4 kHz to 8 kHz, for example. A speech recognizer, which is used, for example, for voice control or voice input in a vehicle, in many cases evaluates audio signals in a limited frequency range of, for example, 100 Hz to 8 kHz in order to recognize the voice input from a user. Therefore, one is
Echokompensation nur in diesem begrenzten Frequenzbereich erforderlich. Vorzugsweise beträgt die vorgegebene untere Frequenz daher 100 Hz und die vorgegebene obere Frequenz 8kHz. Dadurch kann dem Spracherkenner in dem für ihn relevanten begrenzten Echo cancellation required only in this limited frequency range. Therefore, the predetermined lower frequency is preferably 100 Hz and the predetermined upper frequency is 8 kHz. This allows the speech recognizer in the relevant for him limited
Frequenzbereich ein ungestörtes Sprachsignal bereitgestellt werden. Frequency range an undisturbed voice signal can be provided.
Um dennoch eine Wirkung einer mehrkanaligen Audiowiedergabe aufrecht zu erhalten, werden bei einer Ausführungsform des Verfahrens zusätzlich mehrere begrenzte kanalspezifische Audiosignale in Abhängigkeit von dem mehrkanaligen Audioquellsignal erzeugt. Ein In order nevertheless to maintain an effect of a multi-channel audio reproduction, in one embodiment of the method additionally a plurality of limited channel-specific audio signals are generated as a function of the multi-channel audio source signal. One
kanalspezifisches Audiosignal betrifft beispielsweise ein Audiosignal, welches von der mehrkanaligen Audiosignalquelle speziell für einen dem jeweiligen Kanal zugeordneten Channel-specific audio signal relates, for example, to an audio signal which is assigned by the multi-channel audio signal source specifically for a channel assigned to the respective channel
Lautsprecher bestimmt ist. Bei einem Stereoquellsignal kann dies beispielsweise ein Speaker is determined. For a stereo source signal, this can be for example
Audiosignal für den rechten Lautsprecher oder ein Audiosignal für den linken Lautsprecher umfassen. Ein jeweiliges begrenztes kanalspezifisches Audiosignal der mehreren begrenzten kanalspezifischen Audiosignale ist daher einem jeweiligen Audiosignal des mehrkanaligen Audioquellsignals zugeordnet. Ein jeweiliges begrenztes kanalspezifisches Audiosignal ist auf einen Frequenzbereich begrenzt, welcher nur noch Frequenzen unterhalb der vorgegebenen unteren Frequenz und Frequenzen oberhalb der vorgegebenen oberen Frequenz umfasst. Ein jeweiliges begrenztes kanalspezifisches Audiosignal wird durch eine entsprechende Audio signal for the right speaker or an audio signal for the left speaker include. A respective limited channel-specific audio signal of the plurality of limited channel-specific audio signals is therefore assigned to a respective audio signal of the multi-channel audio source signal. A respective limited channel-specific audio signal is limited to a frequency range which only includes frequencies below the predetermined lower frequency and frequencies above the predetermined upper frequency. One respective limited channel-specific audio signal is replaced by a corresponding
Frequenzbegrenzung aus dem jeweils zugeordneten Audiosignal des mehrkanaligen Frequency limit from the respective assigned audio signal of the multi-channel
Audioquellsignals gebildet. Anders ausgedrückt werden die Audiosignale des mehrkanaligen Audiosignals jeweils derart begrenzt oder gefiltert, dass sie nur noch Frequenzen unter der vorgegebenen unteren Frequenz und/oder Frequenzen über der vorgegebenen oberen Frequenz umfassen. Die mehreren begrenzten kanalspezifischen Audiosignale werden über die mehreren Lautsprecher in dem Fahrzeug ausgegeben, sodass die Wirkung einer Audio source signal formed. In other words, the audio signals of the multi-channel audio signal are respectively limited or filtered so that they only include frequencies below the predetermined lower frequency and / or frequencies above the predetermined upper frequency. The plurality of limited channel-specific audio signals are output through the plurality of speakers in the vehicle, so that the effect of a
mehrkanaligen Audiowiedergabe erzielt werden kann, beispielsweise eine Stereowiedergabe oder eine Surroundwiedergabe. Zusammenfassend wird eine Audiowiedergabe in dem multi-channel audio playback, such as stereo or surround playback. In summary, an audio playback in the
Fahrzeug so modifiziert, dass in dem Frequenzbereich zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz das mehrkanalige Audioquellsignal einkanalig (Mono) wiedergegeben wird und in dem übrigen Frequenzbereich mehrkanalig. Vehicle modified so that in the frequency range between the predetermined lower frequency and the predetermined upper frequency, the multi-channel audio source signal is reproduced in one channel (mono) and in the remaining frequency range multi-channel.
Das Monoaudiosignal und die mehreren begrenzten kanalspezifischen Audiosignale können beispielsweise gemäß nachfolgender Ausführungsform aus dem mehrkanaligen The mono audio signal and the plurality of limited channel-specific audio signals may, for example, according to the following embodiment of the multi-channel
Audioquellsignal erzeugt werden. Bei dieser Ausführungsform wird das mehrkanalige Audio source signal are generated. In this embodiment, the multi-channel
Audioquellsignal in einen auf allen Kanälen gleichen Mittensignalanteil und einen jeweiligen Seitensignalanteil pro Audiokanal des mehrkanaligen Audioquellsignal aufgeteilt. Aus dem Mittensignalanteil wird das begrenzte Monoaudiosignal erzeugt und aus den jeweiligen Audio source signal divided into an equal on all channels center signal component and a respective side signal component per audio channel of the multi-channel audio source signal. From the middle signal portion of the limited mono audio signal is generated and from the respective
Seitensignalanteilen werden die mehreren begrenzten kanalspezifischen Audiosignale erzeugt. Der Mittensignalanteil kann beispielsweise direkt als Monoaudiosignal verwendet werden oder geeignet skaliert als Monoaudiosignal verwendet werden. Ebenso können die Side signal components generate the plurality of limited channel-specific audio signals. The mid-signal component, for example, can be used directly as a mono audio signal or suitably scaled used as a mono audio signal. Likewise, the
Seitensignalanteile direkt als die begrenzten kanalspezifischen Audiosignale verwendet werden oder in geeignet skalierter Form. Insbesondere bei einem Stereosignal kann der Side signal components can be used directly as the limited channel-specific audio signals or in suitably scaled form. Especially with a stereo signal, the
Mittensignalanteil beispielsweise aus der Summe des rechten und linken Audioquellsignals gebildet werden. Die Seitensignalanteile können gemeinsam in einem Differenzsignal aus der Differenz zwischen dem rechten und linken Audioquellsignals codiert und weiterverarbeitet werden. Dadurch können insbesondere bei der Verarbeitung eines Stereoquellsignals der Mittensignalanteil und die Seitensignalanteile auf einfache Art und Weise erzeugt und verarbeitet werden. Mittensignalanteil be formed for example from the sum of the right and left audio source signal. The side signal components may be coded together in a difference signal from the difference between the right and left audio source signals and further processed. As a result, in particular when processing a stereo source signal, the center signal component and the side signal components can be generated and processed in a simple manner.
Bei einer weiteren Ausführungsform wird der Mittensignalanteil durch eine Mittelwertbildung von jeweiligen Abtastwerten der Audiokanäle des mehrkanaligen Audioquellsignals gebildet. Die jeweiligen Seitensignalanteile werden durch Subtraktion des Mittensignalanteils von den jeweiligen Audiosignalen des mehrkanaligen Audioquellsignals gebildet. Diese Erzeugung des Mittensignalanteils und der Seitensignalanteile ist für Audioquellsignale mit einer beliebigen Anzahl von Kanälen möglich. Darüber hinaus ist eine Implementierung in beispielsweise einem digitalen Signalprozessor auf einfache Art und Weise realisierbar. In another embodiment, the center signal component is formed by averaging respective samples of the audio channels of the multi-channel audio source signal. The respective side signal components are formed by subtracting the center signal component from the respective audio signals of the multi-channel audio source signal. This generation of the center signal portion and the side signal portions is for any audio source signals Number of channels possible. In addition, an implementation in, for example, a digital signal processor can be realized in a simple manner.
Bei einer weiteren Ausführungsform des Verfahrens wird das über das Mikrofon empfangene Sprachaudiosignal auf einen Frequenzbereich zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz begrenzt. Die Echokompensation wird auf das so begrenzte Sprachaudiosignal unter Verwendung des begrenzten Monoaudiosignals In a further embodiment of the method, the speech audio signal received via the microphone is limited to a frequency range between the predetermined lower frequency and the predetermined upper frequency. The echo cancellation is applied to the thus-limited speech audio signal using the limited mono audio signal
angewendet. Somit wird der Einfluss des über die mehreren Lautsprecher ausgegebenen begrenzten Monoaudiosignals auf das begrenzte Sprachaudiosignal kompensiert. Da der Spracherkenner im Allgemeinen nur in dem Frequenzbereich zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz arbeitet, ist eine Echokompensation in einem darauf begrenzten Sprachaudiosignal ausreichend. Ferner werden Störsignale außerhalb dieses Frequenzbereichs bereits vor der Echokompensation eliminiert und haben daher keinen Einfluss auf die Echokompensation und die Spracherkennung, wodurch sowohl die Echokompensation als auch die Spracherkennung zuverlässiger arbeiten können. applied. Thus, the influence of the limited mono audio signal outputted through the plural speakers to the limited voice audio signal is compensated. Since the speech recognizer operates generally only in the frequency range between the predetermined lower frequency and the predetermined upper frequency, echo cancellation in a speech audio signal limited thereto is sufficient. Furthermore, spurious signals outside this frequency range are already eliminated prior to echo cancellation and therefore have no effect on echo cancellation and speech recognition, allowing both echo cancellation and speech recognition to operate more reliably.
In einigen Fällen ist die Wiedergabe eines Audiosignals für einige Insassen des Fahrzeugs wichtiger als für andere. Beispielsweise sind Audioausgaben eines Navigationssystems für den Fahrer wichtiger als für die übrigen Insassen, wohingegen Audioausgaben eines im Fond des Fahrzeugs wiedergegebenen Videos für Fahrzeuginsassen im Fond wichtiger sind als für den Fahrer und Beifahrer. Gemäß einer Ausführungsform können daher mehrere den jeweiligen Lautsprechern zugeordnete Gewichtungsfaktoren in Abhängigkeit von dem mehrkanaligen Audioquellsignal erzeugt werden. Das begrenzte Monoaudiosignal wird für jeden Lautsprecher mit dem dem jeweiligen Lautsprecher zugeordneten Gewichtungsfaktor gewichtet. Dadurch kann ein Schwerpunkt der Audioausgabe in dem Fahrzeug geeignet verlagert werden. In some cases, the reproduction of an audio signal is more important to some occupants of the vehicle than to others. For example, audio outputs of a navigation system are more important to the driver than to the remaining occupants, whereas audio outputs of a video displayed in the rear of the vehicle are more important for rear passengers than for the driver and front passenger. Thus, according to one embodiment, a plurality of weighting factors associated with the respective loudspeakers may be generated in response to the multi-channel audio source signal. The limited mono audio signal is weighted for each loudspeaker with the weighting factor assigned to the respective loudspeaker. Thereby, a center of gravity of the audio output in the vehicle can be appropriately shifted.
Solange die Gewichtungsfaktoren im Wesentlichen statisch sind, hat die gewichtete Ausgabe keinen Einfluss auf die Qualität der Echokompensation. Wenn die Gewichtung geändert wird, kann sich die Echokompensation in verhältnismäßig kurzer Zeit, beispielsweise innerhalb von wenigen Sekunden oder Minuten, auf die neue Gewichtung einstellen. In dem oben genannten Beispiel der Audioausgaben des Navigationssystems kann bei einem Fahrzeug mit As long as the weighting factors are essentially static, the weighted output will not affect the quality of the echo cancellation. When the weight is changed, the echo cancellation may adjust to the new weight in a relatively short time, for example within a few seconds or minutes. In the above example of the audio outputs of the navigation system can be in a vehicle with
beispielsweise vier Lautsprechern statt einer gleich verteilten Ausgabe des Monoaudiosignals über die vier Lautsprecher folgende Gewichtung verwendet werden. Der Lautsprecher im Bereich des Fahrers kann beispielsweise 70 % des Monoaudiosignals ausgeben und die übrigen drei Lautsprecher können beispielsweise jeweils nur 10 % des Monoaudiosignals ausgeben. Gemäß der vorliegenden Erfindung wird weiterhin eine Audiosignalverarbeitungsvorrichtung für ein Fahrzeug bereitgestellt. Die Audiosignalverarbeitungsvorrichtung ist in der Lage, ein For example, four speakers instead of an equally distributed output of the mono audio signal over the four speakers following weighting are used. For example, the speaker in the driver's area may output 70% of the mono audio signal, and the remaining three speakers may output only 10% of the mono audio signal, for example. According to the present invention, there is further provided an audio signal processing apparatus for a vehicle. The audio signal processing device is capable of
Monoaudiosignal auf der Grundlage eines mehrkanaligen Audioquellsignals zu erzeugen. Dazu kann die Audiosignalverarbeitungsvorrichtung beispielsweise eine Summiervorrichtung aufweisen. Die Audiosignalverarbeitungsvorrichtung ist ferner in der Lage, das Monoaudiosignal auf einen Frequenzbereich zwischen einer vorgegebenen unteren Frequenz und einer vorgegebenen oberen Frequenz zu begrenzen. Dies kann beispielsweise mit einem To generate a mono audio signal based on a multi-channel audio source signal. For this purpose, the audio signal processing device may have, for example, a summation device. The audio signal processing apparatus is further capable of limiting the mono audio signal to a frequency range between a predetermined lower frequency and a predetermined upper frequency. This can be done with a
Bandpassfilter realisiert werden. Das begrenzte Monoaudiosignal wird über mehrere Bandpass filter can be realized. The limited mono audio signal is over several
Lautsprecher in dem Fahrzeug ausgegeben. Ferner wird das begrenzte Monoaudiosignal zu einer Kompensationsvorrichtung ausgegeben, beispielsweise zu einer Speaker is output in the vehicle. Furthermore, the limited mono audio signal is output to a compensation device, for example to a
Echokompensationsvorrichtung. Die Kompensationsvorrichtung dient dazu, einen Einfluss des über die mehreren Lautsprecher ausgegebenen begrenzten Monoaudiosignals auf ein in dem Fahrzeug über ein Mikrofon empfangenes Sprachaudiosignal mittels des begrenzten  Echo canceller. The compensation device serves to influence the limited mono audio signal output via the plurality of speakers to a voice audio signal received in the vehicle via a microphone by means of the limited one
Monoaudiosignals zu kompensieren. Die Audiosignalverarbeitungsvorrichtung ist daher zur Durchführung des zuvor beschriebenen Verfahrens und seiner Ausführungsformen geeignet und umfasst daher auch die zuvor beschriebenen Vorteile. Mono audio signal to compensate. The audio signal processing device is therefore suitable for carrying out the method described above and its embodiments and therefore also comprises the advantages described above.
Die vorliegende Erfindung wird nachfolgend anhand der beigefügten Figuren im Detail beschrieben werden. The present invention will be described below in detail with reference to the accompanying drawings.
Figur 1 zeigt schematisch ein Fahrzeug mit einer Audiosignalverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung. FIG. 1 schematically shows a vehicle having an audio signal processing device according to an embodiment of the present invention.
Figur 2 zeigt schematisch ein Audiowiedergabesystem und ein Spracherkennungssystem in Verbindung mit einer Audiosignalverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung. Figure 2 schematically shows an audio reproduction system and a speech recognition system in connection with an audio signal processing apparatus according to an embodiment of the present invention.
Figur 3 zeigt schematisch ein Verfahren für eine Audiosignalverarbeitung in einem Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung. FIG. 3 schematically shows a method for audio signal processing in a vehicle according to an embodiment of the present invention.
Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die Figuren 1-3 im Detail beschrieben werden. In Figur 1 wird zunächst das Umfeld einer erfindungsgemäßen The present invention will be described below in detail with reference to Figs. In Figure 1, the environment of a first invention
Audiosignalverarbeitungsvorrichtung 15 in einem Fahrzeug 10 beschrieben. In Figur 2 werden Details der Audiosignalverarbeitungsvorrichtung 15 in Verbindung mit weiteren Komponenten des Fahrzeugs 10 beschrieben werden. Figur 3 zeigt schließlich schematisch die Arbeitsweise der Audiosignalverarbeitungsvorrichtung 15. Gleiche Bezugszeichen in den Figuren betreffen gleiche oder ähnliche Komponenten. Audio signal processing device 15 described in a vehicle 10. In FIG. 2, details of the audio signal processing device 15 in connection with further components of the vehicle 10 will be described. Finally, FIG. 3 shows schematically the mode of operation the audio signal processing device 15. The same reference numerals in the figures relate to the same or similar components.
Figur 1 zeigt ein Fahrzeug 10 in einer Draufsicht. Das Fahrzeug 10 umfasst ein FIG. 1 shows a vehicle 10 in a plan view. The vehicle 10 includes a
Spracherkennungssystem 1 1 . Mithilfe des Spracherkennungssystems 1 1 können gesprochene Befehle oder Anweisungen von Insassen des Fahrzeugs 10 erfasst, verarbeitet und ausgeführt werden. Beispielsweise können Konfigurationseinstellungen des Fahrzeugs 10 oder eines Multimediasystems des Fahrzeugs 10 über entsprechende Anweisungen geändert werden. Beispielsweise kann eine Audiosignalquelle, wie zum Beispiel CD oder Radio, gewählt werden. Ferner kann beispielsweise ein bestimmter Radiosender ausgewählt werden oder ein Titel einer CD. Ferner kann mit entsprechenden Anweisungen eine Telefonverbindung zu einem gewünschten Teilnehmer aufgebaut werden oder ein Navigationsziel in einem Speech recognition system 1 1. With the aid of the speech recognition system 11, spoken commands or instructions of occupants of the vehicle 10 can be detected, processed and executed. For example, configuration settings of the vehicle 10 or a multimedia system of the vehicle 10 may be changed via appropriate instructions. For example, an audio signal source, such as CD or radio, can be selected. Furthermore, for example, a specific radio station can be selected or a title of a CD. Furthermore, with appropriate instructions, a telephone connection can be established to a desired subscriber or a navigation destination in one
Navigationssystem des Fahrzeugs 10 eingestellt werden. Dazu werden beispielsweise entsprechende Befehle oder Anweisungen von einem Fahrer 12 des Fahrzeugs 10 über ein Mikrofon 13 empfangen. Ein gesprochener Befehl des Fahrers 12 wird von den Mikrofon 13 als Sprachaudiosignal an eine Audiosignalverarbeitungsvorrichtung 15 weitergeleitet. Die Navigation system of the vehicle 10 can be adjusted. For this purpose, for example, corresponding commands or instructions are received by a driver 12 of the vehicle 10 via a microphone 13. A spoken command of the driver 12 is forwarded by the microphone 13 as a speech audio signal to an audio signal processing device 15. The
Funktionsweise der Audiosignalverarbeitungsvorrichtung 15 wird später unter Bezugnahme auf Figur 2 im Detail beschrieben werden. Nach der Bearbeitung des Sprachaudiosignals in der Audiosignalverarbeitungsvorrichtung 15 wird das bearbeitete Sprachaudiosignal dem Operation of the audio signal processing apparatus 15 will be described later in detail with reference to FIG. After the speech audio signal is processed in the audio signal processing device 15, the processed speech audio signal is sent to the
Spracherkennungssystem 1 1 zugeführt. Das Spracherkennungssystem 1 1 wertet das Speech recognition system 1 1 supplied. The speech recognition system 1 1 evaluates that
Sprachaudiosignal aus und erkennt darin enthaltene Befehle und Anweisungen und führt diese aus. Das Spracherkennungssystem kann mit einem sogenannten Dialogsystem gekoppelt sein, welches über Fragen und Antworten einen Dialog mit dem Fahrer führen kann. Speech audio signal and recognizes contained commands and instructions and executes them. The speech recognition system can be coupled with a so-called dialogue system, which can lead a dialogue with the driver via questions and answers.
Das Fahrzeug 10 umfasst ferner eine Audiosignalquelle 14. Die Audiosignalquelle 14 kann beispielsweise ein Rundfunkempfänger, eine Medienwiedergabevorrichtung wie zum Beispiel ein CD Player oder ein MP3-Player, oder ein Navigationssystem des Fahrzeugs 10 umfassen. Die Audiosignalquelle 14 gibt ein mehrkanaliges Audioquellsignal aus. Das mehrkanalige Audioquellsignal wird der Audiosignalverarbeitungsvorrichtung 15 zugeführt und dort bearbeitet, wie es nachfolgend unter Bezugnahme auf Figur 2 beschrieben werden wird. Das bearbeitete mehrkanalige Audioquellsignal wird von der Audiosignalverarbeitungsvorrichtung 15 an einen Verstärker 16 ausgegeben. Der Verstärker 16 verstärkt die einzelnen Signale des bearbeiteten mehrkanaligen Audioquellsignals, sodass diese über Lautsprecher 17-20 in einem Innenraum des Fahrzeugs 10 wiedergegeben werden können. In dem in Figur 1 gezeigten Beispiel umfasst das Fahrzeug 10 vier Lautsprecher 17-20. Bei anderen Ausführungsformen der Erfindung kann das Fahrzeug 10 eine beliebige Anzahl von Lautsprechern umfassen, beispielsweise zwei, drei oder mehr als vier. In dem gezeigten Beispiel der Figur 1 sind die Lautsprecher 17-20 den Sitzplätzen des Fahrzeugs 10 zugeordnet. So ist der Lautsprecher 17 einem Fahrersitz des Fahrers 12 zugeordnet, der Lautsprecher 18 einem Beifahrersitz, der Lautsprecher 19 einem hinteren rechten Sitz und der Lautsprecher 20 einem hinteren linken Sitz. The vehicle 10 further includes an audio signal source 14. The audio signal source 14 may include, for example, a broadcast receiver, a media player such as a CD player or an MP3 player, or a navigation system of the vehicle 10. The audio signal source 14 outputs a multi-channel audio source signal. The multi-channel audio source signal is supplied to and processed by the audio signal processing device 15, as will be described below with reference to FIG. The processed multi-channel audio source signal is output from the audio signal processing device 15 to an amplifier 16. The amplifier 16 amplifies the individual signals of the processed multi-channel audio source signal so that they can be reproduced via speakers 17-20 in an interior of the vehicle 10. In the example shown in FIG. 1, the vehicle 10 includes four loudspeakers 17-20. In other embodiments of the invention, the vehicle 10 may include any number of speakers, for example two, three or more than four. In the example shown in FIG. 1, the loudspeakers 17-20 are assigned to the seats of the vehicle 10. Thus, the loudspeaker 17 is associated with a driver's seat of the driver 12, the loudspeaker 18 with a passenger seat, the loudspeaker 19 with a rear right seat and the loudspeaker 20 with a rear left seat.
Im Betrieb des Fahrzeugs 10 kann der Fahrer 12 Anweisungen oder Befehle an das During operation of the vehicle 10, the driver 12 may instruct or command the
Spracherkennungssystem 1 1 äußern. Dies wird in Figur 1 durch den gestrichelten Pfeil zwischen dem Fahrer 12 und dem Mikrofon 13 dargestellt. Während der Fahrer 12 Befehle und Anweisungen äußert, können mehrkanalige Audioquellsignale von der Audiosignalquelle 14 über die Lautsprecher 17-20 ausgegeben werden. Die Ausgaben der Lautsprecher 17-20 erreichen ebenfalls das Mikrofon 13, wie es durch die entsprechenden gestrichelten Pfeile zwischen den Lautsprechern 17-20 und dem Mikrofon 13 in der Figur 1 dargestellt ist. Die Ausgaben aus den Lautsprechern 17-20 können jedoch die Sprachverständlichkeit stören, sodass das Spracherkennungssystem 1 1 die Befehle und Anweisungen von dem Fahrer 12 nicht oder nur unzureichend erkennt. Voice recognition system 1 1 express. This is illustrated in FIG. 1 by the dashed arrow between the driver 12 and the microphone 13. While the driver 12 is issuing commands and instructions, multi-channel audio source signals may be output from the audio signal source 14 via the loudspeakers 17-20. The outputs of the loudspeakers 17-20 also reach the microphone 13, as shown by the corresponding dashed arrows between the loudspeakers 17-20 and the microphone 13 in FIG. However, the outputs from the speakers 17-20 may interfere with speech intelligibility, such that the speech recognition system 11 does not or insufficiently recognizes the commands and instructions from the driver 12.
Figur 2 zeigt Details der Audiosignalverarbeitungsvorrichtung 15 und des Figure 2 shows details of the audio signal processing device 15 and the
Spracherkennungssystems 1 1 , welche dazu beitragen, den Einfluss der Ausgaben aus den Lautsprechern 17-20 auf das Sprachsignal des Fahrers 12 zu verringern oder zu kompensieren. Zur Vereinfachung der Darstellung ist die Audiosignalquelle 14 in dem Beispiel der Figur 2 nur zweikanalig, also eine Stereoquelle mit einem linken Kanal L und einem rechten Kanal R. Es ist jedoch klar, dass die nachfolgend beschriebene Audiosignalverarbeitungsvorrichtung 15 in gleicher Art und Weise eine beliebige Anzahl von Kanälen einer mehrkanaligen Speech recognition system 1 1, which help to reduce or compensate for the influence of the outputs from the speakers 17-20 on the voice signal of the driver 12. For ease of illustration, the audio signal source 14 in the example of Figure 2 is only two-channel, ie a stereo source with a left channel L and a right channel R. However, it will be understood that the audio signal processing device 15 described below may be any number in the same manner of channels of a multi-channel
Audiosignalquelle verarbeiten kann. Can handle audio signal source.
Bevor die Funktionsweise der Audiosignalverarbeitungsvorrichtung 15 beschrieben werden wird, werden zunächst die in Figur 2 gezeigten Komponenten der Before the operation of the audio signal processing device 15 will be described, first, the components shown in FIG
Audiosignalverarbeitungsvorrichtung 15 beschrieben. Die in Figur 2 gezeigten Komponenten der Audiosignalverarbeitungsvorrichtung 15 müssen nicht notwendigerweise tatsächlich als konkrete Bauteile oder Baugruppen ausgebildet werden, sondern können teilweise oder insgesamt programmtechnisch nachgebildet werden und durch eine geeignete Steuerung realisiert werden, beispielsweise einen Mikroprozessor oder einen digitalen Signalprozessor. Die Audiosignalverarbeitungsvorrichtung 15 umfasst Eingänge, über welche das mehrkanalige Audioquellsignal von der Audiosignalquelle 14 empfangen wird. Ein zweikanaliges Audio signal processing device 15 described. The components of the audio signal processing device 15 shown in FIG. 2 do not necessarily have to be designed as concrete components or assemblies, but can be reproduced in part or in total in terms of programming and realized by suitable control, for example a microprocessor or a digital signal processor. The audio signal processing device 15 includes inputs via which the multi-channel audio source signal is received by the audio signal source 14. A two-channel
Stereoaudioquellsignal umfasst beispielsweise einen linken Kanal L und einen rechten Kanal R, welche der Audiosignalverarbeitungsvorrichtung 15 zugeführt werden. Mit einem ersten Stereo audio source signal includes, for example, a left channel L and a right channel R, which are supplied to the audio signal processing device 15. With a first
Signalumwandler 21 werden aus dem zwei- oder mehrkanaligen Audioquellsignal ein Signal converters 21 are inserted from the two or more channel audio source signal
Mittensignalanteil M und für jeden Kanal ein Seitensignalanteil S erzeugt. Speziell für ein Stereosignal kann statt zweier Seitensignalanteile ein gemeinsamer Seitensignalanteil als Differenz aus dem linken Kanal L und dem rechten Kanal R gebildet werden. Da unabhängig von der Anzahl der Seitensignalanteile alle Seitensignalanteile nachfolgend gleich behandelt werden, ist in Figur 2 nur ein Pfad für die Seitensignalanteile S gezeigt. Dieser eine Pfad kann demzufolge bei einem Stereosignal nur einen Seitensignalanteil oder im mehrkanaligen Fall mehrere Seitensignalanteile umfassen. Middle signal component M and a side signal component S generated for each channel. Especially for a stereo signal, instead of two side signal components, a common side signal component can be formed as the difference between the left channel L and the right channel R. Since all side signal components are treated identically below, regardless of the number of side signal components, only one path for the side signal components S is shown in FIG. This one path can therefore comprise only one side signal component in the case of a stereo signal or several side signal components in the multi-channel case.
Der Mittensignalanteil M kann beispielsweise ein Summensignal aus allen zugeführten Kanälen umfassen. Bei einem Stereosignal kann der Mittensignalanteil M daher das Summensignal aus dem linken Kanal L und dem rechten Kanal R umfassen (M=R+L). Ein jeweiliger The middle signal component M may comprise, for example, a sum signal from all the supplied channels. In a stereo signal, therefore, the center signal component M may comprise the sum signal from the left channel L and the right channel R (M = R + L). A respective one
Seitensignalanteil S kann beispielsweise ein Differenzsignal zwischen dem jeweiligen Side signal component S, for example, a difference signal between the respective
Audiosignal des jeweiligen Kanals des mehrkanaligen Audioquellsignals und dem Audio signal of the respective channel of the multi-channel audio source signal and the
Mittensignalanteil umfassen. Speziell bei einem Stereosignal kann der Seitensignalanteil S auch beispielsweise ein Differenzsignal aus dem rechten Kanal R und dem linken Kanal L umfassen (S=R-L). Center signal component include. Especially in the case of a stereo signal, the side signal component S may also comprise, for example, a difference signal from the right channel R and the left channel L (S = R-L).
Die Audiosignalverarbeitungsvorrichtung 15 umfasst ferner ein erstes Bandpassfilter 23 und ein Kerbfilter oder Notch-Filter 22. Das erste Bandpassfilter 23 hat eine vorgegebene untere Frequenz und eine vorgegebene obere Frequenz. Das erste Bandpassfilter 23 lässt im The audio signal processing device 15 further comprises a first bandpass filter 23 and a notch filter or notch filter 22. The first bandpass filter 23 has a predetermined lower frequency and a predetermined upper frequency. The first bandpass filter 23 leaves in
Wesentlichen nur Signale mit einer Frequenz zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz passieren. Signale mit einer Frequenz unterhalb der vorgegebenen unteren Frequenz sowie Signale mit einer Frequenz oberhalb der vorgegebenen oberen Frequenz werden im Wesentlichen unterdrückt oder zumindest stark gedämpft. Bei einer analogen Ausgestaltung des ersten Bandpassfilters 23 kann die Dämpfung beispielsweise 70 dB oder mehr betragen und bei einer digitalen Ausgestaltung des ersten Bandpassfilters kann das Signal oberhalb der vorgegebenen oberen Frequenz und unterhalb der vorgegebenen unteren Frequenz vollständig unterdrückt werden. Das Notch-Filter 22 hat einen Frequenzgang, welcher im Wesentlichen invers zu dem Frequenzgang des ersten Bandpassfilters 23 ist. D.h., das Notch-Filter 22 lässt im Wesentlichen nur Signale mit einer Frequenz unter der Essentially only signals with a frequency between the predetermined lower frequency and the predetermined upper frequency happen. Signals with a frequency below the predetermined lower frequency and signals with a frequency above the predetermined upper frequency are substantially suppressed or at least greatly attenuated. In an analog embodiment of the first bandpass filter 23, the attenuation may be, for example, 70 dB or more, and in a digital embodiment of the first bandpass filter, the signal above the predetermined upper frequency and below the predetermined lower frequency can be completely suppressed. The notch filter 22 has a frequency response which is substantially inverse to the frequency response of the first bandpass filter 23. That is, the notch filter 22 leaves substantially only signals having a frequency below that
vorgegebenen unteren Frequenz oder über der vorgegebenen oberen Frequenz passieren. Die untere vorgegebene Frequenz kann beispielsweise 100 Hz betragen und die obere vorgegebene Frequenz kann beispielsweise 8kHz betragen. Alternativ kann die untere vorgegebene Frequenz in einem Bereich von 100 Hz bis 300 Hz gewählt werden und die obere vorgegebene Frequenz in einem Bereich von 4kHz bis 8kHz gewählt werden. Je größer der Frequenzbereich zwischen der unteren vorgegebenen Frequenz und der oberen vorgegebenen Frequenz gewählt wird, umso zuverlässiger arbeitet die Spracherkennung. Allerdings wird eine Wiedergabe eines mehrkanaligen Audioquellsignals umso stärker beeinträchtigt, je größer der Frequenzbereich zwischen der unteren vorgegebenen Frequenz und der oberen vorgegebenen Frequenz gewählt wird. Für den Fall, dass mehrere Seitensignalanteile erzeugt werden, ist für jeden dieser mehreren Seitensignalanteile ein entsprechendes Notch-Filter 22 mit der unteren vorgegebenen Frequenz und der oberen vorgegebenen Frequenz vorzusehen. predetermined lower frequency or above the predetermined upper frequency. The For example, the lower predetermined frequency may be 100 Hz, and the upper predetermined frequency may be 8 kHz, for example. Alternatively, the lower predetermined frequency may be selected in a range of 100 Hz to 300 Hz, and the upper predetermined frequency may be selected in a range of 4 kHz to 8 kHz. The larger the frequency range between the lower predetermined frequency and the upper predetermined frequency is selected, the more reliable the speech recognition function. However, reproduction of a multi-channel audio source signal is more affected the greater the frequency range between the lower predetermined frequency and the upper predetermined frequency is selected. In the event that several side signal components are generated, a corresponding notch filter 22 having the lower predetermined frequency and the upper predetermined frequency is to be provided for each of these plurality of side signal components.
Durch die Filterung des Mittensignalanteils M mit dem Bandpassfilter 23 wird ein gefilterter oder in der Frequenz begrenzter Mittensignalanteil Mb erzeugt. Durch die Filterung der By filtering the center signal component M with the bandpass filter 23, a filtered or frequency-limited mid-signal component Mb is generated. By filtering the
Seitensignalanteile S mit den Notch-Filtern 22 werden gefilterte oder in der Frequenz begrenzte Seitensignalanteile Sb erzeugt. Der gefiltert Mittensignalanteil Mb und die gefilterten Side signal components S with the notch filters 22 are filtered or limited in frequency side signal components Sb generated. The filtered midrange signal Mb and the filtered ones
Seitensignalanteil Sb werden einem zweiten Signalumwandler 24 zugeführt, welcher gefilterte Audiosignale für die einzelnen Kanäle erzeugt. Das gefilterte Audiosignal für einen jeweiligen einzelnen Kanal kann beispielsweise durch Summieren des gefilterten Mittensignalanteils Mb und des entsprechenden gefilterten kanalspezifischen Seitensignalanteils Sb gebildet werden. Speziell für den Fall eines Stereoaudioquellsignals gilt beispielsweise Rb=Mb+Sb und Lb=Mb- Sb. Die gefilterten Audiosignale Lb, Rb werden aus der Audiosignalverarbeitungsvorrichtung 15 ausgegeben und kanalweise dem Verstärker 16 zugeführt. Side signal component Sb are supplied to a second signal converter 24, which generates filtered audio signals for the individual channels. The filtered audio signal for a respective single channel may be formed, for example, by summing the filtered center signal component Mb and the corresponding filtered channel-specific side signal component Sb. Specifically, in the case of a stereo audio source signal, Rb = Mb + Sb and Lb = Mb-Sb, for example. The filtered audio signals Lb, Rb are output from the audio signal processing device 15 and supplied to the amplifier 16 channel by channel.
Die Audiosignalverarbeitungsvorrichtung 15 umfasst ferner ein zweites Bandpassfilter 26. Das zweite Bandpassfilter 26 hat die gleiche Filtercharakteristik wie das erste Bandpassfilter 23. Das zweite Bandpassfilter 26 ist eingangsseitig mit dem Mikrofon 13 gekoppelt und ausgangsseitig mit einem Echokompensator 25 des Spracherkennungssystems 1 1 . Dem Echokompensator 25 des Spracherkennungssystems 1 1 wird ferner der gefilterte Mittensignalanteil Mb zugeführt. Auf der Grundlage des gefilterten Mittensignalanteils Mb führt der Echokompensator 25 eine Echokompensation auf dem gefilterten Sprachsignal von dem Mikrofon 13 durch. Das von dem Echokompensator 25 bearbeitete Sprachsignal wird einem Spracherkenner 27 des The audio signal processing device 15 further comprises a second bandpass filter 26. The second bandpass filter 26 has the same filter characteristic as the first bandpass filter 23. The second bandpass filter 26 is the input side coupled to the microphone 13 and the output side with an echo canceller 25 of the speech recognition system 1 first The echo canceller 25 of the speech recognition system 11 is further supplied with the filtered center signal component Mb. Based on the filtered center signal component Mb, the echo canceller 25 performs echo cancellation on the filtered voice signal from the microphone 13. The speech signal processed by the echo canceller 25 is applied to a speech recognizer 27 of the
Spracherkennungssystems 1 1 zugeführt. Speech recognition system 1 1 supplied.
Außerdem umfasst die Audiosignalverarbeitungsvorrichtung 15 eine Gewichtungsvorrichtung 28, welche mit dem mehrkanaligen Audioquellsignal und/oder der Audiosignalquelle 14 gekoppelt ist. Auf der Grundlage von Informationen des mehrkanaligen Audioquellsignals oder Informationen von der Audiosignalquelle 14 stellt die Gewichtungsvorrichtung 28 In addition, the audio signal processing device 15 comprises a weighting device 28 which is connected to the multi-channel audio source signal and / or the audio signal source 14 is coupled. Based on information of the multi-channel audio source signal or information from the audio signal source 14, the weighting device 28 provides
Gewichtungsfaktoren bereit, mit welchen die gefilterten Audiosignale vor ihrer Ausgabe aus dem zweiten Signalumwandler 24 gewichtet werden. Weighting factors with which the filtered audio signals are weighted before output from the second signal converter 24.
Unter Bezugnahme auf Figur 3 wird nachfolgend die Arbeitsweise der With reference to Figure 3, the operation of the
Audiosignalverarbeitungsvorrichtung 15 in dem Fahrzeug 10 beschrieben werden. Figur 3 zeigt ein Verfahren 30 mit Verfahrensschritten 31 -37, welche von der  Audio signal processing device 15 are described in the vehicle 10. FIG. 3 shows a method 30 with method steps 31 - 37, which are derived from the
Audiosignalverarbeitungsvorrichtung 15 in Verbindung mit dem Spracherkennungssystem 1 1 ausgeführt werden. Es ist klar, dass die in Figur 3 dargestellten Verarbeitungsschritte mit elektronischen Hilfsmitteln ausgeführt werden können, welche beispielsweise analoge oder digitale Schaltkreise sowie Verarbeitungsvorrichtungen umfassen. Verarbeitungsvorrichtungen können beispielsweise Mikroprozessoren oder digitale Signalprozessoren umfassen. Ferner kann die gesamte Funktionalität der Audiosignalverarbeitungsvorrichtung 15 in beispielsweise eine bestehende elektronische Vorrichtung integriert werden, beispielsweise in einen digitalen Signalprozessor des Spracherkennungssystems 1 1 .  Audio signal processing device 15 are performed in conjunction with the speech recognition system 1 1. It is clear that the processing steps illustrated in FIG. 3 can be carried out with electronic aids which comprise, for example, analog or digital circuits as well as processing devices. Processing devices may include, for example, microprocessors or digital signal processors. Furthermore, the entire functionality of the audio signal processing device 15 can be integrated into, for example, an existing electronic device, for example a digital signal processor of the speech recognition system 11.
Im Schritt 31 wird ein mehrkanaliges Audioquellsignal, beispielsweise ein Stereosignal oder ein Surroundsignal, von der Audiosignalquelle 14 an der Audiosignalverarbeitungsvorrichtung 15 empfangen. In den Schritten 32 und 33 werden mit Hilfe des ersten Signalumwandlers 21 und der Filter 22 und 23 ein in der Frequenz begrenztes Monoaudiosignal und in der Frequenz begrenzte kanalspezifische Audiosignale erzeugt. Der zuvor beschriebene in der Frequenz begrenzte Mittensignalanteil Mb kann beispielsweise das in der Frequenz begrenzte In step 31, a multi-channel audio source signal, for example a stereo signal or a surround signal, is received by the audio signal source 14 at the audio signal processing device 15. In steps 32 and 33, a frequency limited mono audio signal and frequency limited channel specific audio signals are generated by the first signal converter 21 and the filters 22 and 23. For example, the frequency-limited center signal component Mb described above may be that limited in frequency
Monoaudiosignal sein. Die zuvor beschriebenen in der Frequenz begrenzten Be mono audio signal. The frequency-limited ones described above
Seitensignalanteile Sb können beispielsweise die in der Frequenz begrenzten Side signal components Sb may be, for example, those limited in frequency
kanalspezifischen Audiosignale sein. Das in der Frequenz begrenzte Monoaudiosignal und die in der Frequenz begrenzten kanalspezifischen Audiosignale können jedoch auch auf beliebige andere Art und Weise aus dem mehrkanaligen Audioquellsignal gebildet werden, be channel specific audio signals. However, the frequency limited mono audio signal and the frequency limited channel specific audio signals may also be formed in any other way from the multichannel audio source signal.
beispielsweise in einem digitalen Signalprozessor. for example, in a digital signal processor.
Im Schritt 34 wird das begrenzte Monoaudiosignal über alle Lautsprecher 17-20 ausgegeben und die begrenzten kanalspezifischen Audiosignale werden über dem dem jeweiligen Kanal zugeordneten Lautsprecher ausgegeben. Das Monoaudiosignal ist auf einen für die In step 34, the limited mono audio signal is output through all the loudspeakers 17-20 and the limited channel specific audio signals are outputted over the loudspeaker associated with the respective channel. The mono audio signal is on one for the
Spracherkennung relevanten Frequenzbereich begrenzt, beispielsweise auf einen Speech recognition relevant frequency range limited, for example to one
Frequenzbereich von 100 Hz bis 8kHz. Die kanalspezifischen Audiosignale sind auf einen Frequenzbereich außerhalb des für die Spracherkennung relevanten Frequenzbereichs begrenzt, also beispielsweise auf Frequenzen unter 100 Hz und über 8kHz. Durch die Frequency range from 100 Hz to 8 kHz. The channel-specific audio signals are on a frequency range outside the relevant frequency range for speech recognition limited, so for example at frequencies below 100 Hz and above 8kHz. By the
Reduktion der Mehrkanaligkeit der Audiowiedergabe innerhalb des für den Spracherkenner 27 relevanten Frequenzbereichs liegt für die Spracherkennung als störendes Signal lediglich das einkanalige Monoaudiosignal vor. Für den oder die Fahrzeuginsassen bleibt jedoch ein Reduction of the multi-channel audio reproduction within the relevant frequency range for the speech recognizer 27 is present for the speech recognition as a disturbing signal only the single-channel mono audio signal. For the or the vehicle occupants remains however
Räumlichkeitsgefühl in der Klangwahrnehmung erhalten, da für Frequenzen außerhalb des für die Spracherkennung relevanten Bereichs die Mehrkanaligkeit erhalten bleibt. Spatial feeling in the sound perception obtained because for frequencies outside of the relevant area for speech recognition, the multi-channel nature is maintained.
Beim Ausgeben des begrenzten Monoaudiosignals über die Lautsprecher 17-20 kann ein Audioschwerpunkt in dem Fahrzeug geändert werden. Beispielsweise kann die When outputting the limited mono audio signal through the speakers 17-20, an audio center of gravity in the vehicle can be changed. For example, the
Gewichtungsvorrichtung 28 auf der Grundlage der ihr zur zugeführten Informationen einen Audioschwerpunkt für die mehrkanaligen Audioquellsignale oder die aktuelle Signalquelle bestimmen und das begrenzte Monoaudiosignal gemäß diesem Audioschwerpunkt auf die Audiokanäle verteilen. Wenn beispielsweise eine Sprachausgabe eines Navigationssystems die mehrkanaligen Audiosignalquelle darstellt, kann das begrenzte Monoaudiosignal beispielsweise für den Lautsprecher 17 stärker gewichtet werden als für die Lautsprecher 18-20, da diese Information für den Fahrer 12 relevanter ist als für die übrigen Fahrzeuginsassen. Die Weighting device 28 on the basis of their information supplied to determine an audio center of gravity for the multi-channel audio source signals or the current signal source and distribute the limited mono audio signal according to this audio focus on the audio channels. For example, if a voice output of a navigation system represents the multi-channel audio signal source, the limited mono audio signal, for example, for the speaker 17 may be weighted more heavily than for the speakers 18-20, since this information is more relevant to the driver 12 than for the rest of the vehicle occupants. The
Gewichtungsvorrichtung 28. kann weitere Informationen des Fahrzeugs 10 in Betracht ziehen, beispielsweise eine aktuelle Sitzbelegung in dem Fahrzeug. Weighting device 28. may consider further information of the vehicle 10, for example a current seat occupancy in the vehicle.
Für die Spracherkennung wird im Schritt 35 ein Sprachaudiosignal über das Mikrofon 13 empfangen. Im Schritt 36 wird das empfangene Sprachaudiosignal mithilfe des zweiten For speech recognition, a speech audio signal is received via the microphone 13 in step 35. In step 36, the received speech audio signal using the second
Bandpassfilters 26 in der Frequenz begrenzt. Dem Echokompensator 25 werden das begrenzte Monoaudiosignal und das begrenzte Sprachaudiosignal zugeführt. Im Schritt 37 führt der Echokompensator 25 eine Echokompensation in dem Sprachaudiosignal unter Verwendung des Monoaudiosignals durch. Da sowohl das Sprachaudiosignal als auch das Monoaudiosignal auf den für die Spracherkennung relevanten Frequenzbereich begrenzt sind (z.B. 100Hz-8kHz), kann die Echokompensation ebenfalls auf diesen begrenzten Frequenzbereich eingeschränkt werden, wodurch weniger Störungen auftreten und der Echokompensator 25 einfacher aufgebaut werden kann bzw. weniger Rechenleistung erfordert. Ferner benötigt die einkanalige Echokompensation nur ein einziges Audioreferenzsignal, nämlich das Monoaudiosignal, und muss nur eine akustische Impulsantwort schätzen. Hierdurch werden Systemressourcen bei der Echokompensation eingespart, welche zum Beispiel für den Spracherkenner 27 zur Verfügung stehen. Das so bereinigte Sprachaudiosignal wird dem Spracherkenner 27 zugeführt und dort verarbeitet, um entsprechende Befehle und Anweisungen aus der gesprochenen Sprache zu extrahieren. Bandpass filter 26 limited in frequency. The echo canceller 25 is supplied with the limited mono audio signal and the limited voice audio signal. In step 37, the echo canceller 25 performs echo cancellation in the voice audio signal using the mono audio signal. Since both the speech audio signal and the mono audio signal are limited to the frequency range relevant to speech recognition (eg, 100Hz-8kHz), echo cancellation may also be limited to this limited frequency range, resulting in less noise and the echo canceller 25 being simpler or less Computing power required. Furthermore, single-channel echo cancellation requires only a single audio reference signal, namely the mono audio signal, and only needs to estimate an acoustic impulse response. As a result, system resources are saved in the echo cancellation, which are available for example for the speech recognizer 27. The thus adjusted speech audio signal is supplied to the speech recognizer 27 and processed there to extract corresponding commands and instructions from the spoken speech.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
Fahrzeug vehicle
Spracherkennungssystem  Voice recognition system
Fahrzeuginsasse  passenger
Mikrofon  microphone
Audiosignalquelle  Audio signal source
Audiosignalverarbeitungsvorrichtung  Audio signal processing device
Verstärker amplifier
-20 Lautsprecher -20 speakers
erster Signalumwandler  first signal converter
Notch-Filter  Notch filter
erstes Bandpassfilter  first bandpass filter
zweiter Signalumwandler  second signal converter
Echokompensator  echo canceller
zweites Bandpassfilter  second bandpass filter
Spracherkenner  speech
Gewichtungsvorrichtung  weighting device
Verfahren method
-37 Schritt -37 step

Claims

Patentansprüche claims
Verfahren für eine Audiosignalverarbeitung in einem Fahrzeug, umfassend: A method for audio signal processing in a vehicle, comprising:
Erzeugen eines Monoaudiosignals auf der Grundlage eines mehrkanaligen Generating a mono audio signal based on a multi-channel
Audioquellsignals, Audio source signal,
Begrenzen des Monoaudiosignals auf einen Frequenzbereich zwischen einer  Limiting the mono audio signal to a frequency range between one
vorgegebenen unteren Frequenz und einer vorgegebenen oberen Frequenz, predetermined lower frequency and a predetermined upper frequency,
Ausgeben des begrenzten Monoaudiosignals über mehrere Lautsprecher (17-20) in dem Fahrzeug (10), und Outputting the limited mono audio signal via a plurality of loud speakers (17-20) in the vehicle (10), and
Kompensieren eines Einflusses des über die mehreren Lautsprecher ausgegebenen begrenzten Monoaudiosignals auf ein in dem Fahrzeug (10) über ein Mikrofon (13) empfangenes Sprachaudiosignal mittels des begrenzten Monoaudiosignals.  Compensating for an influence of the limited mono audio signal output via the plurality of loudspeakers on a voice audio signal received in the vehicle (10) via a microphone (13) by means of the limited mono audio signal.
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die vorgegebene untere Frequenz einen Wert im Bereich von 100 Hz bis 300 Hz aufweist und die vorgegebene obere Frequenz einen Wert im Bereich von 4kHz bis 8kHz aufweist. A method according to claim 1, characterized in that the predetermined lower frequency has a value in the range of 100 Hz to 300 Hz and the predetermined upper frequency has a value in the range of 4 kHz to 8 kHz.
Verfahren nach Anspruch 1 oder Anspruch 2, ferner gekennzeichnet durch: The method of claim 1 or claim 2, further characterized by:
Erzeugen mehrerer begrenzter kanalspezifischer Audiosignale in Abhängigkeit von dem mehrkanaligen Audioquellsignal derart, dass ein jeweiliges begrenztes kanalspezifisches Audiosignal der mehreren begrenzten Audiosignale einem jeweiligen Audiosignal des mehrkanaligen Audioquellsignals zugeordnet ist und auf einen Frequenzbereich unter der vorgegebenen unteren Frequenz und/oder über der vorgegebenen oberen Frequenz begrenzt ist, und Generating a plurality of limited channel-specific audio signals in response to the multi-channel audio source signal such that a respective limited channel-specific audio signal of the plurality of limited audio signals is associated with a respective audio signal of the multi-channel audio source signal and limited to a frequency range below the predetermined lower frequency and / or above the predetermined upper frequency , and
Ausgeben der mehreren begrenzten kanalspezifischen Audiosignale über die mehreren Lautsprecher (17-20) in dem Fahrzeug (10).  Outputting the plurality of limited channel specific audio signals through the plurality of speakers (17-20) in the vehicle (10).
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das mehrkanalige A method according to claim 3, characterized in that the multi-channel
Audioquellsignal in einen auf allen Kanälen gleichen Mittensignalanteil und einen jeweiligen Seitensignalanteil pro Audiokanal des mehrkanaligen Audioquellsignals aufgeteilt wird und der Mittensignalanteil zur Erzeugung des begrenzten Audio source signal is divided into an equal on all channels center signal component and a respective side signal component per audio channel of the multi-channel audio source signal and the center signal component to produce the limited
Monoaudiosignals verwendet wird und die jeweiligen Seitensignalanteile zur Erzeugung der mehreren begrenzten kanalspezifischen Audiosignale verwendet werden. Mono audio signal is used and the respective side signal components are used to generate the plurality of limited channel-specific audio signals.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Mittensignal durch eine Mittelwertbildung von jeweiligen Abtastwerten der Audiokanäle des mehrkanaligen Audioquellsignals gebildet wird und die jeweiligen Seitensignalanteile durch Subtraktion des Mittensignals von den jeweiligen Audiosignalen des mehrkanaligen Audioquellsignals gebildet werden. A method according to claim 4, characterized in that the center signal is formed by averaging respective samples of the audio channels of the multi-channel audio source signal and the respective side signal components are formed by subtracting the center signal from the respective audio signals of the multi-channel audio source signal.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das über das Mikrofon (13) empfangene Sprachaudiosignal auf einen Frequenzbereich zwischen der vorgegebenen unteren Frequenz und der vorgegebenen oberen Frequenz begrenzt wird und der Einflusses des über die mehreren Lautsprecher (17-20) 6. The method according to any one of the preceding claims, characterized in that via the microphone (13) received speech audio signal is limited to a frequency range between the predetermined lower frequency and the predetermined upper frequency and the influence of the over the plurality of speakers (17-20)
ausgegebenen begrenzten Monoaudiosignals auf das begrenzte Sprachaudiosignal kompensiert wird.  outputted limited mono audio signal is compensated for the limited voice audio signal.
7. Verfahren nach einem der vorhergehenden Ansprüche, ferner gekennzeichnet durch: 7. The method according to any one of the preceding claims, further characterized by:
Erzeugen von mehreren den jeweiligen Lautsprechern (17-20) zugeordneten  Generating a plurality of the respective speakers (17-20) associated
Gewichtungsfaktoren in Abhängigkeit von dem mehrkanaligen Audioquellsignal, und Ausgeben eines mit dem dem jeweiligen Lautsprecher zugeordneten Gewichtungsfaktor gewichteten begrenzten Monoaudiosignals über den jeweiligen Lautsprecher (17-20).  Weighting factors in dependence on the multi-channel audio source signal, and outputting a limited mono audio signal weighted by the weighting factor associated with the respective loudspeaker via the respective loudspeaker (17-20).
8. Audiosignalverarbeitungsvorrichtung für ein Fahrzeug, welche ausgestaltet ist, 8. An audio signal processing device for a vehicle, which is designed
ein Monoaudiosignal auf der Grundlage eines mehrkanaligen Audioquellsignals zu erzeugen,  to generate a mono audio signal based on a multichannel audio source signal,
das Monoaudiosignal auf einen Frequenzbereich zwischen einer vorgegebenen unteren Frequenz und einer vorgegebenen oberen Frequenz zu begrenzen,  to limit the mono audio signal to a frequency range between a predetermined lower frequency and a predetermined upper frequency,
das begrenzte Monoaudiosignal über mehrere Lautsprecher (17-20) in dem Fahrzeug (10) auszugeben, und  output the limited mono audio signal through a plurality of loud speakers (17-20) in the vehicle (10), and
das begrenzten Monoaudiosignal zu einer Kompensationsvorrichtung (25) auszugeben, um einen Einfluss des über die mehreren Lautsprecher (17-20) ausgegebenen  output the limited mono audio signal to a compensation device (25) to have an influence of the output through the plurality of speakers (17-20)
begrenzten Monoaudiosignals auf ein in dem Fahrzeug (10) über ein Mikrofon (13) empfangenes Sprachaudiosignal mittels des begrenzten Monoaudiosignals zu  limited mono audio signal to a in the vehicle (10) via a microphone (13) received speech audio signal by means of the limited mono audio signal
kompensieren.  compensate.
9. Audiosignalverarbeitungsvorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Audiosignalverarbeitungsvorrichtung (15) zur Durchführung des Verfahrens nach einem der Ansprüche 1 -8 ausgestaltet ist. 9. audio signal processing apparatus according to claim 8, characterized in that the audio signal processing device (15) for carrying out the method according to one of claims 1-8 is configured.
EP16788664.7A 2015-11-10 2016-10-26 Audio signal processing in a vehicle Active EP3375204B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015222105.9A DE102015222105A1 (en) 2015-11-10 2015-11-10 Audio signal processing in a vehicle
PCT/EP2016/075831 WO2017080830A1 (en) 2015-11-10 2016-10-26 Audio signal processing in a vehicle

Publications (2)

Publication Number Publication Date
EP3375204A1 true EP3375204A1 (en) 2018-09-19
EP3375204B1 EP3375204B1 (en) 2019-06-19

Family

ID=57218876

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16788664.7A Active EP3375204B1 (en) 2015-11-10 2016-10-26 Audio signal processing in a vehicle

Country Status (5)

Country Link
US (1) US10339951B2 (en)
EP (1) EP3375204B1 (en)
CN (1) CN108353229B (en)
DE (1) DE102015222105A1 (en)
WO (1) WO2017080830A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309416A (en) * 2020-10-20 2021-02-02 中国第一汽车股份有限公司 Vehicle-mounted voice echo eliminating method, system, vehicle and storage medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015222105A1 (en) 2015-11-10 2017-05-11 Volkswagen Aktiengesellschaft Audio signal processing in a vehicle
DE102018007433A1 (en) 2018-09-20 2019-02-28 Daimler Ag Audio signal processing system for a vehicle
CN110246517B (en) * 2019-07-08 2021-07-13 广州小鹏汽车科技有限公司 Radio station music identification method, vehicle-mounted system and vehicle
JP7383942B2 (en) * 2019-09-06 2023-11-21 ヤマハ株式会社 In-vehicle sound systems and vehicles
CN111739552A (en) * 2020-08-28 2020-10-02 南京芯驰半导体科技有限公司 Method and system for forming wave beam of microphone array
CN113096681B (en) * 2021-04-08 2022-06-28 海信视像科技股份有限公司 Display device, multi-channel echo cancellation circuit and multi-channel echo cancellation method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828756A (en) * 1994-11-22 1998-10-27 Lucent Technologies Inc. Stereophonic acoustic echo cancellation using non-linear transformations
DE19533541C1 (en) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Method for the automatic control of one or more devices by voice commands or by voice dialog in real time and device for executing the method
CA2373114C (en) * 1999-05-25 2007-03-27 British Telecommunications Public Limited Company Acoustic echo cancellation
US6665645B1 (en) 1999-07-28 2003-12-16 Matsushita Electric Industrial Co., Ltd. Speech recognition apparatus for AV equipment
JP4554044B2 (en) 1999-07-28 2010-09-29 パナソニック株式会社 Voice recognition device for AV equipment
US20050213747A1 (en) 2003-10-07 2005-09-29 Vtel Products, Inc. Hybrid monaural and multichannel audio for conferencing
NO328256B1 (en) 2004-12-29 2010-01-18 Tandberg Telecom As Audio System
WO2006111370A1 (en) * 2005-04-19 2006-10-26 Epfl (Ecole Polytechnique Federale De Lausanne) A method and device for removing echo in a multi-channel audio signal
JP4896449B2 (en) * 2005-06-29 2012-03-14 株式会社東芝 Acoustic signal processing method, apparatus and program
ATE522078T1 (en) 2006-12-18 2011-09-15 Harman Becker Automotive Sys LOW COMPLEXITY ECHO COMPENSATION
JP4916394B2 (en) 2007-07-03 2012-04-11 富士通株式会社 Echo suppression device, echo suppression method, and computer program
DE102009051508B4 (en) 2009-10-30 2020-12-03 Continental Automotive Gmbh Device, system and method for voice dialog activation and guidance
US8219394B2 (en) * 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
EP2466864B1 (en) 2010-12-14 2019-02-27 Deutsche Telekom AG Transparent decorrelation of the loudspeaker signals of multi-channel echo compensators
JP5649488B2 (en) * 2011-03-11 2015-01-07 株式会社東芝 Voice discrimination device, voice discrimination method, and voice discrimination program
GB2510331A (en) * 2012-12-21 2014-08-06 Microsoft Corp Echo suppression in an audio signal
WO2014103099A1 (en) 2012-12-28 2014-07-03 パナソニック株式会社 Device with voice recognition function and method for recognizing voice
US9589573B2 (en) * 2013-07-12 2017-03-07 Cirrus Logic International Semiconductor Ltd. Wind noise reduction
DE102015222105A1 (en) 2015-11-10 2017-05-11 Volkswagen Aktiengesellschaft Audio signal processing in a vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309416A (en) * 2020-10-20 2021-02-02 中国第一汽车股份有限公司 Vehicle-mounted voice echo eliminating method, system, vehicle and storage medium
CN112309416B (en) * 2020-10-20 2022-11-29 中国第一汽车股份有限公司 Vehicle-mounted voice echo eliminating method, system, vehicle and storage medium

Also Published As

Publication number Publication date
DE102015222105A1 (en) 2017-05-11
US10339951B2 (en) 2019-07-02
EP3375204B1 (en) 2019-06-19
CN108353229A (en) 2018-07-31
WO2017080830A1 (en) 2017-05-18
CN108353229B (en) 2020-10-23
US20180358031A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
EP3375204B1 (en) Audio signal processing in a vehicle
DE10351793B4 (en) Adaptive filter device and method for processing an acoustic input signal
DE60004888T2 (en) LANGUAGE DISTRIBUTION SYSTEM
DE10018666A1 (en) Dynamic sound optimization in the interior of a motor vehicle or similar noisy environment, a monitoring signal is split into desired-signal and noise-signal components which are used for signal adjustment
EP1251493A2 (en) Method for noise reduction with self-adjusting spurious frequency
DE102014214052A1 (en) Virtual masking methods
DE102006027673A1 (en) Signal isolator, method for determining output signals based on microphone signals and computer program
WO2006037586A1 (en) Loud speaker arrangement in a motor vehicle
DE112007003683B4 (en) Echo cancellation system, echo cancellation method, sound output device, audio system, navigation system and mobile object
DE10308414A1 (en) Method for controlling an acoustic system in the vehicle
EP1189419B1 (en) Method and device for eliminating the loudspeaker interference on microphone signals
DE102013011761A1 (en) Motor vehicle has estimating unit and background noise spectrum unit that are designed to open dynamic filter with low background noise and close with strong background noise
DE112016004394T5 (en) Heulunterdrückungsvorrichtung
EP2416593A1 (en) Method for indoor communication
DE102014210760B4 (en) operation of a communication system
EP1718113B1 (en) Hearing-aid device with compensation of acoustic and electromagnetic feedback signal
DE102014214699A1 (en) Playback of low-frequency audio signals through structure-borne noise
EP0615226B1 (en) Method for noise reduction in disturbed voice channels
WO2007036443A1 (en) Method for the active reduction of noise, and device for carrying out said method
DE69731133T2 (en) Transmission system for correlated signals
DE102016005904A1 (en) Instantaneous noise suppression in a motor vehicle
DE102019107173A1 (en) Method and apparatus for generating and outputting an audio signal for enhancing the listening experience at live events
DE10140523B4 (en) Device for feedback canceling the output of microphone signals through loudspeakers
DE102013221127A1 (en) Operation of a communication system in a motor vehicle
DE102008059239A1 (en) Loudspeaker device for use in three-way system of vehicle, has low-, middle- and high tone loud speakers arranged in carcass body element of vehicle, where loudspeakers exhibit different frequency characteristics

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180611

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502016005192

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: H04R0003020000

Ipc: G10L0021020800

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RIC1 Information provided on ipc code assigned before grant

Ipc: H04S 7/00 20060101ALI20190215BHEP

Ipc: G10L 21/0208 20130101AFI20190215BHEP

Ipc: H04R 3/02 20060101ALI20190215BHEP

Ipc: G10L 21/0216 20130101ALN20190215BHEP

Ipc: H04R 5/04 20060101ALN20190215BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20190404

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1146511

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190715

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502016005192

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190919

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190919

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190920

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191021

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191019

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200224

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502016005192

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG2D Information on lapse in contracting state deleted

Ref country code: IS

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191026

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

26N No opposition filed

Effective date: 20200603

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20191031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191026

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20161026

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190619

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1146511

Country of ref document: AT

Kind code of ref document: T

Effective date: 20211026

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211026

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230523

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231024

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231026

Year of fee payment: 8

Ref country code: DE

Payment date: 20231031

Year of fee payment: 8