EP2206113A1 - Vorrichtung und verfahren zum erzeugen eines multikanalsignals mit einer sprachsignalverarbeitung - Google Patents

Vorrichtung und verfahren zum erzeugen eines multikanalsignals mit einer sprachsignalverarbeitung

Info

Publication number
EP2206113A1
EP2206113A1 EP08802737A EP08802737A EP2206113A1 EP 2206113 A1 EP2206113 A1 EP 2206113A1 EP 08802737 A EP08802737 A EP 08802737A EP 08802737 A EP08802737 A EP 08802737A EP 2206113 A1 EP2206113 A1 EP 2206113A1
Authority
EP
European Patent Office
Prior art keywords
signal
channel
speech
input signal
direct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP08802737A
Other languages
English (en)
French (fr)
Other versions
EP2206113B1 (de
Inventor
Christian Uhle
Oliver Hellmuth
Jürgen HERRE
Harald Popp
Thorsten Kastner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to PL08802737T priority Critical patent/PL2206113T3/pl
Publication of EP2206113A1 publication Critical patent/EP2206113A1/de
Application granted granted Critical
Publication of EP2206113B1 publication Critical patent/EP2206113B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Definitions

  • the present invention relates to the field of audio signal processing, and more particularly to the generation of multiple output channels from fewer input channels, such as audio channels.
  • B one (mono) channel or two (stereo) input channels.
  • Multi-channel audio is becoming more and more popular.
  • Such playback systems generally consist of three speakers L (left), C (center) and R (right), which are typically located in front of the user, and two speakers Ls and Rs located behind the user, and typically one of them LFE channel, also called the low frequency effect channel or subwoofer.
  • LFE channel also called the low frequency effect channel or subwoofer.
  • Such a channel scenario is indicated in Fig. 5b and in Fig. 5c. While the positioning of the loudspeakers L, C, R, Ls, Rs should be made with respect to the user as shown in FIGS.
  • the positioning of the LFE channel is not so critical because the ear can not locate at such low frequencies and thus the LFE channel can be located anywhere where it does not bother due to its considerable size.
  • Such a multi-channel system provides several advantages over a typical stereo reproduction, which is a two-channel reproduction such as shown in Fig. 5a.
  • Even outside of the optimal central listening position results in improved stability of the front listening experience, which is also referred to as a "front image”, due to the center channel. This results in a larger “sweet spot”, where "sweet spot” stands for the optimal listening position.
  • the listener has a better feeling of "immersing" in the audio scene due to the two rear speakers Ls and Rs.
  • the first option is to play the left and right channels through the left and right speakers of the multi-channel playback system.
  • a disadvantage of this solution is that you do not exploit the variety of existing speakers, so that you do not take advantage of the presence of the center speaker and the two rear speakers advantageous.
  • Another option is to convert the two channels into a multi-channel signal. This can be done during playback or by a special preprocessing, which advantageously takes advantage of all six loudspeakers of the existing 5.1 reproduction system, for example, and thus leads to an improved listening impression when the upmixing or the "upmixing" of two channels to 5 or 6 Channels is carried out faultlessly.
  • the second option ie the use of all loudspeakers of the multichannel system, have an advantage over the first solution, if one does not commit Üpmix errors. Such upmix errors can be especially troublesome if signals for the rear speakers, which are also known as ambience signals or ambient signals, are not generated without error.
  • the direct sound sources are reproduced by the three front channels so that they are perceived by the user at the same position as in the original two-channel version.
  • the original two-channel version is shown schematically in Fig. 5a, using the example of various drum instruments.
  • Fig. 5b shows a highly mixed version of the concept in which all the original sound sources, ie the drum instruments, are again reproduced by the three front loudspeakers L, C and R, wherein in addition special environmental signals are output from the two rear loudspeakers.
  • the term "direct sound source” is thus used to describe a sound coming only and directly from a discrete sound source, such as a drum instrument or other instrument, or generally a particular audio object, as shown schematically, eg, in FIG. 5a is shown using a drum instrument. Any additional sounds, such as due to wall reflections, etc. are not present in such a direct sound source.
  • FIG. 5c Another alternative concept, which is referred to as "in the band” concept, is shown schematically in FIG. 5c.
  • Each type of sound ie direct sound sources and ambient sounds, are all positioned around the listener.
  • the position of a sound is independent of its characteristics (direct sound sources or ambient sounds) and depends only on the specific design of the algorithm, as described e.g. in Fig. 5c is shown.
  • Fig. 5c it has been determined by the upmix algorithm that the two instruments 1100 and 1102 are positioned laterally with respect to the listener while the two instruments 1104 and 1106 are positioned in front of the user.
  • the two rear speakers Ls, Rs now also contain portions of the two instruments 1100 and 1102 and no longer just ambient sounds, as was the case in Fig. 5b, where the same instruments are all positioned in front of the user have been.
  • the Ambience Extraction technique also exists using non-negative matrix factorization, especially in the context of a 1-up-N upmix, where N is greater than two.
  • a time-frequency distribution (TFD) of the input signal is calculated, for example by means of a short-time Fourier transformation.
  • An estimate of the TFD of the direct signal components is derived by a numerical optimization technique called non-negative matrix factorization.
  • An estimate of the TFD of the ambient signal is determined by calculating the difference of the TFD of the input signal and the estimate of the TFD for the direct signal.
  • the re-synthesis of the time signal of the surround signal is performed using the phase spectrogram of the input signal. Additional post processing is optionally performed to enhance the listening experience of the generated multichannel signal. This method is described in detail in C. Uhle, A. Walther, O. Hellmuth and J. Herre in "Ambience Separation from mono recordings using non-negative matrix factorizing", Proceedings of the AES 30th Conference 2007.
  • Matrix decoders are known under the heading Dolby Pro Logic II, DTS Neo: 6 or HarmanKardon / Lexicon Logic 7 and in almost every Au- contained in the dio / video receiver sold today. As a by-product of their intended functionality, these processes are also able to perform a blind upmix. These decoders use interchannel differences and signal adaptive control mechanisms to produce multichannel output signals.
  • frequency domain techniques described by Avendano and Jot are also used to identify and extract the ambience information in stereo audio signals. This method is based on the calculation of an interchannel coherence index and a non-linear mapping function, thereby making it possible to determine the time-frequency regions which are mainly composed of ambient signal components.
  • the surround signals are subsequently synthesized and used to feed the surround channels of the multi-channel playback system.
  • One component of the direct / ambient high-mix process is the extraction of an environmental signal that is injected into the two back channels Ls, Rs.
  • a signal that it is used as an environment-like signal in the context of a direct / environment high-racking process.
  • a prerequisite is that no relevant parts of the direct sound sources should be audible in order to be able to locate the direct sound sources safely in front of the listener. This is especially important if the audio signal contains speech or one or more distinguishable speakers. Speech signals generated by a crowd, on the other hand, do not necessarily disturb the listener unless they are located in front of the listener.
  • a prerequisite for the sound signal of a movie (a soundtrack) is that the listening experience should conform to the impression created by the images. Audible clues to the localization should therefore not be in contrast to visible clues to the localization. Consequently, if a speaker is seen on the screen, the corresponding language should also be placed in front of the user.
  • audio signals d. H. is not necessarily limited to situations where both audio and video signals are presented simultaneously.
  • Such other audio signals are for example broadcast signals or audiobooks.
  • a listener is accustomed to producing speech from the front channels, and would likely turn around to restore his usual impression if speech were coming from the back channels at once.
  • a language extractor is used.
  • An attack and settling time are used to smooth out modifications of the output signal. So a multi-channel soundtrack without language can be extracted from a movie. If a particular stereo reverberation feature is present in the original stereo downmix signal, this causes a high-mix tool to distribute that reverberation to each channel except for the center channel, so that reverberation is heard.
  • dynamic level control is performed on L, R, Ls and Rs to attenuate the reverberation of a voice.
  • the object of the present invention is to provide a concept for generating a multi-channel signal with a number of output channels, which on the one hand provides flexibility and on the other hand, a high-quality product.
  • This object is achieved by a device for generating a multi-channel signal according to claim 1, a method for generating a multi-channel signal according to claim 23 or a computer program according to claim 24.
  • the present invention is based on the finding that speech components are suppressed in the rear channels, ie in the surrounding channels, so that the rear channels are speech component-free.
  • an input signal is highly mixed with one or more channels to provide a direct signal channel and to provide an environmental signal channel or, depending on the implementation, the modified surround signal channel.
  • a speech detector is provided to search for speech components in the input signal, the direct channel or the surround channel, such speech components being temporal and / or frequency sections, or even in components of orthogonal decomposition, for example.
  • a signal modifier is provided to modify the direct signal produced by the high mixer or a copy of the input signal to suppress the speech signal components there while less or not attenuating the direct signal components in the corresponding sections comprising speech signal components. Such a modified surround channel signal is then used to generate loudspeaker signals for corresponding loudspeakers.
  • the surround signal generated by the high mixer is used directly because the speech components are already suppressed there since the underlying audio signal also had already suppressed speech components.
  • the high-mix process also generates a direct channel
  • the direct channel is calculated not based on the modified input signal but on the basis of the unmodified input signal to selectively suppress the speech components, only in the environment channel, but not in the direct channel, in which the speech components are explicitly desired.
  • a signal-dependent processing is thus carried out in order to remove or suppress the speech components in the rear channels or in the ambient signal.
  • two essential steps are taken, namely the detection of the occurrence of speech and the suppression of speech, wherein the detection of the occurrence of speech in the input signal, in the direct channel or in the surrounding channel can be made, and wherein the suppression of speech in the surrounding channel directly or indirectly can be made in the input signal, which is then used to generate the surround channel, this modified input signal is not used to generate the direct channel.
  • the resulting signals for the rear channels viewed by the user comprise a minimal amount of speech, to get the original sound image before the user (front image).
  • the position of the speakers would be positioned outside the front area, somewhere between the listener and the front speakers or, in extreme cases, even behind the listener. This would result in a very disturbing sound perception, especially if the audio signals are presented simultaneously with visual signals, as is the case for instance in films. Therefore, many multi-channel movie soundtracks contain hardly any speech components in the back channels.
  • Fig. 1 is a block diagram of an embodiment of the present invention
  • Fig. 2 shows an assignment of time / frequency sections of an analysis signal and an environmental channel or input signal to explain the "corresponding sections"
  • FIG. 3 is an environmental signal modification according to a preferred embodiment of the present invention.
  • FIG. 4 shows a cooperation between a speech detector and an environment signal modifier according to a further embodiment of the present invention
  • 5a shows a stereo reproduction scenario with direct sources (percussion instruments) and diffuse components
  • Fig. 5b shows a multi-channel playback scenario in which all direct-switching sources are reproduced by the front channels and diffuse components are reproduced by all channels, this scenario also being referred to as a direct-environment concept;
  • FIG. 5c shows a multi-channel reproduction scenario in which discrete switching sources can also be reproduced at least partially by rear channels and not or less in the transmission channels as shown in Fig. 5b by the rear speakers;
  • FIG. 6a shows a further embodiment with a speech detection in the environment channel and a modification of the environment channel
  • 6b an embodiment with speech detection in the input signal and modification of the ambient channel
  • 6c an embodiment with a speech detection in the input signal and a modification of the input signal
  • Fig. 6d shows a further embodiment with a speech detection in the input signal and a modification in the surrounding signal, wherein the modification is specially tuned to the speech;
  • FIG. 8 is a more detailed illustration of a gain calculation block of FIG. 7.
  • FIG. 8 is a more detailed illustration of a gain calculation block of FIG. 7.
  • Fig. 1 shows a block diagram of an apparatus for generating a multi-channel signal 10, which is shown in Fig. 1 such that it has a left channel L, a right channel R, a center channel C, an LFE channel, a left rear channel LS and a right rear channel RS. It should be noted, however, that the present invention is also suitable for any other representations than for this selected 5.1 representation, for example, for a 7.1 representation or for a 3.0 representation, in which case only a left channel, a right channel and a center channel is generated.
  • the multi Channel signal 10 having the e.g. six channels shown in Fig.
  • 1 is generated from an input signal 12 or " x ⁇ having a number of input channels, the number of input channels being 1 or greater than 1 and equal to 2, for example is when a stereo downmix is entered. In general, however, the number of output channels is greater than the number of input channels.
  • the apparatus shown in FIG. 1 includes a high mixer 14 for up-converting the input signal 12 to produce at least one direct signal channel 15 and one ambient signal channel 16 or optionally a modified ambient signal channel 16 '.
  • a speech detector 18 adapted to use as input the analysis signal, the input signal 12, as provided at 18a, or to use the direct signal channel 15, as provided at 18b, or to use another signal, which is similar in terms of the temporal / frequency appearance or in terms of its characteristics, as far as speech components, to the input signal 12.
  • the speech detector detects a portion of the input signal, the direct channel or z.
  • the environmental channel as shown at 18c, in which a speech component occurs.
  • This language component can be a significant language component, eg. For example, a speech component whose language property has been derived as a function of a specific qualitative or quantitative measure, wherein the qualitative measure and the quantitative measure exceeds a threshold, which is also referred to as speech detection threshold.
  • a language property is quantified with a numeric value, and this numeric value is compared to a threshold.
  • a decision is made per section, which can be made by one or more decision criteria.
  • decision criteria may be, for example, various quantitative features that be compared / weighted with each other or processed somehow in order to come to a yes / no decision.
  • the apparatus shown in FIG. 1 further includes a signal modifier 20 configured to modify the original input signal, as shown at 20 a, or adapted to modify the environmental channel 16.
  • the signal modifier 20 When the control channel 16 is modified, the signal modifier 20 outputs a modified environmental channel 21, while when the input signal 20a is modified, a modified input signal 20b is output to the high mixer 14, which then modifies the modified environmental channel 16 '. B. generated by the same Hochmischvorgang that has been used for the direct channel 15. Should this hyperbolic process also lead to a direct channel due to the modified input signal 20b, this direct channel would be discarded because a direct channel derived from the unmodified (without speech suppression) input signal 12 and not from the modified input signal 20b is used as the direct channel according to the invention ,
  • the signal modifier is configured to modify portions of the at least one environmental channel or the input signal, which portions may be temporal or frequency portions or portions of orthogonal decomposition, for example.
  • the portions corresponding to the portions detected by the speech detector are modified so that the signal modifier, as illustrated, generates the modified surround channel 21 or the modified input signal 20b in which a speech portion is attenuated or eliminated, wherein the speech portion in the corresponding portion of the direct channel has been less, or at best, not attenuated at all.
  • the apparatus shown in Fig. 1 comprises a speaker signal output means 22 for outputting of loudspeaker signals in a reproduction scenario, such as the 5.1 scenario shown by way of example in FIG. 1, but also a 7.1 scenario, a 3.0 scenario or another or even higher scenario is also possible.
  • a reproduction scenario such as the 5.1 scenario shown by way of example in FIG. 1, but also a 7.1 scenario, a 3.0 scenario or another or even higher scenario is also possible.
  • the at least one direct channel and the at least one modified surround channel are used, where the modified surround channel may either originate from the signal modifier 20, as shown at 21 or originate from the high mixer 14, as at 16 'is shown.
  • the two modified surround channels 21 could be fed directly into the two loudspeaker signals Ls, Rs, while the direct channels are fed only to the three front loudspeakers L, R, C, thus allowing complete separation between ambient signal components and direct signal components.
  • the direct signal components are then all in front of the user and the surrounding signal components are all behind the user.
  • ambient signal components can typically also be introduced to a smaller percentage in the front channels, so that z.
  • the direct / ambient scenario shown in Fig. 5b is formed in which not only surround channels ambient signals are generated, but also from the front speakers z. L, C, R.
  • surrounding signal components will also be mainly from the front speakers z. B. L, R, C output, but also direct signal components are at least partially fed into the two rear speakers Ls, Rs.
  • the proportion of the source 1100 in the speaker L will be about the same size as in the speaker Ls, so according to a typical panning rule, the source 1100 can be placed midway between L and Ls.
  • the loudspeaker signal output device 22 can thus effect a direct forwarding of a channel fed on the input side or can map the surrounding channels and the direct channels, for example by an in-band concept or a direct / ambient concept, such that a distribution the channels to the individual loudspeakers takes place and finally, in order to produce the actual loudspeaker signal, a summation of the components from the individual channels can take place.
  • Fig. 2 shows a time / frequency division of an analysis signal in the upper portion and an ambient channel or input signal in a lower portion.
  • the time is plotted along the horizontal axis and the frequency is plotted along the vertical axis.
  • the signal modifier 20 z.
  • the speech detector 18 in section 22 detects a speech signal, somehow processes the portion of the surround channel / input signal, such as attenuates, completely eliminates, or substitutes a synthesis signal that has no speech property.
  • the division need not be as selective as shown in FIG. Instead, even a temporal detection can already provide a satisfactory effect, in which case a specific time segment of the analysis signal, for example from second 2 to second 2.1 is detected as containing speech signal, and then the section of the ambient channel or the input signal also between second 2 and 2.1 to achieve speech suppression.
  • an orthogonal decomposition can be performed, for. B. by means of a principal component analysis, in which case the same component decomposition is then used both in the environment channel or input signal and in the analysis signal. Then, certain components that have been detected as speech components in the analysis signal are attenuated or completely suppressed or eliminated in the ambient channel or input signal.
  • a section is detected in the analysis signal, in which case this section is not necessarily processed in the analysis signal, but possibly also in another signal.
  • FIG. 3 shows an implementation of a speech detector in cooperation with an environmental channel modifier, wherein the speech detector provides only time information, that is, if FIG. 2 is considered, only wideband identifies the first, second, third, fourth or fifth time period and this information is the envelope - Channel channel modifier 20 via a control line 18d (Fig. 1) communicates.
  • the speech detector 18 and the environmental channel modifier 20, operating synchronously or buffered, together achieve that in the signal to be modified, which may be, for example, the signal 12 or the signal 16, the speech signal is attenuated while ensuring in that such attenuation of the corresponding section in the direct channel does not occur or only occurs to a lesser extent.
  • the direct signal thus obtained is then supplied to the output device 22 without any further processing, while the ambient signal is processed with regard to a speech suppression.
  • the up-mixer 14 may, so to speak, operate twice to extract the direct channel component based on the original input signal, but to extract the modified surround channel 16 'based on the modified input signal 20b.
  • the same high-mix algorithm would run twice, but using a different input signal, in which one input signal the speech component is attenuated and in the other input signal the speech component is not attenuated.
  • the environment channel modifier has broadband attenuation functionality or high pass filtering functionality, as set forth below.
  • FIGS. 6a, 6b, 6c and 6d Various implementations of the device according to the invention will be explained below with reference to FIGS. 6a, 6b, 6c and 6d.
  • the environmental signal a is extracted from the input signal x, which extraction is part of the functionality of the upmixing 14.
  • the occurrence of speech is detected in the surround signal a.
  • the detection result d is used in the environment channel modifier 20, which computes the modified surround signal 21 in which speech components are suppressed.
  • FIG. 6b shows a configuration different from FIG. 6a in that the input signal and not the surrounding signal is supplied to the speech detector 18 as the analysis signal 18a.
  • the modified surround channel signal a s is calculated similarly to the configuration of FIG. 6 a, but the speech in the input signal is detected. This is motivated by the fact that the speech components generally in the input signal x signify can be found more easily than in the signal a. Thus, a higher reliability can be achieved by the configuration shown in FIG.
  • the speech-modified surround signal a s is extracted from a version x s of the input signal which has already been subjected to speech signal suppression. Since the speech components typically emerge more prominently in x than in an extracted surround signal, their suppression is safer and more sustainable than in FIG. 6a.
  • the disadvantage of the configuration shown in FIG. 6c compared to the configuration in FIG. 6a is that possible artifacts of the speech suppression and the environmental extraction process could still be increased depending on the type of extraction process.
  • the functionality of the environment channel extractor 14 is only used to extract the environment channel from the modified audio signal.
  • the direct channel is not extracted from the modified audio signal x s (20b), but on the basis of the original input signal x (12).
  • the environmental signal a is extracted from the input signal x by the high mixer.
  • the occurrence of speech is detected in the input signal x.
  • additional page information e which additionally controls the functionality of the environment channel modifier 20, is calculated by a speech analyzer 30.
  • This page information is calculated directly from the input signal and may be the location of speech components in a time / frequency representation, for example in the form of a spectrogram of FIG. 2, or may be additional information, which will be discussed in more detail below.
  • the functionality of the speech detector 18 will be discussed in greater detail below.
  • the task of speech detection is to add a mix of audio signals analyze to estimate a likelihood that language is present.
  • the input signal may be a signal that may be composed of a variety of different types of audio signals, such as a music signal, noise, or special sound effects, as known from movies.
  • One way to detect speech is to use a pattern recognition system. Pattern recognition is understood to mean analyzing raw data and performing special processing based on a category of a pattern discovered in the raw data. In particular, the term "pattern" or "pattern” describes an underlying similarity that can be found between the measurements of objects of the same categories (classes).
  • the basic operations of a pattern recognition system consist in capturing, that is to say recording the data using a converter, preprocessing, feature extraction and classification, whereby these basic operations can be performed in the given order.
  • microphones are used as sensors for a speech capture system.
  • a preparation may include A / D conversion, resampling, or noise reduction.
  • the feature extraction is the calculation of characteristic features for each object from the measurements. The features are chosen to be similar among objects of the same class, so that good intra-class compactness is achieved and that they are different for objects of different classes, so that inter-class separability is achieved.
  • a third requirement is that the features should be robust with respect to noise, ambient conditions, and irrelevant transformations of the input signal to human perception.
  • Feature extraction can be split into two separate stages. The first level is the feature calculation and the second level is feature projection or transformation to a generally orthogonal basis to minimize correlation between feature vectors and to reduce the dimensionality of the features by not using low energy elements.
  • the classification is the process of deciding whether speech is present or not based on the extracted features and a trained classifier. So let's say the following equation.
  • a set of training vectors Sl x Y are defined, where feature vectors are denoted by xi and the set of classes by Y.
  • Y has two values, namely, ⁇ language, non-language ⁇ ,
  • the features Xi are calculated from labeled data, i. H. from audio signals that know which class y they belong to.
  • the classifier After completing the training, the classifier has learned the characteristics of all classes.
  • the features are computed from the unknown data as in the training phase and projected and classified by the classifier on the basis of the knowledge gained in training about the characteristics of the classes.
  • approaches to speech enhancement and noise reduction which attenuate or enhance the coefficients of a time / frequency representation according to an estimate of the degree of noise contained in such a time / frequency coefficient.
  • a time / frequency plot is obtained from a noisy measurement using, for example, special minimal statistics techniques.
  • a noise suppression rule calculates a damping factor using the noise estimate. This principle is known as short-term spectral attenuation or spectral weighting, as is known, for example, in G. Schmid, "Single-channel noise suppression based on spectral weighting", Eurasip Newsletter 2004.
  • speech enhancement techniques and noise reduction techniques introduce audible artifacts into the output signal.
  • An example of such artifact is known as music noise or musical tones and results from an erroneous estimation of noise floors and fluctuating subband attenuation factors.
  • blind source separation techniques may be used to separate the speech signal components from the surround signal and then separately manipulate both.
  • One method consists in the broadband attenuation, as indicated at 20 in FIG.
  • the audio signal is attenuated at the intervals where speech is present.
  • Special amplification factors range between -12 dB and -3 dB, with a preferred attenuation of 6 dB. Since other signal components / components are equally suppressed, one might think that the total loss of audio signal energy is clearly perceived.
  • An alternative method which is also indicated in Fig. 3 at 20, consists in a high-pass filtering.
  • the audio signal is high-pass filtered where speech is present, with a cutoff frequency in the range between 600 Hz and 3000 Hz.
  • the adjustment of the cutoff frequency results from the signal characteristic of speech with respect to the present invention.
  • the long-term power spectrum of a speech signal focuses on an area below 2.5 kHz.
  • the preferred range of the fundamental frequency of voiced speech is in the range between 75 Hz and 330 Hz.
  • a range between 60 Hz and 250 Hz results for male adults.
  • Mean values are 120 Hz for male speakers and 215 Hz for female speakers. Due to the resonances in the vocal tract certain signal frequencies are amplified.
  • speech exhibits a 1 / F nature, ie, the spectral energy decreases with increasing frequency. Therefore, for purposes of the present invention, speech components may be well-defined by a high-pass Filtering be filtered with the specified cutoff frequency range.
  • a first step 40 the fundamental wave of a speech is detected, which detection may take place in the speech detector 18 or, as shown in Fig. 6e, in the speech analyzer 30.
  • a step 41 an examination is made to find the harmonics belonging to the fundamental wave.
  • This functionality can be performed in the speech detector / speech analyzer or even in the ambient signal modifier.
  • a spectrogram is calculated for the surround signal based on a block-wise forward transform as set forth at 42.
  • the actual speech suppression is performed in a step 43, in which the fundamental wave and the harmonics are attenuated in the spectrogram.
  • the modified surround signal in which the fundamental and harmonics are attenuated or eliminated is again inverse transformed to reach the modified surround signal or the modified input signal.
  • This sinusoidal signal modeling is often used for tone synthesis, audio coding, source separation, tone manipulation, and noise suppression.
  • a signal is represented as a composition of sine waves with time-varying amplitudes and frequencies.
  • Tonal speech signal components are manipulated by dividing the partial tones, i. H. the fundamental and its harmonics (harmonics) are identified and modified.
  • the partial tones are identified by means of a partial tone finder, as shown at 41.
  • Partial tone finding is performed in the time / frequency domain.
  • a spectrogram is performed by means of a short-time Fourier transform, as indicated at 42. Local maxima in each spectrum of the spectrogram are detected and trajectories determined by local maxima of neighboring spectra.
  • An estimate of the fundamental frequency may support the peak picking process, where this estimate of the fundamental frequency is performed at 40.
  • a sinusoidal signal is then obtained from the trajectories. It should be noted that the order between step 40, 41 and step 42 can also be varied, so that first an outward transformation 42 is performed, which takes place in the speech analyzer 30 of FIG. 6d.
  • an improved speech signal is obtained by amplifying the sine component.
  • the speech suppression according to the invention wants to achieve exactly the opposite, namely to suppress the partial tones, the partial tones comprising the fundamental wave and its harmonics, for a speech segment with tonal speech.
  • the high energy speech components are tonal.
  • speech is spoken at a level of 60-75 dB for vowels and about 20-30 dB lower for consonants.
  • the excitation is a periodic pulse-like signal.
  • the excitation signal is filtered by the vocal tract. Consequently, almost all of the energy is one tonal speech segment in the fundamental and its harmonics.
  • FIGS. 7 and 8 illustrate the basic principle of short-term spectral attenuation or spectral weighting.
  • the illustrated method estimates the amount of speech contained in a time / frequency tile using so-called low-level features that provide a measure of the "language" of a signal in a particular frequency range
  • Low level features are low level features in terms of interpretation of their meaning and the cost of their computation.
  • the audio signal is decomposed into a number of frequency bands by means of a filter bank or a short-time Fourier transform, which is shown at 70 in FIG.
  • a filter bank or a short-time Fourier transform which is shown at 70 in FIG.
  • temporally varying gains for all subbands are computed from such low-level features to attenuate subband signals in proportion to the amount of speech they contain.
  • Suitable low-level features are the spectral flatness measure (SFM) and the 4 Hz modulation energy (4HzME).
  • SFM measures the degree of tonality of an audio signal and, for a band, results from the quotient of the geometric mean of all spectral values in a band and the arithmetic mean of the spectral components in the band.
  • FIG. 8 shows a more detailed illustration of the gain calculation block 71a and 71b of FIG. 7.
  • a plurality of different low-level features ie LLF1,..., LLFn, are calculated. These features are then combined in a combiner 80 to arrive at a gain gi for a subband.
  • the method according to the invention can be implemented in hardware or in software.
  • the implementation may be on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which may interact with a programmable computer system such that the method is performed.
  • the invention thus also exists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention, when the computer program product runs on a computer.
  • the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Dot-Matrix Printers And Others (AREA)
  • Color Television Systems (AREA)

Description

Vorrichtung und Verfahren zum Erzeugen eines Multikanal- signals mit einer Sprachsignalverarbeitung
Beschreibung
Die vorliegende Erfindung bezieht sich auf das Gebiet der Audiosignalverarbeitung und insbesondere auf die Erzeugung mehrerer Ausgangskanäle aus weniger Eingangskanälen, wie z. B. einem (mono) Kanal oder zwei (stereo) Eingangskanälen.
Multikanal-Audiomaterial wird mehr und mehr populär. Dies hat dazu geführt, dass inzwischen auch viele Endbenutzer Multikanal-Wiedergabesysteme besitzen. Dies ist hauptsäch- lieh darauf zurückzuführen, dass DVDs immer populärer werden, und dass daher auch viele Benutzer von DVDs inzwischen 5.1-Multikanal-Ausrüstungen haben. Solche Wiedergabesysteme bestehen im allgemeinen aus drei Lautsprechern L (Links) , C (Center) und R (Rechts) , die typischerweise vor dem Benutzer angeordnet sind, und zwei Lautsprechern Ls und Rs, die hinter dem Benutzer angeordnet sind, und typischerweise noch aus einem LFE-Kanal, der auch Niederfrequenz- Effekt-Kanal oder Subwoofer genannt wird. Ein solches Kanal-Szenario ist in Fig. 5b und in Fig. 5c angedeutet. Während die Positionierung der Lautsprecher L, C, R, Ls, Rs, bezüglich des Benutzers wie in den Figuren 10 und 11 gezeichnet vorgenommen werden sollte, damit der Benutzer einen möglichst guten Höreindruck bekommt, ist die Positionierung des LFE-Kanals (in Figs. 5b und 5c nicht gezeigt) nicht so entscheidend, da das Ohr bei derart niedrigen Frequenzen keine Lokalisierung vornehmen kann und der LFE- Kanal somit irgendwo, wo er aufgrund seiner beträchtlichen Größe nicht stört, angeordnet werden kann.
Ein solches Mehrkanalsystem erzeugt mehrere Vorteile gegenüber einer typischen Stereo-Reproduktion, die eine Zweikanal-Reproduktion ist, wie sie z.B. in Fig. 5a gezeigt ist. Auch außerhalb der optimalen mittigen Hörposition ergibt sich eine verbesserte Stabilität des vorderen Höreindrucks, der auch als "Front Image" bezeichnet wird, und zwar aufgrund des Mitten-Kanals. Es ergibt sich somit ein größerer „Sweet-Spot", wobei „Sweet Spot" für die optimale Hörposition steht.
Ferner hat der Zuhörer ein besseres Gefühl des "Eintauchens" in die Audioszene aufgrund der beiden hinteren Lautsprecher Ls und Rs.
Dennoch existiert eine riesige Anzahl an im Besitz des Benutzers befindlichen oder allgemein verfügbaren Audiomaterials, das nur als Stereomaterial existiert, das also nur zwei Kanäle hat, nämlich den linken Kanal und den rechten Kanal. Typische Tonträger für solche Stereostücke sind Kompakt-Disks .
Um ein solches Stereomaterial über eine 5.1-Multikanal- Audioanlage abzuspielen, hat man zwei Optionen, die gemäß der ITU empfohlen werden.
Die erste Option besteht darin, den linken und den rechten Kanal über den linken und den rechten Lautsprecher des Multikanal-Wiedergabesystems abzuspielen. Nachteilig an dieser Lösung ist jedoch, dass man die Vielzahl der bereits bestehenden Lautsprecher nicht ausnutzt, dass man also das Vorhandensein des Center-Lautsprechers und der beiden hinteren Lautsprecher nicht vorteilhaft ausnutzt.
Eine andere Option besteht darin, die zwei Kanäle in ein Multikanalsignal umzuwandeln. Dies kann während der Wiedergabe oder durch eine spezielle Vorverarbeitung geschehen, welche alle sechs Lautsprecher des beispielsweise vorhande- nen 5.1- Wiedergabesystems vorteilhaft ausnutzt und damit zu einem verbesserten Höreindruck führt, wenn das Hochmischen oder der "Upmix" von zwei Kanälen auf 5 bzw. 6 Kanäle fehlerfrei durchgeführt wird. Nur dann hat die zweite Option, also die Verwendung sämtlicher Lautsprecher des MehrkanalSystems einen Vorteil gegenüber der ersten Lösung, wenn man also keine Üpmix-Fehler begeht. Solche Upmix-Fehler können insbesondere störend sein, wenn Signale für die hinteren Lautsprecher, welche auch als Ambience-Signale oder UmgebungsSignale bekannt sind, nicht fehlerfrei erzeugt werden.
Eine Möglichkeit, diesen sogenannten Upmix-Prozess durchzuführen, ist unter dem Stichwort "Direct Ambience-Konzept" bekannt. Die Direktschallquellen werden durch die drei vorderen Kanäle derart wiedergegeben, dass sie von dem Benutzer an der gleichen Position wie in der ursprünglichen Zweikanalversion wahrgenommen werden. Die ursprüngliche Zweikanalversion ist in Fig. 5a schematisch dargestellt, und zwar am Beispiel verschiedener Drum-Instrumente .
Fig. 5b zeigt eine hochgemischte Version des Konzepts, bei der alle ursprünglichen Schallquellen, also die Drum- Instrumente wieder von den drei vorderen Lautsprecher L, C und R wiedergegeben werden, wobei zusätzlich von den beiden hinteren Lautsprechern spezielle UmgebungssignaIe ausgegeben werden. Der Ausdruck "Direkt-Schallquelle" wird somit dazu verwendet, um einen Ton zu beschreiben, der nur und direkt von einer diskreten Schallquelle wie beispielsweise einem Drum-Instrument oder einem anderen Instrument oder allgemein einem speziellen Audioobjekt kommt, wie es schematisch z.B. in Fig. 5a anhand eines Drum-Instruments dargestellt ist. Irgendwelche zusätzlichen Töne, wie beispielsweise aufgrund von Wandreflexionen etc. sind in einer solchen Direktschallquelle nicht vorhanden. In diesem Szenario bestehen die Schallsignale, die von den beiden hinteren Lautsprechern Ls, Rs in Fig. 5b abgegeben werden, nur aus Umgebungssignalen, die in der ursprünglichen Aufzeichnung vorhanden sind oder nicht. Solche Umgebungssignale oder "Ambience"-Signale gehören nicht zu einer einzigen Schallquelle, sondern tragen zur Reproduktion der Raumakus- tik einer Aufzeichnung bei und führen somit zu dem sogenannten "Eintauch"-Gefühl des Zuhörers.
Ein weiteres Alternativkonzept, das als "In-the-Band"- Konzept bezeichnet ist, ist in Fig. 5c schematisch dargestellt. Jeder Schalltyp, also Direktschallquellen und umgebungs-artige Töne werden alle um den Zuhörer herum positioniert. Die Position eines Tons ist unabhängig von seiner Charakteristik (Direktschallquellen oder umgebungs- artige Töne) und hängt nur von dem spezifischen Entwurf des Algorithmus ab, wie es z.B. in Fig. 5c dargestellt ist. So wurde in Fig. 5c durch den Upmix-Algorithmus bestimmt, dass die beiden Instrumente 1100 und 1102 seitlich bezüglich des Zuhörers positioniert werden, während die beiden Instrumen- te 1104 und 1106 vor dem Benutzer positioniert werden. Dies führt dazu, dass die beiden hinteren Lautsprecher Ls, Rs nunmehr auch Anteile der beiden Instrumente 1100 und 1102 enthalten und nicht mehr nur umgebungs-artige Töne, wie es bei Fig. 5b noch der Fall war, wo dieselben Instrumente alle vor dem Benutzer positioniert worden sind.
Die Fachveröffentlichung "C. Avendano und J. M. Jot: "Am- bience Extraction and Synthesis from Stereo Signals for MultiChannel Audio Upmix", IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 02, Orlando, Fl, May 2002" offenbart eine Frequenzbereichstechnik, um Umgebungsinformationen in Stereo-Audiosignalen zu identifizieren und zu extrahieren. Dieses Konzept basiert auf der Berechnung einer Inter-Kanal-Kohärenz und einer nicht- linearen Abbildungsfunktion, die es erlauben soll, Zeit- Frequenz-Regionen in dem Stereosignal zu bestimmen, die hauptsächlich aus Umgebungs-Komponenten bestehen. Umgebungssignale werden dann synthetisiert und verwendet, um die hinteren Kanäle oder "Surround"-Kanäle Ls, Rs (Figs. 10 und 11) eines Multikanal-Wiedergabesystems zu speichern.
In der Fachveröffentlichung "R. Irwan und Ronald M. Aarts: "A method to convert stereo to multi-channel sound", The proceedings of the AES 19th International Conference, Schloss Elmau, Deutschland, Juni 21-24, Seiten 139-143, 2001" wird ein Verfahren präsentiert, um ein Stereosignal in ein Multikanalsignal umzuwandeln. Das Signal für die Surround-Kanäle wird unter Verwendung einer Kreuzkorrelationstechnik berechnet. Eine Hauptkomponentenanalyse (PCA; PCA = Principle Component Analysis) wird verwendet, um einen Vektor zu berechnen, der eine Richtung des dominanten Signals anzeigt. Dieser Vektor wird dann von einer Zwei- Kanal-Darstellung auf eine Drei-Kanal-Darstellung abgebildet, um die drei vorderen Kanäle zu erzeugen.
Alle bekannten Techniken versuchen auf verschiedene Arten und Weisen die Ambience-Signale bzw. Umgebungssignale aus dem ursprünglichen Stereosignal zu extrahieren oder sogar aus Rauschen bzw. weiteren Informationen zu synthetisieren, wobei zur Synthese der Ambience-Signale auch Informationen, welche nicht im Stereosignal sind, verwendet werden können. Letztendlich geht es jedoch immer darum, Informationen aus dem Stereosignal zu extrahieren bzw. Informationen in ein Wiedergabe-Szenario einzuspeisen, die nicht explizit vorliegen, da typischerweise nur ein Zweikanal-Stereosignal und gegebenenfalls irgendwelche Zusatzinformationen bzw. Metainformationen zur Verfügung stehen.
Nachfolgend wird auf weitere bekannte Upmix- bzw. Hoch- misch-Verfahren eingegangen, die ohne Steuerparameter arbeiten. Solche Hochmisch-Verfahren werden auch als Blind- Hochmischverfahren oder „Blind-Upmixing"-Verfahren bezeich- net.
Die meisten derartigen Techniken, um aus einem Monokanal ein so genanntes Pseudo-Stereophonie-Signal zu erzeugen (also ein l-auf-2-Upmix) , sind nicht signaladaptiv. Dies bedeutet, dass sie ein Monosignal immer gleich verarbeiten, unabhängig davon, welcher Inhalt in dem Monosignal enthalten ist. Solche Systeme arbeiten oft mit einfachen Filterstrukturen und/oder Zeitverzögerungen, um die erzeugten Signale zu dekorrelieren, beispielsweise durch Verarbeiten des Einkanal-Eingangssignals durch ein Paar von so genannten komplementären Kammfiltern, wie es in M. Schroeder, „An artificial Stereophonie effect obtained from using a Single Signal", JAES, 1957, beschrieben ist. Ein weiterer Überblick solcher Systeme findet sich in C. Faller, „Pseudo stereophony revisited", Proceedings of the AES 118nd Convention, 2005.
Darüber hinaus existiert auch die Technik der Umgebungssignal-Extraktion (Ambience Extraction) unter Verwendung einer nicht-negativen Matrixfaktorisierung, insbesondere im Kontext eines 1-auf-N-Upmix, wobei N größer als zwei ist. Hier wird eine Zeit-Frequenz-Verteilung (TFD; TFD = time- frequency distribution) des Eingangssignals berechnet, beispielsweise mittels einer Kurzzeit-Fourier- Transformation. Ein Schätzwert der TFD der Direktsignal- Komponenten wird mittels eines numerischen Optimierungsverfahrens abgeleitet, das als nicht-negative Matrixfaktori- sierung bezeichnet wird. Ein Schätzwert für die TFD des Umgebungssignals wird durch Berechnen der Differenz der TFD des Eingangssignals und des Schätzwerts der TFD für das Direktsignal bestimmt. Die Re-Synthese bzw. Synthese des Zeitsignals des Umgebungssignals wird unter Verwendung des Phasenspektrogramms des Eingangssignals ausgeführt. Eine zusätzliche Nachverarbeitung wird optional durchgeführt, um die Hörerfahrung des erzeugten Multikanalsignals zu verbessern. Dieses Verfahren ist ausführlich in C. UhIe, A. Walther, O. Hellmuth und J. Herre in „Ambience Separation from mono recordings using non-negative matrix factorizati- on", Proceedings of the AES 30th Conference 2007, beschrieben.
Beim Hochmischen von Stereoaufzeichnungen existieren ver- schiedene Techniken. Eine Technik besteht in der Verwendung von Matrix-Decodierern. Matrix-Decodierer sind unter dem Stichwort Dolby Pro Logic II, DTS Neo: 6 oder HarmanKar- don/Lexicon Logic 7 bekannt und in nahezu jedem Au- dio/Video-Empfänger enthalten, der heutzutage verkauft wird. Als Nebenprodukt ihrer beabsichtigten Funktionalität sind diese Verfahren auch in der Lage, ein blindes Hochmischen durchzuführen. Diese Decodierer verwenden Interkanal- Differenzen und signaladaptive Steuermechanismen, um Multi- kanal-Ausgangssignale zu erzeugen.
Wie es bereits dargelegt worden ist, werden auch Frequenzbereichs-Techniken verwendet, die von Avendano und Jot beschrieben worden sind, um die Umgebungs-Information (ambience Information) in Stereoaudiosignalen zu identifizieren und zu extrahieren. Dieses Verfahren basiert auf der Berechnung eines Interkanal-Kohärenz-Index und einer nichtlinearen Abbildungsfunktion, wodurch es ermöglicht wird, die Zeit-Frequenz-Regionen zu bestimmen, die hauptsächlich aus Umgebungssignal-Komponenten bestehen. Die Umgebungssignale werden nachfolgend synthetisiert und verwendet, um die Surround-Kanäle des Multikanal-Wiedergabesystems zu speisen.
Ein Bestandteil des Direkt/Umgebungs-Hochmisch-Prozesses besteht in der Extraktion eines Umgebungssignals, das in die beiden hinteren Kanäle Ls, Rs eingespeist wird. Es existieren bestimmte Anforderungen an ein Signal, dass es als umgebungsartiges Signal im Kontext eines Di- rekt/Umgebungs-Hochraisch-Prozesses verwendet wird. Eine Voraussetzung besteht darin, dass keine relevanten Teile der Direktschallquellen hörbar sein sollen, um die Direktschallquellen sicher vor dem Hörer lokalisieren zu können. Dies ist besonders dann wichtig, wenn das Audiosignal Sprache oder einen oder mehrere unterscheidbare Sprecher enthält. Sprachsignale, die dagegen von einer Menschenmenge erzeugt werden, müssen nicht unbedingt den Hörer stören, wenn sie nicht vor dem Hörer lokalisiert sind.
Wenn eine spezielle Menge an Sprachkomponenten durch die hinteren Kanäle reproduziert werden würde, würde dies dazu führen, dass die Position des oder der wenigen Sprecher von vorne nach hinten bzw. ein Stück weit zum Benutzer oder sogar hinter den Benutzer platziert wird, was in einer sehr störenden Schallwahrnehmung resultiert. Besonders in dem Fall, in dem Audio- und Videomaterial gleichzeitig dargebo- ten wird, wie beispielsweise in einem Kino, ist ein solcher Eindruck besonders störend.
Eine Grundvoraussetzung für das Tonsignal eines Kinofilms (eines Soundtracks) besteht darin, dass der Höreindruck mit dem Eindruck konform gehen soll, der durch die Bilder erzeugt wird. Hörbare Hinweise zur Lokalisation sollten also nicht zu sichtbaren Hinweisen zur Lokalisation im Gegensatz stehen. Folglich sollte die entsprechende Sprache dann, wenn ein Sprecher auf dem Bildschirm zu sehen ist, ebenfalls vor dem Benutzer platziert sein.
Dasselbe gilt für alle anderen Audiosignale, d. h. ist nicht unbedingt auf Situationen begrenzt, bei denen gleichzeitig Audiosignale und Videosignale dargeboten werden. Solche anderen Audiosignale sind beispielsweise Rundfunksignale oder Hörbücher. Ein Hörer ist daran gewöhnt, dass Sprache von den vorderen Kanälen erzeugt wird, wobei er sich dann, wenn auf einmal Sprache von den hinteren Kanälen kommen würde, wahrscheinlich umdrehen würde, um seinen üblichen Eindruck wiederherzustellen.
Um die Qualität der Umgebungssignale zu verbessern, wird in der deutschen Patentanmeldung DE 102006017280.9-55 vorgeschlagen, ein einmal extrahiertes Umgebungssignal einer Transientendetektion zu unterziehen und eine Transientenun- terdrückung herbeizuführen, ohne wesentliche Einbußen an Energie in dem Umgebungssignal zu erreichen. Hierzu wird eine Signalsubstitution vorgenommen, um Bereiche mit Tran- sienten durch entsprechende Signale ohne Transienten, jedoch mit annähernd der gleichen Energie, zu ersetzen.
Das AES Convention Paper „Descriptor-based specialization", J. Monceaux, F. Pachet u. a., 28. - 31. Mai 2005, Barcelo- na, Spanien, offenbart eine deskriptorenbasierte Spatiali- sierung, bei der auf der Basis von extrahierten Deskriptoren detektierte Sprache gedämpft werden soll, indem nur der Mitte-Kanal stumm geschaltet wird. Hierzu wird ein Spra- chextraktor verwendet. Eine Anschlag- und Einschwingzeit werden verwendet, um Modifikationen des Ausgangssignals zu glätten. So kann ein Multikanal-Soundtrack ohne Sprache aus einem Film extrahiert werden. Wenn eine bestimmte Stereo- Nachhalleigenschaft in dem ursprünglichen Stereo- Downmixsignal vorhanden ist, führt dies dazu, dass ein Hochmisch-Tool diesen Nachhall auf jeden Kanal mit Ausnahme des Mitten-Kanals verteilt, so dass ein Nachhall zu hören ist. Um dies zu unterbinden, wird eine dynamische Pegelsteuerung für L, R, Ls und Rs durchgeführt, um den Nachhall einer Stimme zu dämpfen.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zum Erzeugen eines Multikanalsignals mit einer Anzahl von Ausgangskanälen zu schaffen, das einerseits flexibel und andererseits ein qualitativ hochwertiges Produkt liefert.
Diese Aufgabe wird durch eine Vorrichtung zum Erzeugen eines Multikanalsignals gemäß Patentanspruch 1, ein Verfah- ren zum Erzeugen eines Multikanalsignals gemäß Anspruch 23 oder ein Computerprogramm gemäß Patentanspruch 24 gelöst.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass Sprachkomponenten in den hinteren Kanälen, also in den Umgebungskanälen unterdrückt werden, damit die hinteren Kanäle sprachkomponentenfrei sind. Hierzu wird ein Eingangssignal mit einem oder mehreren Kanälen hoch gemischt, um einen Direktsignalkanal zu liefern und um einen Umgebungssignalkanal oder je nach Implementierung bereits den modifizierten Umgebungssignalkanal zu liefern. Ein Sprachdetektor ist vorgesehen, um in dem Eingangssignal, dem Direktkanal oder dem Umgebungskanal nach Sprachkomponenten zu suchen, wobei solche Sprachkomponenten in zeitlichen und/oder frequenzmäßigen Abschnitten oder auch in Bestandteilen einer orthogonalen Zerlegung beispielsweise auftreten können. Ein Signalmodifizierer ist vorgesehen, um das vom Hochmischer erzeugte Direktsignal oder eine Kopie des Eingangssignals dahin gehend zu modifizieren, dass dort die Sprachsignalkomponenten unterdrückt werden, während die Direktsignalkomponenten in den entsprechenden Abschnitten, die Sprachsignalkomponenten umfassen, weniger oder nicht gedämpft werden. Ein solches modifiziertes Umgebungskanal- signal wird dann zur Erzeugung von Lautsprechersignalen für entsprechende Lautsprecher verwendet.
Wurde jedoch das Eingangssignal modifiziert, so wird das vom Hochmischer erzeugte Umgebungssignal direkt verwendet, da dort bereits die Sprachkomponenten unterdrückt sind, da das das zugrunde liegende Audiosignal ebenfalls bereits unterdrückte Sprachkomponenten hatte. In diesem Fall wird jedoch dann, wenn der Hochmisch-Prozess auch einen Direktkanal erzeugt, der Direktkanal nicht auf der Basis des modifizierten Eingangssignals berechnet, sondern auf der Basis des unmodifizierten Eingangssignals, um zu erreichen, dass selektiv die Sprachkomponenten unterdrückt werden, und zwar nur in dem Umgebungskanal, nicht jedoch in dem Direktkanal, in dem die Sprachkomponenten ja ausdrücklich er- wünscht sind.
Damit wird verhindert, dass eine Reproduktion von Sprachkomponenten in den hinteren Kanälen bzw. Umgebungssignalkanälen stattfindet, die ansonsten den Zuhörer stören oder sogar verwirren würde. Folglich wird erfindungsgemäß sichergestellt, dass Dialoge und andere Sprache, die von einem Zuhörer verstehbar ist, die also eine Spektralcharakteristik hat, die für Sprache typisch ist, vor dem Zuhörer platziert wird.
Dieselben Anforderungen existieren auch für das In-Band- Konzept, bei dem ebenfalls erwünscht wird, dass Direktsignale nicht in den hinteren Kanälen platziert werden, son- dern vor den Zuhörer und gegebenenfalls seitlich vom Zuhörer, jedoch nicht hinter dem Zuhörer, wie es in Fig. 5c gezeigt ist, bei dem die Direktsignalkomponenten (und auch die Umgebungssignalkomponenten) alle vor dem Hörer plat- ziert sind.
Erfindungsgemäß wird also eine signalabhängige Verarbeitung vorgenommen, um die Sprachkomponenten in den hinteren Kanälen bzw. in dem Umgebungssignal zu entfernen oder zu unterdrücken. Hierzu werden zwei wesentliche Schritte vorgenommen, nämlich das Erfassen des Auftretens von Sprache und das Unterdrücken von Sprache, wobei das Erfassen des Auftretens von Sprache im Eingangssignal, im Direktkanal oder im Umgebungskanal vorgenommen werden kann, und wobei das Unterdrücken von Sprache im Umgebungskanal direkt oder indirekt im Eingangssignal vorgenommen werden kann, das dann verwendet wird, um den Umgebungskanal zu erzeugen, wobei dieses modifizierte Eingangssignal nicht dazu verwendet wird, um den Direktkanal zu erzeugen.
Erfindungsgemäß wird also erreicht, dass dann, wenn man ein Multikanal-Surround-Signal aus einem Audiosignal mit weniger Kanälen erzeugt, welches Sprachkomponenten enthält, sichergestellt wird, dass die resultierenden Signale für die vom Benutzer aus gesehen hinteren Kanäle eine minimale Menge an Sprache umfassen, um das ursprüngliche Ton-Bild vor dem Benutzer (Front-Image) zu erhalten. Wenn eine spezielle Menge an Sprachkomponenten durch die hinteren Kanäle reproduziert werden würde, würde die Position der Sprecher außerhalb des vorderen Bereichs positioniert werden, und zwar irgendwo zwischen dem Zuhörer und den vorderen Lautsprechern oder in extremen Fällen sogar hinter dem Zuhörer. Dies würde in einer sehr störenden Schallwahrnehmung resultieren, besonders wenn die Audiosignale gleichzeitig mit visuellen Signalen dargeboten werden, wie es beispielsweise in Filmen der Falls ist. Daher enthalten viele Multikanal-Film-Soundtracks kaum Sprachkomponenten in den hinteren Kanälen. Erfindungsgemäß werden Sprachsignal- komponenten detektiert und an geeigneter Stelle unterdrückt.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
Fig. 1 ein Blockschaltbild eines Ausführungsbeispiels der vorliegenden Erfindung;
Fig. 2 eine Zuordnung von Zeit/Frequenz-Abschnitten eines Analysesignals und eines Umgebungskanals bzw. Eingangssignals zur Erläuterung der „entsprechenden Abschnitte";
Fig. 3 eine Umgebungssignalmodifikation gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 4 eine Kooperation zwischen einem Sprachdetektor und einem Umgebungssignalmodifizierer gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 5a ein Stereo-Wiedergabe-Szenario mit Direktquellen (Schlaginstrumenten) und diffusen Komponenten;
Fig. 5b ein Multikanal-Wiedergabe-Szenario, bei dem alle Direktschaltquellen durch die vorderen Kanäle wiedergegeben werden und diffuse Komponenten durch alle Kanäle wiedergegeben werden, wobei dieses Szenario auch als Direkt-Umgebung-Konzept bezeichnet wird;
Fig. 5c ein Multikanal-Wiedergabe-Szenario, bei dem diskrete Schaltquellen auch durch hintere Kanäle zumindest teilweise wiedergegeben werden können und bei dem ümgebungskanäle nicht oder weniger als in Fig. 5b durch die hinteren Lautsprecher wiedergegeben werden;
Fig. 6a ein weiteres Ausführungsbeispiel mit einer Sprachdetektion im Umgebungskanal und einer Modifikation des Umgebungskanals;
Fig. 6b ein Ausführungsbeispiel mit Sprachdetektion im Eingangssignal und Modifikation des Umgebungska- nals;
Fig. 6c ein Ausführungsbeispiel mit einer Sprachdetektion im Eingangssignal und einer Modifikation des Eingangssignals ;
Fig. 6d ein weiteres Ausführungsbeispiel mit einer Sprachdetektion im Eingangssignal und einer Modifikation im Umgebungssignal, wobei die Modifikation speziell auf die Sprache abgestimmt ist;
Fig. 7 ein Ausführungsbeispiel mit bandweiser Verstärkungsfaktorberechnung basierend auf einem Band- passsignal/Subbandsignal; und
Fig. 8 eine detailliertere Darstellung eines Verstär- kungsberechnungsblocks von Fig. 7.
Fig. 1 zeigt ein Blockschaltbild einer Vorrichtung zum Erzeugen eines Multikanalsignals 10, das in Fig. 1 derart gezeigt ist, dass es einen linken Kanal L, einen rechten Kanal R, einen Mitte-Kanal C, einen LFE-Kanal, einen linken hinteren Kanal LS und einen rechten hinteren Kanal RS aufweist. Es sei darauf hingewiesen, dass die vorliegende Erfindung jedoch auch für beliebige andere Darstellungen als für diese gewählte 5.1-Darstellung geeignet ist, beispielsweise für eine 7.1-Darstellung oder auch für eine 3.0-Darstellung, wobei hier nur ein linker Kanal, ein rechter Kanal und ein Mitte-Kanal erzeugt wird. Das Multi- kanalsignal 10 mit den beispielsweise sechs Kanälen, die in Fig. 1 gezeigt sind, wird aus einem Eingangssignal 12 bzw. „xλλ erzeugt, das eine Anzahl von Eingangskanälen hat, wobei die Anzahl von Eingangskanälen 1 oder größer als 1 ist und beispielsweise gleich 2 ist, wenn ein Stereo-Downmix eingegeben wird. Generell ist jedoch die Anzahl der Ausgangskanäle größer als die Anzahl der Eingangskanäle.
Die in Fig. 1 gezeigte Vorrichtung umfasst einen Hochmi- scher 14 zum Hochmischen des Eingangssignals 12, um wenigstens einen Direktsignalkanal 15 und einen Umgebungssignalkanal 16 oder gegebenenfalls einen modifizierten Umgebungssignalkanal 16' zu erzeugen. Ferner ist ein Sprachdetektor 18 vorgesehen, der ausgebildet ist, um als Analysesignal das Eingangssignal 12 zu verwenden, wie es bei 18a vorgesehen ist, oder um den Direktsignalkanal 15 zu verwenden, wie es bei 18b vorgesehen ist, oder um ein anderes Signal zu verwenden, das im Hinblick auf das zeitliche/frequenzmäßige Auftreten bzw. im Hinblick auf seine Charakteristik, was Sprachkomponenten betrifft, ähnlich zum Eingangssignal 12 ist. Der Sprachdetektor detektiert einen Abschnitt des Eingangssignals, des Direktkanals oder z. B. auch des Umgebungskanals, wie es bei 18c dargestellt ist, in dem ein Sprachanteil auftritt. Dieser Sprachanteil kann ein signi- fikanter Sprachanteil sein, also z. B. ein Sprachanteil, dessen Spracheigenschaft abhängig von einem bestimmten qualitativen oder quantitativen Maß abgeleitet worden ist, wobei das qualitative Maß und das quantitative Maß eine Schwelle überschreitet, die auch als Spracherfassungs- schwelle bezeichnet wird.
Bei einem quantitativen Maß wird eine Spracheigenschaft mit einem numerischen Wert quantifiziert, und dieser numerische Wert wird mit einer Schwelle verglichen. Bei einem qualita- tiven Maß wird eine Entscheidung pro Abschnitt vorgenommen, die durch eines oder mehrere Entscheidungskriterien vorgenommen werden kann. Solche Entscheidungskriterien können beispielsweise verschiedene quantitative Merkmale sein, die untereinander verglichen/gewichtet oder irgendwie verarbeitet werden, um zu einer Ja/Nein-Entscheidung zu kommen.
Die in Fig. 1 gezeigte Vorrichtung umfasst ferner einen Signalmodifizierer 20, der ausgebildet ist, um das ursprüngliche Eingangssignal zu modifizieren, wie es bei 20a gezeigt ist, oder der ausgebildet ist, um den Umgebungskanal 16 zu modifizieren. Wenn der ümgebungskanal 16 modifiziert wird, gibt der Signalmodifizierer 20 einen modifi- zierten Umgebungskanal 21 aus, während dann, wenn das Eingangssignal 20a modifiziert wird, ein modifiziertes Eingangssignal 20b zum Hochmischer 14 ausgegeben wird, der dann den modifizierten Umgebungskanal 16' z. B. durch denselben Hochmischvorgang erzeugt, der für den Direktkanal 15 verwendet worden ist. Sollte dieser Hochmischprozess aufgrund des modifizierten Eingangssignals 20b ebenfalls zu einem Direktkanal führen, so würde dieser Direktkanal verworfen werden, da als Direktkanal ein Direktkanal erfindungsgemäß verwendet wird, der von dem unmodifizierten (ohne Sprachunterdrückung) Eingangssignal 12 und nicht von dem modifizierten Eingangssignal 20b abgeleitet worden ist.
Der Signalmodifizierer ist ausgebildet, um Abschnitte des wenigstens einen Umgebungskanals oder des Eingangssignals zu modifizieren, wobei diese Abschnitte zeitliche oder frequenzmäßige Abschnitte oder Anteile einer orthogonalen Zerlegung beispielsweise sein können. Insbesondere werden die Abschnitte modifiziert, die den Abschnitten entsprechen, die von dem Sprachdetektor detektiert worden sind, so dass der Signalmodifizierer, wie es dargestellt worden ist, den modifizierten Umgebungskanal 21 oder das modifizierte Eingangssignal 20b erzeugt, in dem ein Sprachanteil gedämpft oder eliminiert ist, wobei der Sprachanteil in dem entsprechenden Abschnitt des Direktkanals weniger oder am besten überhaupt nicht gedämpft worden ist.
Darüber hinaus umfasst die in Fig. 1 gezeigte Vorrichtung eine Lautsprechersignalausgabeeinrichtung 22 zum Ausgeben von Lautsprechersignalen in einem Wiedergabeszenario, wie beispielsweise dem in Fig. 1 beispielhaft gezeigten 5.1- Szenario, wobei jedoch auch ein 7.1-Szenario, ein 3.0- Szenario oder ein anderes oder noch höheres Szenario eben- falls möglich ist. Insbesondere werden zum Erzeugen der Lautsprechersignale für ein Wiedergabeszenario der wenigstens eine Direktkanal und der wenigstens eine modifizierte Umgebungskanal verwendet, wobei der modifizierte Umgebungskanal entweder vom Signalmodifizierer 20 stammen kann, wie es bei 21 gezeigt ist, oder vom Hochmischer 14 stammen kann, wie es bei 16' gezeigt ist.
Wenn beispielsweise zwei modifizierte Umgebungskanäle 21 geliefert werden, so könnten diese beiden modifizierten Umgebungskanäle direkt in die beiden Lautsprechersignale Ls, Rs eingespeist werden, während die Direktkanäle nur in die drei vorderen Lautsprecher L, R, C eingespeist werden, so dass eine komplette Aufteilung zwischen Umgebungssignalkomponenten und Direktsignalkomponenten stattgefunden hat. Die Direktsignalkomponenten befinden sich dann alle vor dem Benutzer und die Umgebungssignalkomponenten befinden sich alle hinter dem Benutzer. Alternativ können auch Umgebungssignalkomponenten typischerweise zu einem kleineren Prozentsatz auch in die vorderen Kanäle eingebracht werden, so dass z. B. das in Fig. 5b gezeigte Direkt/Umgebungs- Szenario entsteht, bei dem nicht nur von Surround-Kanälen Umgebungssignale erzeugt werden, sondern auch von den vorderen Lautsprechern z. B. L, C, R.
Wird dagegen das In-Band-Szenario bevorzugt, so werden Umgebungssignalkomponenten ebenfalls hauptsächlich von den vorderen Lautsprechern z. B. L, R, C ausgegeben, wobei jedoch auch Direktsignalkomponenten zumindest teilweise in die beiden hinteren Lautsprecher Ls, Rs eingespeist werden. Um nämlich eine Platzierung der beiden Direktsignalquellen 1100 und 1102 in Fig. 5c an den gezeigten Orten zu erreichen, wird der Anteil der Quelle 1100 im Lautsprecher L etwa genauso groß sein wie im Lautsprecher Ls, damit gemäß einer typischen Panning-Regel die Quelle 1100 in der Mitte zwischen L und Ls platziert werden kann. Die Lautsprechersignalausgabeeinrichtung 22 kann somit je nach Implementierung ein direktes Durchleiten eines eingangsseitig einge- speisten Kanals bewirken oder kann eine Abbildung der Umgebungskanäle und der Direktkanäle, beispielsweise durch ein In-Band-Konzept oder ein Direkt/Umgebungs-Konzept vornehmen, derart, dass eine Verteilung der Kanäle auf die einzelnen Lautsprecher stattfindet und letztendlich, um das tatsächliche Lautsprechersignal zu erzeugen, eine Aufsumma- tion der Anteile aus den einzelnen Kanälen erfolgen kann.
Fig. 2 zeigt eine Zeit/Frequenz-Aufteilung eines Analysesignals im oberen Abschnitt und eines Umgebungskanals oder Eingangssignals in einem unteren Abschnitt. Insbesondere ist entlang der horizontalen Achse die Zeit aufgetragen und ist entlang der vertikalen Achse die Frequenz aufgetragen. Dies bedeutet, dass in Fig. 2 für jedes Signal 15 Zeit/Frequenz-Kacheln oder Zeit/Frequenz-Abschnitte ge- zeichnet sind, die im Analysesignal und im Umgebungskanal/Eingangssignal die gleiche Nummer haben. Dies bedeutet, dass der Signalmodifizierer 20 z. B. dann, wenn der Sprachdetektor 18 im Abschnitt 22 ein Sprachsignal detektiert, den Abschnitt des Umgebungskanals/Eingangssignals irgendwie verarbeitet, wie beispielsweise dämpft, komplett eliminiert oder durch ein Synthesesignal substituiert, das keine Spracheigenschaft hat. Es sei darauf hingewiesen, dass bei der vorliegenden Erfindung die Aufteilung nicht so selektiv sein muss, wie es in Fig. 2 gezeigt ist. Stattdessen kann auch bereits eine zeitliche Detektion einen zufrieden stellenden Effekt liefern, wobei dann ein bestimmter zeitlicher Abschnitt des Analysesignals, beispielsweise von Sekunde 2 zu Sekunde 2,1 als Sprachsignal enthaltend detektiert wird, um dann den Abschnitt des Umgebungskanals oder des Eingangssignals ebenfalls zwischen Sekunde 2 und 2,1 zu verarbeiten, um eine Sprachunterdrückung zu erreichen. Alternativ kann auch eine orthogonale Zerlegung durchgeführt werden, z. B. mittels einer Hauptkomponentenanalyse, wobei dann sowohl im Umgebungskanal oder Eingangssignal als auch im Analysesignal dieselbe Komponentenzerlegung verwen- det wird. Dann werden bestimmte Komponenten, die als Sprachkomponenten im Analysesignal detektiert worden sind, im Umgebungskanal bzw. Eingangssignal gedämpft oder komplett unterdrückt bzw. eliminiert. Es wird also je nach Implementierung ein Abschnitt im Analysesignal detektiert, wobei dann dieser Abschnitt nicht unbedingt im Analysesignal, sondern gegebenenfalls auch in einem anderen Signal verarbeitet wird.
Fig. 3 zeigt eine Implementierung eines Sprachdetektors in Kooperation mit einem Umgebungskanalmodifizierer, wobei der Sprachdetektor lediglich eine Zeitinformation liefert, also, wenn Fig. 2 betrachtet wird, lediglich breitbandig den ersten, zweiten, dritten, vierten oder fünften Zeitabschnitt identifiziert und diese Information dem Umge- bungskanalmodifizierer 20 über eine Steuerleitung 18d (Fig. 1) mitteilt. Der Sprachdetektor 18 und der Umgebungskanalmodifizierer 20, die synchron arbeiten oder die gepuffert arbeiten, erreichen zusammen, dass in dem zu modifizierenden Signal, das beispielsweise das Signal 12 oder das Signal 16 sein kann, das Sprachsignal bzw. die Sprachkomponente gedämpft ist, während sichergestellt wird, dass eine solche Dämpfung des entsprechenden Abschnitts im Direktkanal nicht oder nur weniger auftritt. Je nach Implementierung kann dies dadurch erreicht werden, dass der Hochmi- scher 14 ohne Rücksicht auf Sprachkomponenten arbeitet, wie beispielsweise in einem Matrixverfahren oder in einem anderen Verfahren, das keine spezielle Sprachverarbeitung durchführt. Das dadurch gewonnene Direktsignal wird dann ohne weitere Verarbeitung der Ausgabeeinrichtung 22 zuge- führt, während das Umgebungssignal im Hinblick auf eine Sprachunterdrückung verarbeitet wird. Alternativ kann dann, wenn der Signalmodifizierer das Eingangssignal einer Sprachunterdrückung unterzieht, der Hochmischer 14 gewissermaßen zweimal arbeiten, um einerseits auf der Basis des ursprünglichen Eingangssignals die Direktkanalkomponente zu extrahieren, um aber auf der Basis des modifizierten Eingangssignals 20b den modifizierten Umgebungskanal 16' zu extrahieren. Hier würde derselbe Hochmisch-Algσrithmus zweimal ablaufen, jedoch unter Verwendung eines jeweils anderen Eingangssignals, wobei in dem einen Eingangssignal die Sprachkomponente gedämpft ist und im anderen Eingangssignal die Sprachkomponente nicht gedämpft ist.
Je nach Implementierung hat der Umgebungskanalmodifizierer eine Funktionalität einer Breitbanddämpfung oder eine Funktionalität einer Hochpassfilterung, wie es nachfolgend noch dargelegt wird.
Nachfolgend werden anhand der Fig. 6a, 6b, 6c und 6d ver- schiedene Implementierungen der erfindungsgemäßen Vorrichtung dargelegt.
In Fig. 6a wird das Umgebungssignal a aus dem Eingangssignal x extrahiert, wobei diese Extraktion ein Teil der Funktionalität des Hochmischens 14 ist. Das Auftreten von Sprache wird in dem Umgebungssignal a detektiert. Das Detektionsergebnis d wird im Umgebungskanalmodifizierer 20 verwendet, der das modifizierte Umgebungssignal 21 berechnet, in dem Sprachanteile unterdrückt sind.
Fig. 6b zeigt eine zur Fig. 6a dahin gehend unterschiedliche Konfiguration, dass das Eingangssignal und nicht das Umgebungssignal dem Sprachdetektor 18 als Analysesignal 18a zugeführt wird. Insbesondere wird das modifizierte Umge- bungskanalsignal as ähnlich der Konfiguration von Fig. 6a berechnet, wobei jedoch die Sprache im Eingangssignal detektiert wird. Dies wird dadurch motiviert, dass die Sprachkomponenten im Allgemeinen im Eingangssignal x deut- licher auffindbar sind als im ümgebungssignal a. Somit kann durch die in Fig. βb gezeigte Konfiguration eine höhere Zuverlässigkeit erreicht werden.
In Fig. 6c wird das sprachmodifizierte Umgebungssignal as aus einer Version xs des Eingangssignals extrahiert, das bereits einer Sprachsignalunterdrückung unterzogen worden ist. Da die Sprachkomponenten in x typischerweise prominenter hervortreten als in einem extrahierten Umgebungssignal ist ihre Unterdrückung sicherer und nachhaltiger durchzuführen als in Fig. 6a. Nachteil der in Fig. 6c gezeigten Konfiguration im Vergleich zu der Konfiguration in Fig. 6a ist, dass mögliche Artefakte der Sprachunterdrückung und den Umgebungsextraktionsprozess abhängig vom Typ des Ex- traktionsverfahrens noch vergrößert werden könnten. Allerdings wird in Fig. 6c die Funktionalität des Umgebungskana- lextraktors 14 nur dazu verwendet, den Umgebungskanal aus dem modifizierten Audiosignal zu extrahieren. Der Direktka- nal wird jedoch nicht aus dem modifizierten Audiosignal xs (20b) extrahiert, sondern auf der Basis des ursprünglichen Eingangssignals x (12).
Bei der in Fig. 6d gezeigten Konfiguration wird das Umgebungssignal a aus dem Eingangssignal x durch den Hochmi- scher extrahiert. Das Auftreten von Sprache wird im Eingangssignal x detektiert. Ferner werden durch einen Sprach- analysator 30 zusätzliche Seiteninformationen e berechnet, die die Funktionalität des Umgebungskanalmodifizierers 20 zusätzlich steuern. Diese Seiteninformationen werden direkt aus dem Eingangssignal berechnet und können die Position von Sprachkomponenten in einer Zeit/Frequenz-Darstellung, beispielsweise in Form eines Spektrogramms von Fig. 2 sein oder können weitere Zusatzinformationen sein, auf die nachfolgend noch näher eingegangen wird.
Nachfolgend wird detaillierter auf die Funktionalität des Sprachdetektors 18 eingegangen. Die Aufgabe einer Sprachde- tektion besteht darin, eine Mischung aus Audiosignalen zu analysieren, um eine Wahrscheinlichkeit abzuschätzen, dass Sprache präsent ist. Das Eingangssignal kann ein Signal sein, das aus einer Vielzahl von unterschiedlichen Typen von Audiosignalen zusammengesetzt sein kann, beispielsweise aus einem Musiksignal, aus Rauschen oder aus speziellen Toneffekten, wie sie von Kinofilmen bekannt sind. Eine Möglichkeit zur Sprachdetektion besteht darin, ein Mustererkennungssystem einzusetzen. Unter Mustererkennung versteht man das Analysieren von Rohdaten und das Durchführen einer speziellen Verarbeitung basierend auf einer Kategorie eines Musters, das man in den Rohdaten entdeckt hat. Insbesondere beschreibt der Ausdruck „Muster" oder „Pattern" eine zugrunde liegende Ähnlichkeit, die zwischen den Messungen von Objekten gleicher Kategorien (Klassen) zu finden ist. Die Basisoperationen eines Mustererkennungssystems bestehen in dem Erfassen, also der Aufnahme der Daten unter Verwendung eines Wandlers, einer Vorverarbeitung, einer Merkmalsextraktion und einer Klassifikation, wobei diese Grundoperationen in der angegebenen Reihenfolge durchge- führt werden können.
Üblicherweise werden Mikrophone als Sensoren für ein Spracherfassungssystem eingesetzt. Eine Vorbereitung kann eine A/D-Wandlung, ein Resampling oder eine Rauschreduktion umfassen. Die Merkmalsextraktion ist die Berechnung von charakteristischen Merkmalen für jedes Objekt aus den Messungen. Die Merkmale werden derart gewählt, dass sie unter Objekten derselben Klasse ähnlich sind, dass also eine gute Intra-Klassen-Kompaktheit erreicht wird und dass sie unterschiedlich sind für Objekte unterschiedlicher Klassen, so dass eine Inter-Klassen-Trennbarkeit erreicht wird. Eine dritte Anforderung besteht darin, dass die Merkmale robust bezüglich Rauschen, ümgebungsbedingungen und für die menschliche Wahrnehmung irrelevanten Transfor- mationen des Eingangssignals sein sollten. Die Merkmalsextraktion kann in zwei getrennte Stufen aufgeteilt werden. Die erste Stufe ist die Merkmalsberechnung und die zweite Stufe ist die Merkmalsprojektion oder Transformation auf eine im Allgemeinen orthogonale Basis, um eine Korrelation zwischen Merkmalsvektoren zu minimieren und um die Dimensi- onalität der Merkmale zu reduzieren, indem Elemente mit niedriger Energie nicht verwendet werden.
Die Klassifikation ist der Prozess der Entscheidung, ob Sprache vorhanden ist oder nicht, und zwar basierend auf den extrahierten Merkmalen und einem trainierten Klassifizierer. So sei folgende Gleichung gegeben.
In der obigen Gleichung wird eine Menge von Trainingsvektoren SlxY definiert, wobei Merkmalsvektoren durch xi bezeich- net werden und der Satz von Klassen durch Y. Für eine grundsätzliche Spracherfassung gilt also, dass Y zwei Werte hat, nämlich {Sprache, Nicht-Sprache}.
In der Trainingsphase werden die Merkmale Xi aus bezeichne- ten Daten berechnet, d. h. aus Audiosignalen, bei denen bekannt ist, zu welcher Klasse y dieselben gehören. Nach einer Vollendung des Trainings hat der Klassifizierer die Charakteristika aller Klassen gelernt.
In der Anwendungsphase des Klassifizierers werden die Merkmale aus den unbekannten Daten wie in der Trainingsphase berechnet und projiziert und vom Klassifizierer aufgrund der im Training erlangten Kenntnis über die Charakteristika der Klassen klassifiziert.
Nachfolgend wird auf spezielle Implementierungen der Sprachunterdrückung eingegangen, wie sie beispielsweise durch den Signalmodifizierer 20 durchgeführt werden können. So können verschiedene Verfahren eingesetzt werden, um Sprache in einem Audiosignal zu unterdrücken. Hierbei gibt es Verfahren, die aus dem Gebiet der Sprachverstärkung und Rauschreduktion für Kommunikationsanwendungen bekannt sind. Ursprünglich wurden Sprachverstärkungsverfahren dazu ver- wendet, um die Sprache in einer Mischung aus Sprache und Hintergrundrauschen zu verstärken. Solche Methoden können modifiziert werden, um auch das Gegenteil zu bewirken, nämlich eine Unterdrückung von Sprache, wie sie für die vorliegende Erfindung durchgeführt wird.
So existieren Lösungsansätze zur Sprachverstärkung und Rauschreduktion, die die Koeffizienten einer Zeit/Frequenz- Darstellung gemäß einem Schätzwert des Grads des Rauschens, das in einem solchen Zeit/Frequenz-Koeffizienten enthalten ist, dämpfen oder verstärken. Wenn keine zusätzlichen Informationen über ein Hintergrundrauschen bekannt sind, beispielsweise a-priori-Informationen oder Informationen, die durch einen speziellen Rauschsensor gemessen werden, wird eine Zeit/Frequenz-Darstellung aus einer verrauschten Messung gewonnen, beispielsweise unter Verwendung spezieller Minimal-Statistik-Verfahren. Eine Rauschunterdrückungsregel berechnet einen Dämpfungsfaktor unter Verwendung des Rauschschätzwerts. Dieses Prinzip ist als Kurzzeit- Spektraldämpfung oder Spektral-Gewichtung bekannt, wie es beispielsweise in G. Schmid, „Single-channel noise suppres- sion based on spectral weighting", Eurasip Newsletter 2004, bekannt ist. Signalverarbeitungsmethoden, die gemäß dem Prinzip der Kurzzeit-Spektraldämpfung (STSA) arbeiten, bestehen in der Spektralsubtraktion, der Wiener-Filterung und dem Ephraim-Malah-Algorithmus. Eine allgemeinere Formulierung des STSA-Ansatzes führt zu einem Signal-Subspace- Verfahren, das auch als Methode des reduzierten Rangs bekannt ist und in P. Hansen und S. Jensen, „Fir filter representation of reduced-rank noise reduction", IEEE TSP, 1998, beschrieben ist.
Prinzipiell können also alle Verfahren, die Sprache verstärken oder Nicht-Sprach-Komponenten unterdrücken, auf entgegengesetzte Art und Weise mit Blick auf ihre bekannte Verwendung eingesetzt werden, um Sprache zu unterdrücken bzw. um Nicht-Sprache zu verstärken. Das allgemeine Modell der Sprachverstärkung oder Rauschunterdrückung besteht darin, dass das Eingangssignal eine Mischung aus erwünschtem Signal (Sprache) und dem Hintergrundrauschen (NichtSprache) ist. Eine Unterdrückung der Sprache wird z. B. durch Invertieren der Dämpfungsfaktoren in einem STSA- basierten Verfahren oder durch Austauschen der Definition des erwünschten Signals und des Hintergrundrauschens erreicht.
Eine wichtige Anforderung bei der Sprachunterdrückung besteht jedoch darin, dass im Hinblick auf den Kontext des Hochmischens das resultierende Audiosignal als Audiosignal hoher Audioqualität wahrgenommen wird. Es ist bekannt, dass Sprachverbesserungsverfahren und Rauschreduktionsverfahren hörbare Artefakte in das Ausgangssignal einführen. Ein Beispiel eines solchen Artefakts wird als Musikrauschen oder Musiktöne bekannt und resultiert aus einer fehlerhaften Schätzung von Rauschböden (noise floors) und schwankenden Subband-Dämpfungsfaktoren.
Alternativ können auch blinde Quellentrennverfahren eingesetzt werden, um die Sprachsignalanteile von dem Umgebungssignal zu separieren und beide anschließend getrennt zu manipulieren .
Für die spezielle Anforderung nach der Erzeugung hochqualitativer Audiosignale werden jedoch bestimmte nachfolgend dargelegte Verfahren aufgrund der Tatsache, dass sie im Vergleich zu anderen Verfahren wesentlich besser abschneiden, bevorzugt. Ein Verfahren besteht in der Breitbanddämp- fung, wie sie in Fig. 3 bei 20 angedeutet ist. Das Audiosignal wird zu den Zeitabschnitten, wo Sprache vorhanden ist, gedämpft. Spezielle Verstärkungsfaktoren liegen im Bereich zwischen -12 dB und -3 dB, wobei eine bevorzugte Dämpfung bei 6 dB liegt. Da andere Signalkomponen- ten/anteile genauso unterdrückt werden, könnte man meinen, dass der gesamte Verlust an Audiosignalenergie deutlich wahrgenommen wird. Es hat sich jedoch herausgestellt, dass dieser Effekt nicht störend ist, da sich der Benutzer ohnehin besonders auf die vorderen Lautsprecher L, C, R konzentriert, wenn eine Sprachsequenz beginnt, so dass der Benutzer die Energieabnahme der hinteren Kanäle bzw. des Umgebungssignals, dann, wenn er sich gerade auf ein Sprach- signal konzentriert, nicht wahrnehmen wird. Dies wird insbesondere durch den weiteren typischen Effekt verstärkt, dass der Pegel des Audiosignals ohnehin aufgrund einer einsetzenden Sprache zunimmt. Durch Einführen einer Dämpfung im Bereich zwischen -12 dB und 3 dB wird die Dämpfung nicht als störend wahrgenommen. Stattdessen empfindet es der Benutzer wesentlich angenehmer, dass aufgrund der Unterdrückung von Sprachkomponenten in den hinteren Kanälen ein Effekt erreicht wird, der dazu führt, dass für den Benutzer die Sprachkomponenten ausschließlich in den vorde- ren Kanälen positioniert sind.
Ein alternatives Verfahren, das ebenfalls in Fig. 3 bei 20 angedeutet wird, besteht in einer Hochpassfilterung. Das Audiosignal wird dort, wo Sprache vorhanden ist, einer Hochpassfilterung unterzogen, wobei eine Grenzfrequenz im Bereich zwischen 600 Hz und 3.000 Hz liegt. Die Einstellung der Grenzfrequenz ergibt sich aus der Signalcharakteristik von Sprache im Hinblick auf die vorliegenden Erfindung. Das Langzeit-Leistungsspektrum eines Sprachsignals konzentriert sich auf einen Bereich unter 2,5 kHz. Der bevorzugte Bereich der Grundfrequenz von tonaler Sprache (voiced speech) liegt im Bereich zwischen 75 Hz und 330 Hz. Ein Bereich zwischen 60 Hz und 250 Hz ergibt sich für männliche Erwachsene. Mittelwerte liegen bei 120 Hz für männliche Sprecher und 215 Hz für weibliche Sprecherinnen. Aufgrund der Resonanzen im Vokaltrakt werden bestimmte Signalfrequenzen verstärkt. Die entsprechenden Peaks in dem Spektrum werden auch als Formant-Frequenzen oder einfach als Formanten bezeichnet. Typischerweise existieren etwa drei signifikan- te Formanten unter 3.500 Hz. Folglich zeigt die Sprache eine 1/F-Natur, d. h. die spektrale Energie nimmt mit zunehmender Frequenz ab. Daher können Sprachkomponenten zu Zwecken der vorliegenden Erfindung gut durch eine Hochpass- filterung mit dem angegebenen Grenzfrequenzbereich gefiltert werden.
Eine weitere bevorzugte Implementierung besteht in der Sinus-Signal-Modellierung, die anhand von Fig. 4 dargestellt wird. So wird in einem ersten Schritt 40 die Grundwelle einer Sprache detektiert, wobei diese Detektion im Sprachdetektor 18 oder aber, wie es in Fig. 6e gezeigt ist, in dem Sprachanalysator 30 stattfinden kann. Hierauf wird in einem Schritt 41 eine Untersuchung durchgeführt, um die zu der Grundwelle gehörenden Oberwellen herauszufinden. Diese Funktionalität kann im Sprachdetek- tor/Sprachanalysator oder auch sogar bereits im Umgebungs- signalmodifizierer durchgeführt werden. Hierauf wird für das Umgebungssignal ein Spektrogramm berechnet, und zwar auf der Basis einer blockweise ausgeführten Hin- Transformation, wie es bei 42 dargelegt ist. Hierauf wird die eigentliche Sprachunterdrückung in einem Schritt 43 durchgeführt, in dem die Grundwelle und die Oberwellen im Spektrogramm gedämpft werden. In einem Schritt 44 wird dann das modifizierte Umgebungssignal, in dem die Grundwelle und die Oberwellen gedämpft oder eliminiert sind, wieder einer Rücktransformation unterzogen, um das modifizierte Umgebungssignal oder das modifizierte Eingangssignal zu errei- chen.
Diese sinusartige Signalmodellierung wird oft für die Tonsynthese, die Audiocodierung, die Quellentrennung, die Tonmanipulation und zur Rauschunterdrückung eingesetzt. Hier wird ein Signal als Zusammensetzung aus Sinuswellen mit zeitlich variierenden Amplituden und Frequenzen dargestellt. Tonale Sprachsignalkomponenten werden manipuliert, indem die Partialtöne, d. h. die Grundwelle und deren Harmonische (Oberwellen) , identifiziert und modifiziert werden.
Die Partialtöne werden mittels eines Partialton-Finders identifiziert, wie es bei 41 dargelegt ist. Typischerweise wird das Partialton-Finden in der Zeit/Frequenz-Domäne durchgeführt. Ein Spektrogramm wird mittels einer Kurzzeit- Fourier-Transformation, wie es bei 42 angedeutet ist, durchgeführt. Lokale Maxima in jedem Spektrum des Spektrogramms werden detektiert und Trajektorien durch lokale Maxima benachbarter Spektren bestimmt. Eine Schätzung der Grundfrequenz kann den Spitzen-Such-Prozess (Peak Picking) unterstützen, wobei diese Abschätzung der Grundfrequenz bei 40 durchgeführt wird. Eine Sinussignaldarstel- lung wird dann aus den Trajektorien erreicht. Es sei darauf hingewiesen, dass also die Reihenfolge zwischen dem Schritt 40, 41 und dem Schritt 42 auch variiert werden kann, so dass zunächst eine Hin-Transformation 42 ausgeführt wird, die im Sprachanalysator 30 von Fig. 6d erfolgt.
Verschiedene Erweiterungen der Ableitung einer Sinussignaldarstellung wurden vorgeschlagen. Ein Multi-Auflösungs- Verarbeitungs-Lösungsansatz zur Rauschreduktion ist in D. Andersen und M. Clements, „Audio signal noise reduction using multi-resolution sinusoidal modeling", Proceedings of ICASSP 1999, dargestellt. Ein iterativer Prozess für das Ableiten der Sinusdarstellung wurde in J. Jensen und J. Hansen, „Speech enhancement using a constrained iterative sinusoidal model", IEEE TSAP 2001, vorgestellt.
Unter Verwendung der sinusförmigen Signaldarstellung wird ein verbessertes Sprachsignal durch Verstärken der Sinuskomponente erhalten. Die erfindungsgemäße Sprachunterdrückung möchte jedoch genau das Gegenteil erreichen, nämlich die Partialtöne unterdrücken, wobei die Partialtöne die Grundwelle und deren Harmonische umfassen, und zwar für ein Sprachsegment mit tonaler Sprache. Typischerweise sind die Sprachkomponenten mit hoher Energie tonal. So wird eine Sprache bei einem Pegel von 60 - 75 dB für Vokale und etwa 20 - 30 dB niedriger für Konsonanten gesprochen. Für tonale Sprache (Vokale) ist die Erregung ein periodisches pulsartiges Signal. Das Erregungssignal wird durch den Vokaltrakt gefiltert. Folglich ist nahezu die gesamte Energie eines tonalen Sprachsegments in der Grundwelle und ihren Harmonischen konzentriert. Durch Unterdrückung dieser Partialtöne werden die Sprachkomponenten signifikant unterdrückt.
Eine weitere Art und Weise, um eine Sprachunterdrückung zu erreichen, ist in Fig. 7 und Fig. 8 dargestellt. Fig. 7 und Fig. 8 erläutern das Grundprinzip der Kurzzeit- Spektraldämpfung oder Spektralgewichtung. Hier wird zunächst das Leistungsdichtespektrum des Hintergrundrauschens geschätzt. Das dargestellte Verfahren schätzt die Menge an Sprache, die in einer Zeit/Frequenz-Kachel enthalten ist, unter Verwendung von so genannten Low-Level-Merkmalen, die ein Maß für die „Sprachartigkeit" eines Signals in einem bestimmten Frequenzabschnitt geben. Low-Level-Features bzw. Merkmale niederer Ebene sind Merkmale mit niedrigem Niveau bezüglich der Interpretation ihrer Bedeutung und des Aufwands ihrer Berechnung.
Das Audiosignal wird in eine Anzahl von Frequenzbändern mittels einer Filterbank oder einer Kurzzeit-Fourier- Transformation zerlegt, die in Fig. 7 bei 70 dargestellt ist. Hierauf werden, wie es bei 71a und 71b beispielhaft dargestellt ist, zeitlich variierende Verstärkungsfaktoren für alle Subbänder aus solchen Merkmalen niederer Ebenen (Low-Level-Features) berechnet, um Subbandsignale proportional zu der Menge an Sprache, die sie enthalten, zu dämpfen. Geeignete Merkmale auf niedriger Ebene sind das spektrale Flachheitmaß (SFM; SFM = spectral flatness measure) und die 4-Hz-Modulationsenergie (4HzME) . Das SFM misst den Grad an Tonalität eines Audiosignals und ergibt sich für ein Band aus dem Quotienten des geometrischen Mittelwerts aller Spektralwerte in einem Band und des arithmetischen Mittelwerts der Spektralkomponenten in dem Band. Das 4HzME wird dadurch motiviert, dass Sprache einen charakteristi- sehen Energiemodulations-Peak bei etwa 4 Hz hat, was der mittleren Silbenrate eines Sprechers entspricht. Fig. 8 zeigt eine detailliertere Darstellung des Verstär- kungsberechnungsblocks 71a und 71b von Fig. 7. Es wird auf der Basis eines Subbands Xi eine Mehrzahl von verschiedenen Low-Level-Features, also LLFl, ..., LLFn berechnet. Diese Features werden dann in einem Kombinierer 80 kombiniert, um zu einem Verstärkungsfaktor gi für ein Subband zu kommen.
Es sei darauf hingewiesen, dass je nach Implementierung nicht unbedingt Merkmale niedriger Ordnung, sondern jegli- che Merkmale verwendet werden können, wie beispielsweise auch Energiemerkmale etc., die dann gemäß der Implementierung von Fig. 8 in einem Kombinierer miteinander kombiniert werden können, um zu einem quantitativen Verstärkungsfaktor gi zu kommen, derart, dass jedes Band (zu jedem Zeitpunkt) variabel gedämpft wird, um eine Sprachunterdrückung zu erreichen.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert wer- den. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfin- düng somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt, kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Claims

Patentansprüche
1. Vorrichtung zum Erzeugen eines Multikanalsignals (10) mit einer Anzahl von Ausgangskanälen, die größer als eine Anzahl von Eingangskanälen eines Eingangssignals
(12) ist, wobei die Anzahl von Eingangskanälen gleich
1 oder größer ist, mit folgenden Merkmalen:
einem Hochmischer (14) zum Hochmischen des Eingangs- Signals, um wenigstens einen Direktsignalkanal und wenigstens einen Umgebungskanal oder einen modifizierten Umgebungskanal zu liefern;
einem Sprachdetektor (18) zum Detektieren eines Ab- Schnitts des Eingangssignals, des Direktsignalkanals oder des Umgebungssignalkanals, in dem ein Sprachanteil auftritt; und
einem Signalmodifi zierer (20) zum Modifizieren eines Abschnitts des Umgebungskanals oder des Eingangssignals, der dem Abschnitt entspricht, der von dem Sprachdetektor (18) detektiert wurde, um einen modifizierten Umgebungssignalkanal oder ein modifiziertes Eingangssignal zu erhalten, in dem der Sprachanteil gedämpft oder eliminiert ist, wobei der Abschnitt in dem Direktkanalsignal weniger oder nicht gedämpft ist; und
einer Lautsprechersignalausgabeeinrichtung (22) zum Ausgeben von Lautsprechersignalen in einem Wiedergabeschema unter Verwendung des Direktkanals und des modifizierten Umgebungskanals.
2. Vorrichtung gemäß Anspruch 1, bei der die Lautspre- chersignalausgabeeinrichtung (22) ausgebildet ist, um nach einem Direkt/Umgebungs-Schema zu arbeiten, bei dem jeder Direkt kanal auf einen eigenen Lautsprecher abbildbar ist, und jeder Umgebungskanal auf einen ei- genen Lautsprecher abbildbar ist, wobei die Lautsprechersignalausgabeeinrichtung (22) ausgebildet ist, um auf Lautsprechersignale für Lautsprecher hinter einem Zuhörer in dem Wiedergabeschema lediglich den Umge- bungskanal und nicht den Direktkanal abzubilden.
3. Vorrichtung gemäß Anspruch 1, bei der die Lautsprechersignalausgabeeinrichtung (22) ausgebildet ist, um nach einem In-Band-Schema zu arbeiten, bei dem jeder Direktsignalkanal auf einen oder mehrere Lautsprecher abhängig von seiner Position abbildbar ist, und bei dem die Lautsprechersignalausgabeeinrichtung (22) ausgebildet ist, um den ümgebungskanal und den Direktkanal oder einen Anteil des Umgebungskanals oder des Di- rektkanals, welche für einen Lautsprecher bestimmt sind, zu addieren, um ein Lautsprecher-Ausgabesignal für den Lautsprecher zu erhalten.
4. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der die Lautsprechersignalausgabeeinrichtung ausgebildet ist, um Lautsprechersignale für wenigstens drei Kanäle zu liefern, die in dem Wiedergabeschema vor einem Hörer platzierbar sind, und um wenigstens zwei Kanäle zu erzeugen, die in dem Wiedergabeschema hinter dem Hörer platzierbar sind.
5. Vorrichtung gemäß einem der vorhergehenden Ansprüche,
bei der der Sprachdetektor (18) ausgebildet ist, um zeitlich blockweise zu arbeiten, und um jeden zeitlichen Block bandweise frequenzselektiv zu analysieren, um ein frequenzmäßiges Band für einen zeitlichen Block zu detektieren, und
bei dem der Signalmodifizierer (20) ausgebildet ist, um ein frequenzmäßiges Band in einem solchen zeitlichen Block des Umgebungs signalkanals oder des Ein- gangssignals zu modifizieren, das dem Band entspricht, das von dem Sprachdetektor (18) detektiert worden ist.
6. Vorrichtung gemäß einem der vorhergehenden Ansprüche,
bei der der Signalmodifizierer ausgebildet ist, um das ümgebungskanalsignal oder das Eingangssignal oder Teile des Umgebungskanalsignals oder des Eingangssignals in einem Zeitintervall zu dämpfen, das von dem Sprach- detektor (18) detektiert worden ist, und
wobei der Hochmischer (14) und die Lautsprechersignalausgabeeinrichtung (22) ausgebildet sind, um den wenigstens einen Direktkanal so zu erzeugen, dass der- selbe zeitliche Abschnitt weniger oder nicht gedämpft wird, so dass der Direktkanal eine Sprachkomponente aufweist, die bei einer Wiedergabe stärker wahrnehmbar ist als eine Sprachkomponente in dem modifizierten ümgebungskanalsignal oder in dem modifizierten Eingangs- signal.
7. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der der Signalmodifizierer (20) ausgebildet ist, um den wenigstens einen Umgebungskanal oder das Ein- gangssignal dann einer Hochpassfilterung zu unterziehen, wenn der Sprachdetektor (18) einen zeitlichen Abschnitt detektiert hat, in dem ein Sprachanteil auftritt, wobei eine Grenzfrequenz des Hochpassfilters zwischen 400 Hz und 3.500 Hz liegt.
8. Vorrichtung gemäß einem der vorhergehenden Ansprüche,
bei der der Sprachdetektor (18) ausgebildet ist, um ein zeitliches Auftreten einer Sprachsignalkomponente zu detektieren, und bei der der Signalmodifi zierer (20) ausgebildet ist, um eine Grundfrequenz der Sprachsignalkomponente zu ermitteln, und
um Töne in dem Umgebungskanal oder dem Eingangssignal bei der Grundfrequenz und den Oberwellen selektiv zu dämpfen (43), um das modifizierte Umgebungskanalsignal oder das modifizierte Eingangssignal zu erhalten.
9. Vorrichtung gemäß einem der vorhergehenden Ansprüche,
bei der der Sprachdetektor (18) ausgebildet ist, um pro Frequenzband ein Maß für einen Sprachgehalt zu ermitteln, und
bei der der Signalmodifizierer (20) ausgebildet ist, um ein entsprechendes Band des Umgebungskanals gemäß dem Maß mit einem Dämpfungsfaktor zu dämpfen (72a, 72b) , wobei ein höheres Maß in einem höheren Dämp- fungsfaktor und ein niedrigeres Maß in einem niedrigeren Dämpfungsfaktor resultiert.
10. Vorrichtung gemäß Anspruch 9, bei der der Signalmodifizierer (20) folgende Merkmale aufweist:
einen Zeit-Frequenzbereichsumsetzer (70) zum Umsetzen des Umgebungssignals oder des Eingangssignals in eine spektrale Darstellung;
einen Dämpfer (72a, 72b) zum frequenzselektiven variablen Dämpfen der spektralen Darstellung; und
einen Frequenz-Zeitbereichsumsetzer (73) zum Umsetzen der variabel gedämpften spektralen Darstellung in dem Zeitbereich, um das modifizierte Umgebungskanalsignal oder das modifizierte Eingangssignal zu erhalten.
11. Vorrichtung gemäß Anspruch 9 oder 10, bei der der Sprachdetektor (18) folgende Merkmale aufweist:
einen Zeit-Frequenzbereichsumsetzer (42) zum Liefern einer spektralen Darstellung eines Analysesignals;
eine Einrichtung zum Berechnen von einem oder mehreren Merkmalen (71a, 71b) pro Band des Analysesignals; und
eine Einrichtung (80) zum Berechnen eines Maßes für einen Sprachgehalt basierend auf einer Kombination des einen oder der mehreren Merkmale pro Band.
12. Vorrichtung gemäß Anspruch 11, bei der der Signalmodi- fizierer (20) ausgebildet ist, um als Merkmale ein spektrales Flachheitsmaß (SFM) oder eine 4-Hz- Modulationsenergie (4HzME) zu berechnen.
13. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der der Sprachdetektor (18) ausgebildet ist, um das Umgebungskanalsignal (18c) zu analysieren, und bei der der Signalmodifizierer (20) ausgebildet ist, um das Umgebungskanalsignal (16) zu modifizieren.
14. Vorrichtung gemäß einem der Ansprüche 1 bis 12, bei der der Sprachdetektor (18) ausgebildet ist, um das Eingangssignal (18a) zu analysieren, und bei der der Signalmodifizierer (20) ausgebildet ist, um das Umgebungskanalsignal (16) basierend auf Steuerinformatio- nen (18d) von dem Sprachdetektor (18) zu modifizieren.
15. Vorrichtung gemäß einem der Ansprüche 1 bis 12, bei der der Sprachdetektor (18) ausgebildet ist, um das Eingangssignal (18a) zu analysieren, und bei der der Signalmodifizierer (20) ausgebildet ist, um das Eingangssignal basierend auf Steuerinformationen (18d) von dem Sprachdetektor (18) zu modifizieren, und bei der der Hochmischer (14) einen Umgebungskanalextraktor aufweist, der ausgebildet ist, um auf der Basis des modifizierten Eingangssignals das modifizierte Umgebungskanalsignal (16') zu ermitteln, wobei der Hochmischer (14) ferner ausgebildet ist, um auf der Basis des Eingangssignals (12) am Eingang des Signalmodifi- zierers (20) das Direktkanalsignal (15) zu ermitteln.
16. Vorrichtung gemäß einem der Ansprüche 1 bis 12,
bei der der Sprachdetektor (18) ausgebildet ist, um das Eingangssignal (18a) zu analysieren, bei der ferner ein Sprachanalysator (30) vorgesehen ist, um das Eingangssignal einer Sprachanalyse zu unterziehen, und
bei der der Signalmodifizierer (20) ausgebildet ist, um das Umgebungskanalsignal (16) basierend auf Steuerinformationen (18d) von dem Sprachdetektor (18) und basierend auf Sprachanalyseinformationen (18e) von dem Sprachanalysator (30) zu modifizieren.
17. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der der Hochmischer (14) als Matrix-Decodierer ausgebildet ist.
18. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der der Hochmischer (14) als Blind-Hochmischer ausgebildet ist, der lediglich auf der Basis des Eingangssignals (12) , aber ohne zusätzlich übertragene Hochmisch-Informationen das Direktkanalsignal (15) , das Umgebungskanalsignal (16) oder das modifizierte Umgebungskanalsignal (16') erzeugt.
19. Vorrichtung gemäß einem der vorhergehenden Ansprüche,
bei der der Hochmischer (14) ausgebildet ist, um eine statistische Analyse des Eingangssignals (12) durchzuführen, um das Direktkanalsignal (15), das Umgebungs- kanalsignal (16) oder das modifizierte Umgebungskanal- signal (16' ) zu erzeugen.
20. Vorrichtung gemäß einem der vorhergehenden Ansprüche, bei der das Eingangssignal ein Monosignal mit einem
Kanal ist und bei der das Ausgangsignal ein Multika- nalsignal mit zwei oder mehr Kanalsignalen ist.
21. Vorrichtung gemäß einem der Ansprüche 1 bis 19, bei der der Hochmischer (14) ausgebildet ist, um als Eingangssignal ein Stereosignal mit zwei Stereokanalsignalen zu erhalten, und bei der der Hochmischer (14) ferner ausgebildet ist, um das Umgebungskanalsignal (16) oder das modifizierte Umgebungskanalsignal (16' ) auf der Basis einer Kreuzkorrelationsberechnung der Stereokanalsignale durchzuführen .
22. Verfahren zum Erzeugen eines Multikanalsignals (10) mit einer Anzahl von Ausgangs kanälen, die größer als eine Anzahl von Eingangskanälen eines Eingangssignals (12) ist, wobei die Anzahl von Eingangskanälen gleich 1 oder größer ist, mit folgenden Schritten:
Hochmischen (14) des Eingangssignals, um wenigstens einen Direktsignalkanal und wenigstens einen Umgebungskanal oder einen modifizierten Umgebungskanal zu liefern;
Detektieren (18) eines Abschnitts des Eingangssignals, des Direktsignalkanals oder des Umgebungssignalkanals, in dem ein Sprachanteil auftritt; und
Modifizieren (20) eines Abschnitts des Umgebungskanals oder des Eingangssignals, der dem Abschnitt ent- spricht, der im Schritt des Detektierens (18) detek- tiert wurde, um einen modifizierten Umgebungssignalkanal oder ein modifiziertes Eingangssignal zu erhalten, in dem der Sprachanteil gedämpft oder eliminiert ist, wobei der Abschnitt in dem Direktkanalsignal weniger oder nicht gedämpft ist; und
Ausgeben (22) von Lautsprechersignalen in einem Wie- dergabeschema unter Verwendung des Direktkanals und des modifizierten Umgebungskanals.
23. Computerprogramm mit einem Programm zum Ausführen des Verfahrens gemäß Patentanspruch 22, wenn das Programm auf einem Rechner abläuft.
EP08802737A 2007-10-12 2008-10-01 Vorrichtung und verfahren zum erzeugen eines multikanalsignals mit einer sprachsignalverarbeitung Active EP2206113B1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PL08802737T PL2206113T3 (pl) 2007-10-12 2008-10-01 Urządzenie i sposób wytwarzania sygnału wielokanałowego z przetwarzaniem sygnałów mowy

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007048973A DE102007048973B4 (de) 2007-10-12 2007-10-12 Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals mit einer Sprachsignalverarbeitung
PCT/EP2008/008324 WO2009049773A1 (de) 2007-10-12 2008-10-01 Vorrichtung und verfahren zum erzeugen eines multikanalsignals mit einer sprachsignalverarbeitung

Publications (2)

Publication Number Publication Date
EP2206113A1 true EP2206113A1 (de) 2010-07-14
EP2206113B1 EP2206113B1 (de) 2011-04-27

Family

ID=40032822

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08802737A Active EP2206113B1 (de) 2007-10-12 2008-10-01 Vorrichtung und verfahren zum erzeugen eines multikanalsignals mit einer sprachsignalverarbeitung

Country Status (16)

Country Link
US (1) US8731209B2 (de)
EP (1) EP2206113B1 (de)
JP (1) JP5149968B2 (de)
KR (1) KR101100610B1 (de)
CN (1) CN101842834B (de)
AT (1) ATE507555T1 (de)
AU (1) AU2008314183B2 (de)
BR (1) BRPI0816638B1 (de)
CA (1) CA2700911C (de)
DE (2) DE102007048973B4 (de)
ES (1) ES2364888T3 (de)
HK (1) HK1146424A1 (de)
MX (1) MX2010003854A (de)
PL (1) PL2206113T3 (de)
RU (1) RU2461144C2 (de)
WO (1) WO2009049773A1 (de)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5577787B2 (ja) 2009-05-14 2014-08-27 ヤマハ株式会社 信号処理装置
US20110078224A1 (en) * 2009-09-30 2011-03-31 Wilson Kevin W Nonlinear Dimensionality Reduction of Spectrograms
TWI459828B (zh) * 2010-03-08 2014-11-01 Dolby Lab Licensing Corp 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統
JP5299327B2 (ja) * 2010-03-17 2013-09-25 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
WO2011121782A1 (ja) * 2010-03-31 2011-10-06 富士通株式会社 帯域拡張装置および帯域拡張方法
EP2581904B1 (de) * 2010-06-11 2015-10-07 Panasonic Intellectual Property Corporation of America Gerät und Verfahren zur Audiokodierung/-dekodierung
EP2661746B1 (de) * 2011-01-05 2018-08-01 Nokia Technologies Oy Mehrkanalige kodierung und/oder dekodierung
EP2523473A1 (de) 2011-05-11 2012-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Erzeugung eines Ausgabesignals mithilfe einer Dekompositionsvorrichtung
JP5057535B1 (ja) 2011-08-31 2012-10-24 国立大学法人電気通信大学 ミキシング装置、ミキシング信号処理装置、ミキシングプログラム及びミキシング方法
KR101803293B1 (ko) 2011-09-09 2017-12-01 삼성전자주식회사 입체 음향 효과를 제공하는 신호 처리 장치 및 신호 처리 방법
US9280984B2 (en) 2012-05-14 2016-03-08 Htc Corporation Noise cancellation method
MY181365A (en) * 2012-09-12 2020-12-21 Fraunhofer Ges Forschung Apparatus and method for providing enhanced guided downmix capabilities for 3d audio
JP6054142B2 (ja) * 2012-10-31 2016-12-27 株式会社東芝 信号処理装置、方法およびプログラム
WO2014112792A1 (ko) * 2013-01-15 2014-07-24 한국전자통신연구원 사운드 바를 위한 오디오 신호 처리 장치 및 방법
SG11201507066PA (en) * 2013-03-05 2015-10-29 Fraunhofer Ges Forschung Apparatus and method for multichannel direct-ambient decomposition for audio signal processing
EP2830061A1 (de) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Codierung und Decodierung eines codierten Audiosignals unter Verwendung von zeitlicher Rausch-/Patch-Formung
EP3503095A1 (de) 2013-08-28 2019-06-26 Dolby Laboratories Licensing Corp. Hybride wellenformcodierte und parametercodierte spracherweiterung
EP2866227A1 (de) 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Dekodierung und Kodierung einer Downmix-Matrix, Verfahren zur Darstellung von Audioinhalt, Kodierer und Dekodierer für eine Downmix-Matrix, Audiokodierer und Audiodekodierer
US10176818B2 (en) * 2013-11-15 2019-01-08 Adobe Inc. Sound processing using a product-of-filters model
KR101808810B1 (ko) * 2013-11-27 2017-12-14 한국전자통신연구원 음성/무음성 구간 검출 방법 및 장치
CN104683933A (zh) 2013-11-29 2015-06-03 杜比实验室特许公司 音频对象提取
KR101841380B1 (ko) * 2014-01-13 2018-03-22 노키아 테크놀로지스 오와이 다중-채널 오디오 신호 분류기
JP6274872B2 (ja) * 2014-01-21 2018-02-07 キヤノン株式会社 音処理装置、音処理方法
WO2016019130A1 (en) * 2014-08-01 2016-02-04 Borne Steven Jay Audio device
US20160071524A1 (en) * 2014-09-09 2016-03-10 Nokia Corporation Audio Modification for Multimedia Reversal
CN104409080B (zh) * 2014-12-15 2018-09-18 北京国双科技有限公司 语音端点检测方法和装置
PL3257270T3 (pl) * 2015-03-27 2019-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie i sposób przetwarzania sygnałów stereo do odtwarzania w samochodach dla uzyskania indywidualnego dźwięku trójwymiarowego przez przednie głośniki
CN106205628B (zh) * 2015-05-06 2018-11-02 小米科技有限责任公司 声音信号优化方法及装置
WO2017136573A1 (en) * 2016-02-02 2017-08-10 Dts, Inc. Augmented reality headphone environment rendering
WO2017202680A1 (en) * 2016-05-26 2017-11-30 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for voice or sound activity detection for spatial audio
CN109416912B (zh) * 2016-06-30 2023-04-11 杜塞尔多夫华为技术有限公司 一种对多声道音频信号进行编码和解码的装置和方法
CN106412792B (zh) * 2016-09-05 2018-10-30 上海艺瓣文化传播有限公司 对原立体声文件重新进行空间化处理并合成的系统及方法
CA3179080A1 (en) * 2016-09-19 2018-03-22 Pindrop Security, Inc. Channel-compensated low-level features for speaker recognition
EP3382702A1 (de) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur bestimmung einer im voraus bestimmten eigenschaft bezüglich der künstlichen bandbreitenbeschränkungsverarbeitung eines audiosignals
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
BR112020010819A2 (pt) 2017-12-18 2020-11-10 Dolby International Ab método e sistema para tratar transições locais entre posições de escuta em um ambiente de realidade virtual
US11019201B2 (en) 2019-02-06 2021-05-25 Pindrop Security, Inc. Systems and methods of gateway detection in a telephone network
US12015637B2 (en) 2019-04-08 2024-06-18 Pindrop Security, Inc. Systems and methods for end-to-end architectures for voice spoofing detection
US20230215456A1 (en) * 2019-12-31 2023-07-06 Brainsoft Inc. Sound processing method using dj transform
KR102164306B1 (ko) * 2019-12-31 2020-10-12 브레인소프트주식회사 디제이변환에 기초한 기본주파수 추출 방법
CN111654745B (zh) * 2020-06-08 2022-10-14 海信视像科技股份有限公司 多声道的信号处理方法及显示设备
CN114630057B (zh) * 2022-03-11 2024-01-30 北京字跳网络技术有限公司 确定特效视频的方法、装置、电子设备及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03236691A (ja) 1990-02-14 1991-10-22 Hitachi Ltd テレビジョン受信機用音声回路
JPH07110696A (ja) 1993-10-12 1995-04-25 Mitsubishi Electric Corp 音声再生装置
JP3412209B2 (ja) 1993-10-22 2003-06-03 日本ビクター株式会社 音響信号処理装置
CN1116737C (zh) 1998-04-14 2003-07-30 听觉增强有限公司 用户可调节的适应听力的音量控制
US6928169B1 (en) * 1998-12-24 2005-08-09 Bose Corporation Audio signal processing
JP2001069597A (ja) 1999-06-22 2001-03-16 Yamaha Corp 音声処理方法及び装置
FR2797343B1 (fr) * 1999-08-04 2001-10-05 Matra Nortel Communications Procede et dispositif de detection d'activite vocale
JP4463905B2 (ja) 1999-09-28 2010-05-19 隆行 荒井 音声処理方法、装置及び拡声システム
US6351733B1 (en) * 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US7177808B2 (en) * 2000-11-29 2007-02-13 The United States Of America As Represented By The Secretary Of The Air Force Method for improving speaker identification by determining usable speech
US20040086130A1 (en) * 2002-05-03 2004-05-06 Eid Bradley F. Multi-channel sound processing systems
US7567845B1 (en) * 2002-06-04 2009-07-28 Creative Technology Ltd Ambience generation for stereo signals
US7257231B1 (en) * 2002-06-04 2007-08-14 Creative Technology Ltd. Stream segregation for stereo signals
EP1618763B1 (de) * 2003-04-17 2007-02-28 Koninklijke Philips Electronics N.V. Audiosignalsynthese
WO2004093494A1 (en) 2003-04-17 2004-10-28 Koninklijke Philips Electronics N.V. Audio signal generation
SE0400997D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
JP2007028065A (ja) 2005-07-14 2007-02-01 Victor Co Of Japan Ltd サラウンド再生装置
WO2007034806A1 (ja) 2005-09-22 2007-03-29 Pioneer Corporation 信号処理装置、信号処理方法、信号処理プログラムおよびコンピュータに読み取り可能な記録媒体
JP4940671B2 (ja) * 2006-01-26 2012-05-30 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
WO2007096792A1 (en) * 2006-02-22 2007-08-30 Koninklijke Philips Electronics N.V. Device for and a method of processing audio data
KR100773560B1 (ko) 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
DE102006017280A1 (de) * 2006-04-12 2007-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009049773A1 *

Also Published As

Publication number Publication date
AU2008314183B2 (en) 2011-03-31
AU2008314183A1 (en) 2009-04-23
ATE507555T1 (de) 2011-05-15
KR101100610B1 (ko) 2011-12-29
DE502008003378D1 (de) 2011-06-09
US20100232619A1 (en) 2010-09-16
CA2700911A1 (en) 2009-04-23
BRPI0816638A2 (pt) 2015-03-10
RU2461144C2 (ru) 2012-09-10
CN101842834A (zh) 2010-09-22
DE102007048973A1 (de) 2009-04-16
BRPI0816638B1 (pt) 2020-03-10
KR20100065372A (ko) 2010-06-16
CN101842834B (zh) 2012-08-08
US8731209B2 (en) 2014-05-20
MX2010003854A (es) 2010-04-27
RU2010112890A (ru) 2011-11-20
EP2206113B1 (de) 2011-04-27
WO2009049773A1 (de) 2009-04-23
ES2364888T3 (es) 2011-09-16
PL2206113T3 (pl) 2011-09-30
HK1146424A1 (en) 2011-06-03
JP2011501486A (ja) 2011-01-06
CA2700911C (en) 2014-08-26
DE102007048973B4 (de) 2010-11-18
JP5149968B2 (ja) 2013-02-20

Similar Documents

Publication Publication Date Title
EP2206113B1 (de) Vorrichtung und verfahren zum erzeugen eines multikanalsignals mit einer sprachsignalverarbeitung
DE102006050068B4 (de) Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals aus einem Audiosignal, Vorrichtung und Verfahren zum Ableiten eines Mehrkanal-Audiosignals aus einem Audiosignal und Computerprogramm
EP2402943B1 (de) Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals
DE602005005186T2 (de) Verfahren und system zur schallquellen-trennung
EP2064699B1 (de) Verfahren und vorrichtung zum extrahieren und ändern des hallinhalts eines eingangssignals
DE60311794T2 (de) Signalsynthese
EP1854334B1 (de) Vorrichtung und verfahren zum erzeugen eines codierten stereo-signals eines audiostücks oder audiodatenstroms
DE69827775T2 (de) Tonkanalsmischung
EP2730102B1 (de) Verfahren und vorrichtung zur zerlegung einer stereoaufzeichnung mittels frequenzbereichsverarbeitung unter verwendung eines generators für spektrale gewichtungen
EP2891334B1 (de) Erzeugung von mehrkanalton aus stereo-audiosignalen
RU2663345C2 (ru) Устройство и способ масштабирования центрального сигнала и улучшения стереофонии на основе отношения сигнал-понижающее микширование
EP2917908A1 (de) Nichtlineare inverse kodierung von multikanal-signalen
DE10148351B4 (de) Verfahren und Vorrichtung zur Auswahl eines Klangalgorithmus
Lopatka et al. Improving listeners' experience for movie playback through enhancing dialogue clarity in soundtracks
DE102017121876A1 (de) Verfahren und vorrichtung zur formatumwandlung eines mehrkanaligen audiosignals

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100407

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

DAX Request for extension of the european patent (deleted)
GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1146424

Country of ref document: HK

REF Corresponds to:

Ref document number: 502008003378

Country of ref document: DE

Date of ref document: 20110609

Kind code of ref document: P

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502008003378

Country of ref document: DE

Effective date: 20110609

REG Reference to a national code

Ref country code: NL

Ref legal event code: T3

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2364888

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20110916

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20110427

REG Reference to a national code

Ref country code: PL

Ref legal event code: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110727

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110829

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110827

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110728

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1146424

Country of ref document: HK

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20120130

BERE Be: lapsed

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAN

Effective date: 20111031

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502008003378

Country of ref document: DE

Effective date: 20120130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20111031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20111031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20111001

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121031

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110427

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 507555

Country of ref document: AT

Kind code of ref document: T

Effective date: 20131001

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20131001

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230512

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: TR

Payment date: 20230919

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PL

Payment date: 20230919

Year of fee payment: 16

Ref country code: NL

Payment date: 20231023

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231025

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231117

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20231031

Year of fee payment: 16

Ref country code: FR

Payment date: 20231023

Year of fee payment: 16

Ref country code: DE

Payment date: 20231018

Year of fee payment: 16