EP2419900A1 - Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal - Google Patents

Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal

Info

Publication number
EP2419900A1
EP2419900A1 EP10723655A EP10723655A EP2419900A1 EP 2419900 A1 EP2419900 A1 EP 2419900A1 EP 10723655 A EP10723655 A EP 10723655A EP 10723655 A EP10723655 A EP 10723655A EP 2419900 A1 EP2419900 A1 EP 2419900A1
Authority
EP
European Patent Office
Prior art keywords
noise
signal
background noise
speech
noise signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP10723655A
Other languages
German (de)
English (en)
Other versions
EP2419900B1 (fr
Inventor
Julien Faure
Adrien Leman
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP2419900A1 publication Critical patent/EP2419900A1/fr
Application granted granted Critical
Publication of EP2419900B1 publication Critical patent/EP2419900B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Definitions

  • the present invention relates generally to the processing of speech signals and in particular the voice signals transmitted in telecommunications systems.
  • the invention relates to a method and a device for objectively evaluating the speech quality of a speech signal taking into account the classification of the background noise contained in the signal.
  • the invention applies in particular to speech signals transmitted during a telephone call through a communication network, for example a mobile telephony network or a switched network or packet network telephony network.
  • background noise may include various noises: sounds from engines (cars, motorcycles), aircraft passing through the sky, conversation / whispering noises - for example in a restaurant or café environment -, music, and many other audible noises.
  • background noise may be an additional element of communication that can provide useful information to listeners (mobility context, geographic location, environment sharing). Since the advent of mobile telephony, the ability to communicate from any location has helped to increase the presence of background noise in transmitted speech signals, and has therefore made it necessary to process background noise so maintain an acceptable level of communication quality.
  • unwanted noise produced in particular during the coding and transmission of the audio signal on the network (packet losses for example, voice over IP) can also interact with background noise.
  • Parizet - article presented at of the conference "Acoustics'08" held in Paris from June 29 to July 4, 2008 - describes subjective tests that not only show that the noise level of background noise plays a major role in the evaluation of the voice quality in the context of a VoIP application, but also demonstrate that the type of background noise (environmental noise, line noise, etc.) that is superimposed on the voice signal (the useful signal) plays an important role in assessing the voice quality of communication.
  • Figure 1 appended to this description is derived from the aforementioned Document [1] (see section 3.5, Figure 2 of this document) and represents the means of opinion (MOS LQSN) with the associated confidence interval, calculated from of notes given by auditors to audio messages containing six different types of background noise, according to the ACR (Absolute Category Rating) method.
  • the various types of noise are: pink noise, stationary speech noise (BPS), electrical noise, city noise, restaurant noise, television noise or voice, each noise being considered at three different levels of perceived loudness.
  • BPS stationary speech noise
  • electrical noise city noise, restaurant noise, television noise or voice, each noise being considered at three different levels of perceived loudness.
  • the horizontal line above the other curves represents the notation corresponding to an audio signal containing no background noise.
  • the present invention aims in particular to meet the aforementioned need, proposing in a first aspect a method of objective evaluation of the voice quality of a speech signal.
  • this method comprises the steps of:
  • the step of evaluating the speech signal's speech quality comprises the steps of:
  • a voice quality score (MOS_CLi) according to the invention is obtained according to a mathematical formula of the following general form:
  • MOS _ CLi C 1. , + C 1 X / (N) Where:
  • - MOS_CLi is the calculated score for the noise signal
  • N is a mathematical function of the total loudness, N, estimated for the noise signal
  • C h1 and C 1 are two coefficients defined for the noise class (CLi) obtained for the noise signal.
  • the function / (N) is the natural logarithm, Ln (N), of the total loudness ⁇ expressed in sones.
  • the total loudness of the noise signal is estimated according to an objective model of loudness estimation, for example the Zwicker model or the Moore model.
  • the step of classifying the background noise contained in the speech signal includes the steps of: - extraction of the speech signal, a background noise signal, said noise signal;
  • the step of calculating audio parameters of the noise signal comprises the calculation of a first parameter (IND_TMP), called temporal indicator, relating to the temporal evolution of the noise signal, and a second parameter (IND_FRQ), called frequency indicator, relating to the frequency spectrum of the noise signal.
  • IND_TMP first parameter
  • IND_FRQ second parameter
  • the time indicator (IND_TMP) is obtained from a calculation of the variation of the sound level of the noise signal
  • the frequency indicator (IND_FRQ) is obtained from a variation calculation of the amplitude of the frequency spectrum of the noise signal.
  • the method of the invention implements steps consisting of:
  • TH2 a second threshold
  • the set of classes obtained according to the invention comprises at least the following classes:
  • the invention relates to a device for objective evaluation of the voice quality of a speech signal.
  • this device comprises:
  • this objective voice quality evaluation device comprises: an extraction module based on the speech signal of a background noise signal, called a noise signal;
  • noise noise classification module contained in the noise signal, based on the calculated audio parameters, according to a predefined set of background noise classes
  • the invention relates to a computer program on an information medium, this program comprising instructions adapted to the implementation of a method according to the invention as briefly defined above, when the program is loaded and executed in a computer.
  • FIG. 1 is a graphical representation of the average subjective scores given by auditors to audio messages containing various types of background noise and loudness levels, in accordance with a known study of the state of the technical;
  • FIG. 2 represents a software window displayed on a computer screen showing the selection tree obtained by learning to define a background noise classification model used according to the invention
  • FIGS. 3a and 3b show a flowchart illustrating a method of objective evaluation of the voice quality of a speech signal, according to an embodiment of the invention
  • FIG. 4 is a flowchart detailing the step (FIGS. 3b, S23) of evaluating the voice quality of a speech signal according to the classification of the background noise contained in the speech signal;
  • FIG. 5 graphically shows the result of subjective voice quality evaluation tests according to the invention, as well as log-log regression curves, which link the perceived quality ratings to the perceived loudness for audio signals corresponding to the classes. background noise defined according to the invention;
  • FIG. 6 graphically shows the degree of correlation existing between the quality scores obtained in the subjective tests and those obtained according to the objective quality evaluation method, according to the present invention
  • FIG. 7 represents a block diagram of an objective evaluation device for the voice quality of a speech signal, according to the invention.
  • the method of objective evaluation of the voice quality of a speech signal according to the invention is remarkable in that it uses the result of the classification phase of the background noise contained in the speech signal, to estimate the voice quality of the signal.
  • the classification phase of the background noise contained in the speech signal is based on the implementation of a previously constructed background noise classification model, the method of construction of which according to the invention is described below. after. Construction of the background noise classification model
  • the construction of a noise classification model takes place conventionally in three successive phases.
  • the first phase consists in determining a sound base composed of audio signals containing various background noises, each audio signal being labeled as belonging to a given noise class.
  • a second phase is extracted from each sound sample of the base a number of predefined characteristic parameters forming a set of indicators.
  • the set of compound pairs, each, of the set of indicators and the associated noise class is provided to a learning engine intended to provide a classification model for classifying any sound sample on the basis of specific indicators, the latter being selected as the most relevant of the various indicators used during the learning phase.
  • the classification model obtained then makes it possible, based on indicators extracted from any sound sample (not part of the sound database), to provide a noise class to which this sample belongs.
  • voice quality can be influenced by the meaning of noise in the context of telephony, so if users identify noise as coming from a sound source of In the speaker's environment, some indulgence is observed regarding the perceived quality evaluation Two tests made it possible to verify this, the first test concerning the interaction of the characteristics and sound levels of the background noise with the perceived vocal quality.
  • the sound base used consists, on the one hand, of the audio signals used for the subjective tests described in Document [1], and on the other hand of audio signals originating from public sound bases.
  • the audio signals from the aforementioned subjective tests in the first test (see Document [1], section 3.2), 152 sound samples are used. These samples are obtained from eight sentences of the same duration (8 seconds) selected from a standardized list of double sentences, produced by four speakers (two men and two women). These sentences are then mixed with six types of background noise (detailed below) at three different levels of loudness (loudness in English). Phrases without background noise are also included. Then all the samples are encoded with a G.71 1 code.
  • a pink noise (pink noise), considered as the reference (stationary noise with -3 dB / octave of frequency content); a stationary speech noise (BPS), that is to say a random noise with a frequency content similar to the standardized human voice (stationary); an electrical noise, that is to say a harmonic sound having a fundamental frequency of 50 Hz simulating a circuit noise (stationary);
  • Each noise is sampled at 8 kHz, filtered with the IRS8 tool, coded and decoded in G.71 1 and G.729 in the case of the narrow band (300 - 3400 Hz), then each sound is sampled at 16 kHz and filtered with the tool described in recommendation P.341 I 1 ITU-T ( “Transmission characteristics for wideband (150-7000 Hz) digital hands-free telephony finishing", 1998), and finally encoded and decoded in G.722 (broadband 50 - 7000 Hz). These three degraded conditions are then restored according to two levels whose signal-to-noise ratio (SNR) is respectively 16 and 32. Each noise lasts four seconds. Finally, a total of 288 different audio signals are obtained.
  • SNR signal-to-noise ratio
  • the sound base used to develop the classification model finally consists of 632 audio signals.
  • Each sound sample of the sound database is manually tagged to identify a background class of membership.
  • the classes chosen were defined following the subjective tests mentioned in the Document [1] and more precisely, were determined according to the indulgence vis-à-vis the perceived noise, manifested by the human subjects tested during the judgment of the voice quality depending on the type of background noise (among the 6 types mentioned above).
  • BDF background noise
  • BDF "environment” these are noises with informational content and providing information about the speaker's environment, such as city noise, restaurant noise, nature noise, etc. This class of noise causes a slight indulgence on the judgment of the voice quality perceived by the users compared to a noise of the same level.
  • BDF "breath” These noises are stationary and do not contain informational content, for example, pink noise, stationary wind noise, stationary speech noise (BPS).
  • Signal correlation This is an indicator using the Bravais-Pearson correlation coefficient applied between the entire signal and the same shifted signal of a digital sample.
  • Zero crossing rate (ZCR) of the signal - (3) The variation of the sound level of the signal;
  • the classification model is obtained by learning using a decision tree (see Figure 1), made using the statistical tool called “classregtree” MATLAB® environment marketed by The company MathWorks.
  • the algorithm used is developed using techniques described in the book entitled “Classification and regression trees” by Léo Breiman et al. published by Chapman and Hall in 1993.
  • Each sample of background noise from the sound database is indicated by the eight indicators mentioned above and the class of membership of the sample (1: intelligible, 2: environment, 3: breath, 4: sizzle).
  • the decision tree then calculates the various possible solutions in order to obtain an optimum classification, closest to the manually labeled classes.
  • the most relevant audio indicators are selected, and value thresholds associated with these indicators are defined, these thresholds making it possible to separate the different classes and subclasses of background noise.
  • the resulting classification uses only two of the original eight indicators to rank the 500 background noises of learning in the four classes. predefined.
  • the indicators selected are the indicators (3) and (6) of the list introduced above and respectively represent the variation of the acoustic level and the spectral flow of the background noise signals.
  • the classification model obtained by learning begins by separating the background noise according to their stationarity character.
  • This stationarity character is highlighted by the temporal indicator characteristic of the variation of the acoustic level (indicator (3)).
  • the characteristic frequency indicator of the spectral flow indicator (6) in turn filters each of the two categories (stationary / non-stationary) selected with the indicator (3).
  • the selection tree obtained with the two aforementioned indicators, correctly classified 86.2% of the background noise signals among the 500 audio signals subjected to learning. More specifically, the good classification proportions obtained for each class are as follows:
  • the "environment” class gets a lower classification result than for the other classes. This result is due to the differentiation between “breath” and “environmental” sounds, which can sometimes be difficult to perform, because of the similarity of certain sounds that can be arranged in both classes, for example sounds such as wind noise or the sound of a hair dryer.
  • the indicators selected for the classification model according to the invention are defined in greater detail below.
  • the time indicator is characteristic of the variation of the sound level of any noise signal is defined by the standard deviation of the power values of all the considered frames of the signal.
  • a power value is determined for each of the frames.
  • Each frame is composed of 512 samples, with overlapping between successive frames of 256 samples. For a sampling frequency of 8000 Hz, this corresponds to a duration of 64 ms (milliseconds) per frame, with an overlap of 32 ms. This 50% overlap is used to provide continuity between successive frames, as defined in document [5]: "P.56 Objective measurement of active speech level, I 1 recommendation ITU-T, 1993.
  • the sound power value for each of the frames may be defined by the following mathematical formula:
  • frame means the number of the frame to be evaluated;
  • L tra refers to the length of the frame (512 samples);
  • x is the amplitude of the sample /;
  • log refers to the decimal logarithm. This calculates the logarithm of the calculated average to obtain a power value per frame.
  • the value of the time indicator "IND_TMP" of the considered background noise is then defined by the standard deviation of all the power values obtained, by the following relation:
  • Ntr a m e represents the number of frames present in the background noise considered
  • P 1 represents the power value for the frame /
  • ⁇ P> is the average power on all frames. According to the time indicator IND_TMP, the more a sound is non-stationary and the higher the value obtained for this indicator.
  • the frequency indicator designated in the rest of the description by "IND_FRQ” and characteristic of the spectral flux of the noise signal, is calculated from the Spectral Power Density (DSP) of the signal.
  • DSP Spectral Power Density
  • this indicator is determined by frame of 256 samples, corresponding to a duration of 32 ms for a sampling frequency of 8 KHz. There is no frame overlap, unlike the time indicator.
  • Spectral flow also referred to as “spectrum amplitude variation,” is a measure of the rate of change of a power spectrum of a signal over time. This indicator is calculated from the normalized cross-correlation between two successive amplitudes of the spectrum a k (t-1) and a k (t).
  • the spectral flow (SF) can be defined by the following mathematical formula:
  • a value of the spectral flux corresponds to the amplitude difference of the spectral vector between two successive frames. This value is close to zero if the successive spectra are similar, and is close to 1 for very different successive spectra.
  • the value of the spectral stream is high for a music signal because a musical signal varies greatly from one frame to another. For speech, with the alternation of periods of stability (vowel) and transitions (consonant / vowel), the measurement of the spectral flow takes very different values and varies strongly during a sentence.
  • the final expression used for the frequency indicator is defined as the average of the spectral flux values for all the frames of the signal, as defined in the equation below:
  • the classification model of the invention is used according to the invention to determine, on the basis of indicators extracted from any noisy audio signal, the class of noise to which this noisy signal belongs among the set of classes defined for the classification model.
  • Figures 3a and 3b show a flowchart illustrating a method of objectively evaluating the speech quality of a speech signal, according to an embodiment of the invention. According to the invention, the method of classification of background noise is implemented prior to the actual phase of evaluation of voice quality.
  • the first step S1 consists in obtaining an audio signal, which, in the embodiment presented here, is a speech signal obtained in analog or digital form.
  • a voice activity detection (DAV) operation is then applied to the speech signal.
  • DAV voice activity detection
  • the purpose of this voice activity detection is to separate in the input audio signal the periods of the speech-containing signal, possibly noisy, periods of the signal containing no speech (periods of silence), therefore not being able to contain only noise.
  • the active areas of the signal that is to say presenting the noisy voice message, are separated from each other. inactive areas noisy.
  • the voice activity detection technique implemented is that described in the above-mentioned Document [5] ("P.56 Objective Measurement of Active Voice Level, ITU-T Recommendation I 1 , 1993)
  • the principle of the DAV technique used consists of:
  • the background noise signal generated is the signal consisting of the periods of the audio signal for which the result of the speech activity detection is zero.
  • the audio parameters consisting of the two indicators mentioned above (time indicator IND_TMP and frequency indicator IND_FRQ), which were selected during the obtaining of the classification model (learning phase), are extracted. of the noise signal, in step S7.
  • step S9 the value of the time indicator (IND_TMP) obtained for the noise signal is compared with the first threshold TH1 mentioned above. If the value of the time indicator is greater than the threshold TH1 (S9, no) then the noise signal is of non-stationary type and then the test of step S11 is applied.
  • IND_TMP time indicator
  • the frequency indicator (IND_FRQ) is compared to the second threshold TH2 mentioned above. If the indicator IND_FRQ is greater (S1 1, no) than the threshold TH2, the class (CL) of the noise signal is determined (step S13) as being CL1: "Noise intelligible”; otherwise the class of the noise signal is determined (step S15) as CL2: "Noise The classification of the analyzed noise signal is then completed and the evaluation of the speech quality of the speech signal can then be performed (Fig. 3b, step S23).
  • step S9 if the value of the time indicator is below the threshold TH 1 (S 9, yes) then the noise signal is of the stationary type and then the test of step S 17 is applied (FIG 3b). .
  • the value of the frequency indicator IND_FRQ is compared with the third threshold TH3 (defined above). If the indicator IND_FRQ is greater (S17, no) than the threshold TH3, the class (CL) of the noise signal is determined (step S19) as being CL3: "Breath noise"; otherwise the class of the noise signal is determined (step S21) as being
  • Figure 4 details the step (Fig. 3b, S23) of evaluating the speech quality of a speech signal according to the classification of the background noise contained in the speech signal.
  • the voice quality evaluation operation starts with step S231 in which, the total loudness of the noise signal (SIG_N) is estimated.
  • the loudness is defined as the subjective intensity of a sound, it is expressed in sones or phones.
  • the subjective loudness measured can however be estimated using known objective models such as the Zwicker model or
  • Zwicker's model is described for example in the document "Psychoaco ⁇ stics: Facts and Modeled 'E. Zwicker and H. Fastl - Berlin, Springer, 2d edition, updated April 14, 1999?.
  • the total loudness of the noise signal is estimated using the Zwicker model, however also implement the invention using the Moore model. Moreover, the more accurate the loudness estimation model used, the more precise the voice quality evaluation according to the invention will be.
  • the total loudness estimate, expressed in sones, of the noise signal SIG_N, obtained using the Zwicker model, is referred to herein as "N".
  • N The total loudness estimate, expressed in sones, of the noise signal SIG_N, obtained using the Zwicker model.
  • - MOS_CLi is the note computed for the signal of noise SIG_N CLi class
  • f (N) is a mathematical function of the total loudness, N, estimated for the noise signal, according to a loudness model such as the Zwicker model
  • the voice quality score for the speech signal, MOS_CLi is obtained, on the one hand, as a function of the classification obtained relating to the background noise present in the speech signal.
  • Figure 1 described above represents opinion means (MOS LQSN) with the associated confidence interval, calculated from notes given by auditors to audio messages containing six types. different backgrounds, according to the ACR (Absolute Category Rating) method.
  • the various types of noise are: pink noise, stationary speech noise (BPS), electrical noise, city noise, restaurant noise, television noise or voice, each noise being considered at three different levels of perceived loudness.
  • the loudness levels of the various types of background noise are obtained in this test, subjectively.
  • SNR pink background noise
  • - Class 1 (CL1: "intelligible”) corresponds to TV / speech noises
  • - class 2 (CL2: "environment”) corresponds to the grouping of city noise and restaurant noise
  • CL3 includes pink noise and stationary speech noise (BPS); and
  • each test audio signal can be characterized by its background noise class (CL1 -CL4), its perceived loudness level (in sones: 1, 67; 4,6; 8,2; 14) and the MOS note.
  • -LQSN Listening Quality Subjective Narrowband assigned to it in the preliminary subjective test (Document [1], "Préliminary Experimenf.”) Therefore, in summary, in this test, 24 subjects underwent an evaluation test of the overall quality of audio signals according to the ACR method In the end, 152 MOS-LQSN scores were obtained by taking the average of the scores given by the 24 subjects, for each of the 152 test audio signals, which are divided according to the four FIG.
  • the 152 test conditions are represented by their points, each corresponding point on the abscissa, at a loudness level, and on the ordinate, at assigned quality score (MOS-LQSN); the points are furthermore differentiated according to the class of the background noise contained in the corresponding audio signal.
  • MOS CLi C, _, + C 1 X In (N) (6)
  • Ln (N) natural logarithm of the total loudness value, N, calculated and expressed in sones
  • the perceived loudness value N - subjectively obtained value in the context of the aforementioned subjective tests - is obtained by estimation according to a known method of loudness estimation, the Zwicker model in the embodiment set forth herein.
  • FIG. 6 graphically shows the degree of correlation between the quality scores obtained in the subjective tests and those obtained using the objective quality evaluation method, according to the present invention.
  • This voice quality evaluation device is designed to implement the voice quality evaluation method according to the invention which has just been described above.
  • the device 1 for evaluating the voice quality of a speech signal comprises a module 11 for extracting from the audio signal (SIG) a background noise signal (SIG_N). , called noise signal.
  • the speech signal (GIS) input to the voice quality evaluation device 1 can be delivered to the device 1 from a communication network 2, such as a voice over IP network for example.
  • the module 11 is in practice a voice activity detection module.
  • the module DAV 1 1 then provides a noise signal SIG_N which is delivered as input to a module 13 for extracting parameters, that is to say calculating the parameters constituted by the time and frequency indicators, respectively IND_TMP and IND_FRQ.
  • the calculated indicators are then provided to a classification module, implementing the classification model according to the invention, described above, which determines, as a function of the values of the indicators used, the background noise class (CL) to which the noise signal SIG_N, according to the algorithm described in connection with Figures 3a and 3b.
  • the result of the classification performed by the background noise classification module 15 is then provided to voice quality evaluation module 17.
  • the latter implements the voice quality evaluation algorithm described above in connection with FIG. 4, in order to finally deliver an objective voice quality score relating to the input speech signal (SIG).
  • the voice quality evaluation device is implemented in the form of software means, that is to say computer program modules, performing the functions described in connection with the figures. 3a, 3b, 4 and 5.
  • the voice quality evaluation module 17 can be incorporated in a computer machine separate from that housing the other modules.
  • the background noise class information (CL) can be routed via a communication network to the machine or server responsible for performing the voice quality evaluation.
  • each voice quality score calculated by the module 17 is sent to a local collection equipment or on the network, responsible for collecting this quality information in order to establish an overall quality score, established for example as a function of time and / or according to the type of communication and / or according to other types of quality notes .
  • the aforementioned program modules are implemented when they are loaded and executed in a computer or computer device.
  • a computing device may also be constituted by any processor system integrated in a communication terminal or in a communication network equipment.
  • a computer program according to the invention can be stored on an information carrier of various types.
  • an information carrier may be constituted by any entity or device capable of storing a program according to the invention.
  • the medium in question may comprise a hardware storage means, such as a memory, for example a CD ROM or a ROM or RAM microelectronic circuit memory, or a magnetic recording means, for example a Hard disk.
  • a computer program according to the invention can use any programming language and be in the form of source code, object code, or intermediate code between source code and object code (for example eg, a partially compiled form), or in any other form desirable for implementing a method according to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Monitoring And Testing Of Exchanges (AREA)
  • Telephonic Communication Services (AREA)

Abstract

Procédé et dispositif d'évaluation objective de la qualité vocale d'un signal de parole, le dispositif comprenant : - un module (11 ) d'extraction à partir du signal de parole (SIG) d'un signal de bruit de fond, dit signal de bruit; - un module (13) de calcul de paramètres audio du signal de bruit; - un module (15) de classification du bruit de fond contenu dans le signal de bruit, en fonction des paramètres audio calculés, selon un ensemble prédéfini de classes de bruits de fond (CL); - un module (17) d'évaluation de la qualité vocale du signal de parole, en fonction d'au moins la classification obtenue relative au bruit de fond présent dans le signal de parole.

Description

PROCEDE ET DISPOSITIF D1EV ALUATION OBJECTIVE DE LA QUALITE
VOCALE D'UN SIGNAL DE PAROLE PRENANT EN COMPTE LA CLASSIFICATION DU BRUIT DE FOND CONTENU DANS LE SIGNAL
DESCRIPTION
La présente invention a trait de manière générale au traitement des signaux de parole et notamment les signaux vocaux transmis dans les systèmes de télécommunications. L'invention concerne en particulier un procédé et un dispositif d'évaluation objective de la qualité vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal. L'invention s'applique notamment aux signaux de parole transmis au cours d'une communication téléphonique au travers d'un réseau de communication, par exemple un réseau de téléphonie mobile ou un réseau de téléphonie sur réseau commuté ou sur réseau de paquets.
Dans le domaine de la communication vocale, le bruit inclus dans un signal de parole, désigné par "bruit de fond", peut inclure des bruits divers : des sons provenant de moteurs (automobiles, motos), d'avions passant dans le ciel, des bruits de conversation/murmures — par exemple dans un environnement de restaurant ou de café — , de la musique, et bien d'autres bruits audibles. Dans certains cas, le bruit de fond peut être un élément supplémentaire de la communication pouvant apporter des informations utiles aux auditeurs (contexte de mobilité, lieu géographique, partage d'ambiance). Depuis l'avènement de la téléphonie mobile, la possibilité de communiquer depuis n'importe quel endroit a contribué à augmenter la présence de bruit de fond dans les signaux de parole transmis, et a rendu par conséquent nécessaire le traitement du bruit de fond, afin de préserver un niveau acceptable de qualité de communication. Par ailleurs, outre les bruits provenant de l'environnement où a lieu la prise de son, des bruits parasites, produits notamment lors du codage et de la transmission du signal audio sur le réseau (pertes de paquets par exemple, en voix sur IP) peuvent également interagir avec le bruit de fond.
Dans ce contexte, on peut donc supposer que la qualité perçue de la parole transmise est dépendante de l'interaction entre les différents types de bruits composant le bruit de fond. Ainsi, le document : "Influence of informational content of background noise on speech quality évaluation for VoIP application" (désigné ci-après par "Document [1J'), de A. Léman, J. Faure et E. Parizet — article présenté lors de la conférence "Acoustics'08" qui s'est tenue à Paris du 29 juin au 4 juillet 2008 — décrit des tests subjectifs qui, non seulement montrent que le niveau sonore des bruits de fond joue un rôle prépondérant dans l'évaluation de la qualité vocale dans le cadre d'une application voix sur IP (VoIP), mais démontrent également que le type de bruit de fond (bruit d'environnement, bruit de ligne, etc.) qui se superpose au signal vocal (le signal utile) joue un rôle important lors de l'évaluation de la qualité vocale de la communication.
La figure 1 annexée à la présente description, est issue du Document [1] précité (voir section 3.5, Figure 2 de ce document) et représente les moyennes d'opinion (MOS LQSN) avec l'intervalle de confiance associé, calculées à partir de notes données par des auditeurs testeurs à des messages audio contenant six types de bruits de fond différents, selon la méthode ACR (Absolute Category Rating). Les divers types de bruit sont les suivants : bruit rosé, bruit de parole stationnaire (BPS), bruit électrique, bruits de ville, bruits de restaurant, bruits de télévision ou voix, chaque bruit étant considéré à trois niveaux différents de sonie perçue. La ligne horizontale située au dessus des autres courbes représente la notation correspondant à un signal audio ne contenant pas de bruit de fond. Les notes données, "MOS LQSN" — pour "Mean Opinion Score of Listening Quality obtained with Subjective method for Narrow band signais" — sont conformes aux recommandations P. 800 et P. 800.1 de I1ITU-T, ayant pour titre, respectivement, "Methods for subjective détermination of transmission quality" et "Mean Opinion Score (MOS) terminology" . Comme on peut le voir sur la figure 1 , les notes données pour un même signal utile (c'est-à-dire le signal de parole contenu dans le signal audio testé) varient non seulement en fonction du type de bruit de fond contenu dans le signal audio, mais également en fonction du niveau sonore perçu (sonie) d'un bruit de fond considéré.
Pourtant, à ce jour, le type du bruit de fond présent dans un signal audio considéré n'est pas pris en compte dans les méthodes connues d'évaluation objective de la qualité vocale d'un signal de parole, qu'il s'agisse par exemple du modèle PESQ (cf. Rec. ITU-T, P.862), du modèle E (décrit par exemple dans la Rec. ITU-T, G.107 "The E-model, a computational model for use in transmission planning!', 2003), ou bien encore de méthodes non intrusives comme celle décrite dans le document "P.563-The ITU-T Standard for Single- Ended Speech Quality Assessmenf, de L. Malfait, J. Berger, et M. Kastner, IEEE Transaction on Audio, Speech, and Language Processing, vol. 14(6), pp. 1924-1934, 2006.
Ainsi, compte tenu de ce qui précède, il existe un réel besoin de disposer d'un modèle d'évaluation objective de la qualité vocale, prenant en compte le type de bruit de fond présent dans un signal audio à évaluer.
La présente invention a notamment pour objectif de répondre au besoin précité, en proposant selon un premier aspect un procédé d'évaluation objective de la qualité vocale d'un signal de parole. Conformément à l'invention, ce procédé comprend les étapes de :
- classification du bruit de fond contenu dans le signal de parole selon un ensemble prédéfini de classes de bruits de fond ;
- évaluation de la qualité vocale du signal de parole, en fonction d'au moins la classification obtenue relative au bruit de fond présent dans le signal de parole.
Selon l'invention, la prise en compte du type du bruit de fond présent dans le signal de parole dans l'évaluation objective de la qualité vocale du signal de parole, permet d'obtenir une évaluation de la qualité plus proche de l'évaluation subjective de la qualité vocale — c'est-à-dire la qualité réellement perçue par des utilisateurs — que ne le permettent les méthodes connues d'évaluation objectives de la qualité vocale. Selon un mode de réalisation de l'invention, l'étape d'évaluation de la qualité vocale du signal de parole, comprend les étapes de :
- estimation de la sonie totale (N) du signal de bruit (SIG_N) ;
- calcul d'une note de qualité vocale en fonction de la classe de bruit de fond présent dans le signal de parole, et de la sonie totale estimée pour le signal de bruit.
En pratique, une note de qualité vocale (MOS_CLi) selon l'invention est obtenue selon une formule mathématique de la forme générale suivante :
MOS _ CLi = C1., + C1 X /(N) Où :
- MOS_CLi est la note calculée pour le signal de bruit ;
/(N) est une fonction mathématique de la sonie totale, N, estimée pour le signal de bruit ;
• Ch1 et C1 sont deux coefficients définis pour la classe (CLi) de bruit de fond obtenue pour le signal de bruit.
Plus particulièrement, selon une réalisation particulière de l'invention, la fonction /(N) est le logarithme népérien, Ln(N) , de la sonie totale Ν exprimée en sones.
En particulier, selon une caractéristique de réalisation de l'invention, la sonie totale du signal de bruit est estimée selon un modèle objectif d'estimation de la sonie, par exemple le modèle de Zwicker ou le modèle de Moore.
Selon d'autres caractéristiques de réalisation de l'invention, l'étape de classification du bruit de fond contenu dans le signal de parole, inclut les étapes de : - extraction du signal de parole, d'un signal de bruit de fond, dit signal de bruit ;
- calcul de paramètres audio du signal de bruit ;
- classification du bruit de fond contenu dans le signal de bruit, en fonction des paramètres audio calculés, selon ledit ensemble de classes de bruits de fond.
Selon un mode particulier de réalisation de l'invention, l'étape de calcul de paramètres audio du signal de bruit, comprend le calcul d'un premier paramètre (IND_TMP), dit indicateur temporel, relatif à l'évolution temporelle du signal de bruit, et d'un second paramètre (IND_FRQ), dit indicateur fréquentiel, relatif au spectre fréquentiel du signal de bruit.
En pratique, l'indicateur temporel (IND_TMP) est obtenu à partir d'un calcul de variation du niveau sonore du signal de bruit, et l'indicateur fréquentiel (IND_FRQ) est obtenu à partir d'un calcul de variation de l'amplitude du spectre fréquentiel du signal de bruit.
La combinaison de ces deux indicateurs permet d'obtenir un taux faible d'erreurs de classifications, alors que leur calcul est peu consommateur en ressources de calcul.
Selon une implémentation particulière de l'étape de classification précitée, pour effectuer cette classification du bruit de fond associé au signal de bruit, le procédé de l'invention met en œuvre des étapes consistant à :
- comparer la valeur de l'indicateur temporel (IND_TMP) obtenue pour le signal de bruit à un premier seuil (TH1 ), et déterminer en fonction du résultat de cette comparaison que le signal de bruit est stationnaire ou non ;
- lorsque le signal de bruit est identifié comme non-stationnaire, comparer la valeur de l'indicateur fréquentiel à un second seuil (TH2), et déterminer en fonction du résultat de cette comparaison que le signal de bruit appartient à une première classe ou à une seconde classe de bruits de fond ;
- lorsque le signal de bruit est identifié comme stationnaire, comparer la valeur de l'indicateur fréquentiel à un troisième seuil (TH3), et déterminer en fonction du résultat de cette comparaison que le signal de bruit appartient à une troisième classe ou à une quatrième classe de bruits de fond. Par ailleurs, dans ce mode de mise en œuvre l'ensemble des classes obtenu selon l'invention, comprend au moins les classes suivantes :
- bruit intelligible ;
- bruit d'environnement ;
- bruit de souffle ; - bruit de grésillement.
L'utilisation des trois seuils TH1 , TH2, TH3 précités, dans une structure de classification arborescente simple permet de classifier rapidement un échantillon de signal de bruit. D'autre part, en calculant la classe d'un échantillon sur des fenêtres de courtes durées, on peut obtenir une actualisation en temps réel de la classe de bruit de fond du signal de bruit analysé. Corrélativement, selon un deuxième aspect, l'invention concerne un dispositif d'évaluation objective de la qualité vocale d'un signal de parole. Conformément à l'invention, ce dispositif comprend :
- des moyens de classification du bruit de fond contenu dans le signal de parole selon un ensemble prédéfini de classes de bruits de fond ; - des moyens d'évaluation de la qualité vocale du signal de parole, en fonction d'au moins la classification obtenue relative au bruit de fond présent dans le signal de parole.
Selon des caractéristiques particulières de réalisation de l'invention, ce dispositif d'évaluation objective de la qualité vocale comprend : - un module d'extraction à partir du signal de parole d'un signal de bruit de fond, dit signal de bruit ;
- un module de calcul de paramètres audio du signal de bruit ;
- un module de classification du bruit de fond contenu dans le signal de bruit, en fonction des paramètres audio calculés, selon un ensemble prédéfini de classes de bruits de fond ;
- un module d'évaluation de la qualité vocale du signal de parole, en fonction d'au moins la classification obtenue relative au bruit de fond présent dans le signal de parole.
Selon un autre aspect, l'invention concerne un programme d'ordinateur sur un support d'informations, ce programme comportant des instructions adaptées à la mise en œuvre d'un procédé selon l'invention tel que brièvement défini plus haut, lorsque le programme est chargé et exécuté dans un ordinateur.
Les avantages procurés par le dispositif d'évaluation objective de qualité vocale et le programme d'ordinateur précités, sont identiques à ceux mentionnés plus haut en relation avec le procédé d'évaluation objective de la qualité vocale d'un signal de parole. L'invention sera mieux comprise à l'aide de la description détaillée qui va suivre, faite en se référant aux dessins annexés dans lesquels :
- La figure 1 , déjà abordée, est une représentation graphique des notes subjectives moyennes données par des auditeurs testeurs à des messages audio contenant divers types de bruits de fond et selon plusieurs niveaux de sonie, conformément à une étude connue de l'état de la technique ;
- La figure 2 représente une fenêtre logicielle affichée sur un écran d'ordinateur montrant l'arbre de sélection obtenu par apprentissage pour définir un modèle de classification de bruits de fond utilisé selon l'invention ;
- Les figures 3a et 3b représentent un organigramme illustrant un procédé d'évaluation objective de la qualité vocale d'un signal de parole, selon un mode de réalisation de l'invention ; - La figure 4 est un organigramme détaillant l'étape (fig. 3b, S23) d'évaluation de la qualité vocale d'un signal de parole en fonction de la classification du bruit de fond contenu dans le signal de parole ;
- La figure 5 montre graphiquement le résultat de tests subjectifs d'évaluation de la qualité vocale selon l'invention, ainsi que les courbes obtenues par régression logarithmique, qui lient les notes de qualité perçue à la sonie perçue pour des signaux audio correspondant aux classes de bruit de fond définies selon l'invention ;
- La figure 6 montre graphiquement le degré de corrélation existant entre les notes de qualité obtenues lors des tests subjectifs et celles obtenues selon la méthode d'évaluation objective de la qualité, selon la présente invention ;
- La figure 7 représente un schéma fonctionnel d'un dispositif d'évaluation objective de la qualité vocale d'un signal de parole, selon l'invention. Le procédé d'évaluation objective de la qualité vocale d'un signal de parole selon l'invention est remarquable en qu'il utilise le résultat de la phase de classification du bruit de fond contenu dans le signal de parole, pour estimer la qualité vocale du signal. La phase de classification du bruit de fond contenu dans le signal de parole, repose sur la mise en œuvre d'un modèle de classification de bruits de fond, construit au préalable, et dont le mode de construction selon l'invention est décrit ci-après. Construction du modèle de classification des bruits de fond
La construction d'un modèle de classification de bruit se déroule classiquement selon trois phases successives. La première phase consiste à déterminer une base sonore composée de signaux audio contenant divers bruits de fond, chaque signal audio étant étiqueté comme appartenant à une classe donnée de bruit. Ensuite, au cours d'une seconde phase on extrait de chaque échantillon sonore de la base un certains nombre de paramètres caractéristiques prédéfinis formant un ensemble d'indicateurs. Finalement, au cours de la troisième phase, dite phase d'apprentissage, l'ensemble des couples composés, chacun, de l'ensemble d'indicateurs et de la classe de bruit associée, est fourni à un moteur d'apprentissage destiné à fournir un modèle de classification permettant de classifier un échantillon sonore quelconque sur la base d'indicateurs déterminés, ces derniers étant sélectionnés comme étant les plus pertinents parmi les divers indicateurs utilisés au cours de la phase d'apprentissage. Le modèle de classification obtenu permet ensuite, à partir d'indicateurs extraits d'un échantillon sonore quelconque (ne faisant pas partie de la base sonore), de fournir une classe de bruit à laquelle appartient cet échantillon.
Dans le Document /"/y cité plus haut, il est démontré que la qualité vocale peut être influencée par la signification du bruit dans le contexte de la téléphonie. Ainsi, si des utilisateurs identifient du bruit comme étant issu d'une source sonore de l'environnement du locuteur, une certaine indulgence est observée concernant l'évaluation de la qualité perçue. Deux tests ont permis de vérifier cela, le premier test concernant l'interaction des caractéristiques et niveaux sonores des bruits de fond avec la qualité vocale perçue, et le second test concernant l'interaction des caractéristiques des bruits de fond avec les dégradations dues à la transmission de voix sur IP. Partant des résultats de l'étude exposée dans le document précité, les inventeurs de la présente invention, ont cherché à définir des paramètres (indicateurs) d'un signal audio permettant de mesurer et de quantifier la signification du bruit de fond présent dans ce signal et ensuite de définir une méthode de classification statistique du bruit de fond en fonction des indicateurs retenus. Phase 1 - Constitution d'une base sonore de signaux audio
Pour la construction du modèle de classification de la présente invention, la base sonore utilisée est constituée, d'une part, des signaux audio ayant servi aux tests subjectifs décrits dans le Document [1], et d'autre part de signaux audio issus de bases sonores publiques. Concernant les signaux audio issus des tests subjectifs précités, dans le premier test (voir Document [1], section 3.2) 152 échantillons sonores sont utilisés. Ces échantillons sont obtenus à partir de huit phrases de même durée (8 secondes) sélectionnées à partir d'une liste normalisée de doubles phrases, produites par quatre locuteurs (deux hommes et deux femmes). Ces phrases sont ensuite mixées avec six types de bruits de fond (détaillés plus bas) à trois niveaux différents de sonie (loudness en anglais). Des phrases sans bruit de fond sont également incluses. Ensuite l'ensemble des échantillons est encodé avec un codée G.71 1 . Les résultats de ce premier test sont illustrés par la figure 1 décrite plus haut. Dans le second test (voir Document [1], section 4.1), les mêmes phrases sont mixées avec les six types de bruits de fond avec un niveau de sonie moyen, puis quatre types de dégradations dues à la transmission de voix sur IP sont introduites (codée G.71 1 avec 0% et 3% de perte de paquets ; codée G.729 avec 0% et 3% de perte de paquets). Au total, 192 échantillons sonores sont obtenus selon le deuxième test.
Les six types de bruits de fond utilisés dans le cadre des tests subjectifs précités sont les suivants :
- un bruit rosé (pink- noise), considéré comme la référence (bruit stationnaire avec -3 dB/octave de contenu fréquentiel) ; - un bruit de parole stationnaire (BPS) c'est-à-dire un bruit aléatoire avec un contenu fréquentiel similaire à la voix humaine standardisée (stationnaire) ; - un bruit électrique, c'est-à-dire un son harmonique ayant une fréquence fondamentale de 50Hz simulant un bruit de circuit (stationnaire) ;
- un bruit d'environnement de ville avec présence de voitures, avertisseurs sonores, etc. (non-stationnaire) ;
- un bruit d'environnement de restaurant avec présence de murmures, bruit de verres, rires, etc. (non-stationnaire) ;
- un son de voix intelligible enregistrée depuis une source TV (non- stationnaire). Tous les sons sont échantillonnés à 8 kHz (16 bits), et un filtre passe- bande IRS (Intermediate Référence System) est utilisé pour simuler un réseau téléphonique réel. Les six types de bruits cités ci-dessus sont répétés avec des dégradations liées aux codages G.71 1 et G.729, avec des pertes de paquets, ainsi qu'avec plusieurs niveaux de diffusion. Concernant les signaux audio issus de bases sonores publiques, utilisés pour compléter la base sonore, il s'agit de 48 autres signaux audio, comportant différents bruits, comme par exemple des bruits de ligne, de vent, de voiture, d'aspirateur, de sèche-cheveux, de murmures confus (babble en anglais), des bruits issus du milieu naturel (oiseau, eau qui coule, pluie, etc.), de la musique. Ces 48 bruits ont été ensuite soumis à six conditions de dégradations, comme expliqué ci-après.
Chaque bruit est échantillonné à 8 kHz, filtré avec l'outil IRS8, codé et décodé en G.71 1 ainsi qu'en G.729 dans le cas de la bande étroite (300 - 3400 Hz), puis chaque son est échantillonné à 16 kHz, puis filtré avec l'outil décrit dans la recommandation P.341 de I1UIT-T ( "Transmission characteristics for wideband (150-7000 Hz) digital hands-free telephony terminais", 1998), et enfin codé et décodé en G.722 (large bande 50 - 7000 Hz). Ces trois conditions dégradées sont ensuite restituées selon deux niveaux dont le rapport signal sur bruit (SNR) vaut respectivement 16 et 32. Chaque bruit dure quatre secondes. Finalement, on obtient au total 288 signaux audio différents.
Ainsi, la base sonore utilisée pour mettre au point le modèle de classification se compose finalement de 632 signaux audio. Chaque échantillon sonore de la base sonore est étiqueté manuellement pour identifier une classe de bruit de fond d'appartenance. Les classes retenues ont été définies suite aux tests subjectifs mentionnés dans le Document [1] et plus précisément, ont été déterminées en fonction de l'indulgence vis-à-vis des bruits perçus, manifestée par les sujets humains testés lors du jugement de la qualité vocale en fonction du type de bruit de fond (parmi les 6 types précités).
Ainsi, quatre classes de bruit de fond (BDF) ont été retenues :
- Classe 1 : BDF "intelligible" — il s'agit de bruit de nature intelligible tels que de la musique, de la parole, etc. Cette classe de bruit de fond provoque une forte indulgence sur le jugement de la qualité vocale perçue, par rapport à un bruit de souffle de même niveau.
- Classe 2 : BDF "d'environnement" — il s'agit de bruits ayant du contenu informationnel et fournissant des informations sur l'environnement du locuteur, comme des bruits de ville, de restaurant, de nature, etc. Cette classe de bruit provoque une légère indulgence sur le jugement de la qualité vocale perçue par les utilisateurs par rapport à un bruit de souffle de même niveau.
- Classe 3 : BDF "souffle" — Ces bruits sont de nature stationnaire et ne contiennent pas de contenu informationnel, il s'agit par exemple de bruit rosé, de bruit de vent stationnaire, de bruit de parole stationnaire (BPS).
- Classe 4 : BDF "grésillement" — il s'agit de bruits ne contenant pas de contenu informationnel, comme du bruit électrique, du bruit non stationnaire bruité, etc. Cette classe de bruit provoque une forte dégradation de la qualité vocale perçue par les utilisateurs, par rapport à un bruit de souffle de même niveau. Phase 2 - Extraction de paramètres des signaux audio de la base sonore
Pour chacun des signaux audio de la base sonore, huit paramètres ou indicateurs connus en soi sont calculés. Ces indicateurs sont les suivants : (1 ) La corrélation du signal : il s'agit d'un indicateur utilisant le coefficient de corrélation de Bravais-Pearson appliqué entre le signal entier et le même signal décalé d'un échantillon numérique.
(2) Le taux de passage par zéro (ZCR) du signal ; - (3) La variation du niveau acoustique du signal ;
(4) Le centre de gravité spectral (Spectral Centroid) du signal ;
(5) La rugosité spectrale du signal ;
(6) Le flux spectral du signal ;
(7) Le point spectral de coupure (Spectral Rolloff Point) du signal ; - (8) Le coefficient harmonique du signal.
Phase 3 - Obtention du modèle de classification
Le modèle de classification est obtenu par apprentissage à l'aide d'un arbre de décision (cf. figure 1 ), réalisé à l'aide de l'outil statistique appelé " classregtree" de l'environnement MATLAB® commercialisé par la société The MathWorks. L'algorithme utilisé est développé à partir de techniques décrites dans le livre intitulé "Classification and régression trees" de Léo Breiman et al. publié par Chapman and Hall en 1993.
Chaque échantillon de bruit de fond de la base sonore est renseigné par les huit indicateurs précités et la classe d'appartenance de l'échantillon (1 : intelligible ; 2: environnement ; 3: souffle ; 4: grésillement). L'arbre de décision calcule alors les différentes solutions possibles afin d'obtenir une classification optimum, se rapprochant le plus des classes étiquetées manuellement. Au cours de cette phase d'apprentissage, les indicateurs audio les plus pertinents sont retenus, et des seuils de valeur associés à ces indicateurs sont définis, ces seuils permettant de séparer les différentes classes et sous-classes de bruit de fond.
Lors de l'apprentissage, 500 bruits de fond de différents types sont choisis aléatoirement parmi les 632 de la base sonore. Le résultat de la classification obtenue par apprentissage est représenté à la figure 1 . Comme on peut le voir sur l'arbre de décision représenté à la figure 2, la classification résultante utilise seulement deux indicateurs parmi les huit initiaux pour classer les 500 bruits de fond de l'apprentissage dans les quatre classes prédéfinies. Les indicateurs sélectionnés sont les indicateurs (3) et (6) de la liste introduite plus haut et représentent respectivement la variation du niveau acoustique et le flux spectral des signaux de bruit de fond.
Comme représenté à la figure 2, le modèle de classification obtenu par apprentissage commence par séparer les bruits de fond en fonction de leur caractère de stationnarité. Ce caractère de stationnarité est mis en évidence par l'indicateur temporel caractéristique de la variation du niveau acoustique (indicateur (3)). Ainsi, si cet indicateur a une valeur inférieure à un premier seuil — TH 1 = 1 ,03485 — alors le bruit de fond est considéré comme stationnaire (branche gauche), sinon le bruit de fond est considéré comme non-stationnaire (branche droite). Ensuite, l'indicateur fréquentiel caractéristique du flux spectral (indicateur (6)) filtre à son tour chacune des deux catégories (stationnaire/non- stationnaire) sélectionnées avec l'indicateur (3).
Ainsi, lorsque le signal de bruit est considéré comme non-stationnaire, si l'indicateur fréquentiel est inférieur à un second seuil — TH2 = 0,280607 — alors le signal de bruit appartient à la classe "environnement", sinon le signal de bruit appartient à la classe "intelligible". D'autre part, lorsque le signal de bruit est considéré comme stationnaire, si l'indicateur fréquentiel (indicateur (6), flux spectral) est inférieur à un troisième seuil — TH3 = 0,145702 — alors le signal de bruit appartient à la classe "grésillement", sinon le signal de bruit appartient à la classe "souffle".
L'arbre de sélection (fig.1 ), obtenu avec les deux indicateurs précités, a permis de classifier correctement 86,2% des signaux de bruits de fond parmi les 500 signaux audio soumis à l'apprentissage. Plus précisément, les proportions de bonne classification obtenues pour chaque classe sont les suivantes :
• 100% pour la classe "grésillement",
• 96,4% pour la classe "souffle",
• 79,2% pour la classe "environnement", • 95,9% pour la classe "intelligible".
On peut remarquer que la classe "environnement" obtient un résultat de bonne classification plus faible que pour les autres classes. Ce résultat est dû à la différenciation entre bruits de "souffle" et "d'environnement" qui peut parfois être difficile à effectuer, de par la ressemblance de certains sons pouvant être rangés à la fois dans ces deux classes, par exemple des sons tels que le bruit du vent ou le bruit d'un sèche-cheveux. On définit ci-après de manière plus détaillée les indicateurs retenus pour le modèle de classification selon l'invention.
L'indicateur temporel, désigné dans la suite de la description par "IND_TMP", est caractéristique de la variation du niveau sonore du signal de bruit quelconque est défini par l'écart type des valeurs des puissances de toutes les trames considérées du signal. Dans un premier temps, une valeur de puissance est déterminée pour chacune des trames. Chaque trame est composée de 512 échantillons, avec un recouvrement entre les trames successives de 256 échantillons. Pour une fréquence d'échantillonnage de 8000 Hz, cela correspond à une durée de 64 ms (millisecondes) par trame, avec un recouvrement de 32 ms. On utilise ce recouvrement de 50% pour obtenir une continuité entre trames successives, comme défini dans le Document [5] : "P.56 Mesure objective du niveau vocal actif, recommandation de I1ITU-T, 1993.
Lorsque le bruit à classifier a une longueur supérieure à une trame, la valeur de puissance acoustique pour chacune des trames peut être définie par la formule mathématique suivante :
Où : "trame" désigne le numéro de la trame à évaluer ; "Ltrame" désigne la longueur de la trame (512 échantillons) ; "x," correspond à l'amplitude de l'échantillon / ; "log" désigne le logarithme décimal. On calcule ainsi le logarithme de la moyenne calculée pour obtenir une valeur de puissance par trame.
La valeur de l'indicateur temporel "IND_TMP" du bruit de fond considéré est ensuite définie par l'écart type de toutes les valeurs de puissances obtenues, par la relation suivante :
Où : Ntrame représente le nombre de trames présentes dans le bruit de fond considéré ; P1 représente la valeur de puissance pour la trame / ; et <P> correspond à la moyenne de puissance sur toutes les trames. Selon l'indicateur temporel IND_TMP, plus un son est non-stationnaire et plus la valeur obtenue pour cet indicateur est élevée.
L'indicateur fréquentiel, désigné dans la suite de la description par "IND_FRQ" et caractéristique du flux spectral du signal de bruit, est calculé à partir de la Densité Spectrale de Puissance (DSP) du signal. La DSP d'un signal — issue de la transformée de Fourrier de la fonction d'autocorrélation du signal — permet de caractériser l'enveloppe spectrale du signal, afin d'obtenir des informations sur le contenu fréquentiel du signal à un moment donné, comme par exemple les formants, les harmoniques, etc. Selon le mode de réalisation présenté, cet indicateur est déterminé par trame de 256 échantillons, correspondant à une durée de 32 ms pour une fréquence d'échantillonnage de 8 KHz. Il n'y a pas de recouvrement des trames, contrairement à l'indicateur temporel.
Le flux spectral (SF), également désigné par "variation de l'amplitude du spectre", est une mesure permettant d'évaluer la vitesse de variation d'un spectre de puissance d'un signal au cours du temps. Cet indicateur est calculé à partir de la corrélation croisée normalisée entre deux amplitudes successives du spectre ak(t-1) et ak(t). Le flux spectral (SF) peut être défini par la formule mathématique suivante :
SF (trame) = 1 - ∑ώlÇÎ^IL- (3)
Où : "/c" est un indice représentant les différentes composantes fréquentielles, et "f un indice représentant les trames successives sans recouvrement, composées de 256 échantillons chacune.
En d'autres termes, une valeur du flux spectral (SF) correspond à la différence d'amplitude du vecteur spectral entre deux trames successives. Cette valeur est proche de zéro si les spectres successifs sont similaires, et est proche de 1 pour des spectres successifs très différents. La valeur du flux spectral est élevée pour un signal de musique, car un signal musical varie fortement d'une trame à l'autre. Pour la parole, avec l'alternance de périodes de stabilité (voyelle) et de transitions (consonne/voyelle), la mesure du flux spectral prend des valeurs très différentes et varie fortement au cours d'une phrase.
Lorsque le bruit à classifier a une longueur supérieure à une trame, l'expression finale retenue pour l'indicateur fréquentiel est définie comme la moyenne des valeurs de flux spectral pour toutes les trames du signal, comme définie dans l'équation ci-après :
Ntrame IND _ FRQ = ^ ∑SF(i) (4)
/=1
Utilisation du modèle de classification de bruits de fond Le modèle de classification de l'invention, obtenu comme exposé supra, est utilisé selon l'invention pour déterminer, sur la base d'indicateurs extraits d'un signal audio bruité quelconque, la classe de bruit à laquelle appartient ce signal bruité parmi l'ensemble de classes définies pour le modèle de classification.
Les figures 3a et 3b représentent un organigramme illustrant un procédé d'évaluation objective de la qualité vocale d'un signal de parole, selon un mode de réalisation de l'invention. Selon l'invention, le procédé de classification de bruits de fond est mis en œuvre préalablement à la phase proprement dite d'évaluation de la qualité vocale.
Comme représenté à la figure 3a, la première étape S1 consiste à obtenir un signal audio, qui, dans le mode de réalisation présenté ici, est un signal de parole obtenu sous forme analogique ou numérique. Dans ce mode de réalisation, comme illustré par l'étape S3, on applique ensuite au signal de parole une opération de détection d'activité vocale (DAV). Le but de cette détection d'activité vocale est de séparer dans le signal audio d'entrée les périodes du signal contenant de la parole, éventuellement bruitée, des périodes du signal ne contenant pas de parole (périodes de silence), par conséquent ne pouvant contenir que du bruit. Ainsi, au cours de cette étape, on sépare les zones actives du signal, c'est-à-dire présentant le message vocal bruité, des zones inactives bruitées. En pratique, dans ce mode de réalisation, la technique de détection d'activité vocale mise en œuvre est celle décrite dans le Document [5] précité ("P.56 Mesure objective du niveau vocal actif, recommandation de I1ITU-T, 1993). En résumé, le principe de la technique DAV utilisée consiste à :
- détecter l'enveloppe du signal,
- comparer l'enveloppe du signal avec un seuil fixe en prenant en compte un temps de maintien de la parole,
- déterminer les trames de signal dont l'enveloppe est située au dessus du seuil (DAV=I pour les trames actives) et en dessous (DAV=O pour le bruit de fond). Ce seuil est fixé à 15,9 dB (décibel) en dessous du niveau vocal actif moyen (puissance du signal sur les trames actives).
Une fois la détection vocale effectuée sur le signal audio, le signal de bruit de fond généré (étape S5) est le signal constitué des périodes du signal audio pour lesquelles le résultat de la détection d'activité vocale est nul.
Une fois le signal de bruit généré, les paramètres audio constitués des deux indicateurs mentionnés plus haut (indicateur temporel IND_TMP et indicateur fréquentiel IND_FRQ), qui ont été sélectionnés lors de l'obtention du modèle de classification (phase d'apprentissage), sont extraits du signal de bruit, au cours de l'étape S7.
Ensuite, les tests S9, S11 (Fig. 3a) et S17 (Fig. 3b) et les branches de décision associées, correspondent à l'arbre de décision décrit plus haut en relation avec la figure 2. Ainsi, à l'étape S9 la valeur de l'indicateur temporel (IND_TMP) obtenue pour le signal de bruit est comparée au premier seuil TH1 mentionné plus haut. Si la valeur de l'indicateur temporel est supérieure au seuil TH1 (S9, non) alors le signal de bruit est de type non-stationnaire et on applique alors le test de l'étape S11.
Au cours du test S11 l'indicateur fréquentiel (IND_FRQ) cette fois, est comparé au second seuil TH2 mentionné plus haut. Si l'indicateur IND_FRQ est supérieur (S1 1 , non) au seuil TH2, la classe (CL) du signal de bruit est déterminée (étape S13) comme étant CL1 : "Bruit intelligible" ; sinon la classe du signal de bruit est déterminée (étape S15) comme étant CL2 : "Bruit d'environnement". La classification du signal de bruit analysé est alors achevée et l'évaluation de la qualité vocale du signal de parole peut être alors effectuée (fig. 3b, étape S23).
Lors du test initial S9, si la valeur de l'indicateur temporel est inférieure au seuil TH 1 (S9, oui) alors le signal de bruit est de type stationnaire et on applique alors le test de l'étape S17 (fig. 3b). Au test S17, on compare la valeur de l'indicateur fréquentiel IND_FRQ au troisième seuil TH3 (défini plus haut). Si l'indicateur IND_FRQ est supérieur (S17, non) au seuil TH3, la classe (CL) du signal de bruit est déterminée (étape S19) comme étant CL3 : "Bruit de souffle"; sinon la classe du signal de bruit est déterminée (étape S21) comme étant
CL4 : "Bruit de grésillement". La classification du signal de bruit analysé est alors achevée et l'évaluation de la qualité vocale du signal de parole peut être alors effectuée (fig. 3b, étape S23).
La figure 4 détaille l'étape (fig. 3b, S23) d'évaluation de la qualité vocale d'un signal de parole en fonction de la classification du bruit de fond contenu dans le signal de parole. Comme représenté à la figure 4, l'opération d'évaluation de la qualité vocale débute par l'étape S231 au cours de laquelle, la sonie totale du signal de bruit (SIG_N) est estimée.
On rappelle ici que la sonie est définie comme l'intensité subjective d'un son, elle est exprimée en sones ou en phones. La sonie totale mesurée de manière subjective (sonie perçue) peut cependant être estimée en utilisant des modèles objectifs connus tels que le modèle de Zwicker ou le modèle de
Moore.
Le modèle de Zwicker est décrit par exemple dans le document intitulé " Psychoacoυstics: Facts and Modelé', de E. Zwicker et H. Fastl - Berlin, Springer, 2?d updated édition, 14 avril 1999.
Le modèle de Moore est décrit par exemple dans le document : "A Mode! for the Prédiction of Thresholds, Loudness, and Partial Loudness?', de B. CJ. Moore, B. R. Glasberg et T. Baer - Journal of the Audio Engineering Society 45(4): 224-240, 1997.
Dans le cadre du mode de réalisation exposé ici, la sonie totale du signal de bruit est estimée en utilisant le modèle de Zwicker, cependant on peut également mettre en œuvre l'invention en utilisant le modèle de Moore. D'ailleurs, plus le modèle objectif d'estimation de la sonie, utilisé, est précis et plus l'évaluation de la qualité vocale selon l'invention sera meilleure.
L'estimation de la sonie totale, exprimée en sones, du signal de bruit SIG_N, obtenue en utilisant le modèle de Zwicker, est désignée ici par : "N". Ainsi à l'issue de l'étape S231 représentée à la figure 4, on obtient une estimation de la sonie du signal de bruit.
L'étape S233 qui suit est l'étape d'évaluation proprement dite de la qualité vocale du signal de parole. Selon le procédé, on commence par sélectionnée une formule mathématique à utiliser, parmi quatre, en fonction de la classe de bruit CLi (i = 1 , 2, 3, 4) obtenue au cours de la phase préalable de classification du bruit de fond (l'obtention des formules précitées est détaillée plus bas).
L'expression générale de la formule sélectionnée est la suivante : MOS .CLi ≈ C^ + q x fiN) (5)
Où :
- MOS_CLi est la note calculée pour le signal de bruit SIG_N de classe CLi ; f(N) est une fonction mathématique de la sonie totale, N, estimée pour le signal de bruit, selon un modèle de sonie tel que le modèle de Zwicker ;
- Cι-i et C1 sont deux coefficients définis pour la formule mathématique associée à la classe CLi.
L'expression mathématique de la formule (5) ci-dessus met en évidence le fait que l'on dispose, conformément à l'invention, d'un modèle d'évaluation de qualité vocale pour chaque classe de bruit de fond (CL1 -CL4), qui est fonction de la sonie totale du bruit de fond.
Ainsi, dans le mode de réalisation exposé ici, la note de qualité vocale pour le signal de parole, MOS_CLi , est obtenue, d'une part, en fonction de la classification obtenue relative au bruit de fond présent dans le signal de parole
— par le choix des coefficients (C,.? , C,) de la formule mathématique qui correspondent à la classe du bruit de fond — et d'autre part, en fonction de la sonie N estimée pour le bruit de fond.
Obtention des modèles d'évaluation de qualité vocale par classe de bruit de fond
On va à présent détailler le mode d'obtention des modèles d'évaluation de qualité vocale pour chaque classe de bruit de fond (CL1 -CL4). La figure 1 décrite plus haut, issue du Document [1] précité, représente les moyennes d'opinion (MOS LQSN) avec l'intervalle de confiance associé, calculées à partir de notes données par des auditeurs testeurs à des messages audio contenant six types de bruits de fond différents, selon la méthode ACR (Absolute Category Rating). Les divers types de bruit sont les suivants : bruit rosé, bruit de parole stationnaire (BPS), bruit électrique, bruits de ville, bruits de restaurant, bruits de télévision ou voix, chaque bruit étant considéré à trois niveaux différents de sonie perçue. Les niveaux de sonie des divers types de bruit de fond sont obtenus dans ce test, de manière subjective.
Plus précisément, la base sonore utilisée dans le cadre du premier test décrit dans le Document [1 ] (voir section 2 du document), est constituée de huit phrases dont la moitié est prononcée par deux hommes et l'autre moitié par deux femmes. Chacune de ces phrases prononcées constitue un signal de parole (8 signaux de parole). Ensuite, à chacun de ces signaux de parole est ajouté chacun des six bruits de fond précités, on obtient alors 48 signaux de paroles bruités (8 signaux par type de bruit de fond). Au cours du test, chacun de ces signaux de parole bruités est présenté à l'écoute aux auditeurs testeurs selon trois niveaux d'isosonie différent, ce qui constitue 144 signaux bruités différents. Par ailleurs, à chacun des 8 signaux de parole initiaux (phrase prononcée) est ajouté du bruit de fond rosé (SNR = 44), pour représenter la condition correspondant à un signal de parole sans bruit de fond. En tout, 152 signaux de parole ont été utilisés lors du premier test. Concernant les niveaux d'isosonie utilisés, ceux-ci ont déterminés préalablement selon le test d'ajustement ("Adjustment test') du premier test décrit dans le Document [1] (Section 2). Ce test d'ajustement de sonie est conforme aux résultats décrits dans le document intitulé "La sonie des sons impulsionnels : Perception, Mesures et Modèles", thèse de Isabelle Boullet - Université de Aix-Marseille 2, 2005. En bref, ce test consiste à demander à des personnes de modifier le niveau de chaque signal de bruit de manière que la sonie du signal soit égale à la sonie du signal de référence qui est le bruit rosé. En pratique les trois niveaux de sonie (exprimés en sones) déterminés pour chacun des six types de bruit de fond utilisés sont les suivants : 4,6 sone ; 8,2 sone ; 14 sone. Le niveau de sonie de chacun des signaux de parole de référence, sans bruit de fond (c'est-à-dire contenant uniquement du bruit rosé avec SNR = 44) est de 1 ,67 sone.
A partir des résultats du test illustré par la figure 1 , les six types de bruit de fond utilisés ont permis de définir les quatre classes de bruit de fond utilisées selon l'invention, de la manière suivante :
- la classe 1 (CL1 : "intelligible") correspond aux bruits de TV/parole ; - la classe 2 (CL2 : "environnement") correspond au regroupement des bruits de ville et bruits de restaurant ;
- la classe 3 (CL3 : "souffle") regroupe le bruit rosé et le bruit de parole stationnaire (BPS) ; et
- la classe 4 (CL4 : "grésillement") correspond aux bruits électriques. Ainsi, chaque signal audio de test peut être caractérisé par sa classe de bruit de fond (CL1 -CL4), son niveau de sonie perçue (en sones : 1 ,67 ; 4,6 ; 8,2 ; 14) et la note MOS-LQSN (Listening Quality Subjective Narrowband) qui lui a été attribuée lors du test subjectif préliminaire (Document [1], " Préliminary Experimenf). Par conséquent, en résumé, lors de ce test, 24 sujets ont subi un test d'évaluation de la qualité globale de signaux audio, selon la méthode ACR. Au final, 152 notes MOS-LQSN ont été obtenues en prenant la moyenne des notes attribuées par les 24 sujets, pour chacun des 152 signaux audio de test, lesquels sont répartis selon les quatre classes de bruit de fond définies selon l'invention. La figure 5 montre graphiquement le résultat des tests subjectifs précités. Les 152 conditions de test sont représentées par leurs points, chaque point correspondant en abscisse, à un niveau de sonie, et en ordonnée, au score de qualité attribué (MOS-LQSN) ; les points sont par ailleurs différenciés selon la classe du bruit de fond contenu dans le signal audio correspondant.
Selon l'invention, partant des nuages de points issus des tests subjectifs, la modélisation de l'évaluation de la qualité vocale par classe de bruit de fond, a été réalisée par régression mathématique. En pratique plusieurs types de régression ont été testés (régression polynomiale, linéaire), mais c'est la régression logarithmique en fonction de la sonie perçue, exprimée en sones, qui permet d'obtenir les meilleures corrélations avec les notes de qualité vocale perçue. A la figure 5, on peut observer les courbes obtenues par régression logarithmique qui lient les notes de qualité perçue à la sonie perçue, exprimée en sones, pour des signaux audio correspondant aux classes de bruit de fond définies selon l'invention. La figure 5 indique également les équations obtenues pour chacune des quatre courbes obtenue par régression logarithmique. Ainsi la première équation en haut et à droite correspond à la classe 1 , la seconde à la classe 2, la troisième à la classe 3, et la quatrième à la classe 4.
Pour chacune de ces équations, la valeur associée à R2 correspond au coefficient de corrélation entre les résultats issus du test subjectif et la régression logarithmique correspondante. Ainsi l'équation (5) exposée plus haut est déclinée, en pratique, pour les différentes classes comme suit :
MOS _ CLi = C,_, + C1 X In(N) (6)
Avec :
Ln(N) : logarithme népérien de la valeur de sonie totale, N, calculée et exprimée en sones ;
(C-? , C1) = (4,4554 ; - 0,5888) pour i=1 (classe 1 ) ;
(G-? , C) = (4,7046 ; - 0,7869) pour i=2 (classe 2) ;
(C-j , C) = (4,9015 ; - 0,9592) pour i=3 (classe 3) ;
(C-, , C) = (4,7489 ; - 0,9608) pour i=4 (classe 4) ; Dans le cadre du modèle d'évaluation objective de la qualité vocale selon l'invention, la valeur de sonie perçue N — valeur obtenue subjectivement dans le cadre des tests subjectifs précités — est obtenue par estimation selon une méthode connue d'estimation de sonie, le modèle de Zwicker dans le mode de réalisation exposé ici.
La figure 6 montre graphiquement le degré de corrélation existant entre les notes de qualité obtenues lors des tests subjectifs et celles obtenues en utilisant la méthode d'évaluation objective de la qualité, selon la présente invention. Comme on peut le voir sur la figure 6, on obtient une très bonne corrélation, de l'ordre de 93% (r = 0,93205), entre les notes MOS-LQSN issues du test subjectif exposé plus haut (axe des abscisses), et les notes MOS objectives (axes des ordonnées) obtenues avec le modèle d'évaluation de qualité selon l'invention, tel que défini par l'équation (6) plus haut.
En liaison avec la figure 7 on va à présent décrire de manière fonctionnelle un dispositif d'évaluation objective de la qualité vocale d'un signal de parole, selon l'invention. Ce dispositif d'évaluation de qualité vocale est conçu pour mettre en œuvre le procédé de d'évaluation de qualité vocale selon l'invention qui vient d'être décrit ci-dessus.
Comme représenté à la figure 7, le dispositif 1 d'évaluation de la qualité vocale d'un signal de parole, comprend un module 11 d'extraction à partir du signal audio (SIG) d'un signal de bruit de fond (SIG_N), dit signal de bruit.
Le signal de parole (SIG) fourni en entrée au dispositif 1 d'évaluation de qualité vocale, peut être délivré au dispositif 1 à partir d'un réseau de communication 2, tel qu'un réseau de voix sur IP par exemple.
Selon le mode de réalisation exposé, le module 11 est en pratique un module de détection d'activité vocale. Le module DAV 1 1 fournit alors un signal de bruit SIG_N qui est délivré en entrée à un module 13 d'extraction de paramètres, c'est-à-dire de calcul des paramètres constitués des indicateurs temporel et fréquentiel, respectivement IND_TMP et IND_FRQ. Les indicateurs calculés sont alors fournis à un module 15 de classification, implémentant le modèle de classification selon l'invention, décrit plus haut, et qui détermine en fonction des valeurs des indicateurs utilisés, la classe de bruit de fond (CL) auquel appartient le signal de bruit SIG_N, selon l'algorithme décrit en liaison avec les figures 3a et 3b. Le résultat de la classification effectuée par le module 15 de classification de bruit de fond, est alors fourni au module 17 d'évaluation de la qualité vocale. Ce dernier met en œuvre l'algorithme d'évaluation de qualité vocale décrit plus haut en liaison avec la figure 4, pour délivrer au final une note de qualité vocale objective relative au signal de parole d'entrée (SIG).
En pratique, le dispositif d'évaluation de la qualité vocale selon l'invention est mis en œuvre sous forme de moyens logiciels, c'est-à-dire de modules de programme d'ordinateur, réalisant les fonctions décrites en liaison avec les figures 3a, 3b, 4 et 5. Par ailleurs, dans le cadre d'une implémentation particulière de l'invention, le module 17 d'évaluation de la qualité vocale peut être incorporé dans une machine informatique distincte de celle abritant les autres modules. En particulier l'information de classe de bruit de fond (CL) peut être acheminée via un réseau de communication à la machine ou serveur chargé d'effectuer l'évaluation de la qualité vocale. Par ailleurs, selon une application particulière de l'invention, dans le domaine par exemple de la supervision de la qualité vocale sur un réseau de communication, chaque note de qualité vocale calculée par le module 17, est envoyée à un équipement de collecte local ou sur le réseau, chargé de collecter ces informations de qualité afin d'établir une note globale de qualité, établie par exemple en fonction du temps et/ou en fonction du type de communication et/ou en fonction d'autres types de notes de qualité.
Les modules programmes précités sont mis en œuvre lorsqu'ils sont chargés et exécutés dans un ordinateur ou dispositif informatique. Un tel dispositif informatique peut être également constitué par tout système à processeur, intégré dans un terminal de communication ou dans un équipement de réseau de communication.
On notera aussi qu'un programme d'ordinateur selon l'invention, dont la finalité est la mise en œuvre de l'invention lorsqu'il est exécuté par un système informatique approprié, peut être stocké sur un support d'informations de types variés. En effet, un tel support d'informations peut être constitué par n'importe quelle entité ou dispositif capable de stocker un programme selon l'invention. Par exemple, le support en question peut comporter un moyen de stockage matériel, tel qu'une mémoire, par exemple un CD ROM ou une mémoire de type ROM ou RAM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur.
D'un point de vue conception, un programme d'ordinateur selon l'invention peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet (par ex., une forme partiellement compilée), ou dans n'importe quelle autre forme souhaitable pour implémenter un procédé selon l'invention.

Claims

REVENDICATIONS
1. Procédé d'évaluation objective de la qualité vocale d'un signal de parole, caractérisé en ce qu'il comprend les étapes de :
- classification (S3-S21 ) du bruit de fond contenu dans le signal de parole selon un ensemble prédéfini de classes de bruits de fond (CL1 -CL4) ;
- évaluation (S23) de la qualité vocale du signal de parole, en fonction d'au moins la classification obtenue relative au bruit de fond présent dans le signal de parole.
2. Procédé selon la revendication 1 , dans lequel l'étape de classification du bruit de fond contenu dans le signal de parole, inclut les étapes de : - extraction (S3, S5) du signal de parole, d'un signal de bruit de fond, dit signal de bruit ;
- calcul (S7) de paramètres audio du signal de bruit ;
- classification (S9-S21 ) du bruit de fond contenu dans le signal de bruit, en fonction des paramètres audio calculés, selon ledit ensemble de classes de bruits de fond (CL1 -CL4).
3. Procédé selon la revendication 2, dans lequel l'étape (S23) d'évaluation de la qualité vocale du signal de parole, comprend les étapes de :
- estimation (S231 ) de la sonie totale (N) du signal de bruit (SIG_N) ; - calcul d'une note de qualité vocale (MOS_CLi) en fonction de la classe
(CLi) de bruit de fond présent dans le signal de parole, et de la sonie totale (N) estimée pour le signal de bruit.
4. Procédé selon la revendication 3, dans une note de qualité vocale (MOS_CLi) est obtenue selon une formule mathématique de la forme générale suivante :
MOS _ CLi = C,_, + C, x f(N) Où :
- MOS_CLi est la note calculée pour le signal de bruit ;
/(N) est une fonction mathématique de la sonie totale, N, estimée pour le signal de bruit ; « C1-I et C1 sont deux coefficients définis pour la classe (CLi) de bruit de fond obtenue pour le signal de bruit.
5. Procédé selon la revendication 4, dans lequel la fonction /(N) est le logarithme népérien, Ln(N) , de la sonie totale N exprimée en sones.
6. Procédé selon l'une des revendications 3 à 5, dans lequel la sonie totale du signal de bruit est estimée selon un modèle objectif d'estimation de la sonie.
7. Procédé selon l'une quelconque des revendications 2 à 6, dans lequel l'étape (S7) de calcul de paramètres audio du signal de bruit, comprend le calcul d'un premier paramètre (IND_TMP), dit indicateur temporel, relatif à révolution temporelle du signal de bruit, et d'un second paramètre (IND_FRQ), dit indicateur fréquentiel, relatif au spectre fréquentiel du signal de bruit.
8. Procédé selon la revendication 7, dans lequel l'indicateur temporel (IND_TMP) est obtenu à partir d'un calcul de variation du niveau sonore du signal de bruit, et l'indicateur fréquentiel (IND_FRQ) est obtenu à partir d'un calcul de variation de l'amplitude du spectre fréquentiel du signal de bruit.
9. Procédé selon l'une quelconque des revendications précédentes, dans lequel, pour classer le bruit de fond associé au signal de bruit, le procédé comprend les étapes consistant à :
- comparer (S9) la valeur de l'indicateur temporel (IND_TMP) obtenue pour le signal de bruit à un premier seuil (TH1), et déterminer en fonction du résultat de cette comparaison que le signal de bruit est stationnaire ou non ; - lorsque le signal de bruit est identifié comme non-stationnaire, comparer (S11) la valeur de l'indicateur fréquentiel à un second seuil (TH2), et déterminer (S13, S15) en fonction du résultat de cette comparaison que le signal de bruit appartient à une première classe (CL1) ou à une seconde classe (CL2) de bruits de fond ;
- lorsque le signal de bruit est identifié comme stationnaire, comparer (S17) la valeur de l'indicateur fréquentiel à un troisième seuil (TH3), et déterminer (S 19, S21 ) en fonction du résultat de cette comparaison que le signal de bruit appartient à une troisième classe (CL3) ou à une quatrième classe (CL4) de bruits de fond.
10. Procédé selon l'une quelconque des revendications précédentes, dans lequel l'ensemble des classes comprend au moins les classes suivantes :
- bruit intelligible ; - bruit d'environnement ;
- bruit de souffle ;
- bruit de grésillement.
11. Procédé selon l'une quelconque des revendications 2 à 10, dans lequel que le signal de bruit est extrait par application au signal de parole d'une opération de détection d'activité vocale, les zones du signal de parole ne présentant pas d'activité vocale constituant le signal de bruit.
12. Dispositif d'évaluation objective de la qualité vocale d'un signal de parole, caractérisé en ce qu'il comprend :
- des moyens de classification (11-15) du bruit de fond contenu dans le signal de parole selon un ensemble prédéfini de classes de bruits de fond (CLI - CL4) ;
- des moyens d'évaluation (17) de la qualité vocale du signal de parole, en fonction d'au moins la classification obtenue relative au bruit de fond présent dans le signal de parole.
13. Dispositif selon la revendication 12, comprenant :
- un module (1 1 ) d'extraction à partir du signal de parole (SIG) d'un signal de bruit de fond, dit signal de bruit ;
- un module (13) de calcul de paramètres audio du signal de bruit ; - un module (15) de classification du bruit de fond contenu dans le signal de bruit, en fonction des paramètres audio calculés, selon un ensemble prédéfini de classes de bruits de fond (CL) ;
- un module (17) d'évaluation de la qualité vocale du signal de parole, en fonction d'au moins la classification obtenue relative au bruit de fond présent dans le signal de parole.
14. Dispositif selon la revendication 13, comprenant en outre des moyens adaptés à la mise en œuvre d'un procédé selon l'une quelconque des revendications 2 à 1 1.
15. Programme d'ordinateur sur un support d'informations, ledit programme comportant des instructions de programme adaptées à la mise en œuvre d'un procédé selon l'une quelconque des revendications 1 à 11 , lorsque ledit programme est chargé et exécuté dans un ordinateur.
EP10723655A 2009-04-17 2010-04-12 Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal Active EP2419900B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0952531A FR2944640A1 (fr) 2009-04-17 2009-04-17 Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal.
PCT/FR2010/050699 WO2010119216A1 (fr) 2009-04-17 2010-04-12 Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal

Publications (2)

Publication Number Publication Date
EP2419900A1 true EP2419900A1 (fr) 2012-02-22
EP2419900B1 EP2419900B1 (fr) 2013-03-13

Family

ID=41137230

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10723655A Active EP2419900B1 (fr) 2009-04-17 2010-04-12 Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal

Country Status (4)

Country Link
US (1) US8886529B2 (fr)
EP (1) EP2419900B1 (fr)
FR (1) FR2944640A1 (fr)
WO (1) WO2010119216A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504538B2 (en) 2017-06-01 2019-12-10 Sorenson Ip Holdings, Llc Noise reduction by application of two thresholds in each frequency band in audio signals
CN114486286A (zh) * 2022-01-12 2022-05-13 中国重汽集团济南动力有限公司 一种车辆关门声品质评价方法及设备

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2944640A1 (fr) * 2009-04-17 2010-10-22 France Telecom Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal.
WO2010146711A1 (fr) * 2009-06-19 2010-12-23 富士通株式会社 Dispositif de traitement de signal audio et procédé de traitement de signal audio
EP2603914A4 (fr) * 2010-08-11 2014-11-19 Bone Tone Comm Ltd Suppression d'un bruit de fond pour une utilisation privée et personnalisée
CN102231279B (zh) * 2011-05-11 2012-09-26 武汉大学 基于听觉关注度的音频质量客观评价系统及方法
KR101406398B1 (ko) * 2012-06-29 2014-06-13 인텔렉추얼디스커버리 주식회사 사용자 음원 평가 장치, 방법 및 기록 매체
US9679555B2 (en) 2013-06-26 2017-06-13 Qualcomm Incorporated Systems and methods for measuring speech signal quality
CN106409310B (zh) 2013-08-06 2019-11-19 华为技术有限公司 一种音频信号分类方法和装置
US10148526B2 (en) 2013-11-20 2018-12-04 International Business Machines Corporation Determining quality of experience for communication sessions
US11888919B2 (en) 2013-11-20 2024-01-30 International Business Machines Corporation Determining quality of experience for communication sessions
US10079031B2 (en) * 2015-09-23 2018-09-18 Marvell World Trade Ltd. Residual noise suppression
US9749733B1 (en) * 2016-04-07 2017-08-29 Harman Intenational Industries, Incorporated Approach for detecting alert signals in changing environments
US10141005B2 (en) 2016-06-10 2018-11-27 Apple Inc. Noise detection and removal systems, and related methods
US10311863B2 (en) * 2016-09-02 2019-06-04 Disney Enterprises, Inc. Classifying segments of speech based on acoustic features and context
CN107093432B (zh) * 2017-05-19 2019-12-13 江苏百应信息技术有限公司 一种用于通信系统的语音质量评价系统
CN111326169B (zh) * 2018-12-17 2023-11-10 中国移动通信集团北京有限公司 一种语音质量的评价方法及装置
US11350885B2 (en) * 2019-02-08 2022-06-07 Samsung Electronics Co., Ltd. System and method for continuous privacy-preserved audio collection
CN110610723B (zh) * 2019-09-20 2022-02-22 中国第一汽车股份有限公司 车内声品质的评价方法、装置、设备及存储介质
EP4158627A1 (fr) * 2020-05-29 2023-04-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Procédé et appareil pour traiter un signal audio initial
CN113393863B (zh) * 2021-06-10 2023-11-03 北京字跳网络技术有限公司 一种语音评价方法、装置和设备
CN115334349B (zh) * 2022-07-15 2024-01-02 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质
CN117636907B (zh) * 2024-01-25 2024-04-12 中国传媒大学 基于广义互相关的音频数据处理方法、装置及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5504473A (en) * 1993-07-22 1996-04-02 Digital Security Controls Ltd. Method of analyzing signal quality
JP3484757B2 (ja) * 1994-05-13 2004-01-06 ソニー株式会社 音声信号の雑音低減方法及び雑音区間検出方法
JP3484801B2 (ja) * 1995-02-17 2004-01-06 ソニー株式会社 音声信号の雑音低減方法及び装置
US5684921A (en) * 1995-07-13 1997-11-04 U S West Technologies, Inc. Method and system for identifying a corrupted speech message signal
US6202046B1 (en) * 1997-01-23 2001-03-13 Kabushiki Kaisha Toshiba Background noise/speech classification method
US6330532B1 (en) * 1999-07-19 2001-12-11 Qualcomm Incorporated Method and apparatus for maintaining a target bit rate in a speech coder
ATE498177T1 (de) * 1999-08-10 2011-02-15 Telogy Networks Inc Hintergrundenergieschätzung
SG97885A1 (en) * 2000-05-05 2003-08-20 Univ Nanyang Noise canceler system with adaptive cross-talk filters
US7472059B2 (en) * 2000-12-08 2008-12-30 Qualcomm Incorporated Method and apparatus for robust speech classification
DE10142846A1 (de) * 2001-08-29 2003-03-20 Deutsche Telekom Ag Verfahren zur Korrektur von gemessenen Sprachqualitätswerten
US7461003B1 (en) * 2003-10-22 2008-12-02 Tellabs Operations, Inc. Methods and apparatus for improving the quality of speech signals
EP1756539A1 (fr) * 2004-06-04 2007-02-28 Philips Intellectual Property & Standards GmbH Prediction de performance pour systeme de reconnaissance vocale interactif
WO2006035269A1 (fr) * 2004-06-15 2006-04-06 Nortel Networks Limited Procede et appareil d'evaluation de la qualite vocale asymetrique non invasive en voix sur ip
WO2006136900A1 (fr) * 2005-06-15 2006-12-28 Nortel Networks Limited Procede et dispositif d'evaluation asymetrique sans intrusion de la qualite vocale dans une voix sur ip
FR2894707A1 (fr) * 2005-12-09 2007-06-15 France Telecom Procede de mesure de la qualite percue d'un signal audio degrade par la presence de bruit
FR2944640A1 (fr) * 2009-04-17 2010-10-22 France Telecom Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal.

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010119216A1 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504538B2 (en) 2017-06-01 2019-12-10 Sorenson Ip Holdings, Llc Noise reduction by application of two thresholds in each frequency band in audio signals
CN114486286A (zh) * 2022-01-12 2022-05-13 中国重汽集团济南动力有限公司 一种车辆关门声品质评价方法及设备
CN114486286B (zh) * 2022-01-12 2024-05-17 中国重汽集团济南动力有限公司 一种车辆关门声品质评价方法及设备

Also Published As

Publication number Publication date
WO2010119216A1 (fr) 2010-10-21
US8886529B2 (en) 2014-11-11
FR2944640A1 (fr) 2010-10-22
EP2419900B1 (fr) 2013-03-13
US20120059650A1 (en) 2012-03-08

Similar Documents

Publication Publication Date Title
EP2419900B1 (fr) Procede et dispositif d&#39;evaluation objective de la qualite vocale d&#39;un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal
EP2415047B1 (fr) Classification du bruit de fond contenu dans un signal sonore
Malfait et al. P. 563—The ITU-T standard for single-ended speech quality assessment
CA2436318C (fr) Procede et dispositif de reduction de bruit
US20130266147A1 (en) System and method for identification of highly-variable vocalizations
EP0594480A1 (fr) Procédé de détection de la parole
EP1468416A1 (fr) Procede d&#39;evaluation qualitative d&#39;un signal audio numerique.
CA3053032A1 (fr) Methode et appareil de modification dynamique du timbre de la voix par decalage en frequence des formants d&#39;une enveloppe spectrale
EP2795618B1 (fr) Procédé de détection d&#39;une bande de fréquence prédéterminée dans un signal de données audio, dispositif de détection et programme d&#39;ordinateur correspondant
EP0685833B1 (fr) Procédé de codage de parole à prédiction linéaire
EP3627510B1 (fr) Filtrage d&#39;un signal sonore acquis par un systeme de reconnaissance vocale
EP1849157B1 (fr) Procede de mesure de la gene due au bruit dans un signal audio
Sharma et al. Non-intrusive estimation of speech signal parameters using a frame-based machine learning approach
FR2894707A1 (fr) Procede de mesure de la qualite percue d&#39;un signal audio degrade par la presence de bruit
FR2627887A1 (fr) Systeme de reconnaissance de parole et procede de formation de modeles pouvant etre utilise dans ce systeme
CA2304013A1 (fr) Procede de conditionnement d&#39;un signal de parole numerique
Barry et al. Audio inpainting based on self-similarity for sound source separation applications
FR2875633A1 (fr) Procede et dispositif d&#39;evaluation de l&#39;efficacite d&#39;une fonction de reduction de bruit destinee a etre appliquee a des signaux audio
Santos A non-intrusive objective speech intelligibility metric tailored for cochlear implant users in complex listening environments
Jaiswal Performance Analysis of Deep Learning Based Speech Quality Model with Mixture of Features
FR2847706A1 (fr) Analyse de la qualite de signal vocal selon des criteres de qualite
WO2002082424A1 (fr) Procede et dispositif d&#39;extraction de parametres acoustiques d&#39;un signal vocal

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20111115

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 601216

Country of ref document: AT

Kind code of ref document: T

Effective date: 20130315

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602010005476

Country of ref document: DE

Effective date: 20130508

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130613

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130613

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130624

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 601216

Country of ref document: AT

Kind code of ref document: T

Effective date: 20130313

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20130313

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130614

REG Reference to a national code

Ref country code: CH

Ref legal event code: PUE

Owner name: ORANGE, FR

Free format text: FORMER OWNER: FRANCE TELECOM, FR

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: ORANGE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20130430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130713

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130715

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130430

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

26N No opposition filed

Effective date: 20131216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602010005476

Country of ref document: DE

Effective date: 20131216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130412

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140430

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130313

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130412

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20100412

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250319

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20260319

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20260319

Year of fee payment: 17