EP2186085A1 - Verfahren zum erkennen eines akustischen ereignisses in einem audio-signal - Google Patents

Verfahren zum erkennen eines akustischen ereignisses in einem audio-signal

Info

Publication number
EP2186085A1
EP2186085A1 EP08803193A EP08803193A EP2186085A1 EP 2186085 A1 EP2186085 A1 EP 2186085A1 EP 08803193 A EP08803193 A EP 08803193A EP 08803193 A EP08803193 A EP 08803193A EP 2186085 A1 EP2186085 A1 EP 2186085A1
Authority
EP
European Patent Office
Prior art keywords
stage
audio signal
possible candidate
evaluation
variables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP08803193A
Other languages
English (en)
French (fr)
Inventor
Markus Schlosser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Deutsche Thomson OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Thomson OHG filed Critical Deutsche Thomson OHG
Priority to EP08803193A priority Critical patent/EP2186085A1/de
Publication of EP2186085A1 publication Critical patent/EP2186085A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Definitions

  • the invention relates to a method for detecting an acoustic event in an audio signal.
  • the audio signal of a flap belongs as a percussive signal to the transient
  • the synchronization of audio and video signals is u. a. in the production and transfer of films e.g. needed for messages that should be available as soon as possible.
  • a method for detecting acoustic events in audio signals is described in EP 1 465 192 A1.
  • the method comprises a stage in which any combination of different steps is used to classify the audio signal into: detected event or no event detected.
  • the selected steps for classification are performed on the entire possibly processed audio signal.
  • Other methods for detecting acoustic events are e.g. from US 5,884,260 and from US 2005/0199064 A1.
  • the object of the invention is to develop a method for detecting an acoustic event, which allows a quick recognition of the event.
  • the object is solved by the features of claim 1. advantageous
  • An inventive method for detecting an acoustic event in an audio signal, for. B. in a wav file has two stages. In the first stage, possible candidates are selected, and in the second stage, each of the possible candidates is assigned a confidence score.
  • a division of the recognition process into two stages, namely first a first selection of possible candidates in the first stage and then a more detailed examination of the possible candidates in the second stage makes it possible to significantly reduce the amount of data to be evaluated compared to methods in which the review of candidates without Preselection is performed.
  • the confidence score is a measure of the likelihood that it is the event you are looking for.
  • the assignment of a confidence value to each possible candidate allows an operator, when determining the final candidates, first to view the possible candidates with the highest confidence values and to end the search once the sought candidates have been found. Possible, wrong candidates with similar characteristics as the searched events i. and with high but somewhat lower confidence values than the events sought can be disregarded.
  • the first stage comprises the following steps: applying a first high-pass filter to the audio signal having a broad transition band so that higher frequencies are weighted more heavily, calculating a first energy envelope in the time domain from the filtered audio signal, calculation of a derivative from the energy envelope and
  • the second stage for each possible candidate comprises the following steps: evaluation of several sizes of the possible candidate and assignment of a common confidence value by means of an evaluation of the variables.
  • the second stage has the following steps for each possible candidate for the evaluation of the quantities:
  • the second stage for each candidate for the evaluation of the quantities comprises the following step: Determination of a noise range of the audio signal.
  • the determination of the noise range comprises a determination of a noise floor and / or a recording level.
  • the energy envelope calculated in the second stage is used.
  • the second stage preferably has the following steps for each possible candidate for the evaluation of one or more of the evaluated variables: determination of a probability ratio and / or a weighting factor.
  • the probability ratios and / or the weighting factors of the evaluated variables are preferably combined in the assignment of the common confidence value.
  • the logarithms of the probability ratios of the selected variables weighted by the weighting factors are added.
  • the weighting factors of one or more of the evaluated quantities are respectively calculated from correlation coefficients for pairwise correlations of the evaluated quantities.
  • one or more additional information about the acoustic event is preferably taken into account.
  • the second stage for each possible candidate alternatively or additionally comprises the step of: speech recognition of a text indicative of the acoustic event.
  • the inventive method is preferably used for detecting flaps in the synchronization of the audio signal with a corresponding video signal.
  • FIG. 1 shows a block diagram of an example according to the invention
  • FIG. 2 shows a representation of a possible candidate in the time domain with evaluated values, in which a corresponding section of the audio signal can be seen in terms of decibels dB over time in seconds s is.
  • An inventive method for detecting an acoustic event in an audio signal S in this example for detecting a flap, has two stages A, B. In the first stage A, possible candidates X are selected, and in the second stage B, a confidence value W is assigned to each of the possible candidates X.
  • the audio signal is z. B. a wav file, which is processed by a process implementing the invention program.
  • the first stage A of the method according to the invention has the following steps illustrated in FIG. 1: application 110 of a first high-pass filter to the audio signal S,
  • the derivative is a measure of the energy increase.
  • the first high-pass filter is designed with a very shallow flank, i. it has a wide transition band of e.g. Frequencies between 2000 and 3000 Hz. In this case, the higher the frequencies are, the better they pass through, so that higher frequencies are weighted more heavily.
  • the advantage of this high-pass filter is also that a filter with such a flat edge with a low filter order and thus with a low computational complexity can be achieved.
  • the maximum value of the derivative is above a certain threshold value.
  • the threshold value is selected depending on the event to be detected. In this example of detecting flaps, the threshold z. B. 18 dB.
  • FIG. 2 shows a possible candidate X found in the first stage A.
  • the rectangular window F is shown in FIG.
  • the second stage B has the following steps illustrated in FIG. 1 for each possible candidate X: application 150 of a second high-pass filter to the audio signal S, calculation 160 of a second energy envelope E in the time domain from the filtered audio signal S,
  • Assignment 190 of a common confidence value W using a score 200 of the sizes is assigned to Assignment 190 of a common confidence value W using a score 200 of the sizes.
  • the confidence value W is a measure of the probability that it is the event sought. As a relative measure compared with confidence values W of further possible candidates X of an audio signal, the confidence value W makes it possible to quickly find the right candidate.
  • the evaluation 180 of the sizes of a possible candidate X is additionally carried out with the aid of the maximum value of the derivative determined in the first stage A, i. the energy increase.
  • the second high pass filter applied to the original audio signal S has a cutoff frequency of e.g. 200 Hz. It is used to record sounds with a low frequency, such as B. a 50 Hz or 60 Hz - hum or mechanical noise of a running camera to suppress.
  • the determination 180 of the noise area comprises a determination of a noise floor G and / or a recording level A of the audio signal S.
  • the energy envelope E calculated in the second stage B is used, wherein a Histogram of values of energy envelope E is created.
  • recording level A for example, the value is defined which is exceeded only by 1% of the values, and as
  • Noise floor defines the value that is not exceeded by 5% of the values. Outliers with very low energy, eg by switching on a microphone, are not taken into account in this procedure.
  • the recording level A is to be determined from longer signal sections than the background noise G.
  • the evaluation 170 of one or more of the following variables takes place for each possible candidate:
  • the energy increase is the only quantity determined in the first stage A and calculated from the energy envelope of the audio signal S filtered by the first high pass filter. All other quantities are derived from the energy envelope E of the audio signal S filtered by the second low-pass high-pass filter, which is detected in the second stage B.
  • the difference between the measured maximum and the recording level A is determined for its height of the maximum M.
  • his position is determined.
  • a found maximum is replaced by an earlier local maximum, presumably caused by reflections.
  • the maximum is determined in two different time intervals, in a shorter and in a longer one.
  • the maximum in the longer time interval must be significantly higher in order to be accepted as the real maximum.
  • the slope and deviation from a curve K adapted to the energy drop of the envelope are evaluated. This evaluation takes into account that the energy drop of the flap event drops exponentially due to the reflections in the room, ie on the walls, on the floor and on the ceiling.
  • the fitting of the curve takes place in a logarithmic scaling, so that a simple adaptation to a linear drop occurs. In addition, this adjustment allows to determine the quality of fitting by the mean square deviation.
  • the energy drop may be interrupted by simultaneous background noise or other foreground sounds. In this case, curve fitting is performed only until this interruption.
  • an additional low-pass filter is applied to the energy envelope E.
  • An interruption of the energy drop is detected when this filtered energy envelope rises again before the original energy envelope E reaches a lower still threshold Si.
  • the confidence value W of the candidate candidate X is reduced directly or indirectly depending on the distance of the interruption to a lower still threshold Si.
  • the difference between a measured maximum M and a maximum predicted from the curve K is determined in a logarithmic scaling. It is therefore a relative difference.
  • the duration T of the possible candidate X, i. of the acoustic event, is determined from the period in which the energy, i. the energy envelope E, is above the lower still threshold Si.
  • the duration T v of a silence period before the acoustic event, ie before the possible candidate X, and the duration T n of a silence period after the possible candidate X are periods of time that the energy envelope E needs to go above an upper still threshold S 2 after she has fallen below the lower silent threshold Si. This hysteresis prevents quiet sounds from being detected as the end of a silence period.
  • silence periods T v and T n are neither too long nor too short. If the movement itself causes noise to close, there may not be a silence period T v in front of the door. This is taken into account in the evaluation. For outdoor recordings, echoes are neglected in the evaluation of the silence periods T v and T n , as far as possible.
  • a possible candidate namely a flap
  • a possible candidate is typically at the beginning or at the end of a recording.
  • the second stage B comprises for the evaluation 200 of the evaluated variable described above the following steps for each variable: determination of a probability ratio v and / or a weighting factor w.
  • the probability ratios v and / or the weighting factors w of the evaluated variables are combined. This is done by adding the logarithms of the probability ratios v of the selected quantities weighted by the weighting factors w.
  • the weighting factors w of the evaluated quantities are respectively Correlation coefficients k are calculated for pairwise correlations of the evaluated quantities.
  • the weighting factor wi of a variable i is calculated from the correlation coefficients kij for the N pairwise correlations as follows:
  • the correlation coefficient kij is a measure of the correlation between the ith and jth quantities and is determined from empirical data. In calculating the correlation coefficients kij, outliers exceeding a 3 ⁇ limit are suppressed.
  • the exponent m determines how strongly the correlation is considered. The larger the exponent m, the smaller the influence of a possible correlation is considered. It should be higher if there is little data to estimate the correlation coefficients.
  • one or more additional information about the acoustic event is taken into account in the determination of the probability ratios v.
  • additional information is e.g. The following information about the audio signal S: Separate shots with starting flaps or end flaps, solo flaps, or indoor or outdoor shots.
  • the second stage B for each possible candidate X alternatively or additionally comprises the following step: Speech recognition of a text indicative of the acoustic event.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

Ein erfindungsgemäßes Verfahren zum Erkennen eines akustischen Ereignisses eines Audio-Signals (S) weist zwei Stufen (A, B) auf. In der ersten Stufe (A) werden mögliche Kandidaten (X) ausgewählt und in der zweiten Stufe (B) wird jedem der möglichen Kandidaten (X) ein Konfidenzwert (W) zugeordnet.

Description

Verfahren zum Erkennen eines akustischen Ereignisses in einem Audio-Signal
Die Erfindung betrifft ein Verfahren zum Erkennen eines akustischen Ereignisses in einem Audio-Signal.
Es gibt viele Anwendungen, in denen das Erkennen eines akustischen Ereignisses in einem Audio-Signal benötigt wird. Ein Beispiel ist das Erkennen einer Klappe zur Synchronisation von Audio- und Videosignalen. Das Audiosignal einer Klappe gehört als perkusives Signal zu den transienten
Signalen. Die Synchronisation von Audio- und Videosignalen wird u. a. bei der Herstellung und Übertragung von Filmen z.B. für Nachrichten benötigt, die möglichst schnell zur Verfügung stehen sollten.
Ein Verfahren zum Erkennen akustischer Ereignisse in Audio-Signalen ist in der EP 1 465 192 A1 beschrieben. Das Verfahren umfasst eine Stufe, in der eine beliebige Kombination verschiedene Schritte zu einer Klassifikation des Audio- Signals in: erkanntes Ereignis oder kein Ereignis erkannt eingesetzt wird. Die ausgewählten Schritte zur Klassifikation werden an dem gesamten ggf. bearbeiteten Audio-Signal durchgeführt. Weitere Verfahren zum Erkennen akustischer Ereignisse sind z.B. aus der US 5 884 260 und aus der US 2005/0199064 A1 bekannt.
Aufgabe der Erfindung ist es, ein Verfahren zum Erkennen eines akustischen Ereignisses zu entwickeln, das ein schnelles Erkennen des Ereignisses ermöglicht. Die Aufgabe ist durch die Merkmale des Anspruchs 1 gelöst. Vorteilhafte
Ausführungsformen der Erfindung sind in den Unteransprüchen beschrieben.
Ein erfindungsgemäßes Verfahren zum Erkennen eines akustischen Ereignisses in einem Audio-Signal, z. B. in einer wav-Datei, weist zwei Stufen auf. In der ersten Stufe werden mögliche Kandidaten ausgewählt und in der zweiten Stufe wird jedem der möglichen Kandidaten ein Konfidenzwert zugeordnet. Eine Aufteilung des Erkennungsverfahren in zwei Stufen, nämlich zunächst eine erste Auswahl möglicher Kandidaten in der ersten Stufe und anschließend eine genauere Überprüfung der möglichen Kandidaten in der zweiten Stufe ermöglicht es, die auszuwertende Datenmenge erheblich gegenüber Verfahren zu verringern, bei denen die Überprüfung der Kandidaten ohne Vorauswahl durchgeführt wird.
Der Konfidenzwert ist ein Maß für die Wahrscheinlichkeit, dass es sich um das gesuchte Ereignis handelt. Die Zuordnung eines Konfidenzwertes zu jedem möglichen Kandidaten ermöglicht es einem Operator, bei Bestimmung der endgültigen Kandidaten, zunächst die möglichen Kandidaten mit den höchsten Konfidenzwerten zu sichten und die Suche zu beenden, sobald die gesuchten Kandidaten gefunden sind. Mögliche, falsche Kandidaten mit ähnlichen Eigenschaften wie die gesuchten Ereignisse d.h. und mit zwar hohen jedoch etwas geringeren Konfidenzwerten als die gesuchten Ereignisse können außer Betracht gelassen werden .
Zur Auswahl der möglichen Kandidaten weist die erste Stufe erfindungsgemäß folgende Schritte auf: Anwendung eines ersten Hoch-Pass-Filters auf das Audio- Signal, der ein breites Übergangsband aufweist, so dass höhere Frequenzen stärker gewichtet sind, Berechnung einer ersten Energieeinhüllenden im Zeitbereich aus dem gefilterten Audio-Signal, Berechnung einer Ableitung aus der Energieeinhüllenden und
Bestimmung von möglichen Kandidaten aus Ereignissen, deren Ableitung der Energieeinhüllenden über einem vorbestimmten Schwellenwert liegt. Dies ist ein einfaches Verfahren zur Auswahl der möglichen Kandidaten. Erfindungsgemäß weist die zweiten Stufe für jeden möglichen Kandidaten folgende Schritte auf: Auswertung mehrerer Größen des möglichen Kandidaten und Zuordnung eines gemeinsamen Konfidenzwertes mit Hilfe einer Bewertung der Größen.
Erfindungsgemäß weist die zweite Stufe für jeden möglichen Kandidaten für die Auswertung der Größen folgende Schritte auf:
Anwendung eines zweiten Hoch-Pass-Filters auf das Audio-Signal, der eine niedrigere Grenzfrequenz aufweist als der erste Hoch-Pass-Filter, um Geräusche mit einer tiefen Frequenz zu unterdrücken, und
Berechnung einer zweiten Energieeinhüllenden im Zeitbereich aus dem gefilterten Audio-Signal.
Dabei werden erfindungsgemäß der folgenden Größen jedes möglichen Kandidaten ausgewertet:
- Energieanstieg, d.h. der Maximalwert der Ableitung der ersten Energieeinhüllenden, und
- Höhe und Position des gemessenen Maximums aus der zweiten Energieeinhüllenden.
In der zweiten Stufe werden vorzugsweise eine oder mehrerer der folgenden Größen jedes möglichen Kandidaten ausgewertet:
- Energieanstieg, d.h. der Maximalwert der Ableitung,
- Höhe und Position des gemessenen Maximums, - Steigung und Abweichung von einer an den Energieabfall der Energieeinhüllenden angepassten Kurve,
- Differenz zwischen einem gemessenen Maximum und einem aus der Kurve vorausgesagten Maximum,
- Dauer des möglichen Kandidaten, - Dauer einer Stilleperiode vor dem möglichen Kandidaten und Dauer einer Stilleperiode nach dem möglichen Kandidaten, und
- Zeitpunkt des Auftreten des möglichen Kandidaten.
Bevorzugt weist die zweite Stufe für jeden möglichen Kandidaten für die Auswertung der Größen folgenden Schritt auf: Bestimmung eines Geräuschbereichs des Audio-Signals.
In einer Ausführungsform der Erfindung umfasst die Bestimmung des Geräuschbereichs eine Bestimmung eines Grundrauschens und/oder eines Aufnahmepegels. Bevorzugt wird dabei die in der zweiten Stufe berechnete Energieeinhüllende verwendet. Bevorzugt weist die zweite Stufe für jeden möglichen Kandidaten für die Bewertung einer oder mehrerer der ausgewerteten Größe jeweils folgende Schritte auf: Bestimmung eines Wahrscheinlichkeitsverhältnisses und/oder eines Gewichtungsfaktor. Bevorzugt werden die Wahrscheinlichkeitsverhältnisse und/oder die Gewichtungsfaktoren der ausgewerteten Größen bei der Zuordnung des gemeinsamen Konfidenzwertes zusammengefasst.
In einer Ausführungsform der Erfindung erfolgt bei der Zuordnung des gemeinsamen Konfidenzwertes eine Addition der Logarithmen der durch die Gewichtungsfaktoren gewichteten Wahrscheinlichkeitsverhältnisse der ausgewählten Größen.
Bevorzugt werden die Gewichtungsfaktoren einer oder mehrerer der ausgewerteten Größen jeweils aus Korrelationkoeffizienten für paarweise Korrelationen der ausgewerteten Größen berechnet.
Bevorzugt werden bei der Bestimmung der Wahrscheinlichkeitsverhältnisse eine oder mehrere Zusatzinformationen über das akustische Ereignis berücksichtigt.
In einer Ausführungsform der Erfindung weist die zweite Stufe für jeden möglichen Kandidaten alternativ oder zusätzlich folgenden Schritt auf: Spracherkennung eines auf das akustische Ereignis hinweisenden Textes.
Das erfindungsgemäße Verfahren wird bevorzugt zum Erkennen von Klappen bei der Synchronisation des Audio-Signals mit einem entsprechenden Video- Signal verwendet.
Die Erfindung ist anhand eines in der Zeichnung schematisch dargestellten Beispiels weiter erläutert.
Es zeigen: Figur 1 eine Block-Diagramm eines erfindungsgemäßen Beispiel und Figur 2 eine Darstellung eines möglichen Kandidaten im Zeitbereich mit ausgewerteten Größen, in der ein entsprechender Ausschnitt des Audio-Signals anhand der Energie in Dezibel dB im Verlauf der Zeit in Sekunden s zu sehen ist. Ein erfindungsgemäßes Verfahren zum Erkennen eines akustischen Ereignisses in einem Audio-Signals S, und zwar in diesem Beispiel zum Erkennen einer Klappe, weist zwei Stufen A, B auf. In der ersten Stufe A werden mögliche Kandidaten X ausgewählt und in der zweiten Stufe B wird jedem der möglichen Kandidaten X ein Konfidenzwert W zugeordnet. Das Audio-Signal ist z. B. eine wav-Datei, die durch ein das erfindungsgemäße Verfahren durchführendes Programm bearbeitet wird.
Zur Auswahl der möglichen Kandidaten X weist die erste Stufe A des erfindungsgemäßen Verfahrens folgende in Figur 1 dargestellte Schritte auf: Anwendung 110 eines ersten Hoch-Pass-Filters auf das Audio-Signal S,
Berechnung 120 einer Energieeinhüllenden im Zeitbereich aus dem gefilterten Audio-Signal S, Berechnung 130 einer Ableitung aus der Energieeinhüllenden und Bestimmung 140 von möglichen Kandidaten aus Ereignisse, deren Maximalwert der Ableitung über einem vorbestimmten Schwellenwert liegt. Die Ableitung ist ein Maß für den Energieanstieg.
Der erste Hoch-Pass-Filter ist mit einer sehr flachen Flanke ausgeführt, d.h. er weist ein breites Übergangsband von z.B. Frequenzen zwischen 2000 und 3000 Hz auf. Dabei werden Frequenzen umso besser durchgelassen je höher sie sind, so dass höhere Frequenzen stärker gewichtet sind. Vorteil dieses Hoch-Pass- Filters ist auch, dass ein Filter mit einer solch flachen Flanke mit einer geringen Filterordnung und damit mit einer geringen Rechenkomplexität erreicht werden kann.
In dem Audio-Signal S ist bei einem möglichen Kandidat X der Maximalwert der Ableitung oberhalb eines bestimmten Schwellenwertes. Der Schwellenwert ist vom zu erkennenden Ereignis abhängig gewählt. In diesem Beispiel zum Erkennen von Klappen kann der Schwellenwert z. B. 18 dB betragen.
Da ein Klappenereignis innerhalb einer Genauigkeit eines viertel Bildes liegen sollte, d. h. im Bereich von 10 ms bei 25 Bildern pro Sekunde, wird zur Berechnung der Energieeinhüllenden ein Rechteckfenster F von 5 ms verwendet. Dieses Vorgehen entspricht einem Tief-Pass-Filter und ist geeignet, Rauschen zu unterdrücken. In Figur 2 ist ein in der ersten Stufe A gefundener möglicher Kandidat X dargestellt. Das Rechteckfenster F ist in Figur 2 eingezeichnet.
Die zweiten Stufe B weist für jeden möglichen Kandidaten X folgende in Figur 1 dargestellte Schritte auf: Anwendung 150 eines zweiten Hoch-Pass-Filters auf das Audio-Signal S, Berechnung 160 einer zweiten Energieeinhüllenden E im Zeitbereich aus dem gefilterten Audio-Signal S,
Auswertung 170 einer oder mehrere Größen mit Hilfe der Berechnung 160 der Energieeinhüllenden E und mit Hilfe einer Bestimmung 180 eines Geräuschbereichs des gefilterten Audio-Signals S, und
Zuordnung 190 eines gemeinsamen Konfidenzwertes W mit Hilfe einer Bewertung 200 der Größen.
Der Konfidenzwert W ist ein Maß für die Wahrscheinlichkeit, dass es sich um das gesuchte Ereignis handelt. Als relatives Maß verglichen mit Konfidenzwerten W weiterer möglicher Kandidaten X eines Audio-Signals ermöglicht der Konfidenzwert W ein schnelles Auffinden des richtigen Kandidaten.
Die Auswertung 180 der Größen eines möglichen Kandidaten X erfolgt zusätzlich mit Hilfe des in der ersten Stufe A ermittelten Maximalwertes der Ableitung, d.h. des Energieanstiegs.
Der zweite Hoch-Pass-Filter, der auf das ursprüngliche Audio-Signal S angewandt wird, hat eine Grenzfrequenz von z.B. 200 Hz. Er ist eingesetzt, um Geräusche mit einer tiefen Frequenz, wie z. B. ein 50 Hz - oder 60 Hz - Brummen oder mechanische Geräusche einer laufenden Kamera zu unterdrücken.
Die Bestimmung 180 des Geräuschbereichs umfasst eine Bestimmung eines Grundrauschens G und/oder eines Aufnahmepegel A des Audio-Signals S. Bei der Bestimmung des Grundrauschens G und bei der Bestimmung des Aufnahmepegels A wird die in der zweiten Stufe B berechnete Energieeinhüllende E verwendet, wobei ein Histogramm von Werten der Energieeinhüllenden E erstellt wird. Als Aufnahmepegel A wird beispielsweise der Wert definiert, der nur von 1 % der Werte überschritten wird, und als
Grundrauschen der Wert definiert, der von 5% der Werte nicht überschritten wird. Ausreißer mit sehr geringer Energie, z.B. durch ein Einschalten eines Mikrofons, werden bei diesem Verfahren nicht berücksichtigt. Außerdem ist der Aufnahmepegel A aus längeren Signalabschnitten zu ermitteln als das Grundrauschen G.
In der zweiten Stufe B erfolgt für jeden möglichen Kandidaten die Auswertung 170 einer oder mehrerer der folgenden Größen:
- Energieanstieg, d.h. der Maximalwert der Ableitung ,
- Höhe und Position des gemessenen Maximums M,
- Steigung und Abweichung von einer an den Energieabfall der Einhüllenden angepassten Kurve K,
- Differenz zwischen einem gemessenen Maximum M und einem aus der Kurve K vorausgesagten Maximum,
- Dauer T des möglichen Kandidaten X,
- Dauer Tv einer Stilleperiode vor dem möglichen Kandidaten X und Dauer Tn einer Stilleperiode nach dem möglichen Kandidaten X, und
- Zeitpunkt tx des Auftreten des möglichen Kandidaten X.
Der Energieanstieg ist die einzige Größe, die in der ersten Stufe A ermittelt wird, und die aus der Energieeinhüllenden des durch den ersten Hoch-Pass-Filter gefilterten Audio-Signals S berechnet wird. Alle anderen Größen werden von der Energieeinhüllenden E des durch den zweiten, nur tiefe Frequenzen abschneidenden Hoch-Pass-Filter gefilterten Audio-Signals S abgeleitet, die in der zweiten Stufe B ermittelt wird.
Bei der Auswertung des gemessenen Maximums M wird für seine Höhe des Maximums M die Differenz zwischen dem gemessenen Maximum und dem Aufnahmepegel A ermittelt. Außerdem wird seine Position festgestellt. Ein gefundenes Maximum wird durch ein früheres lokales Maximum ersetzt, wenn es vermutlich durch Reflektionen erzeugt ist. Dazu wird das Maximum in zwei unterschiedlichen Zeitintervallen bestimmt, in einem kürzeren und in einem längeren. Das Maximum im längeren Zeitintervall muss signifikant höher sein, um als reales Maximum akzeptiert zu werden. Es wird die Steigung und Abweichung von einer an den Energieabfall der Einhüllenden angepassten Kurve K ausgewertet. Diese Auswertung berücksichtigt, dass der Energieabfall des Klappenereignisses durch die Reflektionen im Raum, d.h. an den Wänden, am Boden und an der Decke, exponentiell abfällt. Die Anpassung der Kurve erfolgt in einer logarithmischen Skalierung, so dass eine einfache Anpassung an einen linearen Abfall erfolgt. Außerdem ermöglicht diese Anpassung, die Qualität der Anpassung durch die mittlere quadratische Abweichung festzustellen.
Ein exponentieller Energieabfall stellt sich bei der Energieeinhüllenden E normalerweise erst im hinteren Verlauf durch spätere diffuse Reflektionen im so genannten Nachhall ein. Im Anfangsbereich wirken sich eher diskrete Reflektionen auf den Abfall aus. Daher wird die Kurvenanpassung auf den hinteren Teil des akustischen Ereignisses beschränkt. Bei der Kurvenanpassung werden Messwerte in Abhängigkeit zu ihrem Abstand zum Grundrauschen G gewichtet, da Werte niedriger Energie, d.h. nahe am Grundrauschen G, stärker von Hintergrundgeräuschen beeinflusst werden. Die Kurvenanpassung wird gering bewertet, wenn das Audio-Signal S vermutlich außen aufgenommen wurde, d.h. wenn es kurz ist und nur diskrete Reflektionen und kaum Nachhall vorhanden sind. Dies erfolgt, indem die Dauer des möglichen Kandidaten X und eine sigmoidale Gewichtungsfunktion benutzt werden.
Der Energieabfall kann durch simultane Hintergrundgeräusche oder andere Vordergrundgeräusche unterbrochen sein. In diesem Fall wird die Kurvenanpassung nur bis zu dieser Unterbrechung durchgeführt. Zur Erkennung einer Unterbrechung wird auf die Energieeinhüllende E ein zusätzlicher Tief- Pass-Filter angewandt. Eine Unterbrechung des Energieabfalls wird festgestellt, wenn diese gefilterte Energieeinhüllende wieder ansteigt bevor die originale Energieeinhüllende E einen unteren Stilleschwellenwert Si erreicht. Bei Feststellung einer Unterbrechung des Energieabfalls wird der Konfidenzwert W des möglichen Kandidaten X direkt oder indirekt in Abhängigkeit vom Abstand der Unterbrechung zu einem unteren Stilleschwellenwert Si verringert. Die Differenz zwischen einem gemessenen Maximum M und einem aus der Kurve K vorausgesagten Maximum wird in einer logarithmischen Skalierung ermittelt. Es handelt sich daher um eine relative Differenz.
Die Dauer T des möglichen Kandidaten X, d.h. des akustischen Ereignisses, wird aus der Zeitspanne ermittelt, in der sich die Energie, d.h. die Energieeinhüllende E, über dem unteren Stilleschwellenwert Si befindet.
Die Dauer Tv einer Stilleperiode vor dem akustischen Ereignis, d.h. vor dem möglichen Kandidaten X, und die Dauer Tn einer Stilleperiode nach dem möglichen Kandidaten X sind Zeitspannen, die die Energieeinhüllende E benötigt, um über einen obere Stilleschwellenwert S2 zu kommen, nachdem sie unter den unteren Stilleschwellenwert Si gefallen ist. Diese Hysterese verhindert, dass leise Geräusche als Ende einer Stilleperiode erkannt werden. Bei einer richtigen Klappe sind die Stilleperioden Tv und Tn weder zu lang noch zu kurz. Wenn die Bewegung zum Schließen selbst Geräusche verursacht, gibt es möglicherweise keine Stilleperiode Tv vor der Klappe. Dies wird bei der Auswertung berücksichtigt. Für Außenaufnahmen werden bei der Auswertung der Stilleperioden Tv und Tn, soweit möglich, Echos vernachlässigt.
Bei der Auswertung des Zeitpunktes tx des Auftretens des möglichen Kandidaten wird berücksichtigt, dass sich ein möglicher Kandidat, nämlich eine Klappe, typischerweise am Anfang oder am Ende einer Aufnahme befindet.
Die zweite Stufe B umfasst für die Bewertung 200 der oben beschriebenen, ausgewerteten Größe folgende Schritte für jede Größe: Bestimmung eines Wahrscheinlichkeitsverhältnisses v und/oder eines Gewichtungsfaktor w.
Bei der Zuordnung 190 eines gemeinsamen Konfidenzwertes W zu einem möglichen Kandidaten werden die Wahrscheinlichkeitsverhältnisse v und/oder der Gewichtungsfaktoren w der ausgewerteten Größen zusammengefasst. Dies erfolgt durch eine Addition der Logarithmen der durch die Gewichtungsfaktoren w gewichteten Wahrscheinlichkeitsverhältnisse v der ausgewählten Größen. Die Gewichtungsfaktoren w der ausgewerteten Größen werden jeweils aus Korrelationskoeffizienten k für paarweise Korrelationen der ausgewerteten Größen berechnet werden.
Insbesondere wird bei N ausgewerteten Größen der Gewichtungsfaktor wi einer Größe i aus den Korrelationskoeffizienten kij für die N paarweisen Korrelationen folgendermaßen berechnet:
Der Korrelationskoeffizienten kij ist ein Maß für die Korrelation zwischen der i-ten und j-ten Größe und wird aus empirischen Daten ermittelt. Bei der Berechnung der Korrelationskoeffizienten kij werden Ausreißer, die eine 3σ-Grenze überschreiten, unterdrückt. Der Exponent m bestimmt, wie stark die Korrelation in Betracht gezogen wird. Je größer der Exponent m, desto geringer wird der Einfluß einer möglichen Korrelation berücksichtigt. Er sollte höher gewählt werden, wenn nur wenige Daten zum Abschätzen der Korrelationskoeffizienten vorhanden sind.
In einer alternativen Ausführungsform der Erfindung werden bei der Bestimmung der Wahrscheinlichkeitsverhältnisse v eine oder mehrere Zusatzinformationen über das akustische Ereignis berücksichtigt. Derartige Zusatzinformationen sind z.B. folgende Informationen über das Audio-Signal S: Separate Aufnahmen mit Anfangsklappen oder Endklappen, Soloklappen, oder Innenaufnahmen oder Außenaufnahmen.
In einer weitern alternativen Ausführungen der Erfindung umfasst die zweite Stufe B für jeden möglichen Kandidaten X alternativ oder zusätzlich folgenden Schritt: Spracherkennung eines auf das akustische Ereignis hinweisenden Textes.

Claims

Patentansprüche
1. Verfahren zum Erkennen eines akustischen Ereignisses eines Audio- Signals (S), bei dem in einer ersten Stufe (A) mögliche Kandidaten (X) ausgewählt werden, wobei die erste Stufe (A) folgende Schritte aufweist:
Anwendung (110) eines ersten Hoch-Pass-Filters auf das Audio-Signal (S), der ein breites Übergangsband aufweist, so dass höhere Frequenzen stärker gewichtet sind, Berechnung (120) einer Energieeinhüllenden im Zeitbereich aus dem gefilterten Audio-Signal (S),
Berechnung (130) einer Ableitung aus der Energieeinhüllenden und Bestimmung (140) von möglichen Kandidaten aus Ereignissen, deren Maximalwert der Ableitung über einem vorbestimmten Schwellenwert liegt, und in einer zweiten Stufe (B) jedem der möglichen Kandidaten (X) ein Konfidenzwert (W) zugeordnet wird, wobei die zweiten Stufe (B) für jeden möglichen Kandidaten (X) folgende Schritte aufweist: Auswertung (170) mehrerer Größen und
Zuordnung (190) eines gemeinsamen Konfidenzwertes (W) mit Hilfe einer Bewertung (200) der Größen, wobei die zweite Stufe (B) für jeden möglichen Kandidaten (X) für die Auswertung (170) der Größen folgende Schritte aufweist: Anwendung (150) eines zweiten Hoch-Pass-Filters auf das Audio-Signal (S), der eine niedrigere Grenzfrequenz aufweist als der erste Hoch-Pass-Filter, um Geräusche mit einer tiefen Frequenz zu unterdrücken, und Berechnung (160) einer Energieeinhüllenden (E) im Zeitbereich aus dem gefilterten Audio-Signal (S), wobei die Auswertung (170) der folgenden Größen erfolgt: - Energieanstieg, d.h. des Maximalwertes der Ableitung der ersten Energieeinhüllenden, und - Höhe und Position des gemessenen Maximums (M) aus der zweiten Energieeinhüllenden (E).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass in der zweiten Stufe (B) für jeden möglichen Kandidaten (X) die Auswertung (170) einer oder mehrerer der folgenden Größen erfolgt: - Steigung und Abweichung von einer an den Energieabfall der Einhüllenden (E) angepassten Kurve (K),
- Differenz zwischen einem gemessenen Maximum (M) und einem aus der Kurve (K) vorausgesagten Maximum,
- Dauer (T) des möglichen Kandidaten (X), - Dauer (Tv) einer Stilleperiode vor dem möglichen Kandidaten und Dauer (Tn) einer Stilleperiode nach dem möglichen Kandidaten (X), und
- Zeitpunkt (tx) des Auftreten des möglichen Kandidaten (X).
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die zweite Stufe (B) für jeden möglichen Kandidaten (X) für die Auswertung (170) der Größen folgenden Schritt aufweist: Bestimmung (180) eines Geräuschbereichs des Audio-Signals (S).
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Bestimmung (180) des Geräuschbereichs eine Bestimmung eines Grundrauschens (G) und/oder eines Aufnahmepegels (A) umfasst.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass bei der Bestimmung (180) des Geräuschbereichs, die in der zweiten Stufe (B) berechnete Energieeinhüllende (E) verwendet wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die zweite Stufe (B) für jeden möglichen Kandidaten (X) für die Bewertung (200) einer oder mehrerer der ausgewerteten Größen jeweils folgende Schritte aufweist:
Bestimmung eines Wahrscheinlichkeitsverhältnisses (v) und/oder eines Gewichtungsfaktors (w).
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass bei der Zuordnung (190) eines gemeinsamen Konfidenzwertes (W) die Wahrscheinlichkeitsverhältnisse (v) und/oder der Gewichtungsfaktoren (w) der ausgewerteten Größen zusammengefasst werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass bei der Zuordnung (190) eines gemeinsamen Konfidenzwertes (W) eine Addition der Logarithmen der durch die Gewichtungsfaktoren (w) gewichteten Wahrscheinlichkeitsverhältnisse (v) der ausgewählten Größen erfolgt.
9. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Gewichtungsfaktoren (w) einer oder mehrerer der ausgewerteten
Größen jeweils aus Korrelation koeffizienten (k) für paarweise Korrelationen der ausgewerteten Größen berechnet werden.
10. Verfahren nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass bei der Bestimmung der Wahrscheinlichkeitsverhältnisse (v) eine oder mehrere Zusatzinformationen über das akustische Ereignis berücksichtigt werden.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die zweite Stufe (B) für jeden möglichen Kandidaten (X) alternativ oder zusätzlich folgenden Schritt aufweist: Spracherkennung eines auf das akustische Ereignis hinweisenden Textes.
12. Verfahren nach einem der Ansprüche 1 bis 11 , das zum Erkennen von Klappen bei der Synchronisation des Audio-Signals (S) mit einem entsprechenden Video-Signal verwendet wird.
EP08803193A 2007-08-31 2008-08-25 Verfahren zum erkennen eines akustischen ereignisses in einem audio-signal Withdrawn EP2186085A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP08803193A EP2186085A1 (de) 2007-08-31 2008-08-25 Verfahren zum erkennen eines akustischen ereignisses in einem audio-signal

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07115473A EP2031581A1 (de) 2007-08-31 2007-08-31 Verfahren zum Erkennen eines akustischen Ereignisses in einem Audio-Signal
PCT/EP2008/061075 WO2009027363A1 (de) 2007-08-31 2008-08-25 Verfahren zum erkennen eines akustischen ereignisses in einem audio-signal
EP08803193A EP2186085A1 (de) 2007-08-31 2008-08-25 Verfahren zum erkennen eines akustischen ereignisses in einem audio-signal

Publications (1)

Publication Number Publication Date
EP2186085A1 true EP2186085A1 (de) 2010-05-19

Family

ID=38566125

Family Applications (2)

Application Number Title Priority Date Filing Date
EP07115473A Withdrawn EP2031581A1 (de) 2007-08-31 2007-08-31 Verfahren zum Erkennen eines akustischen Ereignisses in einem Audio-Signal
EP08803193A Withdrawn EP2186085A1 (de) 2007-08-31 2008-08-25 Verfahren zum erkennen eines akustischen ereignisses in einem audio-signal

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP07115473A Withdrawn EP2031581A1 (de) 2007-08-31 2007-08-31 Verfahren zum Erkennen eines akustischen Ereignisses in einem Audio-Signal

Country Status (3)

Country Link
US (1) US20100204992A1 (de)
EP (2) EP2031581A1 (de)
WO (1) WO2009027363A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8507781B2 (en) * 2009-06-11 2013-08-13 Harman International Industries Canada Limited Rhythm recognition from an audio signal
US9183846B2 (en) * 2011-12-02 2015-11-10 Hytera Communications Corp., Ltd. Method and device for adaptively adjusting sound effect
US20130204629A1 (en) * 2012-02-08 2013-08-08 Panasonic Corporation Voice input device and display device
WO2013118204A1 (ja) * 2012-02-08 2013-08-15 パナソニック株式会社 音声入力装置および表示装置
US20160224104A1 (en) * 2015-02-02 2016-08-04 Telenav, Inc. Electronic system with capture mechanism and method of operation thereof
JP2022001967A (ja) * 2018-09-11 2022-01-06 ソニーグループ株式会社 音響イベント認識装置
CN115683284B (zh) * 2022-12-29 2023-05-26 浙江和达科技股份有限公司 一种抑制虚假回波的方法及液位测量系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3720882A1 (de) * 1987-06-24 1989-01-05 Media Control Musik Medien Verfahren und schaltungsanordnung zum automatischen wiedererkennen von signalfolgen
US5025471A (en) * 1989-08-04 1991-06-18 Scott Instruments Corporation Method and apparatus for extracting information-bearing portions of a signal for recognizing varying instances of similar patterns
US5057785A (en) * 1990-01-23 1991-10-15 International Business Machines Corporation Method and circuitry to suppress additive disturbances in data channels
DK46493D0 (da) 1993-04-22 1993-04-22 Frank Uldall Leonhard Metode for signalbehandling til bestemmelse af transientforhold i auditive signaler
US6787689B1 (en) * 1999-04-01 2004-09-07 Industrial Technology Research Institute Computer & Communication Research Laboratories Fast beat counter with stability enhancement
AUPQ366799A0 (en) * 1999-10-26 1999-11-18 University Of Melbourne, The Emphasis of short-duration transient speech features
EP1465192A1 (de) 2003-04-04 2004-10-06 Thomson Licensing S.A. Verfahren zur Detektion von Schallereignissen in Audiosignalen
KR100580643B1 (ko) 2004-02-10 2006-05-16 삼성전자주식회사 충격음 감지 장치, 방법 그리고 이를 이용한 충격음 식별장치 및 방법
KR101249024B1 (ko) * 2005-06-01 2013-03-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 콘텐트 아이템의 특성을 결정하기 위한 방법 및 전자 디바이스

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009027363A1 *

Also Published As

Publication number Publication date
EP2031581A1 (de) 2009-03-04
US20100204992A1 (en) 2010-08-12
WO2009027363A1 (de) 2009-03-05

Similar Documents

Publication Publication Date Title
DE69716266T2 (de) Sprachaktivitätsdetektor
WO2009027363A1 (de) Verfahren zum erkennen eines akustischen ereignisses in einem audio-signal
DE69816610T2 (de) Verfahren und vorrichtung zur rauschverminderung, insbesondere bei hörhilfegeräten
DE60131639T2 (de) Vorrichtungen und Verfahren zur Bestimmung von Leistungswerten für die Geräuschunterdrückung für ein Sprachkommunikationssystem
DE69433254T2 (de) Verfahren und Vorrichtung zur Sprachdetektion
DE69011709T2 (de) Einrichtung zur Feststellung eines akustischen Signals.
DE3233637C2 (de) Vorrichtung zur Bestimmung der Dauer von Sprachsignalen
DE112011105908B4 (de) Verfahren und Gerät zur adaptiven Regelung des Toneffekts
DE60205232T2 (de) Verfahren und vorrichtung zur bestimmung der qualität eines sprachsignals
DE69529223T2 (de) Testverfahren
DE102019004239B4 (de) Musikklassifizierer und verwandte verfahren
DE112009005215T5 (de) Verfahren und Vorrichtung zur Audiosignalklassifizierung
EP1103956B1 (de) Exponentielle Echo- und Geräuschabsenkung in Sprachpausen
EP0076233A1 (de) Verfahren und Vorrichtung zur redundanzvermindernden digitalen Sprachverarbeitung
WO2007023017A1 (de) Verfahren und vorrichtung zur bewertung der lästigkeit von quietschgeräuschen
DE112018003662T5 (de) Sprachsignalnivellierung
EP3337187A1 (de) Verfahren zum betrieb eines hörgerätes
DE60222770T2 (de) Verbessertes verfahren zur ermittlung der qualität eines sprachsignals
EP1430750B1 (de) Verfahren und vorrichtung zur auswahl eines klangalgorithmus
DE602004006912T2 (de) Verfahren zur Verarbeitung eines akustischen Signals und ein Hörgerät
EP1382034A1 (de) Verfahren zur bestimmung von intensitätskennwerten von hintergrundgeräuschen in sprachpausen von sprachsignalen
DE69802431T2 (de) Verfahren und vorrichtung zur verbesserung eines digitalen sprachsignals
EP1202253A2 (de) Adaptiver Geräuschpegelschätzer
EP3796676B1 (de) Verfahren zum betrieb eines hörgeräts und hörgerät
DE60315522T2 (de) Klickgeräusch-erkennung in einem digitalen audiosignal

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100212

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON LICENSING

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20110611