DE10157535A1 - Verfahren und Vorrichtung zur Reduzierung zufälliger, kontinuierlicher, instationärer Störungen in Audiosignalen - Google Patents

Verfahren und Vorrichtung zur Reduzierung zufälliger, kontinuierlicher, instationärer Störungen in Audiosignalen

Info

Publication number
DE10157535A1
DE10157535A1 DE10157535A DE10157535A DE10157535A1 DE 10157535 A1 DE10157535 A1 DE 10157535A1 DE 10157535 A DE10157535 A DE 10157535A DE 10157535 A DE10157535 A DE 10157535A DE 10157535 A1 DE10157535 A1 DE 10157535A1
Authority
DE
Germany
Prior art keywords
audio signal
filter function
interference
function
disturbed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE10157535A
Other languages
English (en)
Other versions
DE10157535B4 (de
Inventor
Jan Rademacher
Joerg Bitzer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE2001157535 priority Critical patent/DE10157535B4/de
Publication of DE10157535A1 publication Critical patent/DE10157535A1/de
Application granted granted Critical
Publication of DE10157535B4 publication Critical patent/DE10157535B4/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Noise Elimination (AREA)

Abstract

Es wird ein Verfahren und eine Vorrichtung zur Reduktion zufälliger, kontinuierlicher, instationärer Störungen in Audiosignalen vorgesehen, wobei das gestörte Audiosignal mittels einer vorgegebenen Filterfunktion gefilter wird. Die Filterfunktion wird dynamisch unter Berücksichtigung der aktuellen Eigenschaften des gestörten Audiosignals und/oder seiner Bestandteile bestimmt, und die Filterfunktion wird außerdem dynamisch unter Berücksichtigung der aktuellen Eigenschaften des gestörten Audiosignal enthaltenen Störanteils begrenzt.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Reduktion von Stö­ rungen in Audiosignalen, wobei die Störung eine zufällige, instationäre Störgröße n(k) darstellt, die zu allen Zeitpunkten k dem Nutzanteil s(k) des Audiosignals x(k) überlagert ist. Derartige Störungen werden im Folgenden als zufällig, kontinuier­ lich und instationär bezeichnet. Dabei liegen die Audiosignale entweder in diskre­ ter Form vor oder werden aus der Abtastung eines analogen zufällig, kontinuier­ lich, instationär gestörten Audiosignals gewonnen.
Audiosignale sind oftmals durch zufällige, kontinuierliche stationäre und/oder instationäre Störungen - im folgenden kurz auch als Störgeräusche oder Rauschstörungen bezeichnet - beeinträchtigt, die die Qualität des Signals negativ beeinflussen. Die Reduzierung bzw. Entfernung dieser Störgeräusche erfolgt üblicherweise durch die Filterung des gestörten Audiosignals mittels einer Filter­ funktion, bei der das gefilterte Ausgangssignal das geräuschreduzierte bzw. un­ gestörte Audiosignal möglichst gut approximieren soll. Die Berechnung der Filter­ funktion erfolgt dabei unter der Annahme der Stationarität des Störsignals.
Im Rahmen der vorliegenden Patentanmeldung wird von der Annahme ausge­ gangen, dass sich das zufällig, kontinuierlich und instationär gestörte, diskrete Audiosignal x(k), welches aus der Abtastung eines analogen, gestörten Audio­ signals x(t) an den diskreten Abtastzeitpunkten k unter Beachtung des Nyquist- Theorems hervorgegangen ist, additiv aus einem diskreten, ungestörten Audiosignal s(k), dem Nutzanteil des Audiosignals, und einem diskreten, zufälli­ gen, kontinuierlichen Störsignal n(k), dem Störanteil des Audiosignals, zusammensetzt, wobei n(k) stationäre und instationäre Rauschanteile umfassen kann:
x(k) = s(k) + n(k) (1)
Ein bekanntes Verfahren zur Reduzierung bzw. Entfernung derartiger, zufälliger, kontinuierlicher Störungen, das sogenannte Verfahren zur "kurzzeitigen spektra­ len Dämpfung - im folgenden kurz Short Time Spectral Attenuation (STSA) ge­ nannt - ist in dem Blockschaltbild gemäß Fig. 1 wiedergegeben. Dargestellt ist die Bearbeitung eines Audiosignals x(k), welches als Abtastsignal x(k) des ana­ logen, gestörten Audiosignals x(t) an den Abtastzeitpunkten k gewonnen wird.
X(m, l), S(m, l) und N(m, l) sind die den diskreten Signalen x(k), s(k) und n(k) entsprechenden Funktionen beispielsweise im Frequenzbereich, wobei m die diskrete Frequenz bedeutet. Alternativ kann m jedoch ein anderer Parameter sein, der eine äquivalente Beschreibung der diskreten Zeitsignale x(k), s(k) und n(k) ermöglicht. I ist die diskrete Zeit des jeweils betrachteten Signalblockes bei der üblichen blockweisen Signalverarbeitung. Im Frequenzbereich gilt daher ent­ sprechend
X(m, l) = S(m, l) + N(m, l) (2)
Das diskrete Audiosignal x(k) wird bei diesem bekannten Verfahren in einem ersten Schritt, mittels einer diskreten Fouriertransformation in den Frequenzbe­ reich transformiert, Block 1, so dass sich die diskrete Frequenzbereichsdarstel­ lung X(m, l) ergibt. Aus dieser diskreten Spektraldarstellung erfolgt bei dem dargestellten Stand der Technik eine einzige und somit stationäre Schätzung NN(m) der diskreten Autorauschleistungsdichte ΦNN(m) durch ein bekanntes Schätzverfahren, Block 2, bei dem beispielsweise eine
  • 1. Schätzung der Autorauschleistungsdichte innerhalb (annähernd) nutz­ signalfreier Passagen des gestörten Signals oder eine
  • 2. sog. direkte Schätzung
vorgenommen wird.
Die geschätzte diskrete Autorauschleistungsdichte NN(m) ergibt sich aus ei­ nem diskreten, zufällig, kontinuierlich gestörten Audiosignal entsprechend des in (3a) genannten Verfahrens durch Auswertung annähernd audiosignalfreier Pas­ sagen des gestörten Signals, in denen näherungsweise gilt
x(k) ≈ n(k), da s(k) ≈ 0. (3)
Unter Ausnutzung der Linearität der Fouriertransformation ergibt sich innerhalb dieser Abschnitte, in denen s(k) ≈ 0, eine Schätzung der diskreten Autorauschleis­ tungsdichte gemäß
NN(m) = ΦXX(m). (4)
Hier bedeutet Φxx(m) die Autorauschleistungsdichte des gestörten Audiosig­ nals.
Das alternative "direkte Schätzung" genannte Verfahren (3b) wurde in "Steven L. Gay, Jacob Benesty: Acoustic Signal Processing for Telecommunication; Kluwer International Series in Engineering and Computer Science; Kapitel 9: Eric J. Di­ ethorn: Subband Noise Reduction Methods for Speech Enhancement, März 2000, ISBN 0-7923-7814-8" vorgestellt und beruht auf einer beschränkten Ver­ folgung der Leistungsdichte des gestörten Signals.
Basierend auf der Schätzung der Autorauschleistungsdichte NN(m) und der diskreten Frequenzbereichsdarstellung X(m, l) des diskreten Audiosignals x(k) erfolgt bei diesem bekannten Verfahren die Bestimmung einer geeigneten Filter­ funktion HG(m, l), vgl. Block 3, bei der das abgegebene Signal das ungestörte Audiosignal s(k) möglichst genau approximiert. In diesem Zusammenhang sind verschiedene Berechnungsvorschriften zur Gewinnung der Filterfunktion HG(m, l) bekannt, beispielsweise der
  • 1. Ansatz nach Wiener, bei dem als Approximationskriterium der mittle­ re quadratische Fehler zwischen Nutzsignal und Schätzung verwen­ det wird oder der
  • 2. Ansatz zur Amplituden-Subtraktion oder der
  • 3. Ansatz zur Leistungs-Subtraktion,
die in "S. F. Boll; Suppression of acoustic noise in speech using spectral subtrac­ tion; IEEE Trans. Acoust., Speech & Signal Process.; ASSP-27; Seite 113-120; 1979", außerdem auch in dem Lehrbuch von P. Vary, U. Heute & W. Hess, "Digi­ tale Sprachsignalverarbeitung", Teubner Verlag, Stuttgart 1998, ISBN 3-519- 06165-1, Seiten 380-390, beschrieben sind.
Zur Bestimmung einer Schätzung (k) des diskreten, ungestörten Nutzanteils s(k) erfolgt eine Filterung des diskreten Audiosignals x(k) mit der zuvor be­ stimmten Filterfunktion. Diese kann entweder im Zeitbereich durch die Faltung des diskreten, gestörten Signals x(k) mit der diskreten Impulsantwort der Filter­ funktion hG(k) realisiert werden
(k) = hG(k) * x(k), (5)
wobei * den Faltungsoperator darstellt oder wie in Fig. 1 dargestellt, im Fre­ quenzbereich durch die Multiplikation der diskreten Übertragungsfunktion HG(m, l) mit der diskreten Spektraldarstellung X(m, l) des diskreten, gestörten Audiosignals x(k, l), vgl. Block 4,
(m, l) = HG(m, l).X(m, l). (6)
Aus der derart bestimmten diskreten Schätzung (m, l) wird die entsprechende Darstellung (k) im Zeitbereich durch die inverse, diskrete Fouriertransformation gewonnen, vgl. Block 5, so dass das geräuschbefreite Signal ggf. mittels eines Digital-Analog-Wandlers in ein analoges, geräuschbefreites Signal umgesetzt werden kann.
Ein Nachteil dieses bekannten Verfahrens besteht darin, dass durch die Filterung des gestörten Audiosignals erneut Störungen in das geräuschbefreite Signal ein­ getragen werden, die durch die Filterung entstehen und zu unerwünschten sog. "Musical Tones" führen.
Ferner ist aus "M. Berouti, R. Schwartz & J. Makhoul; Enhancement of speech corrupted by acoustic noise; in Proc. IEEE ICASSP; Seite 208-211; Washington DC; 1979" ein weiteres Verfahren bekannt, das im folgenden anhand des Block­ schaltbildes gemäß Fig. 2 beschrieben ist und welches in seinem Grundprinzip dem Verfahren gemäß Fig. 1 entspricht. Dieses bekannte Verfahren arbeitet auf folgende Weise:
Aus einer einmaligen und somit stationären Schätzung der Autorauschleistungs­ dichte NN(m), Block 2, und der diskreten Spektraldarstellung X(m, l), am Aus­ gang des Blocks 1 des diskreten Audiosignals x(k) wird die Filterfunktion HG(m, l) ermittelt, Block 3. Vor der eigentlichen Filterung des gestörten Signals, Block 4, wird die Filterfunktion HG(m, l) auf einen konstanten, frei gewählten minimalen Wert γSF(m) - auch als "spektraler Boden" bezeichnet -, d. h. auf eine maximale Geräuschreduktion, beschränkt, Block 6. Somit ergibt sich für die Filte­ rung eine neue diskrete Filterfunktion HG(m, l, γSF(m)), für die gilt:
Diese beschränkte Filterfunktion führt einerseits dazu, dass keine Geräuschbe­ freiung, sondern nur eine Reduktion der Störung möglich ist, andererseits wird die Entstehung von sog. Musical Tones deutlich reduziert.
Das durch die Filterung, Block 4, gewonnene diskrete, geräuschreduzierte Sig­ nalspektrum (m, l) wird anschließend wie in dem Verfahren gemäß Fig. 1 durch eine inverse, diskrete Fouriertransformation, Block 5, in den Zeitbereich zurücktransformiert.
Bei beiden bekannten Verfahren erweist es sich als nachteilig, dass diese nur zur Entfernung bzw. Reduktion zufälliger, kontinuierlicher stationärer und ggf. zufälli­ ger, kontinuierlicher langsam instationärer Störungen herangezogen werden können. Zeitliche Änderungen der statistischen Eigenschaften der diskreten Stö­ rung n(k) können nicht oder nur bei sehr langsamen Änderungen erfasst wer­ den. Handelt es sich bei der überlagerten Störung jedoch beispielsweise um ein instationäres Rauschen, ergibt sich eine fehlerbehaftete Schätzung der Auto­ rauschleistungsdichte. Hieraus resultiert eine fehlerhafte Bestimmung der Filter­ funktion und somit eine Geräuschreduktion, die entweder das eigentliche unge­ störte Signal s(k) beeinträchtigt und/oder das Störsignal n(k) nur unzureichend reduziert.
Bei Verwendung einer einmaligen und somit stationären Schätzung der Auto­ rauschleistungsdichte innerhalb nutzsignalfreier Abschnitte ergibt sich eine feh­ lerhafte Autorauschleistungsdichte, da ein zufällig, kontinuierlich gestörtes Au­ diosignal in der Regel nicht ausreichend viele nutzsignalfreie Abschnitte aufweist, die eine fortlaufende Aktualisierung der Schätzung der Autorauschleistung erlau­ ben. Somit kann der ermittelte Schätzwert den zeitlichen Änderungen der statisti­ schen Eigenschaften des Rauschens keine Rechnung tragen. Zwar wird bei der geschilderten und bekannten "direkten Schätzung" die Autorauschleistungsdichte ständig aktualisiert, jedoch ist die Schätzung fehlerhaft bezüglich des instationä­ ren Rauschanteils, wie die diesbezüglichen Betrachtungen in "J. Meyer, K. U. Simmer and K. D. Kammeyer: Comparison of One- and Two-Channel Noise- Estimation Techniques; Proc. 5th International Workshop on Acoustic Echo and Noise Control (IWAENC-97), vol. 1, Seite 17-20, London, U. K., 11-12 September 1997" zeigen.
Aus dem US-Patent 5,852,567 ist ein weiteres Verfahren zur Reduzierung zufäl­ liger, kontinuierlicher Störungen bekannt. Basierend auf einer Zeit-Frequenz- Transformation wird bei diesem Verfahren versucht, den Signal-Rauschabstand und die Charakteristika des instationären Nutzsignals zu verbessern. Wie bei den zuvor beschriebenen Verfahren erweist es sich auch bei diesem Verfahren als nachteilig, dass es ebenfalls entsprechend seines Entwicklungsziels nur zur Re­ duzierung von zufälligen, kontinuierlichen, stationären Störungen, nicht jedoch zur Reduzierung von zufälligen, kontinuierlichen, instationären Störungen heran­ gezogen werden kann.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrich­ tung zur Reduzierung zufälliger, kontinuierlicher, instationärer Störungen in Au­ diosignalen anzugeben, mit dem Ziel, den instationären Rauschanteil im Audio­ signal im Verhältnis zu dessen stationären Rauschanteil zu verringern.
Diese Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1. Diese Aufga­ be wird ferner gelöst durch eine Vorrichtung gemäß Anspruch 11.
Die Vorteile des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung bestehen darin, dass eine Repräsentation des gestörten Audiosig­ nals derart bearbeitet wird, dass die zeitlichen Änderungen der statistischen Ei­ genschaften des Störanteils des bearbeiteten Audiosignals im Vergleich zum Störanteil des unbearbeiteten Audiosignals verringert werden. Es werden die zeitlichen Änderungen der statistischen Eigenschaften reduziert, so dass das Audiosignal nach der Bearbeitung nur noch durch eine zufällige, kontinuierliche, stationäre Reststörung beeinträchtigt wird und gegebenenfalls eine weitere Re­ duzierung des durchschnittlichen Rauschpegels zusätzlich vorgenommen wer­ den kann. Bei der Bestimmung der Filterfunktion werden die aktuellen Eigen­ schaften des Nutz- und des Störsignalanteils berücksichtigt. Das Maß der Ge­ räuschreduktion, also die Filterfunktion, wird nicht auf einen festen Amplituden­ wert beschränkt, sondern durch eine Repräsentation der Störung oder einer di­ rekt oder indirekt hieraus ableitbaren Größe dynamisch an die aktuellen zeitlich veränderlichen Eigenschaften des Störsignals angepasst.
Gemäß einer besonders bevorzugten Ausführungsform der Erfindung läßt sich eine Repräsentation der Störung bestimmen, die die zeitlichen Veränderungen der instationären statistischen Eigenschaften des Rauschens beschreibt.
Ein weiterer entscheidender Vorteil des erfindungsgemäßen Verfahrens ist die Einbeziehung der aktuellen Störsignaleigenschaften. Bisherige Verfahren be­ rücksichtigen in diesem Zusammenhang nur einen zeitlich begrenzten Signal­ ausschnitt, so dass sich den ändernden Eigenschaften des Störsignalanteils kei­ ne Rechnung getragen wurde.
Vorteilhafte Weiterbildungen der Erfindung sind durch die Merkmale der Unter­ ansprüche gekennzeichnet.
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der Zeich­ nung näher erläutert. Es zeigen:
Fig. 1 ein Blockschaltbild eines bekannten Verfahrens zur Reduzierung zu­ fälliger kontinuierlicher Störungen in Audiosignalen;
Fig. 2 ein Blockschaltbild eines weiteren bekannten Verfahrens zur Redu­ zierung zufälliger kontinuierlicher Störungen in Audiosignalen;
Fig. 3 eine schematische Darstellung des erfindungsgemäßen Verfahrens;
Fig. 4 ein Blockschaltbild einer ersten Ausführungsform des erfindungsge­ mäßen Verfahrens;
Fig. 5 ein Blockschaltbild einer zweiten Ausführungsform des erfindungs­ gemäßen Verfahrens;
Fig. 6 ein Blockschaltbild einer dritten Ausführungsform des erfindungsge­ mäßen Verfahrens,
Fig. 7a bis 7c der typische zeitliche Verlauf des Störanteiles a) eines gestörten Au­ diosignales, b) des gemäß dem Stand der Technik bearbeiteten Au­ diosignales und c) des mit dem erfindungsgemäßen Verfahren bear­ beiteten Audiosignales,
Fig. 8 eine exemplarische Darstellung der Wirkungsweise des Verfahrens gemäß Fig. 2,
Fig. 9 eine schematische Wirkungsweise einer Ausführungsform des be­ kannten Verfahrens bei Verwendung einer Abschätzung des aktuell enthaltenen Störsignalanteils, welcher die zeitliche Änderung der Stö­ rung beschreibt zur Bestimmung der Filterfunktion H dyn|G(m, l) und de­ ren Beschränkung mittels einer zeitlich konstanten Beschränkungs­ funktion γSF(m),
Fig. 10 eine exemplarische Darstellung der Wirkungsweise einer Ausfüh­ rungsform des erfindungsgemäßen Verfahrens.
Fig. 3 und 4 zeigen ein schematisches Blockschaltbild einer ersten Ausfüh­ rungsform des erfindungsgemäßen Verfahrens. Gemäß dem Blockschaltbild nach Fig. 3 wird aus einem diskreten, gestörten Audiosignal x(k) durch eine entsprechende Transformation, beispielsweise eine Transformation des Signals x(k) in den Frequenzbereich, eine zugehörige Repräsentation X(m, l) dieses Audiosignals bestimmt, Block 1. Die Variable l beschreibt in diesem Zusammen­ hang den aktuellen Betrachtungszeitpunkt. Diese Repräsentation wird in einer Bearbeitungseinheit 2 bearbeitet. Aus der Bearbeitung dieser Repräsentation entsprechend dem erfindungsgemäßen Verfahren ergibt sich die bearbeitete, neue Repräsentation (m, l) des Audiosignals, die durch eine Verringerung der zeitlichen Änderungen der statistischen Eigenschaften des enthaltenen Störan­ teils gekennzeichnet ist. Schließlich wird dann durch eine entsprechende Rück­ transformation der diskrete Signalverlauf (k) gewonnen, der den diskreten, zeit­ lichen Verlauf des geräuschreduzierten Audiosignals als Funktion der diskreten Abtastzeitpunkte beschreibt.
Gemäß Fig. 4 wird aus einer Repräsentation des gestörten Audiosignals X2(m, l) - die beispielsweise durch eine geeignete Abbildungsvorschrift aus der Repräsentation X(m, l) hervorgeht und das aus dem Zeitbereich in den Fre­ quenzbereich transformierte Signal x(k) repräsentiert -, vgl. Block 5, und der Repräsentation (m, l), die eine Schätzung der aktuellen Eigenschaften des Störsignalanteils im Frequenzbereich darstellt, in bekannter Weise unter Heran­ ziehung der Schätzung (m, l) des Störanteils des Audiosignals eine geeignete Filterfunktion H dyn|G(m, l) bestimmt. Zusätzlich wird die so bestimmte Filterfunktion H dyn|G(m, l) unter Heranziehung der Schätzung (m, l) des Störanteils des Au­ diosignals dynamisch, d. h. zeitabhängig, beschränkt, vgl. Block 4 und 6. Das Superscript dyn kennzeichnet eine Filterfunktion, die durch Einbeziehung der aktuellen Eigenschaften des instationären Störanteils des Audiosignals gewon­ nen wird.
In einem weiteren Bearbeitungsschritt wird die Repräsentation X(m, l) des ge­ störten Audiosignals x(k) mit der beschränkten Filterfunktion gefiltert, vgl. Block 7, so dass sich ein bearbeitetes diskretes Signal (m, l) ergibt. Aus dieser Rep­ räsentation (m, l) ergibt sich mittels einer geeigneten Rücktransformation ein diskreter Signalverlauf (k), der dem diskreten, zeitlichen Verlauf des gestörten Audiosignals x(k) entspricht, jedoch durch eine geringere zeitliche Änderung der statistischen Eigenschaften der enthaltenen Störung gekennzeichnet ist.
Fig. 5 zeigt das Blockschaltbild zur Realisierung einer zweiten Ausführungsform des erfindungsgemäßen Verfahrens. Aus dem diskreten, gestörten Audiosignal x(k) wird jeweils zum Betrachtungszeitpunkt I beispielsweise durch eine Fou­ riertransformation eine geeignete Repräsentation X(m, l) dieses Audiosignals bestimmt, vgl. Block 1. Hieraus wird eine Schätzung (m, l) des dem ungestör­ ten, diskreten Audiosignal s(k) überlagerten instationären, zufälligen und konti­ nuierlichen Störungsanteil n(k) gewonnen, vgl. Block 4, welche die aktuellen statistischen Eigenschaften des instationären Rauschens beschreibt. Unter Ver­ wendung der Schätzung (m, l) wird, unter Heranziehung der Repräsentation des gestörten Signals X(m, l) - die gegebenenfalls durch eine geeignete Abbil­ dungsvorschrift (nicht dargestellt) zusätzlich verändert wird - eine geeignete Fil­ terfunktion H dyn|G(m, l) bestimmt, vgl. Block 8, die im Gegensatz zu den bekann­ ten Verfahren die Instationarität des Störanteils berücksichtigt. Diese Filterfunkti­ on H dyn|G(m, l) wird im folgenden Schritt auf einen minimalen Wert γSF(m, l) be­ schränkt, vgl. Block 9. Diese Grenze - auch Beschränkungsfunktion genannt - ist nicht konstant, sondern bestimmt sich dynamisch in Abhängigkeit von einer direkten oder indirekten Repräsentation der Störung
γSF(m, l) = ((m, l)). (8)
Besonders bevorzugt läßt sich zur Berechnung von γSF(m, l) zusätzlich auch noch eine Repräsentation des gestörten Audiosignals x(k) heranziehen. Es gilt dann
γSF(m, l) = ((m, l), X(m, l)). (9)
Für die derart beschränkte Filterfunktion Hb gilt dann:
Eine geeignete Verknüpfung - beispielsweise eine Multiplikation - einer Reprä­ sentation X(m, l) des gestörten Audiosignals x(k) mit der zuvor ermittelten be­ schränkten Filterfunktion Hb = H dyn|G(m, l, γSF(m, l)) liefert dann ein diskretes Sig­ nal (m, l), aus dem sich durch eine der Transformation entsprechende Rücktransformation eine diskrete Signalfolge (k) ableiten lässt, die dem gestörten Audiosignal x(k) entspricht, jedoch durch eine geringere zeitliche Änderung der statistischen Eigenschaften der enthaltenen Störung gekennzeichnet ist, vgl. Block 6.
In Fig. 6 ist ein Blockschaltbild einer dritten Ausführungsform des erfindungs­ gemäßen Verfahrens dargestellt, welches zur Reduzierung einer zufälligen, kon­ tinuierlichen, instationären Störung in einem Audiosignal dient, das durch eine amplitudenmodulierte Rauschstörung mit konstanter spektraler Färbung beein­ trächtigt ist. Aus dem diskreten, gestörten Audiosignal x(k) wird durch eine schnelle Fouriertransformation (FFT) das diskrete Spektrum X(m, l) des gestörten Audiosignals im Betrachtungszeitpunkt l gewonnen, vgl. Block 10. X(m, l) wird auch als Repräsentationsform des gestörten Audiosignals bezeichnet. Anhand dieses diskreten Spektrums X(m, l) wird eine Schätzung der zum Betrachtungszeitpunkt l gültigen Auto-Rauschleistungsdichte, NN(m, l), vorgenommen, welche ein Maß für den Störanteil n(k) im gestörten Audiosignal x(k) ist. Diese Schätzung erfolgt in zwei Schritten:
  • - In einem ersten Schritt wird durch eines der bekannten Schätzverfahren ein Schätzwert NN(m) der stationären Auto-Rauschleistungsdichte ermittelt, die die spektrale Färbung, nicht aber den zeitlichen Verlauf der Störung be­ schreibt, Block 22.
  • - In einem zweiten Schritt wird dann eine Größe bestimmt, welche die Instati­ onarität der Störung kennzeichnet, Block 24. Zu diesem Zweck wird aus der geschätzten Auto-Rauschleistungsdichte NN(m) und dem Spektrum X(m, l) des gestörten Audiosignals ein zeitvarianter Modulationsfaktor α(m, l) bestimmt, der die Amplitudenmodulation der Störung beschreibt, beispielsweise
Durch Multiplikation der geschätzten, stationären Auto-Rauschleistungsdichte NN(m) mit diesem Modulationsfaktor ergibt sich dann der gesuchte Schätzwert NN(m, l) der tatsächlichen Auto-Rauschleistungsdichte ΦNN(m, l), Block 26:
NN(m, l) = α(m, l).NN(m). (12)
Hieraus erfolgt unter Einbeziehung der aktuellen, diskreten Fouriertransformier­ ten X(m, l) des gestörten Audiosignals x(k) die Bestimmung einer Filterfunktion H dyn|G(m, l) für den aktuellen Betrachtungszeitpunkt l mittels eines geeigneten Ansatzes, beispielsweise mittels des bekannten Ansatzes nach Wiener, Block 30.
Die Filterfunktion H dyn|G(m, l) wird im Folgenden mittels einer dynamisch an die Eigenschaften der Störung angepassten Beschränkungsfunktion γSF(m, l) in ihrer Amplitude beschränkt, die sich beispielsweise aus dem zuvor berechneten Modulationsfaktor α(m, l) entsprechend
γSF(m, l) ~ (α(m, l))β (13)
mit -5 < β < +5; besonders bevorzugt ist β = -1/2, proportional verhält, Block 40.
Mittels der auf diese Weise gewonnenen Beschränkungsfunktion lässt sich dann die dynamisch beschränkte Filterfunktion Hb gemäß Gleichung (10) bestimmen, Block 40.
In einem weiteren Schritt wird anschließend die diskrete Fouriertransformierte des gestörten Signals X(m, l) mit der zuvor bestimmten, beschränkten Filter­ funktion Hb multipliziert, vgl. Block 50. Aus der sich ergebenden Schätzung (m, l) lässt sich abschließend durch eine inverse, schnelle Fouriertransformati­ on (IFFT) ein Signal (k) bestimmen, Block 60, das dem gestörten Audiosignal durch eine verringerte Modulation der Störung, nämlich eine geringere zeitliche Änderung der statistischen Eigenschaften der enthaltenen Störung, und durch eine von der Beschränkungsfunktion γSF(m, l) abhängige Geräuschreduktion gekennzeichnet ist.
Fig. 7a zeigt den zeitlichen Verlauf eines Störanteils n(k), der einem beliebigen diskreten, ungestörten Nutzanteil s(k) überlagert ist. Wird ein derart zusammengesetztes, diskretes, zufällig, kontinuierlich und instationär gestörtes Audiosignal x(k) = s(k) + n(k) mittels eines in der Beschreibungseinleitung genannten bekannten Verfahrens bearbeitet, so ergibt sich ein Störanteil, der in Fig. 7b dargestellt ist. Wird demgegenüber das instationär gestörte Audiosignal x(k) mit dem erfindungsgemäßen Verfahren bearbeitet, so ergibt sich nach der Bearbeitung der in Fig. 7c dargestellte resultierende Störanteil der einen über die Zeit gleichförmigen, stationären Charakter aufweist; die in den Fig. 7a und 7b vorhandene typische Instationarität des Signals ist gemäß Fig. 7c erfolgreich beseitigt.
Zur Erklärung der Funktionsweise des erfindungsgemäßen Verfahrens soll im Folgenden von einem Audiosignal x(k) ausgegangen werden, welches blockweise verarbeitet wird, dessen Repräsentation X(m, l) dem Quadrat der blockweisen Fouriertransformation entspricht. Das Audiosignal x(k) soll aus einer instationären Störung n(k) bzw. N(m, l) bestehen und kein Nutzsignal s(k) enthalten. Somit gilt für die diskrete Frequenz mi (mit i = 1, 2, 3 . . .) und die diskreten Zeitpunkte l, die den einzelnen Signalblöcken zugeordnet sind:
X(mi, l) = N(mi, l) (14)
Exemplarisch ist in den zugehörigen Abbildungen, Fig. 8a, 9a, 10a der zeitli­ che Verlauf N(mi, l) für eine diskrete Frequenz mi wiedergegeben.
Bei Einsatz des bekannten Verfahrens mit begrenzter STSA wird aus der statio­ nären Schätzung der Auto-Rauschleistungsdichte (mi) in Teilbild 8a, gestri­ chelt und dem Störsignal eine Filterfunktion HG anhand eines geeigneten Ver­ fahrens (beispielsweise nach Wiener) berechnet, Teilbild 8b. In den Bereichen, in denen die reale Rauschrepräsentation N(mi, l) die stationäre Schätzung (mi) unterschreitet, nimmt die Filterfunktion HG(mi, l) einen Wert nahe Null an, die Rauschstörung wird zu diesen Zeitpunkten 1 annähernd vollständig unterdrückt. Für diejenigen Zeitpunkte I, in denen die Repräsentation der realen Rauschleis­ tungsdichte N(mi, l) größer als die Schätzung ist, nimmt die Filterfunktion HG(mi, l) hingegen einen Wert nahe Eins an, da ein Teil des aktuellen Rausch­ signals als Nutzsignal interpretiert wird.
Begrenzt man diese Filterfunktion gemäß dem STSA-Verfahren auf eine konstante, zeitlich also unveränderliche untere Grenze γSF(mi), so ergibt sich ein zeitlicher Verlauf gemäß Teilbild 8c. Wendet man die so erzeugte Filterfunktion HG(mi, l, γSF(mi)) auf das Störsignal an, so ergibt sich als Aus­ gangsignal wiederum eine instationäre Reststörung, vgl. Teilbild 8d.
In Fig. 9 ist die schematische Wirkungsweise des Verfahrens gemäß Fig. 8 dar­ gestellt, bei dem jedoch die einmalig geschätzte, und somit stationäre Repräsen­ tation der Autorauschleistungsdichte (mi) durch eine dynamische, d. h. durch eine die zeitlichen Änderungen der Störung beschreibende Schätzung der Auto­ rauschleistungsdichte (mi, l) ersetzt wird. Als Filterfunktion H dyn|G(mi, l) wird beispielsweise mittels des Ansatzes nach Wiener eine Funktion gewonnen, die durch eine konstante Beschränkungsfunktion γSF(mi) gemäß Gleichung (7) auf eine zeitlich unveränderliche Untergrenze festgelegt wird, vgl. Fig. 9c. Erfährt das Filtersignal eine Filterung mit der beschränkten Filterfunktion H dyn|G(mi, l, γSF(mi)), so enthält das bearbeitete Signal gemäß Fig. 9b eine restliche Störung, deren Amplitude gegenüber der Amplitude nach Fig. 8d deutlich reduziert ist, wobei jedoch die Instationarität des Störsignals nicht beseitigt ist.
Ergänzt man das anhand der Fig. 9a bis 9d beschriebene Verfahren um einen weiteren Schritt, so erhält man das erfindungsgemäße Verfahren gemäß Fig. 10. Beschränkt man die Filterfunktion H dyn|G(mi, l) gemäß der Fig. 9b mittels einer zeitlich veränderlichen Beschränkungsfunktion γSF(mi, l) beispielsweise gemäß Gleichung (13), so ist es möglich, eine Reststörung im Ausgangssignal zu errei­ chen, die nahezu oder vollständig stationär ist, die zeitliche Instationarität des Signals n(k) also nicht mehr enthält. Aus der Schätzung (mi, l), welche die zeitliche Änderung der Störung beschreibt, Fig. 10a, und aus dem gestörten Signal X(m, l) wird die Filterfunktion H dyn|G(mi, l) bestimmt, vgl. Fig. 10b. Diese wird durch eine zeitlich veränderliche Beschränkungsfunktion γSF(mi, l) gemäß Gleichung (10) beschränkt, so dass sich hieraus die dynamisch beschränkte Fil­ terfunktion Hb = H dyn|G(mi, l, γSF(mi, l)) gemäß den Gleichungen (10) und (13) er­ gibt, vgl. Fig. 10c. Die Filterung des Eingangssignals mit dieser Filterfunktion führt nun zu einem bearbeiteten Signal, das nur noch eine stationäre Reststörung enthält, vgl. Fig. 10d.

Claims (16)

1. Verfahren zur Reduktion zufälliger, kontinuierlicher, instationärer Störungen in Audiosignalen, die in diskreter Form vorliegen oder aus der Abtastung eines ana­ logen zufällig, kontinuierlich, instationär gestörten Audiosignal gewonnen werden, wobei das gestörte Audiosignal mittels einer Filterfunktion gefiltert wird, dadurch gekennzeichnet, dass die Filterfunktion dynamisch unter Berücksichti­ gung der aktuellen Eigenschaften des gestörten Audiosignals und/oder seiner Bestandteile bestimmt wird, und dass die Filterfunktion dynamisch unter Berück­ sichtigung der aktuellen Eigenschaften des im gestörten Audiosignals enthalte­ nen Störanteils begrenzt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
dass eine Abschätzung des Störanteils des gestörten Audiosignals erzeugt wird, welche die zeitliche Änderung der Störung beschreibt,
dass aus der Abschätzung des Störanteils die unbeschränkte Filterfunktion HG(m, l) in an sich bekannter Weise bestimmt wird,
dass eine Beschränkungsfunktion γSF(m, l) in Abhängigkeit von dem geschätz­ ten Störanteil des gestörten Audiosignals erzeugt wird, und
dass eine beschränk­ te Filterfunktion Hb erzeugt wird gemäß
und zur Filterung des gestörten Audiosignals verwendet wird,
wobei m die betrachtete diskrete Spektralfrequenz oder ein anderer Parameter ist, der eine äquivalente Darstellung der Signale erlaubt, und l die diskrete Zeit des jeweils betrachteten Signalblockes bei blockweiser Signalverarbeitung ist, wobei ein Block auch nur einen Abtastwert beinhalten kann.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Beschränkungsfunktion γSF(m, l) in zeitlicher Abhängigkeit von der zeitlich veränderlichen Schätzung des Störanteils des ge­ störten Audiosignals erzeugt ist.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Beschränkungsfunktion γSF(m, l) in Abhängigkeit von der zeitlich veränderlichen, momentanen Störleistung des geschätzten Störanteils des gestörten Audiosignals erzeugt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die beschränkte Filterfunktion in einem Verfah­ rensschritt erzeugt wird.
6. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Filterung des gestörten Audiosignals im Zeit­ bereich, im Frequenzbereich oder in einem anderen mathematisch beschreibba­ ren Signalraum ausgeführt wird.
7. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die unbeschränkte Filterfunktion H dyn|G(m, l) ge­ mäß einem Ansatz nach Wiener bestimmt wird, bei dem als Approximationskrite­ rium der mittlere quadratische Fehler zwischen Nutzsignal und Schätzung ver­ wendet wird.
8. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die unbeschränkte Filterfunktion H dyn|G(m, l) nach dem Verfahren der Amplituden-Subtraktion bestimmt wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das gestörte Audiosignal x(k) in den Frequenz­ bereich transformiert wird, anschließend der Störanteil N(m, l) des transformier­ ten gestörten Audiosignals X(m, l) abgeschätzt wird, die unbeschränkte Filter­ funktion H dyn|G(m, l) und die Beschränkungsfunktion γSF(m, l) erzeugt wird und daraus die beschränkte Filterfunktion Hb gebildet wird, anschließend das trans­ formierte gestörte Audiosignal X(m, l) mit der beschränkten Filterfunktion Hb multipliziert und anschließend in den Zeitbereich zurücktransformiert wird.
10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Filterfunktion H dyn|G(m, l) mittels eines bekannten Ansatzes unter Heranziehung einer Schätzung NN(m, l) der momentanen Autorauschleistungsdichte bestimmt wird.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass sich die Schätzung NN(m, l) der momentanen Autorauschleistungsdichte aus einer Gewichtung der Schätzung NN(m) mit einem zeitabhängigen Gewichtsfaktor α(m, l) zu
NN(m, l) = α(m, l).NN(m)
bestimmt.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass der Gewichtsfaktor α(m, l) gemäß
ermittelt wird, wobei X(m, l) eine Repräsentation des gestörten Audiosignals ist.
13. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die dynamische Beschränkungsfunktion γSF(m, l) bestimmt wird zu
γSF(m, l) ~ (α(m, l))β, mit -5 < β < 5.
14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass
β = -1/2.
15. Vorrichtung zur Reduktion zufälliger, kontinuierlicher, instationärer Störungen in Audiosignalen, die in diskreter Form vorliegen oder aus der Abtastung eines analogen, zufällig, kontinuierlich, instationär gestörten Audiosignals gewonnen werden, wobei das gestörte Audiosignal mittels einer Filterfunktion gefiltert wird, gekennzeichnet durch eine Einrichtung (4; 22) zur Abschätzung des Störanteils des gestörten Audiosignals, wobei diese Abschätzung die zeitliche Änderung der statistischen Eigenschaften der Störung berücksichtigt,
eine Einrichtung (8; 30) zur Erzeugung einer unbeschränkten Filterfunktion H dyn|G in an sich bekannter Weise unter Berücksichtigung der zuvor ermittelten Ab­ schätzung des Störanteils, welche die zeitlichen Änderungen der statistischen Eigenschaften der Störung berücksichtigt,
eine Einrichtung (24, 40) zur Erzeugung einer zeitabhängigen Beschränkungs­ funktion γSF in Abhängigkeit von dem geschätzten Störanteil des gestörten Au­ diosignals, und
eine Einrichtung (7; 40), welche aus der unbeschränkten Filterfunktion H dyn|G und der zeitabhängigen Beschränkungsfunktion γSF eine beschränkte Filterfunktion Hb erzeugt, und
ein Filter (7; 50), welches das gestörte Audiosignal mit der beschränkten Filter­ funktion Hb filtert.
16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass die Einrichtung (9; 40) die beschränkte Filterfunk­ tion Hb gemäß
erzeugt.
DE2001157535 2000-12-13 2001-11-23 Verfahren und Vorrichtung zur Reduzierung zufälliger, kontinuierlicher, instationärer Störungen in Audiosignalen Expired - Lifetime DE10157535B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE2001157535 DE10157535B4 (de) 2000-12-13 2001-11-23 Verfahren und Vorrichtung zur Reduzierung zufälliger, kontinuierlicher, instationärer Störungen in Audiosignalen

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10061957 2000-12-13
DE10061957.6 2000-12-13
DE2001157535 DE10157535B4 (de) 2000-12-13 2001-11-23 Verfahren und Vorrichtung zur Reduzierung zufälliger, kontinuierlicher, instationärer Störungen in Audiosignalen

Publications (2)

Publication Number Publication Date
DE10157535A1 true DE10157535A1 (de) 2002-11-14
DE10157535B4 DE10157535B4 (de) 2015-05-13

Family

ID=7666891

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2001157535 Expired - Lifetime DE10157535B4 (de) 2000-12-13 2001-11-23 Verfahren und Vorrichtung zur Reduzierung zufälliger, kontinuierlicher, instationärer Störungen in Audiosignalen

Country Status (2)

Country Link
US (1) US7127072B2 (de)
DE (1) DE10157535B4 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US20080151969A1 (en) * 2006-12-21 2008-06-26 Andres Reial Efficient Delay Profile Computation with Receive Diversity
US7724808B2 (en) * 2006-12-21 2010-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Efficient delay profile computation with receive diversity
US9192773B2 (en) * 2009-07-17 2015-11-24 Peter Forsell System for voice control of a medical implant
KR101737824B1 (ko) * 2009-12-16 2017-05-19 삼성전자주식회사 잡음 환경의 입력신호로부터 잡음을 제거하는 방법 및 그 장치
US20110178800A1 (en) * 2010-01-19 2011-07-21 Lloyd Watts Distortion Measurement for Noise Suppression System
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
CN105280195B (zh) * 2015-11-04 2018-12-28 腾讯科技(深圳)有限公司 语音信号的处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852567A (en) * 1996-07-31 1998-12-22 Hughes Electronics Corporation Iterative time-frequency domain transform method for filtering time-varying, nonstationary wide band signals in noise

Also Published As

Publication number Publication date
DE10157535B4 (de) 2015-05-13
US20020186852A1 (en) 2002-12-12
US7127072B2 (en) 2006-10-24

Similar Documents

Publication Publication Date Title
DE602005000539T2 (de) Verstärkungsgesteuerte Geräuschunterdrückung
DE19747885B4 (de) Verfahren zur Reduktion von Störungen akustischer Signale mittels der adaptiven Filter-Methode der spektralen Subtraktion
DE69632626T2 (de) Adaptiver sprachsignalfilter
DE3689035T2 (de) Rauschminderungssystem.
DE60009206T2 (de) Rauschunterdrückung mittels spektraler Subtraktion
DE602004001241T2 (de) Vorrichtung zur Unterdrückung von impulsartigen Windgeräuschen
DE60131639T2 (de) Vorrichtungen und Verfahren zur Bestimmung von Leistungswerten für die Geräuschunterdrückung für ein Sprachkommunikationssystem
DE602004001694T2 (de) Vorrichtung zur Unterdrückung von Windgeräuschen
DE60024501T2 (de) Verbesserung der perzeptuellen Qualität von SBR (Spektralbandreplikation) UND HFR (Hochfrequenzen-Rekonstruktion) Kodierverfahren mittels adaptivem Addieren von Grundrauschen und Begrenzung der Rauschsubstitution
DE112011104737B4 (de) Geräuschunterdrückungsvorrichtung
EP2158588B1 (de) Spektralglättungsverfahren von verrauschten signalen
WO1998003965A1 (de) Verfahren zur verringerung von störungen eines sprachsignals
DE10157535B4 (de) Verfahren und Vorrichtung zur Reduzierung zufälliger, kontinuierlicher, instationärer Störungen in Audiosignalen
DE10236898A1 (de) Videofiltern mit verbesserter Spur unter Verwendung von Wavelet-Entrauschungstechniken
DE102008023915A1 (de) Verfahren zur Einstellung von wenigstens einer Stellgröße eines Entrauschungsfilters in medizinischen Bildern
DE102014221528B4 (de) Akkurate Vorwärts-SNR-Schätzung basierend auf MMSE-Sprachpräsenzwahrscheinlichkeit
DE102014221810A1 (de) Sprachpräsenzwahrscheinlichkeits-Modifizierer, der Log-MMSE-basierte Rauschunterdrückungsleistung verbessert
DE602005000897T2 (de) Eingangsschallprozessor
DE69112855T2 (de) Sprachsignalverarbeitungsvorrichtung.
DE10137348A1 (de) Verfahren und Schaltungsanordnung zur Geräuschreduktion bei der Sprachübertragung in Kommunikationssystemen
DE60033039T2 (de) Vorrichtung und verfahren zur unterdrückung von zischlauten unter verwendung von adaptiven filteralgorithmen
EP1755110A2 (de) Verfahren und Vorrichtung zur adaptiven Reduktion von Rausch- und Hintergrundsignalen in einem sprachverarbeitenden System
DE102019102414B4 (de) Verfahren und System zur Detektion von Reibelauten in Sprachsignalen
EP1048025A1 (de) Verfahren zur instrumentellen sprachqualitätsbestimmung
EP0669606B1 (de) Verfahren zur Geräuschreduktion eines gestörten Sprachsignals

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R009 Remittal by federal patent court to dpma for new decision or registration
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R071 Expiry of right